DGS 3627 теряет пинги

[ollovie 0]

Начались потери пингов между сервером и dgs3627(соединены пачкордом 2 м). Начали грешить на большое количество пакетов, решили поменять сетевушку и сделать апгрейд сервера. 

 

Заменили сетевушку, мамку, проц. Сетевушка на Intel 82580 с DGS-3627 соединена оптическим пачкордом. Проц i5. Сейчас трафика порядка 200Мбит при 20к пакетах через интерфейс, потери остались (не много порядка 1-2%, но на 1м оптики и этого многова-то)!! Голову сломал, не могу найти где собака порылась.

 

Сначала думал, виноват сервер, сейчас грешу на dgs

 

Вот собственно:

 

803 packets transmitted, 794 packets received, 1.1% packet loss

round-trip min/avg/max/stddev = 1.311/1.473/2.405/0.117 ms

 

 

 uname -a

FreeBSD 8.3-RELEASE-p6 FreeBSD 8.3-RELEASE-p6

 

 netstat -I igb1 -w1 -h

            input         (igb1)           output

   packets  errs idrops      bytes    packets  errs      bytes colls

       16K     0     0       6.4M        22K     0        26M     0

       17K     0     0       7.1M        21K     0        25M     0

       17K     0     0       7.1M        21K     0        24M     0

       16K     0     0       6.9M        20K     0        23M     0

       16K     0     0       6.8M        19K     0        22M     0

       17K     0     0       7.8M        21K     0        24M     0

 

last pid: 34825;  load averages:  0.66,  0.71,  0.68                                                    up 1+09:20:16  21:46:24

197 processes: 5 running, 165 sleeping, 27 waiting

CPU 0:  0.8% user,  0.0% nice,  0.0% system, 16.9% interrupt, 82.3% idle

CPU 1:  0.0% user,  0.0% nice,  0.8% system,  9.8% interrupt, 89.5% idle

CPU 2:  1.1% user,  0.0% nice,  0.4% system, 16.5% interrupt, 82.0% idle

CPU 3:  0.4% user,  0.0% nice,  0.4% system, 13.2% interrupt, 86.1% idle

Mem: 343M Active, 866M Inact, 374M Wired, 8320K Cache, 199M Buf, 1086M Free

Swap: 2048M Total, 2048M Free

 

  PID USERNAME PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND

   11 root     171 ki31     0K    32K CPU1    1  29.7H 91.26% {idle: cpu1}

   11 root     171 ki31     0K    32K CPU3    3  29.9H 91.16% {idle: cpu3}

   11 root     171 ki31     0K    32K CPU0    0  29.5H 90.28% {idle: cpu0}

   11 root     171 ki31     0K    32K RUN     2  29.8H 89.16% {idle: cpu2}

   12 root     -68    -     0K   216K WAIT    2  78:46  9.67% {irq258: igb0:que}

   12 root     -68    -     0K   216K WAIT    0  83:27  8.06% {irq256: igb0:que}

   12 root     -68    -     0K   216K WAIT    3  79:05  7.18% {irq259: igb0:que}

   12 root     -68    -     0K   216K WAIT    1  75:31  6.40% {irq262: igb1:que}

   12 root     -68    -     0K   216K WAIT    1  78:09  5.47% {irq257: igb0:que}

   12 root     -68    -     0K   216K WAIT    3  74:44  5.27% {irq264: igb1:que}

   12 root     -68    -     0K   216K WAIT    0  79:16  4.69% {irq261: igb1:que}

   12 root     -68    -     0K   216K WAIT    2  76:58  2.88% {irq263: igb1:que}

 

 

[ollovie 0]

Самое главное, статистика по порту DG

 

DGS-3627G:admin#show ports 5 details

 

Port : 5

--------------------

Port Status                 : Link Up

Description                 : server

Hardware Type               : Gigabits Ethernet

MAC Address                 : 00-22-B0-1A-2E-FF

Bandwidth                   : 1000000Kbit

Auto-Negotiation            : Enabled

Duplex Mode                 : Full Duplex

Flow Control                : Disabled

MDI                         : Normal

Address Learning            : Enabled

Loopback Mode               : Disabled

Last clear of Counter       : 1 hours 24 mins ago

BPDU Hardware Filtering Mode: Disabled

Queuing Strategy            :

TX Load                     :   9/100,    86578440bits/sec,    19579packets/sec

RX Load                     :  22/100,   218678760bits/sec,    22712packets/sec

 

TX Counter

    Excessive Deferrals     : 0          Late Collisions  : 0

    Excess Collision        : 0          Single Collision : 0

    Collision               : 0

RX Counter

    Broadcast               : 3946       Multicast        : 552

    CRC Errors              : 0          Dropped Packets  : 19100

    Undersizes              : 0          Oversizes        : 0

    Fragments               : 0          Jabber           : 0

 

 

Откуда эти дропы на порту????

[Гайджин 574]

Включайте DKG режим и изучайте что на проц попадает.

А вообще пинговать 3627го - это безперспективное занятие.

[...sirius 3]

Покажите

show err port 5

show cpu access_profile

show util ports

show util cpu

[ollovie 0]

Command: show error ports 5

 

 

 Port number : 5

                    RX Frames                                  TX Frames

                    ---------                                  ---------

 CRC Error          0                    Excessive Deferral    0

 Undersize          0                    CRC Error             0

 Oversize           0                    Late Collision        0

 Fragment           0                    Excessive Collision   0

 Jabber             0                    Single Collision      0

 Drop Pkts          71066                Collision             0

 Symbol Error       0

 Buffer Full Drop   0

 ACL Drop           0

 Multicast Drop     0

 VLAN Ingress Drop  0

 

Command: show cpu access_profile

 

CPU Interface Filtering State: Disabled

 

CPU Interface Access Profile Table is empty

 

 

 

Command: show utilization ports

 

 Port     TX/sec     RX/sec   Util      Port     TX/sec     RX/sec   Util

 -----  ---------- ---------- ----      -----  ---------- ---------- ----

 1      0          0          0         22     911        4026       24

 2      0          0          0         23     3029       2500       14

 3      4648       3371       3         24     0          0          0

 4      0          0          0         25     0          0          0

 5      17068      22690      14        26     0          0          0

 6      14409      9790       8         27     0          0          0

 7      0          0          0

 8      0          0          0

 9      0          0          0

 10     840        805        1

 11     75         24         1

 12     556        692        1

 13     68         7          1

 14     63         0          1

 15     814        778        1

 16     1271       1212       1

 17     0          0          0

 18     0          0          0

 19     0          0          0

 20     0          0          0

 21     6198       3419       4

 

 

Command: show utilization cpu

 

CPU Utilization

-------------------------------------------------------------------------------

Five seconds -   3 %         One minute -   2 %         Five minutes -   2 %

 

[...sirius 3]

а на сервере netstat -I igb1 ошибок/дропов нету?

 

я бы еще заменил оптический патчкорд и модуля с обоих сторон и посмотрел.

[ollovie 0]

а на сервере netstat -I igb1 ошибок/дропов нету?

 

я бы еще заменил оптический патчкорд и модуля с обоих сторон и посмотрел.

 

 

# netstat -I igb1 -h

Name    Mtu Network       Address              Ipkts Ierrs Idrop    Opkts Oerrs  Coll

igb1   1500 <Link#2>      00:16:31:fa:02:2f     125M     1     0     166M     0     0

igb1   1500 192.168.3.0   192.168.3.1              0     -     -        0     -     -

 

Шнурок, модуля поменял - эффекта ноль

[Гайджин 574]

Сквозь свич потери есть? Или только на него?

[KaYot 3 606]

1) пинговать свич занятие бессмысленное

2) dropped на порту вполне может быть ingress filter 'ненужных' вланов(прилетающих из сети, но не активных на порту), это нормально.

[ollovie 0]

Сквозь свич потери есть? Или только на него?

Сейчас специально проверил, когда начались потери на сервер, через другие порты свича пакеты ходили нормально

 

 

1) пинговать свич занятие бессмысленное

2) dropped на порту вполне может быть ingress filter 'ненужных' вланов(прилетающих из сети, но не активных на порту), это нормально.

1) Да нужен он мне сильно Потери идут ЧЕРЕЗ свич на СЕРВЕР из локалки

2) В процессе поисков оставил 1 влан на порту, да и вланы светились бы в строке VLAN Ingress Drop

 

Command: show error ports 5


 Port number : 5
                    RX Frames                                  TX Frames
                    ---------                                  ---------
 CRC Error          0                    Excessive Deferral    0
 Undersize          0                    CRC Error             0
 Oversize           0                    Late Collision        0
 Fragment           0                    Excessive Collision   0
 Jabber             0                    Single Collision      0
 Drop Pkts          51997                Collision             0
 Symbol Error       0
 Buffer Full Drop   0
 ACL Drop           0
 Multicast Drop     0
 VLAN Ingress Drop  0

 

 

 

Во время последнего затыка успел посмотреть статистику по интерфейсу на сервере, когда все работает выглядит вот так:

 

# netstat -I igb1 -h -w1
            input         (igb1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
       19K     0     0       6.4M        25K     0        30M     0
       18K     0     0       6.1M        24K     0        28M     0
       20K     0     0       5.8M        27K     0        32M     0

 

 

Когда начались потери:

 

 packets  errs idrops      bytes    packets  errs      bytes colls
      1.8K     0     0       252K       2.9K     0       2.5M     0
      1.9K     0     0       453K       2.5K     0       1.8M     0
      1.7K     0     0       348K       2.5K     0       1.9M     0

[Гайджин 574]

Дело скорее не в свиче.

[ollovie 0]

Дело скорее не в свиче.

Возможно, только: мать, проц, сетевушка другие - эффект тот же

[Гайджин 574]

Вы более расширенно и развернуто опишите в чем проблема, когда возникает, как диагностировали.

 

[ollovie 0]

 

Вы более расширенно и развернуто опишите в чем проблема, когда возникает, как диагностировали.

 

Итак, на сегодняшний день имею:

 

[Аплинк]=[Cервер]=[DGS]=[Локалка]

 

Периодически начинаются потери пакетов пробегающих через порт DGS в который включен сервер. Проверено, что пакеты пробегающие через другие порты этого же DGS не теряются. Варианты потерь могут быть от слабых (немного трафик упал), до теряются группы пакетов по 3-5 штук, длительность от 10 секунд до 10 минут, после чего все приходит в норму.

Во время потерь, со стороны сервера наблюдаю падение количества пакетов и объема трафика:

# netstat -I igb1 -w1 -h
          input         (igb1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
       22K     0     0       8.8M        30K     0        33M     0
       21K     0     0       8.0M        29K     0        33M     0
       21K     0     0       7.5M        29K     0        33M     0
       21K     0     0       7.2M        28K     0        32M     0
       15K     0     0       5.2M        24K     0        27M     0
      7.7K     0     0       2.3M        15K     0        16M     0
      5.2K     0     0       1.7M        10K     0        11M     0
      9.9K     0     0       2.7M        15K     0        15M     0
       13K     0     0       4.9M        17K     0        18M     0
       21K     0     0       7.8M        29K     0        32M     0
       22K     0     0       8.0M        30K     0        34M     0
       22K     0     0       8.8M        28K     0        30M     0
       23K     0     0       9.0M        29K     0        33M     0

Ошибок и дропов на интерфейсе сервера не наблюдаю:

# netstat -I igb1 -d -h
Name    Mtu Network       Address              Ipkts Ierrs Idrop    Opkts Oerrs  Coll Drop
igb1   1500 <Link#2>      00:16:31:fa:02:2f      99M    14     0     126M     0     0    0
igb1   1500 192.168.3.0   192.168.3.1              0     -     -        0     -     -    -

 

Сервер не загружен:

last pid: 18469;  load averages:  0.69,  0.85,  0.95                         up 0+01:24:26  21:56:28
167 processes: 7 running, 134 sleeping, 26 waiting
CPU 0:  0.4% user,  0.0% nice, 15.7% system, 15.4% interrupt, 68.5% idle
CPU 1:  1.1% user,  0.0% nice, 23.7% system, 11.3% interrupt, 63.9% idle
CPU 2:  0.4% user,  0.0% nice,  9.7% system, 11.2% interrupt, 78.7% idle
CPU 3:  0.0% user,  0.0% nice, 11.7% system,  7.9% interrupt, 80.5% idle
Mem: 233M Active, 87M Inact, 300M Wired, 536K Cache, 199M Buf, 2056M Free
Swap: 2048M Total, 2048M Free

 

 

И тем не менее пакеты теряются...

 

Что обидно, самый главный вопрос, кто крайний? Сервер или DGS?

 

Буду благодарен за любую подсказку по диагностике одного и второго

[zulu_Radist 856]

а кого пингуем собственно после DGS? как этот хост включен? надеюсь не колбаской тупых свитчей глубже опишите топологию

Відредаговано 2013-03-10 20:11:11 zulu_Radist

[ollovie 0]

а кого пингуем собственно после DGS? как этот хост включен? надеюсь не колбаской тупых свитчей глубже опишите топологию

в dgs включены 1G sfp модуля, на втором конце разнообразный зоопарк с 1G spf, вот в них уже может быть и колбаска. Дальше в топологию не углублялся, поскольку пингую с сервера dgs и следующие за ним L2 свичи, в которые пришла оптика. Причем, одновременно пробовал и обратный процесс, от L2 уровня клиента дальше dgs, сервер, яндекс.

 

В пингах выглядит так:

клиент - dgs - потерь нет,

клиент - сервер - есть

клиент - яндекс - есть

сервер - dgs - есть

сервер - свич клиента - есть

 

Жалобы есть со всех концов сети, т.е. сказать, что виновата колбаска из тупых свичей - я бы рад, вот только через неё сам dgs отвечает нормально, а на сервер уже потери.

 

Пинги - это вершина айберга, да, терялись. Постом выше я привел падение ВСЕГО трафика, не только icmp

[zulu_Radist 856]

DGS используется как L2 или как L3?

[ollovie 0]

DGS используется как L2 или как L3?

L2, acl - нет, загрузка проца 2-3%

[zulu_Radist 856]

сам DGS в отдельном влане управления и этот влан висит на сервере так?

если так тогда я в ступоре

клиент - dgs - потерь нет , оно тогда бегает немного не так - клиент - dgs - сервер - dgs

и в таком случае сервер - dgs физика в норме

Відредаговано 2013-03-10 20:55:52 zulu_Radist

[ollovie 0]

сам DGS в отдельном влане управления и этот влан висит на сервере так?

да, сейчас в общем, я готов из него хоть мыльницу сейчас сделать, только бы ответить на вопрос его менять или сервер мучить дальше

[greyshadow 22]

flow control включен или нет? если да - выключить...

[ollovie 0]

сам DGS в отдельном влане управления и этот влан висит на сервере так?

если так тогда я в ступоре

клиент - dgs - потерь нет , оно тогда бегает немного не так - клиент - dgs - сервер - dgs

и в таком случае сервер - dgs физика в норме

клиент, dgs и сервер сейчас в одном влане, поэтому пакет клиент-dgs - проходит напрямую, без сервера, поэтому физика сервер-dgs в этом обмене не присутствует

[Гайджин 574]

Вынесите управление в отдельный влан.