ollovie Опубликовано: March 7, 2013 at 19:51 Опубликовано: March 7, 2013 at 19:51 Начались потери пингов между сервером и dgs3627(соединены пачкордом 2 м). Начали грешить на большое количество пакетов, решили поменять сетевушку и сделать апгрейд сервера. Заменили сетевушку, мамку, проц. Сетевушка на Intel 82580 с DGS-3627 соединена оптическим пачкордом. Проц i5. Сейчас трафика порядка 200Мбит при 20к пакетах через интерфейс, потери остались (не много порядка 1-2%, но на 1м оптики и этого многова-то)!! Голову сломал, не могу найти где собака порылась. Сначала думал, виноват сервер, сейчас грешу на dgs Вот собственно: 803 packets transmitted, 794 packets received, 1.1% packet loss round-trip min/avg/max/stddev = 1.311/1.473/2.405/0.117 ms uname -a FreeBSD 8.3-RELEASE-p6 FreeBSD 8.3-RELEASE-p6 netstat -I igb1 -w1 -h input (igb1) output packets errs idrops bytes packets errs bytes colls 16K 0 0 6.4M 22K 0 26M 0 17K 0 0 7.1M 21K 0 25M 0 17K 0 0 7.1M 21K 0 24M 0 16K 0 0 6.9M 20K 0 23M 0 16K 0 0 6.8M 19K 0 22M 0 17K 0 0 7.8M 21K 0 24M 0 last pid: 34825; load averages: 0.66, 0.71, 0.68 up 1+09:20:16 21:46:24 197 processes: 5 running, 165 sleeping, 27 waiting CPU 0: 0.8% user, 0.0% nice, 0.0% system, 16.9% interrupt, 82.3% idle CPU 1: 0.0% user, 0.0% nice, 0.8% system, 9.8% interrupt, 89.5% idle CPU 2: 1.1% user, 0.0% nice, 0.4% system, 16.5% interrupt, 82.0% idle CPU 3: 0.4% user, 0.0% nice, 0.4% system, 13.2% interrupt, 86.1% idle Mem: 343M Active, 866M Inact, 374M Wired, 8320K Cache, 199M Buf, 1086M Free Swap: 2048M Total, 2048M Free PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 11 root 171 ki31 0K 32K CPU1 1 29.7H 91.26% {idle: cpu1} 11 root 171 ki31 0K 32K CPU3 3 29.9H 91.16% {idle: cpu3} 11 root 171 ki31 0K 32K CPU0 0 29.5H 90.28% {idle: cpu0} 11 root 171 ki31 0K 32K RUN 2 29.8H 89.16% {idle: cpu2} 12 root -68 - 0K 216K WAIT 2 78:46 9.67% {irq258: igb0:que} 12 root -68 - 0K 216K WAIT 0 83:27 8.06% {irq256: igb0:que} 12 root -68 - 0K 216K WAIT 3 79:05 7.18% {irq259: igb0:que} 12 root -68 - 0K 216K WAIT 1 75:31 6.40% {irq262: igb1:que} 12 root -68 - 0K 216K WAIT 1 78:09 5.47% {irq257: igb0:que} 12 root -68 - 0K 216K WAIT 3 74:44 5.27% {irq264: igb1:que} 12 root -68 - 0K 216K WAIT 0 79:16 4.69% {irq261: igb1:que} 12 root -68 - 0K 216K WAIT 2 76:58 2.88% {irq263: igb1:que}
ollovie Опубликовано: March 7, 2013 at 19:57 Автор Опубликовано: March 7, 2013 at 19:57 Самое главное, статистика по порту DG DGS-3627G:admin#show ports 5 details Port : 5 -------------------- Port Status : Link Up Description : server Hardware Type : Gigabits Ethernet MAC Address : 00-22-B0-1A-2E-FF Bandwidth : 1000000Kbit Auto-Negotiation : Enabled Duplex Mode : Full Duplex Flow Control : Disabled MDI : Normal Address Learning : Enabled Loopback Mode : Disabled Last clear of Counter : 1 hours 24 mins ago BPDU Hardware Filtering Mode: Disabled Queuing Strategy : TX Load : 9/100, 86578440bits/sec, 19579packets/sec RX Load : 22/100, 218678760bits/sec, 22712packets/sec TX Counter Excessive Deferrals : 0 Late Collisions : 0 Excess Collision : 0 Single Collision : 0 Collision : 0 RX Counter Broadcast : 3946 Multicast : 552 CRC Errors : 0 Dropped Packets : 19100 Undersizes : 0 Oversizes : 0 Fragments : 0 Jabber : 0 Откуда эти дропы на порту????
Гайджин Опубликовано: March 7, 2013 at 21:54 Опубликовано: March 7, 2013 at 21:54 Включайте DKG режим и изучайте что на проц попадает. А вообще пинговать 3627го - это безперспективное занятие.
...sirius Опубликовано: March 8, 2013 at 12:50 Опубликовано: March 8, 2013 at 12:50 Покажите show err port 5 show cpu access_profile show util ports show util cpu
ollovie Опубликовано: March 8, 2013 at 17:22 Автор Опубликовано: March 8, 2013 at 17:22 Command: show error ports 5 Port number : 5 RX Frames TX Frames --------- --------- CRC Error 0 Excessive Deferral 0 Undersize 0 CRC Error 0 Oversize 0 Late Collision 0 Fragment 0 Excessive Collision 0 Jabber 0 Single Collision 0 Drop Pkts 71066 Collision 0 Symbol Error 0 Buffer Full Drop 0 ACL Drop 0 Multicast Drop 0 VLAN Ingress Drop 0 Command: show cpu access_profile CPU Interface Filtering State: Disabled CPU Interface Access Profile Table is empty Command: show utilization ports Port TX/sec RX/sec Util Port TX/sec RX/sec Util ----- ---------- ---------- ---- ----- ---------- ---------- ---- 1 0 0 0 22 911 4026 24 2 0 0 0 23 3029 2500 14 3 4648 3371 3 24 0 0 0 4 0 0 0 25 0 0 0 5 17068 22690 14 26 0 0 0 6 14409 9790 8 27 0 0 0 7 0 0 0 8 0 0 0 9 0 0 0 10 840 805 1 11 75 24 1 12 556 692 1 13 68 7 1 14 63 0 1 15 814 778 1 16 1271 1212 1 17 0 0 0 18 0 0 0 19 0 0 0 20 0 0 0 21 6198 3419 4 Command: show utilization cpu CPU Utilization ------------------------------------------------------------------------------- Five seconds - 3 % One minute - 2 % Five minutes - 2 %
...sirius Опубликовано: March 8, 2013 at 21:18 Опубликовано: March 8, 2013 at 21:18 а на сервере netstat -I igb1 ошибок/дропов нету? я бы еще заменил оптический патчкорд и модуля с обоих сторон и посмотрел.
ollovie Опубликовано: March 9, 2013 at 11:49 Автор Опубликовано: March 9, 2013 at 11:49 а на сервере netstat -I igb1 ошибок/дропов нету? я бы еще заменил оптический патчкорд и модуля с обоих сторон и посмотрел. # netstat -I igb1 -h Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll igb1 1500 <Link#2> 00:16:31:fa:02:2f 125M 1 0 166M 0 0 igb1 1500 192.168.3.0 192.168.3.1 0 - - 0 - - Шнурок, модуля поменял - эффекта ноль
Гайджин Опубликовано: March 9, 2013 at 12:01 Опубликовано: March 9, 2013 at 12:01 Сквозь свич потери есть? Или только на него?
KaYot Опубликовано: March 9, 2013 at 12:12 Опубликовано: March 9, 2013 at 12:12 1) пинговать свич занятие бессмысленное 2) dropped на порту вполне может быть ingress filter 'ненужных' вланов(прилетающих из сети, но не активных на порту), это нормально.
ollovie Опубликовано: March 9, 2013 at 12:41 Автор Опубликовано: March 9, 2013 at 12:41 Сквозь свич потери есть? Или только на него? Сейчас специально проверил, когда начались потери на сервер, через другие порты свича пакеты ходили нормально 1) пинговать свич занятие бессмысленное 2) dropped на порту вполне может быть ingress filter 'ненужных' вланов(прилетающих из сети, но не активных на порту), это нормально. 1) Да нужен он мне сильно Потери идут ЧЕРЕЗ свич на СЕРВЕР из локалки 2) В процессе поисков оставил 1 влан на порту, да и вланы светились бы в строке VLAN Ingress Drop Command: show error ports 5 Port number : 5 RX Frames TX Frames --------- --------- CRC Error 0 Excessive Deferral 0 Undersize 0 CRC Error 0 Oversize 0 Late Collision 0 Fragment 0 Excessive Collision 0 Jabber 0 Single Collision 0 Drop Pkts 51997 Collision 0 Symbol Error 0 Buffer Full Drop 0 ACL Drop 0 Multicast Drop 0 VLAN Ingress Drop 0 Во время последнего затыка успел посмотреть статистику по интерфейсу на сервере, когда все работает выглядит вот так: # netstat -I igb1 -h -w1 input (igb1) output packets errs idrops bytes packets errs bytes colls 19K 0 0 6.4M 25K 0 30M 0 18K 0 0 6.1M 24K 0 28M 0 20K 0 0 5.8M 27K 0 32M 0 Когда начались потери: packets errs idrops bytes packets errs bytes colls 1.8K 0 0 252K 2.9K 0 2.5M 0 1.9K 0 0 453K 2.5K 0 1.8M 0 1.7K 0 0 348K 2.5K 0 1.9M 0
Гайджин Опубликовано: March 9, 2013 at 13:00 Опубликовано: March 9, 2013 at 13:00 Дело скорее не в свиче.
ollovie Опубликовано: March 9, 2013 at 13:20 Автор Опубликовано: March 9, 2013 at 13:20 Дело скорее не в свиче. Возможно, только: мать, проц, сетевушка другие - эффект тот же
Гайджин Опубликовано: March 9, 2013 at 14:22 Опубликовано: March 9, 2013 at 14:22 Вы более расширенно и развернуто опишите в чем проблема, когда возникает, как диагностировали.
ollovie Опубликовано: March 10, 2013 at 19:59 Автор Опубликовано: March 10, 2013 at 19:59 Вы более расширенно и развернуто опишите в чем проблема, когда возникает, как диагностировали. Итак, на сегодняшний день имею: [Аплинк]=[Cервер]=[DGS]=[Локалка] Периодически начинаются потери пакетов пробегающих через порт DGS в который включен сервер. Проверено, что пакеты пробегающие через другие порты этого же DGS не теряются. Варианты потерь могут быть от слабых (немного трафик упал), до теряются группы пакетов по 3-5 штук, длительность от 10 секунд до 10 минут, после чего все приходит в норму. Во время потерь, со стороны сервера наблюдаю падение количества пакетов и объема трафика: # netstat -I igb1 -w1 -h input (igb1) output packets errs idrops bytes packets errs bytes colls 22K 0 0 8.8M 30K 0 33M 0 21K 0 0 8.0M 29K 0 33M 0 21K 0 0 7.5M 29K 0 33M 0 21K 0 0 7.2M 28K 0 32M 0 15K 0 0 5.2M 24K 0 27M 0 7.7K 0 0 2.3M 15K 0 16M 0 5.2K 0 0 1.7M 10K 0 11M 0 9.9K 0 0 2.7M 15K 0 15M 0 13K 0 0 4.9M 17K 0 18M 0 21K 0 0 7.8M 29K 0 32M 0 22K 0 0 8.0M 30K 0 34M 0 22K 0 0 8.8M 28K 0 30M 0 23K 0 0 9.0M 29K 0 33M 0 Ошибок и дропов на интерфейсе сервера не наблюдаю: # netstat -I igb1 -d -h Name Mtu Network Address Ipkts Ierrs Idrop Opkts Oerrs Coll Drop igb1 1500 <Link#2> 00:16:31:fa:02:2f 99M 14 0 126M 0 0 0 igb1 1500 192.168.3.0 192.168.3.1 0 - - 0 - - - Сервер не загружен: last pid: 18469; load averages: 0.69, 0.85, 0.95 up 0+01:24:26 21:56:28 167 processes: 7 running, 134 sleeping, 26 waiting CPU 0: 0.4% user, 0.0% nice, 15.7% system, 15.4% interrupt, 68.5% idle CPU 1: 1.1% user, 0.0% nice, 23.7% system, 11.3% interrupt, 63.9% idle CPU 2: 0.4% user, 0.0% nice, 9.7% system, 11.2% interrupt, 78.7% idle CPU 3: 0.0% user, 0.0% nice, 11.7% system, 7.9% interrupt, 80.5% idle Mem: 233M Active, 87M Inact, 300M Wired, 536K Cache, 199M Buf, 2056M Free Swap: 2048M Total, 2048M Free И тем не менее пакеты теряются... Что обидно, самый главный вопрос, кто крайний? Сервер или DGS? Буду благодарен за любую подсказку по диагностике одного и второго
zulu_Radist Опубликовано: March 10, 2013 at 20:10 Опубликовано: March 10, 2013 at 20:10 (изменено) а кого пингуем собственно после DGS? как этот хост включен? надеюсь не колбаской тупых свитчей глубже опишите топологию Изменено March 10, 2013 at 20:11 пользователем zulu_Radist
ollovie Опубликовано: March 10, 2013 at 20:41 Автор Опубликовано: March 10, 2013 at 20:41 а кого пингуем собственно после DGS? как этот хост включен? надеюсь не колбаской тупых свитчей глубже опишите топологию в dgs включены 1G sfp модуля, на втором конце разнообразный зоопарк с 1G spf, вот в них уже может быть и колбаска. Дальше в топологию не углублялся, поскольку пингую с сервера dgs и следующие за ним L2 свичи, в которые пришла оптика. Причем, одновременно пробовал и обратный процесс, от L2 уровня клиента дальше dgs, сервер, яндекс. В пингах выглядит так: клиент - dgs - потерь нет, клиент - сервер - есть клиент - яндекс - есть сервер - dgs - есть сервер - свич клиента - есть Жалобы есть со всех концов сети, т.е. сказать, что виновата колбаска из тупых свичей - я бы рад, вот только через неё сам dgs отвечает нормально, а на сервер уже потери. Пинги - это вершина айберга, да, терялись. Постом выше я привел падение ВСЕГО трафика, не только icmp
zulu_Radist Опубликовано: March 10, 2013 at 20:51 Опубликовано: March 10, 2013 at 20:51 DGS используется как L2 или как L3?
ollovie Опубликовано: March 10, 2013 at 20:52 Автор Опубликовано: March 10, 2013 at 20:52 DGS используется как L2 или как L3? L2, acl - нет, загрузка проца 2-3%
zulu_Radist Опубликовано: March 10, 2013 at 20:54 Опубликовано: March 10, 2013 at 20:54 (изменено) сам DGS в отдельном влане управления и этот влан висит на сервере так? если так тогда я в ступоре клиент - dgs - потерь нет , оно тогда бегает немного не так - клиент - dgs - сервер - dgs и в таком случае сервер - dgs физика в норме Изменено March 10, 2013 at 20:55 пользователем zulu_Radist
ollovie Опубликовано: March 10, 2013 at 20:56 Автор Опубликовано: March 10, 2013 at 20:56 сам DGS в отдельном влане управления и этот влан висит на сервере так? да, сейчас в общем, я готов из него хоть мыльницу сейчас сделать, только бы ответить на вопрос его менять или сервер мучить дальше
greyshadow Опубликовано: March 11, 2013 at 09:35 Опубликовано: March 11, 2013 at 09:35 flow control включен или нет? если да - выключить...
ollovie Опубликовано: March 11, 2013 at 17:40 Автор Опубликовано: March 11, 2013 at 17:40 сам DGS в отдельном влане управления и этот влан висит на сервере так? если так тогда я в ступоре клиент - dgs - потерь нет , оно тогда бегает немного не так - клиент - dgs - сервер - dgs и в таком случае сервер - dgs физика в норме клиент, dgs и сервер сейчас в одном влане, поэтому пакет клиент-dgs - проходит напрямую, без сервера, поэтому физика сервер-dgs в этом обмене не присутствует
Гайджин Опубликовано: March 11, 2013 at 20:42 Опубликовано: March 11, 2013 at 20:42 Вынесите управление в отдельный влан.
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВойти
Уже зарегистрированы? Войдите здесь.
Войти сейчас