Gang Posted May 25, 2011 Posted May 25, 2011 Добрый день! Имеем сеть(все в одном влане), в ядре extreme x450a, на одном из серверов поднят statiarp. Почувствовали необходимость дробления на сегменты. Выбрали схему: traffic segmentation от абонентского порта до агрегации(на агрегации тоже включен) + vlan на агрегатор + vlan agreggation(Super vlan) в ядре. Собственно проблемы с реализацией: Сделали traffic segmentation - с этим проблем нет Создали subvlan'ы на экстриме Подняли прокси арп на экстриме с опцией always Сделали один subvlan на сегмент Убрали статик арп на сервере, очистили арп таблици на сервере и экстриме. И начался бред: часть клиентов просто не видно, часть могут ходить в инет, но им не доступны сервера. Два разных пользователя приходящих с одного сегмента один пингуется с инета, другой нет, при включении subvlan proxy-arp, начинает пинговаться, сервера обоим не доступны. Никакой закономерности. Между хостами в сети тоже, к некоторым нормально ходит через экстрим, к другим - нет. Пробуем второй раз, первый раз делали влан на комутатор, началось что-то похожее. При более 50-ти сабвланов все вообще пропало, пинги на экстрим подскочили до небес. Подсказывали, что может быть причина в стеке, разорвали стек. Сейчас рабочая прошивка: 12.3.1.2 При попытке обновиться на любую другую, например на 12.5.2.6 начинаются ужасные лаги, пинги взлетают до небес, тормозит cli. На старой же - все ок. Подскажите, реализовывал ли кто-то на экстриме что-то подобное. В какую сторону копать? Скажите какие конфиги показать - покажу. Заранее спасибо! P.S.: тема продублирована на наге и хабе
NEP Posted May 25, 2011 Posted May 25, 2011 Добрый день! Имеем сеть(все в одном влане), в ядре extreme x450a, на одном из серверов поднят statiarp. Почувствовали необходимость дробления на сегменты. Выбрали схему: traffic segmentation от абонентского порта до агрегации(на агрегации тоже включен) + vlan на агрегатор + vlan agreggation(Super vlan) в ядре. Собственно проблемы с реализацией: Сделали traffic segmentation - с этим проблем нет Создали subvlan'ы на экстриме Подняли прокси арп на экстриме с опцией always Сделали один subvlan на сегмент Убрали статик арп на сервере, очистили арп таблици на сервере и экстриме. И начался бред: часть клиентов просто не видно, часть могут ходить в инет, но им не доступны сервера. Два разных пользователя приходящих с одного сегмента один пингуется с инета, другой нет, при включении subvlan proxy-arp, начинает пинговаться, сервера обоим не доступны. Никакой закономерности. Между хостами в сети тоже, к некоторым нормально ходит через экстрим, к другим - нет. Пробуем второй раз, первый раз делали влан на комутатор, началось что-то похожее. При более 50-ти сабвланов все вообще пропало, пинги на экстрим подскочили до небес. Подсказывали, что может быть причина в стеке, разорвали стек. Сейчас рабочая прошивка: 12.3.1.2 При попытке обновиться на любую другую, например на 12.5.2.6 начинаются ужасные лаги, пинги взлетают до небес, тормозит cli. На старой же - все ок. Подскажите, реализовывал ли кто-то на экстриме что-то подобное. В какую сторону копать? Скажите какие конфиги показать - покажу. Заранее спасибо! P.S.: тема продублирована на наге и хабе Выведите результат: show fdb stats + show fdb vlan_клиента + show fdb vlan_сервера + show configuration "vlan"
NEP Posted May 25, 2011 Posted May 25, 2011 Три результата команды: show iparp proxy vr "VR-Default" с интервалом в 10 секунд. + show iparp
Gang Posted May 25, 2011 Author Posted May 25, 2011 Выведите результат: show fdb stats + show fdb vlan_клиента + show fdb vlan_сервера + show configuration "vlan" Три результата команды: show iparp proxy vr "VR-Default" с интервалом в 10 секунд. + show iparp Сейчас все вернули назад и нет возможности показать. Сейчас и сервера и клиенты в одном влане. sh fdb stats Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 На данный момент не включен проксиарп. sh iparp Dynamic Entries : 6690 Static Entries : 0 Pending Entries : 0 In Request : 3913081 In Response : 606799 Out Request : 3284878 Out Response : 1430428 Failed Requests : 71105 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 14198 Rejected IP : 0.0.0.0 Rejected Port : 24 Rejected I/F : Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes Сейчас в двух тестовых сабвланах находятся два хоста, и при включенном subvlan-proxy-arp на супервлане и на этих сабвланах, все хорошо ходит, даже без включенного iparp proxy. Потому решили сегодня ночью попробовать проделать тоже самое, только не включать iparp proxy и включить subvlan-proxy-arp.
NEP Posted May 25, 2011 Posted May 25, 2011 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка.
Gang Posted May 25, 2011 Author Posted May 25, 2011 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме.
NEP Posted May 25, 2011 Posted May 25, 2011 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме. Да то что вы очищали еще ни о чем не говорит, надо четко контролировать, что в каждом subvlan у вас только ОДИН! мак клиента и больше на коммутатор маки не прилетают ни из одной точки сети тысячами!
Gang Posted May 25, 2011 Author Posted May 25, 2011 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме. Да то что вы очищали еще ни о чем не говорит, надо четко контролировать, что в subvlan у вас только ОДИН! мак клиента и больше на коммутатор маки не прилетают ни из одной точки сети тысячами! Мы не используем влан на клиента. traffic_segmentation аж до узлов агреграции + влан узел агрегации. У нас получится 8 больших сегментов - 8 вланов, но клиент будет изолирован до ядра засчет traffic_segmentation. И весь трафик будет ходить через ядро.
NEP Posted May 25, 2011 Posted May 25, 2011 Мы не используем влан на клиента. traffic_segmentation аж до узлов агреграции + влан узел агрегации. У нас получится 8 больших сегментов - 8 вланов, но клиент будет изолирован до ядра засчет traffic_segmentation. И весь трафик будет ходить через ядро. А в чем тогда роль subvlan?
Gang Posted May 26, 2011 Author Posted May 26, 2011 * Under.53 # sh fdb stats Total: 2186 Static: 0 Perm: 0 Dyn: 2186 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 * Under.54 # sh fdb "servers" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:03:ea:01:5f:75 servers(0700) 0000 d mi 18 00:0e:53:08:6a:bb servers(0700) 0000 d mi 18 00:13:77:77:fb:8f servers(0700) 0000 d mi 18 00:15:17:94:fc:64 servers(0700) 0000 d mi 18 00:15:17:94:fc:65 servers(0700) 0000 d mi 18 00:15:17:9d:cd:ae servers(0700) 0000 d mi 18 00:19:5b:fa:78:d2 servers(0700) 0033 d m 18 00:19:db:cd:34:e2 servers(0700) 0048 d m 18 00:21:91:3e:26:f1 servers(0700) 0000 d mi 18 00:22:15:ec:f6:95 servers(0700) 0000 d mi 18 00:22:15:ec:f6:96 servers(0700) 0000 d mi 18 00:22:15:ec:f6:97 servers(0700) 0000 d mi 18 00:22:15:ec:f6:98 servers(0700) 0000 d mi 18 90:e6:ba:1e:a0:1a servers(0700) 0000 d mi 18 90:e6:ba:c1:40:54 servers(0700) 0047 d m 18 Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2197 Static: 0 Perm: 0 Dyn: 2197 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 Получилось 8 сегментов: vlan1 601 ----------------------------------s-------- ANY 0 /0 VR-Default vlan2 602 ----------------------------------s-------- ANY 0 /0 VR-Default vlan3 603 ----------------------------------s-------- ANY 0 /0 VR-Default vlan4 604 ----------------------------------s-------- ANY 0 /0 VR-Default vlan5 605 ----------------------------------s-------- ANY 0 /0 VR-Default vlan6 606 ----------------------------------s-------- ANY 0 /0 VR-Default vlan7 607 ----------------------------------s-------- ANY 0 /0 VR-Default servers 700 ----------------------------------s-------- ANY 0 /0 VR-Default sh iparp Dynamic Entries : 2483 Static Entries : 0 Pending Entries : 0 In Request : 4857998 In Response : 832860 Out Request : 5691831 Out Response : 1871586 Failed Requests : 363108 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 29413 Rejected IP : 77.87.40.41 Rejected Port : 22 Rejected I/F : iptv Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes Получилось 8 сегментов, каждый в сабвлане + трафик сегментейшин. Смысл в том, что если не раздробить эти сегменты по сабвланам, то получается что броадкасты и вес мусор по л2 ходят из одного сегмента в остальные. Так-же получается все ходит через ядро, даже общение между хостами в своем сегменте, как и при vlan per user. Сделали, часть работает, часть пропадает пинги на сервера, хотя в инет все отлично, никакой закономерности..
NEP Posted May 26, 2011 Posted May 26, 2011 Получилось 8 сегментов, каждый в сабвлане + трафик сегментейшин. Смысл в том, что если не раздробить эти сегменты по сабвланам, то получается что броадкасты и вес мусор по л2 ходят из одного сегмента в остальные. Так-же получается все ходит через ядро, даже общение между хостами в своем сегменте, как и при vlan per user. Сделали, часть работает, часть пропадает пинги на сервера, хотя в инет все отлично, никакой закономерности.. Сделайте в этой схеме все команды которые я просил. Что показывает pingarp у клиента, который не видит сервер. С сервера клиент виден? Начните с простой схемы, добавьте один сегмент и сервера. А потом постепенно увеличивайте нагрузку. Но в вашей схеме скорее всего лучше задействовать private-vlan. Super-vlan обычно используется для vlan-per-user. create private-vlan "ISP" configure private-vlan ISP add network SUBNET configure private-vlan ISP add subscriber SEGMENT1 configure private-vlan ISP add subscriber SEGMENT2 ... configure private-vlan ISP add subscriber SERVERS configure vlan SUBNET ipaddress xxxxxxx xxxxxxx/20 enable ipforwarding vlan SUBNET configure iparp add proxy xxxxxxx xxxxxxx/20 vr VR-Default xxxxxxxxx always
Gang Posted May 26, 2011 Author Posted May 26, 2011 Сделайте в этой схеме все команды которые я просил. sh fdb stats Total: 2975 Static: 1 Perm: 1 Dyn: 2974 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 sh fdb "clients_vlan1" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:00:f0:78:71:ee clients_vlan1(0608) 0000 d mi 10 00:01:6c:6e:47:d9 clients_vlan1(0608) 0000 d mi 10 00:02:44:97:f4:e1 clients_vlan1(0608) 0000 d mi 10 00:02:46:98:dd:eb clients_vlan1(0608) 0000 d mi 10 00:04:61:49:e4:9a clients_vlan1(0608) 0000 d mi 10 00:04:61:71:ee:2c clients_vlan1(0608) 0000 d mi 10 00:04:75:99:57:97 clients_vlan1(0608) 0000 d mi 10 00:04:96:51:bf:1d clients_vlan1(0608) 0000 d mi 10 00:06:4f:76:96:8d clients_vlan1(0608) 0000 d mi 10 00:07:e9:2a:b5:85 clients_vlan1(0608) 0031 d m 10 00:08:a1:6f:7e:b4 clients_vlan1(0608) 0300 d m 10 00:0a:cd:18:08:68 clients_vlan1(0608) 0000 d mi 10 00:0a:e4:b0:14:31 clients_vlan1(0608) 0000 d mi 10 00:0a:e4:bb:8a:85 clients_vlan1(0608) 0000 d mi 10 00:0c:f1:73:ee:1d clients_vlan1(0608) 0000 d mi 10 00:0e:2e:92:9d:22 clients_vlan1(0608) 0000 d mi 10 00:0e:2e:d4:3e:e6 clients_vlan1(0608) 0000 d mi 10 00:0f:cb:b4:20:a1 clients_vlan1(0608) 0000 d mi 10 00:0f:ea:a4:05:16 clients_vlan1(0608) 0000 d mi 10 00:11:09:0c:36:48 clients_vlan1(0608) 0000 d mi 10 00:11:d8:97:0a:71 clients_vlan1(0608) 0000 d mi 10 ---------- и тд ---- Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2975 Static: 1 Perm: 1 Dyn: 2974 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 ну и тд, таких ещё 7. с разным количеством маков внутри. * Under.44 # sh fdb "servers" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:03:ea:01:5f:75 servers(0700) 0000 d mi 18 00:0e:53:08:6a:bb servers(0700) 0000 d mi 18 00:15:17:94:fc:64 servers(0700) 0000 d mi 18 00:15:17:94:fc:65 servers(0700) 0000 d mi 18 00:15:17:9d:cd:ae servers(0700) 0000 spm 18 00:19:db:cd:34:e2 servers(0700) 0002 d m 18 00:21:91:3e:26:f1 servers(0700) 0000 d mi 18 00:22:15:ec:f6:95 servers(0700) 0000 d mi 18 00:22:15:ec:f6:96 servers(0700) 0000 d mi 18 00:22:15:ec:f6:97 servers(0700) 0000 d mi 18 00:22:15:ec:f6:98 servers(0700) 0000 d mi 18 90:e6:ba:1e:a0:1a servers(0700) 0000 d mi 18 90:e6:ba:c1:40:54 servers(0700) 0002 d m 18 Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2984 Static: 1 Perm: 1 Dyn: 2983 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 sh iparp Dynamic Entries : 2990 Static Entries : 0 Pending Entries : 0 In Request : 5114492 In Response : 945429 Out Request : 12566839 Out Response : 2017130 Failed Requests : 1472086 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 30852 Rejected IP : Rejected Port : 24 Rejected I/F : Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes iparp proxy выключен. sh conf vlan в личку сейчас отправлю
NEP Posted May 26, 2011 Posted May 26, 2011 sh conf vlan в личку сейчас отправлю 1. Еще один момент. На каждый супер-влан обычно испоьзуется одна подсеть. А у вас там их несколько secondary. 2. А зачем вы супер-влан повесили антагом на десяток портов? У вас насколько я понял два коммутатора. Оставьте на одном один супер влан, вланы сегментов и влан с серверами. А все остальные задачи снимите. Так будет проще разобраться. Возможно у вас какая то из задач в определенные моменты времени загружает процессорв... да вариантов масса. Упрощайте схему.
Gang Posted May 26, 2011 Author Posted May 26, 2011 sh conf vlan в личку сейчас отправлю 1. Еще один момент. На каждый супер-влан обычно испоьзуется одна подсеть. А у вас там их несколько secondary. 2. А зачем вы супер-влан повесили антагом на десяток портов? У вас насколько я понял два коммутатора. Оставьте на одном один супер влан, вланы сегментов и влан с серверами. А все остальные задачи снимите. Так будет проще разобраться. Возможно у вас какая то из задач в определенные моменты времени загружает процессорв... да вариантов масса. Упрощайте схему. Насчет антага - там порты пустые. Осталось со старых времен. У нас, второй коммутатор, который был в стеке вышел из строя. Сейчас в ремонте. Смотрел по загрузке, бгп и тд ничего не жрет. Вспомнили такой момент, такая же ситуация, когда часть работало, часть нет, часть временами, когда просто пробовали убирать статикарп паблик с сервера, вот ему так-же плохело. То есть делаю вывод, что не в вланах дело, он что-ли просто умирает от арпов? Вот загрузка его, когда сегодня пробовали с сабами : Mem: 238428K used, 5332K free, 0K shrd, 1660K buff, 94772K cached Load average: 11.86, 10.21, 8.31 (State: S=sleeping R=running, W=waiting) PID USER STATUS RSS PPID %CPU %MEM COMMAND 286 root DW< 0 1 29.7 0.0 [tbcm_msm_tx] 255 root SW< 0 1 14.7 0.0 [bcmTX] 285 root SW 0 1 8.9 0.0 [bcmRX] 3428 root R 896 3427 8.2 0.3 top -d 3 3 root RWN 0 0 4.2 0.0 [ksoftirqd_CPU0] 259 root SWN 0 1 3.5 0.0 [bcmL2XAGE.0] 585 root S < 14M 501 1.8 6.1 ./hal 174 root S 3168 1 1.4 1.2 /exos/bin/epm -t 40 -f /exos/config/epmrc.AdvEdge -d /exos/config/epmdp 457 root S 4804 453 1.1 1.9 ./fdb 517 root S 3248 1 1.1 1.3 ./netTools 254 root SW< 0 1 1.1 0.0 [bcmCNTR.0] 3310 root S 1788 667 0.9 0.7 ./exsshd 599 root S 2576 1 0.7 1.0 ./dot1ag 505 root S 4740 486 0.4 1.9 ./rtmgr update 548 root S 4664 547 0.4 1.9 ./acl 489 root S 3524 487 0.4 1.4 ./mcmgr 479 root S 3104 1 0.4 1.2 ./ospf 437 root S 2376 1 0.4 0.9 ./elsm 159 root S 640 1 0.4 0.2 /sbin/syslogd -m 0 -s 100 510 root S 5236 506 0.2 2.1 ./bgp 471 root S 5236 1 0.2 2.1 ./bgp 456 root S 4804 453 0.2 1.9 ./fdb 431 root S 4804 1 0.2 1.9 ./fdb 508 root S 4664 1 0.2 1.9 ./acl 421 root S 3136 1 0.2 1.2 ./cfgmgr 528 root S 2908 509 0.2 1.1 ./rip show cpu-monitoring CPU Utilization Statistics - Monitored every 10 seconds ----------------------------------------------------------------------- Process 5 10 30 1 5 30 1 Max Total secs secs secs min mins mins hour User/System util util util util util util util util CPU Usage (%) (%) (%) (%) (%) (%) (%) (%) (secs) ----------------------------------------------------------------------- System n/a 39.2 35.7 29.0 28.0 22.9 21.1 91.3 5.73 10156.75 aaa n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.6 5.33 4.76 acl n/a 0.1 0.1 0.4 0.2 0.1 0.1 4.5 21.91 13.08 bgp n/a 0.0 0.0 0.3 0.2 0.1 0.1 21.2 15.85 12.76 brm n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.2 1.57 0.91 cfgmgr n/a 0.0 0.0 0.1 0.2 0.2 0.3 8.8 19.47 8.02 cli n/a 0.0 0.0 0.0 0.0 0.0 0.0 94.6 107.48 13.07 devmgr n/a 0.0 0.0 0.1 0.0 0.0 0.1 3.6 10.60 4.14 dirser n/a 0.0 0.0 0.5 0.1 0.1 0.1 6.1 4.96 6.64 dosprotect n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.5 1.03 0.67 dot1ag n/a 0.0 0.3 0.2 0.3 0.2 0.2 2.8 5.74 16.09 eaps n/a 0.1 0.0 0.1 0.0 0.1 0.1 1.7 4.50 3.85 edp n/a 0.1 0.0 0.1 0.0 0.0 0.0 1.7 2.10 1.71 elrp n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.7 1.15 0.76 elsm n/a 0.1 0.1 0.2 0.2 0.1 0.1 0.7 13.80 8.53 ems n/a 0.0 0.0 1.2 0.3 0.1 0.1 44.3 17.58 16.06 epm n/a 0.4 0.4 0.7 0.9 0.8 0.8 99.9 99.42 46.06 esrp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 2.03 2.71 ethoam n/a 0.0 0.0 0.1 0.0 0.0 0.0 2.0 1.87 1.05 etmon n/a 0.0 0.0 0.2 0.1 0.1 0.1 2.8 4.73 6.72 exacl n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exdhcpsnoop n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exdos n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exfib n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosipv6 n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosmc n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosnvram n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosq n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsflow n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsnoop n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsshd n/a 0.0 0.0 0.0 1.6 0.8 0.5 5.1 18.74 43.26 exvlan n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 fdb n/a 1.8 1.3 2.6 2.5 2.1 2.0 14.1 536.17 227.76 hal n/a 2.0 1.6 2.7 3.1 2.8 2.8 34.7 259.01 456.12 hclag n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.5 1.59 0.80 ipSecurity n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.8 2.28 1.01 isis n/a 0.0 0.0 0.1 0.0 0.1 0.1 4.6 4.63 3.69 lacp n/a 0.1 0.1 0.2 0.2 0.2 0.2 1.2 19.41 9.68 lldp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.8 1.87 1.16 mcmgr n/a 0.2 0.3 0.7 0.7 0.6 0.5 30.8 342.71 346.53 msdp n/a 0.0 0.0 0.2 0.1 0.1 0.1 1.4 4.20 3.76 msgsrv n/a 0.0 0.0 0.0 0.1 0.0 0.0 0.3 2.17 1.27 netLogin n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.1 1.53 0.81 netTools n/a 0.5 0.7 1.5 1.9 1.9 1.3 11.2 66.63 53.87 nettx n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 nodemgr n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 1.61 1.29 ospf n/a 0.0 0.0 0.2 0.1 0.0 0.0 1.3 4.71 4.01 ospfv3 n/a 0.0 0.0 0.1 0.0 0.1 0.1 1.9 4.46 4.58 pim n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.2 5.13 3.27 poe n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.0 1.64 0.96 polMgr n/a 0.1 0.0 2.7 0.5 0.3 0.3 6.4 26.08 6.28 rip n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.2 5.14 5.12 ripng n/a 0.0 0.0 0.2 0.1 0.1 0.1 1.7 4.40 5.50 rtmgr n/a 0.0 0.0 0.3 0.3 0.2 0.2 16.0 9.64 5.63 snmpMaster n/a 0.0 0.0 0.1 0.2 0.2 0.2 3.7 30.70 15.72 snmpSubagent n/a 0.0 0.0 0.0 0.6 0.3 0.3 5.2 45.71 12.16 stp n/a 0.0 0.0 0.0 0.0 0.0 0.0 2.1 2.06 1.36 telnetd n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.0 1.47 1.19 tftpd n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.7 0.69 0.61 thttpd n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.7 1.76 0.91 upm n/a 0.0 0.0 0.1 0.0 0.0 0.0 2.5 1.00 0.62 vlan n/a 0.0 0.0 0.1 0.1 0.1 0.1 11.3 20.38 6.66 vrrp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 1.24 0.90 xmld n/a 0.0 0.0 0.0 0.0 0.0 0.0 10.3 1.84 1.01 Схема сейчас проста до безобразия. У меня 8 сегментов, каждый хост внутри которых изолирован до ядра. Я создал 8 вланом, добавил их сабами к теперешнему, убрал на эти 8 портов основной влан, поставил туда эти 8-мь. И начинаются танцы, как ещё упростить?
NEP Posted May 26, 2011 Posted May 26, 2011 И начинаются танцы, как ещё упростить? Добавлять не все сразу 8 сгментов, а по одному. Кстати Load average у вас высокий.
Gang Posted May 26, 2011 Author Posted May 26, 2011 И начинаются танцы, как ещё упростить? Добавлять не все сразу 8 сгментов, а по одному. Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука.
NEP Posted May 26, 2011 Posted May 26, 2011 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше.
Gang Posted May 26, 2011 Author Posted May 26, 2011 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать.
NEP Posted May 26, 2011 Posted May 26, 2011 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать. Так в "главном" у вас должен быть один мак коммутатора! Умирает, а точнее не справляется скорее всего от огромного количества arp запросов в несегментированной сети. Возможно еще стоят какие то защиты от apr flood... Что в логах?
Gang Posted May 27, 2011 Author Posted May 27, 2011 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать. Так в "главном" у вас должен быть один мак коммутатора! Умирает, а точнее не справляется скорее всего от огромного количества arp запросов в несегментированной сети. Возможно еще стоят какие то защиты от apr flood... Что в логах? В логах пусто. На всех портах disable flooding unicast multicast. Ещё надо поиграться с disable flooding broadcast, там вылазили какие-то косяки раньше, потом он и выключен(не disable). Решили в понедельник попробовать такую схему с PVLAN: каждый сегмент в отдельный subscriber(isolated) vlan, сервера оставить в network vlan и вовсе не включать проксиарп(решили пожертвовать локалкой). Сервера из network попадут в fdb таблицу каждого subscriber влана и будут доступны, так, что в теории клиент будет ходить в инет и на сервера, но больше никуда. Что скажете?
NEP Posted May 27, 2011 Posted May 27, 2011 В логах пусто. На всех портах disable flooding unicast multicast. Ещё надо поиграться с disable flooding broadcast, там вылазили какие-то косяки раньше, потом он и выключен(не disable). Решили в понедельник попробовать такую схему с PVLAN: каждый сегмент в отдельный subscriber(isolated) vlan, сервера оставить в network vlan и вовсе не включать проксиарп(решили пожертвовать локалкой). Сервера из network попадут в fdb таблицу каждого subscriber влана и будут доступны, так, что в теории клиент будет ходить в инет и на сервера, но больше никуда. Что скажете? Так клиенты не будут видеть друг друга через коммутатор. Попробуйте все таки subscriber(non-isolated) + proxy arp.
Gang Posted June 7, 2011 Author Posted June 7, 2011 Все, закончились разновидности вланов) Пробовали private-vlan: Сначала все сегменты и сервер в non-isolated subcriber + proxy arp, потом пробовали сервера оставлять в network влане без проксиарпа(кстати даже без проксиарпа ходят пинги между сабскрайберами, даже если они isolated). Пробовали на старой прошивке, пробовали на новой. Результат один и тот-же непотнятные глюки, переодически отваливаются пинги на сервера в любом из вариантов. Что через проксиарп, что так. Но в этот раз были хорошие пинги на экстрим. На новой прошивке, после удаления влана servers с порта серверов и добавления на порт network vlan, ушел в ребут с ошибкой, к сожалению вывод был потерян виндовым хипертерминалом, в логах не осталось.... Вернули все обратно. Куда копать, что делать?
Кеша Posted June 7, 2011 Posted June 7, 2011 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме.
Пончо Posted June 7, 2011 Posted June 7, 2011 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме. К нему 10G припаять можно?
assasinwar Posted June 7, 2011 Posted June 7, 2011 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме. К нему 10G припаять можно? 3560E поддерживает 2 x 10G
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now