Gang 5 Опубликовано: 2011-05-25 13:43:19 Share Опубликовано: 2011-05-25 13:43:19 Добрый день! Имеем сеть(все в одном влане), в ядре extreme x450a, на одном из серверов поднят statiarp. Почувствовали необходимость дробления на сегменты. Выбрали схему: traffic segmentation от абонентского порта до агрегации(на агрегации тоже включен) + vlan на агрегатор + vlan agreggation(Super vlan) в ядре. Собственно проблемы с реализацией: Сделали traffic segmentation - с этим проблем нет Создали subvlan'ы на экстриме Подняли прокси арп на экстриме с опцией always Сделали один subvlan на сегмент Убрали статик арп на сервере, очистили арп таблици на сервере и экстриме. И начался бред: часть клиентов просто не видно, часть могут ходить в инет, но им не доступны сервера. Два разных пользователя приходящих с одного сегмента один пингуется с инета, другой нет, при включении subvlan proxy-arp, начинает пинговаться, сервера обоим не доступны. Никакой закономерности. Между хостами в сети тоже, к некоторым нормально ходит через экстрим, к другим - нет. Пробуем второй раз, первый раз делали влан на комутатор, началось что-то похожее. При более 50-ти сабвланов все вообще пропало, пинги на экстрим подскочили до небес. Подсказывали, что может быть причина в стеке, разорвали стек. Сейчас рабочая прошивка: 12.3.1.2 При попытке обновиться на любую другую, например на 12.5.2.6 начинаются ужасные лаги, пинги взлетают до небес, тормозит cli. На старой же - все ок. Подскажите, реализовывал ли кто-то на экстриме что-то подобное. В какую сторону копать? Скажите какие конфиги показать - покажу. Заранее спасибо! P.S.: тема продублирована на наге и хабе Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-25 18:37:43 Share Опубліковано: 2011-05-25 18:37:43 Добрый день! Имеем сеть(все в одном влане), в ядре extreme x450a, на одном из серверов поднят statiarp. Почувствовали необходимость дробления на сегменты. Выбрали схему: traffic segmentation от абонентского порта до агрегации(на агрегации тоже включен) + vlan на агрегатор + vlan agreggation(Super vlan) в ядре. Собственно проблемы с реализацией: Сделали traffic segmentation - с этим проблем нет Создали subvlan'ы на экстриме Подняли прокси арп на экстриме с опцией always Сделали один subvlan на сегмент Убрали статик арп на сервере, очистили арп таблици на сервере и экстриме. И начался бред: часть клиентов просто не видно, часть могут ходить в инет, но им не доступны сервера. Два разных пользователя приходящих с одного сегмента один пингуется с инета, другой нет, при включении subvlan proxy-arp, начинает пинговаться, сервера обоим не доступны. Никакой закономерности. Между хостами в сети тоже, к некоторым нормально ходит через экстрим, к другим - нет. Пробуем второй раз, первый раз делали влан на комутатор, началось что-то похожее. При более 50-ти сабвланов все вообще пропало, пинги на экстрим подскочили до небес. Подсказывали, что может быть причина в стеке, разорвали стек. Сейчас рабочая прошивка: 12.3.1.2 При попытке обновиться на любую другую, например на 12.5.2.6 начинаются ужасные лаги, пинги взлетают до небес, тормозит cli. На старой же - все ок. Подскажите, реализовывал ли кто-то на экстриме что-то подобное. В какую сторону копать? Скажите какие конфиги показать - покажу. Заранее спасибо! P.S.: тема продублирована на наге и хабе Выведите результат: show fdb stats + show fdb vlan_клиента + show fdb vlan_сервера + show configuration "vlan" Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-25 18:59:33 Share Опубліковано: 2011-05-25 18:59:33 Три результата команды: show iparp proxy vr "VR-Default" с интервалом в 10 секунд. + show iparp Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-25 19:28:44 Автор Share Опубліковано: 2011-05-25 19:28:44 Выведите результат: show fdb stats + show fdb vlan_клиента + show fdb vlan_сервера + show configuration "vlan" Три результата команды: show iparp proxy vr "VR-Default" с интервалом в 10 секунд. + show iparp Сейчас все вернули назад и нет возможности показать. Сейчас и сервера и клиенты в одном влане. sh fdb stats Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 На данный момент не включен проксиарп. sh iparp Dynamic Entries : 6690 Static Entries : 0 Pending Entries : 0 In Request : 3913081 In Response : 606799 Out Request : 3284878 Out Response : 1430428 Failed Requests : 71105 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 14198 Rejected IP : 0.0.0.0 Rejected Port : 24 Rejected I/F : Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes Сейчас в двух тестовых сабвланах находятся два хоста, и при включенном subvlan-proxy-arp на супервлане и на этих сабвланах, все хорошо ходит, даже без включенного iparp proxy. Потому решили сегодня ночью попробовать проделать тоже самое, только не включать iparp proxy и включить subvlan-proxy-arp. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-25 19:36:38 Share Опубліковано: 2011-05-25 19:36:38 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-25 19:45:31 Автор Share Опубліковано: 2011-05-25 19:45:31 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-25 19:46:57 Share Опубліковано: 2011-05-25 19:46:57 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме. Да то что вы очищали еще ни о чем не говорит, надо четко контролировать, что в каждом subvlan у вас только ОДИН! мак клиента и больше на коммутатор маки не прилетают ни из одной точки сети тысячами! Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-25 19:53:30 Автор Share Опубліковано: 2011-05-25 19:53:30 Total: 5695 Static: 1 Perm: 1 Dyn: 5694 Dropped: 0 И вы хотите, что бы в sub-vlan оно работало? Это шутка? У вас похоже на каком то участке сети или даже в самом коммутаторе вланы обмениватся маками, а соотв. они дублируются в fdb или вы в какой то sub-vlan сливаете много маков... и у вас переполняется таблица. В идеале, это 4000 вланов от клиентов + 4000 маков. Как бы все. Все остальные сервисы и вторые 4к клиентов уже за L3. И то, 4к маков и вланов - это предельная нагрузка. Делов в том, что сейчас на одном из серверов включен staticarp с записями permanent published : arp -a | wc -l 6368 что работает как прокси арп, потому я полагаю сейчас такое количество маков на экстриме, но перед вчерашними манипуляциями отключали его и очищали арп таблицу и тут и на экстриме. Да то что вы очищали еще ни о чем не говорит, надо четко контролировать, что в subvlan у вас только ОДИН! мак клиента и больше на коммутатор маки не прилетают ни из одной точки сети тысячами! Мы не используем влан на клиента. traffic_segmentation аж до узлов агреграции + влан узел агрегации. У нас получится 8 больших сегментов - 8 вланов, но клиент будет изолирован до ядра засчет traffic_segmentation. И весь трафик будет ходить через ядро. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-25 20:48:11 Share Опубліковано: 2011-05-25 20:48:11 Мы не используем влан на клиента. traffic_segmentation аж до узлов агреграции + влан узел агрегации. У нас получится 8 больших сегментов - 8 вланов, но клиент будет изолирован до ядра засчет traffic_segmentation. И весь трафик будет ходить через ядро. А в чем тогда роль subvlan? Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-26 02:08:12 Автор Share Опубліковано: 2011-05-26 02:08:12 * Under.53 # sh fdb stats Total: 2186 Static: 0 Perm: 0 Dyn: 2186 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 * Under.54 # sh fdb "servers" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:03:ea:01:5f:75 servers(0700) 0000 d mi 18 00:0e:53:08:6a:bb servers(0700) 0000 d mi 18 00:13:77:77:fb:8f servers(0700) 0000 d mi 18 00:15:17:94:fc:64 servers(0700) 0000 d mi 18 00:15:17:94:fc:65 servers(0700) 0000 d mi 18 00:15:17:9d:cd:ae servers(0700) 0000 d mi 18 00:19:5b:fa:78:d2 servers(0700) 0033 d m 18 00:19:db:cd:34:e2 servers(0700) 0048 d m 18 00:21:91:3e:26:f1 servers(0700) 0000 d mi 18 00:22:15:ec:f6:95 servers(0700) 0000 d mi 18 00:22:15:ec:f6:96 servers(0700) 0000 d mi 18 00:22:15:ec:f6:97 servers(0700) 0000 d mi 18 00:22:15:ec:f6:98 servers(0700) 0000 d mi 18 90:e6:ba:1e:a0:1a servers(0700) 0000 d mi 18 90:e6:ba:c1:40:54 servers(0700) 0047 d m 18 Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2197 Static: 0 Perm: 0 Dyn: 2197 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 Получилось 8 сегментов: vlan1 601 ----------------------------------s-------- ANY 0 /0 VR-Default vlan2 602 ----------------------------------s-------- ANY 0 /0 VR-Default vlan3 603 ----------------------------------s-------- ANY 0 /0 VR-Default vlan4 604 ----------------------------------s-------- ANY 0 /0 VR-Default vlan5 605 ----------------------------------s-------- ANY 0 /0 VR-Default vlan6 606 ----------------------------------s-------- ANY 0 /0 VR-Default vlan7 607 ----------------------------------s-------- ANY 0 /0 VR-Default servers 700 ----------------------------------s-------- ANY 0 /0 VR-Default sh iparp Dynamic Entries : 2483 Static Entries : 0 Pending Entries : 0 In Request : 4857998 In Response : 832860 Out Request : 5691831 Out Response : 1871586 Failed Requests : 363108 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 29413 Rejected IP : 77.87.40.41 Rejected Port : 22 Rejected I/F : iptv Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes Получилось 8 сегментов, каждый в сабвлане + трафик сегментейшин. Смысл в том, что если не раздробить эти сегменты по сабвланам, то получается что броадкасты и вес мусор по л2 ходят из одного сегмента в остальные. Так-же получается все ходит через ядро, даже общение между хостами в своем сегменте, как и при vlan per user. Сделали, часть работает, часть пропадает пинги на сервера, хотя в инет все отлично, никакой закономерности.. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-26 05:31:20 Share Опубліковано: 2011-05-26 05:31:20 Получилось 8 сегментов, каждый в сабвлане + трафик сегментейшин. Смысл в том, что если не раздробить эти сегменты по сабвланам, то получается что броадкасты и вес мусор по л2 ходят из одного сегмента в остальные. Так-же получается все ходит через ядро, даже общение между хостами в своем сегменте, как и при vlan per user. Сделали, часть работает, часть пропадает пинги на сервера, хотя в инет все отлично, никакой закономерности.. Сделайте в этой схеме все команды которые я просил. Что показывает pingarp у клиента, который не видит сервер. С сервера клиент виден? Начните с простой схемы, добавьте один сегмент и сервера. А потом постепенно увеличивайте нагрузку. Но в вашей схеме скорее всего лучше задействовать private-vlan. Super-vlan обычно используется для vlan-per-user. create private-vlan "ISP" configure private-vlan ISP add network SUBNET configure private-vlan ISP add subscriber SEGMENT1 configure private-vlan ISP add subscriber SEGMENT2 ... configure private-vlan ISP add subscriber SERVERS configure vlan SUBNET ipaddress xxxxxxx xxxxxxx/20 enable ipforwarding vlan SUBNET configure iparp add proxy xxxxxxx xxxxxxx/20 vr VR-Default xxxxxxxxx always Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-26 05:41:24 Автор Share Опубліковано: 2011-05-26 05:41:24 Сделайте в этой схеме все команды которые я просил. sh fdb stats Total: 2975 Static: 1 Perm: 1 Dyn: 2974 Dropped: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 sh fdb "clients_vlan1" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:00:f0:78:71:ee clients_vlan1(0608) 0000 d mi 10 00:01:6c:6e:47:d9 clients_vlan1(0608) 0000 d mi 10 00:02:44:97:f4:e1 clients_vlan1(0608) 0000 d mi 10 00:02:46:98:dd:eb clients_vlan1(0608) 0000 d mi 10 00:04:61:49:e4:9a clients_vlan1(0608) 0000 d mi 10 00:04:61:71:ee:2c clients_vlan1(0608) 0000 d mi 10 00:04:75:99:57:97 clients_vlan1(0608) 0000 d mi 10 00:04:96:51:bf:1d clients_vlan1(0608) 0000 d mi 10 00:06:4f:76:96:8d clients_vlan1(0608) 0000 d mi 10 00:07:e9:2a:b5:85 clients_vlan1(0608) 0031 d m 10 00:08:a1:6f:7e:b4 clients_vlan1(0608) 0300 d m 10 00:0a:cd:18:08:68 clients_vlan1(0608) 0000 d mi 10 00:0a:e4:b0:14:31 clients_vlan1(0608) 0000 d mi 10 00:0a:e4:bb:8a:85 clients_vlan1(0608) 0000 d mi 10 00:0c:f1:73:ee:1d clients_vlan1(0608) 0000 d mi 10 00:0e:2e:92:9d:22 clients_vlan1(0608) 0000 d mi 10 00:0e:2e:d4:3e:e6 clients_vlan1(0608) 0000 d mi 10 00:0f:cb:b4:20:a1 clients_vlan1(0608) 0000 d mi 10 00:0f:ea:a4:05:16 clients_vlan1(0608) 0000 d mi 10 00:11:09:0c:36:48 clients_vlan1(0608) 0000 d mi 10 00:11:d8:97:0a:71 clients_vlan1(0608) 0000 d mi 10 ---------- и тд ---- Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2975 Static: 1 Perm: 1 Dyn: 2974 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 ну и тд, таких ещё 7. с разным количеством маков внутри. * Under.44 # sh fdb "servers" Mac Vlan Age Flags Port / Virtual Port List ----------------------------------------------------------------------------- 00:03:ea:01:5f:75 servers(0700) 0000 d mi 18 00:0e:53:08:6a:bb servers(0700) 0000 d mi 18 00:15:17:94:fc:64 servers(0700) 0000 d mi 18 00:15:17:94:fc:65 servers(0700) 0000 d mi 18 00:15:17:9d:cd:ae servers(0700) 0000 spm 18 00:19:db:cd:34:e2 servers(0700) 0002 d m 18 00:21:91:3e:26:f1 servers(0700) 0000 d mi 18 00:22:15:ec:f6:95 servers(0700) 0000 d mi 18 00:22:15:ec:f6:96 servers(0700) 0000 d mi 18 00:22:15:ec:f6:97 servers(0700) 0000 d mi 18 00:22:15:ec:f6:98 servers(0700) 0000 d mi 18 90:e6:ba:1e:a0:1a servers(0700) 0000 d mi 18 90:e6:ba:c1:40:54 servers(0700) 0002 d m 18 Flags : d - Dynamic, s - Static, p - Permanent, n - NetLogin, m - MAC, i - IP, x - IPX, l - lockdown MAC, L - lockdown-timeout MAC, M- Mirror, B - Egress Blackhole, b - Ingress Blackhole, v - MAC-Based VLAN, P - Private VLAN, T - VLAN translation, D - drop packet, h - Hardware Aging. Total: 2984 Static: 1 Perm: 1 Dyn: 2983 Dropped: 0 Locked: 0 Locked with Timeout: 0 FDB Aging time: 300 FDB VPLS Aging time: 15 sh iparp Dynamic Entries : 2990 Static Entries : 0 Pending Entries : 0 In Request : 5114492 In Response : 945429 Out Request : 12566839 Out Response : 2017130 Failed Requests : 1472086 Proxy Answered : 0 Rx Error : 0 Dup IP Addr : 0.0.0.0 Rejected Count : 30852 Rejected IP : Rejected Port : 24 Rejected I/F : Max ARP entries : 8192 Max ARP pending entries : 256 ARP address check: Enabled ARP refresh : Enabled Timeout : 20 minutes iparp proxy выключен. sh conf vlan в личку сейчас отправлю Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-26 05:49:51 Share Опубліковано: 2011-05-26 05:49:51 sh conf vlan в личку сейчас отправлю 1. Еще один момент. На каждый супер-влан обычно испоьзуется одна подсеть. А у вас там их несколько secondary. 2. А зачем вы супер-влан повесили антагом на десяток портов? У вас насколько я понял два коммутатора. Оставьте на одном один супер влан, вланы сегментов и влан с серверами. А все остальные задачи снимите. Так будет проще разобраться. Возможно у вас какая то из задач в определенные моменты времени загружает процессорв... да вариантов масса. Упрощайте схему. Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-26 06:13:09 Автор Share Опубліковано: 2011-05-26 06:13:09 sh conf vlan в личку сейчас отправлю 1. Еще один момент. На каждый супер-влан обычно испоьзуется одна подсеть. А у вас там их несколько secondary. 2. А зачем вы супер-влан повесили антагом на десяток портов? У вас насколько я понял два коммутатора. Оставьте на одном один супер влан, вланы сегментов и влан с серверами. А все остальные задачи снимите. Так будет проще разобраться. Возможно у вас какая то из задач в определенные моменты времени загружает процессорв... да вариантов масса. Упрощайте схему. Насчет антага - там порты пустые. Осталось со старых времен. У нас, второй коммутатор, который был в стеке вышел из строя. Сейчас в ремонте. Смотрел по загрузке, бгп и тд ничего не жрет. Вспомнили такой момент, такая же ситуация, когда часть работало, часть нет, часть временами, когда просто пробовали убирать статикарп паблик с сервера, вот ему так-же плохело. То есть делаю вывод, что не в вланах дело, он что-ли просто умирает от арпов? Вот загрузка его, когда сегодня пробовали с сабами : Mem: 238428K used, 5332K free, 0K shrd, 1660K buff, 94772K cached Load average: 11.86, 10.21, 8.31 (State: S=sleeping R=running, W=waiting) PID USER STATUS RSS PPID %CPU %MEM COMMAND 286 root DW< 0 1 29.7 0.0 [tbcm_msm_tx] 255 root SW< 0 1 14.7 0.0 [bcmTX] 285 root SW 0 1 8.9 0.0 [bcmRX] 3428 root R 896 3427 8.2 0.3 top -d 3 3 root RWN 0 0 4.2 0.0 [ksoftirqd_CPU0] 259 root SWN 0 1 3.5 0.0 [bcmL2XAGE.0] 585 root S < 14M 501 1.8 6.1 ./hal 174 root S 3168 1 1.4 1.2 /exos/bin/epm -t 40 -f /exos/config/epmrc.AdvEdge -d /exos/config/epmdp 457 root S 4804 453 1.1 1.9 ./fdb 517 root S 3248 1 1.1 1.3 ./netTools 254 root SW< 0 1 1.1 0.0 [bcmCNTR.0] 3310 root S 1788 667 0.9 0.7 ./exsshd 599 root S 2576 1 0.7 1.0 ./dot1ag 505 root S 4740 486 0.4 1.9 ./rtmgr update 548 root S 4664 547 0.4 1.9 ./acl 489 root S 3524 487 0.4 1.4 ./mcmgr 479 root S 3104 1 0.4 1.2 ./ospf 437 root S 2376 1 0.4 0.9 ./elsm 159 root S 640 1 0.4 0.2 /sbin/syslogd -m 0 -s 100 510 root S 5236 506 0.2 2.1 ./bgp 471 root S 5236 1 0.2 2.1 ./bgp 456 root S 4804 453 0.2 1.9 ./fdb 431 root S 4804 1 0.2 1.9 ./fdb 508 root S 4664 1 0.2 1.9 ./acl 421 root S 3136 1 0.2 1.2 ./cfgmgr 528 root S 2908 509 0.2 1.1 ./rip show cpu-monitoring CPU Utilization Statistics - Monitored every 10 seconds ----------------------------------------------------------------------- Process 5 10 30 1 5 30 1 Max Total secs secs secs min mins mins hour User/System util util util util util util util util CPU Usage (%) (%) (%) (%) (%) (%) (%) (%) (secs) ----------------------------------------------------------------------- System n/a 39.2 35.7 29.0 28.0 22.9 21.1 91.3 5.73 10156.75 aaa n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.6 5.33 4.76 acl n/a 0.1 0.1 0.4 0.2 0.1 0.1 4.5 21.91 13.08 bgp n/a 0.0 0.0 0.3 0.2 0.1 0.1 21.2 15.85 12.76 brm n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.2 1.57 0.91 cfgmgr n/a 0.0 0.0 0.1 0.2 0.2 0.3 8.8 19.47 8.02 cli n/a 0.0 0.0 0.0 0.0 0.0 0.0 94.6 107.48 13.07 devmgr n/a 0.0 0.0 0.1 0.0 0.0 0.1 3.6 10.60 4.14 dirser n/a 0.0 0.0 0.5 0.1 0.1 0.1 6.1 4.96 6.64 dosprotect n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.5 1.03 0.67 dot1ag n/a 0.0 0.3 0.2 0.3 0.2 0.2 2.8 5.74 16.09 eaps n/a 0.1 0.0 0.1 0.0 0.1 0.1 1.7 4.50 3.85 edp n/a 0.1 0.0 0.1 0.0 0.0 0.0 1.7 2.10 1.71 elrp n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.7 1.15 0.76 elsm n/a 0.1 0.1 0.2 0.2 0.1 0.1 0.7 13.80 8.53 ems n/a 0.0 0.0 1.2 0.3 0.1 0.1 44.3 17.58 16.06 epm n/a 0.4 0.4 0.7 0.9 0.8 0.8 99.9 99.42 46.06 esrp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 2.03 2.71 ethoam n/a 0.0 0.0 0.1 0.0 0.0 0.0 2.0 1.87 1.05 etmon n/a 0.0 0.0 0.2 0.1 0.1 0.1 2.8 4.73 6.72 exacl n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exdhcpsnoop n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exdos n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exfib n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosipv6 n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosmc n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosnvram n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exosq n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsflow n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsnoop n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 exsshd n/a 0.0 0.0 0.0 1.6 0.8 0.5 5.1 18.74 43.26 exvlan n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 fdb n/a 1.8 1.3 2.6 2.5 2.1 2.0 14.1 536.17 227.76 hal n/a 2.0 1.6 2.7 3.1 2.8 2.8 34.7 259.01 456.12 hclag n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.5 1.59 0.80 ipSecurity n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.8 2.28 1.01 isis n/a 0.0 0.0 0.1 0.0 0.1 0.1 4.6 4.63 3.69 lacp n/a 0.1 0.1 0.2 0.2 0.2 0.2 1.2 19.41 9.68 lldp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.8 1.87 1.16 mcmgr n/a 0.2 0.3 0.7 0.7 0.6 0.5 30.8 342.71 346.53 msdp n/a 0.0 0.0 0.2 0.1 0.1 0.1 1.4 4.20 3.76 msgsrv n/a 0.0 0.0 0.0 0.1 0.0 0.0 0.3 2.17 1.27 netLogin n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.1 1.53 0.81 netTools n/a 0.5 0.7 1.5 1.9 1.9 1.3 11.2 66.63 53.87 nettx n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.0 0.00 0.00 nodemgr n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 1.61 1.29 ospf n/a 0.0 0.0 0.2 0.1 0.0 0.0 1.3 4.71 4.01 ospfv3 n/a 0.0 0.0 0.1 0.0 0.1 0.1 1.9 4.46 4.58 pim n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.2 5.13 3.27 poe n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.0 1.64 0.96 polMgr n/a 0.1 0.0 2.7 0.5 0.3 0.3 6.4 26.08 6.28 rip n/a 0.0 0.0 0.1 0.1 0.1 0.1 1.2 5.14 5.12 ripng n/a 0.0 0.0 0.2 0.1 0.1 0.1 1.7 4.40 5.50 rtmgr n/a 0.0 0.0 0.3 0.3 0.2 0.2 16.0 9.64 5.63 snmpMaster n/a 0.0 0.0 0.1 0.2 0.2 0.2 3.7 30.70 15.72 snmpSubagent n/a 0.0 0.0 0.0 0.6 0.3 0.3 5.2 45.71 12.16 stp n/a 0.0 0.0 0.0 0.0 0.0 0.0 2.1 2.06 1.36 telnetd n/a 0.0 0.0 0.0 0.0 0.0 0.0 1.0 1.47 1.19 tftpd n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.7 0.69 0.61 thttpd n/a 0.0 0.0 0.0 0.0 0.0 0.0 0.7 1.76 0.91 upm n/a 0.0 0.0 0.1 0.0 0.0 0.0 2.5 1.00 0.62 vlan n/a 0.0 0.0 0.1 0.1 0.1 0.1 11.3 20.38 6.66 vrrp n/a 0.0 0.0 0.1 0.0 0.0 0.0 1.1 1.24 0.90 xmld n/a 0.0 0.0 0.0 0.0 0.0 0.0 10.3 1.84 1.01 Схема сейчас проста до безобразия. У меня 8 сегментов, каждый хост внутри которых изолирован до ядра. Я создал 8 вланом, добавил их сабами к теперешнему, убрал на эти 8 портов основной влан, поставил туда эти 8-мь. И начинаются танцы, как ещё упростить? Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-26 06:34:24 Share Опубліковано: 2011-05-26 06:34:24 И начинаются танцы, как ещё упростить? Добавлять не все сразу 8 сгментов, а по одному. Кстати Load average у вас высокий. Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-26 06:37:41 Автор Share Опубліковано: 2011-05-26 06:37:41 И начинаются танцы, как ещё упростить? Добавлять не все сразу 8 сгментов, а по одному. Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-26 06:50:03 Share Опубліковано: 2011-05-26 06:50:03 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-26 20:36:25 Автор Share Опубліковано: 2011-05-26 20:36:25 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать. Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-26 20:49:59 Share Опубліковано: 2011-05-26 20:49:59 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать. Так в "главном" у вас должен быть один мак коммутатора! Умирает, а точнее не справляется скорее всего от огромного количества arp запросов в несегментированной сети. Возможно еще стоят какие то защиты от apr flood... Что в логах? Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-05-27 16:15:36 Автор Share Опубліковано: 2011-05-27 16:15:36 Делали постепенно, лаги начинаются все равно, я же говорю, вспомнили, что если просто отключить статикарп, начинается такая-же штука. Попробуйте все таки с private-vlan, как я описал выше. private-vlan - это вообще что-то не то, в сабксрайб влан транслируются все маки из главного. Посмотрел в концепт гайде формулу, то вообще стало страшно. Увеличение в разы фдб таблици явно не оно. Проблема ещё в том, что 70% пользователей прописаны статикой. 4-ре подсети никак не разделены по сегментам, висят алиасами на одном влане. Так исторически сложилось.. Подскажите, какие ещё могут быть варианты, почему он умирает при обновление прошивки и при отключение статик арпа на сервере, может как-то это надо победить, а там и агрегация вланов будет нормально работать. Так в "главном" у вас должен быть один мак коммутатора! Умирает, а точнее не справляется скорее всего от огромного количества arp запросов в несегментированной сети. Возможно еще стоят какие то защиты от apr flood... Что в логах? В логах пусто. На всех портах disable flooding unicast multicast. Ещё надо поиграться с disable flooding broadcast, там вылазили какие-то косяки раньше, потом он и выключен(не disable). Решили в понедельник попробовать такую схему с PVLAN: каждый сегмент в отдельный subscriber(isolated) vlan, сервера оставить в network vlan и вовсе не включать проксиарп(решили пожертвовать локалкой). Сервера из network попадут в fdb таблицу каждого subscriber влана и будут доступны, так, что в теории клиент будет ходить в инет и на сервера, но больше никуда. Что скажете? Ссылка на сообщение Поделиться на других сайтах
NEP 217 Опубліковано: 2011-05-27 19:49:59 Share Опубліковано: 2011-05-27 19:49:59 В логах пусто. На всех портах disable flooding unicast multicast. Ещё надо поиграться с disable flooding broadcast, там вылазили какие-то косяки раньше, потом он и выключен(не disable). Решили в понедельник попробовать такую схему с PVLAN: каждый сегмент в отдельный subscriber(isolated) vlan, сервера оставить в network vlan и вовсе не включать проксиарп(решили пожертвовать локалкой). Сервера из network попадут в fdb таблицу каждого subscriber влана и будут доступны, так, что в теории клиент будет ходить в инет и на сервера, но больше никуда. Что скажете? Так клиенты не будут видеть друг друга через коммутатор. Попробуйте все таки subscriber(non-isolated) + proxy arp. Ссылка на сообщение Поделиться на других сайтах
Gang 5 Опубліковано: 2011-06-07 03:55:18 Автор Share Опубліковано: 2011-06-07 03:55:18 Все, закончились разновидности вланов) Пробовали private-vlan: Сначала все сегменты и сервер в non-isolated subcriber + proxy arp, потом пробовали сервера оставлять в network влане без проксиарпа(кстати даже без проксиарпа ходят пинги между сабскрайберами, даже если они isolated). Пробовали на старой прошивке, пробовали на новой. Результат один и тот-же непотнятные глюки, переодически отваливаются пинги на сервера в любом из вариантов. Что через проксиарп, что так. Но в этот раз были хорошие пинги на экстрим. На новой прошивке, после удаления влана servers с порта серверов и добавления на порт network vlan, ушел в ребут с ошибкой, к сожалению вывод был потерян виндовым хипертерминалом, в логах не осталось.... Вернули все обратно. Куда копать, что делать? Ссылка на сообщение Поделиться на других сайтах
Кеша 543 Опубліковано: 2011-06-07 05:36:07 Share Опубліковано: 2011-06-07 05:36:07 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме. Ссылка на сообщение Поделиться на других сайтах
Пончо 12 Опубліковано: 2011-06-07 06:29:38 Share Опубліковано: 2011-06-07 06:29:38 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме. К нему 10G припаять можно? Ссылка на сообщение Поделиться на других сайтах
assasinwar 7 Опубліковано: 2011-06-07 07:38:34 Share Опубліковано: 2011-06-07 07:38:34 Вернули все обратно. Куда копать, что делать? купить каталист 3550 или 3560, заюзать ip unnumbered + dynamic dhcp route и забыть о проблеме. К нему 10G припаять можно? 3560E поддерживает 2 x 10G Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВхід
Уже зарегистрированы? Войдите здесь.
Войти сейчас