BDCOM P3608-2TE vs Port-Aggregator

[Kto To]

Натолкнулся сегодня на грабли китайского говносетестроения.

 

Схема: FreeBSD сервер с двумя двухпортовыми ET сетевухами.

 

Включен четырьмя патчкордами в BDCOM P3608-2TE (порты g5-g8).

 

На FreeBSD подымаем 2 lagg интерфейса для входа и выхода трафика.

На вход 1 влан в акцесе

на выход пачка вланов в транке.

 

В чем суть дерьма.

 

Port-aggregator1 понялся без проблем и работает (в котором один влан в акцесе)

Port-aggregator2 (в котором пачка вланов) подымается на 1-2 минуты (причем клиентЫ начинают подключаться) и потом port-down пишет. При этом физически порты в АПе, ошибок нет итп.

В логах FreeBSD тихо.

В логах BDCOM-а просто Port-aggregator2 is down.

Передергивание и ребут сервера ни к чему не приводит.

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

Может кто сталкивался с подобной проблемой?

 

П.С. Аналогичная схема с laggX отлично работает с участием Д-Линка, Циско но закупать д-линк с 10г на тот узел нет возможности.

Edited February 10, 2017 by Kto To

[Mikca]

Внезапно конфиги в студию.

[Den_LocalNet]

Как вариант, если вланов много можно их размазать по полам трафика на два интерфейса.

[Kto To]

Как вариант, если вланов много можно их размазать по полам трафика на два интерфейса.

Это я и сделал - не равномерно конечно но все же. Но это "костыльное" решение а хочется нормального решения как на других узлах.

[Kto To]

Внезапно конфиги в студию.

interface Port-aggregator1
 switchport pvid xx
!
interface Port-aggregator2
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!
interface GigaEthernet0/5
 description Server-IN
 aggregator-group 1 mode lacp
 switchport pvid XX
!
interface GigaEthernet0/6
 description Server-OUT
 aggregator-group 2 mode lacp
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!
interface GigaEthernet0/7
 description Server-IN-2
 aggregator-group 1 mode lacp
 switchport pvid xx
!
interface GigaEthernet0/8
 description Server-OUT-2
 aggregator-group 2 mode lacp
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!

Edited February 11, 2017 by Kto To

[blackjack]

 sysctl kern.ipc.nmbclusters   

Что говорит?

[Kto To]

 sysctl kern.ipc.nmbclusters   

Что говорит?

 

kern.ipc.nmbclusters: 1007984

[blackjack]

В rc.conf cloned_interfaces сначала создаются вланы или lagg? У меня был глюк когдато, сначала надо было lagg сделать, а потом вланы. Типа так

cloned_interfaces="lagg0 vlan6 vlan7"

Edited February 11, 2017 by antilenin

[Kto To]

конечно вначале laggX потом вланы.

[blackjack]

А если сделать принудительно ifconfig igbX down && ifconfig igbX up в тот момент когда начинают отваливаться вланы? И netstat -m посмотрите сколько чего используется, может нехватает выделеной памяти гдето. 

Хотя может таки проблема в бдкоме. Прошивку сменить попробуйте.

[Kto To]

#show ver

BDCOM(tm) P3608-2TE Software, Version 10.1.0E Build 36039

Copyright by Shanghai Baud Data Communication CO. LTD.

Compiled: 2016-6-22 15:9:50 by SYS, Image text-base: 0x10000

ROM: System Bootstrap, Version 0.4.5, Serial num:00315000655

System image file is "Switch.bin"

hardware version:V1.0

[Mikca]

interface GigaEthernet0/6
 description Server-OUT
 aggregator-group 2 mode lacp
!
interface GigaEthernet0/8
 description Server-OUT-2
 aggregator-group 2 mode lacp
!

Значится для начала попробуйте вот такие вот настройки на портах.

Второе - есть у меня подозрение что lacp у него работает только passive так что хз как оно вообще поднимает первый аггрегат.

Третье

show version
BDCOM(tm) P3616-2TE Software, Version 10.1.0E Build 37273

У меня не возможно задать aggregator-group 2 mode lacp, обязательно требуется еще и priority.

Пробуйте собрать в начале static, с ним по идее проблем быть не должно.

 

Да, и покажите как вы на фре агрегат конфигурируете.

[Kto To]

cloned_interfaces="lagg0 ..."

ifconfig_lagg0="up laggproto lacp laggport igb0 laggport igb2 a.b.c.d netmask 255.255.255.252"

Обновление П.О. на 3608 какая-то странная лотерея. В свое время я наигрался с одним таким свитчом (вначале после удаленного обновления его пришлось везти а в офис за 50км т.к. почему-то после обновления он не завелся хотя 3310 всегда заводились без проблем). Дальше пробовали лить разные прошивки в него - что выше версии той что была что ниже - все до одного места - не запускается. Запустился только с той версией что у него была "из коробки". После этого как-то ссыкотно эти модели обновлять...

[l1ght]

 

 

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

 

вообще похоже на какой-то больной loopdetect\STP

попробуйте STP выключить

[blackjack]

 

cloned_interfaces="lagg0 ..."

ifconfig_lagg0="up laggproto lacp laggport igb0 laggport igb2 a.b.c.d netmask 255.255.255.252"

Обновление П.О. на 3608 какая-то странная лотерея. В свое время я наигрался с одним таким свитчом (вначале после удаленного обновления его пришлось везти а в офис за 50км т.к. почему-то после обновления он не завелся хотя 3310 всегда заводились без проблем). Дальше пробовали лить разные прошивки в него - что выше версии той что была что ниже - все до одного места - не запускается. Запустился только с той версией что у него была "из коробки". После этого как-то ссыкотно эти модели обновлять...

Волка бояться - в лес не ходить )))

[Kto To]

 

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

 

вообще похоже на какой-то больной loopdetect\STP

попробуйте STP выключить

 

!
!
!
no spanning-tree
!
!
!

В конфиге ОЛТ...

 

В логах пусто - просто тухнет po2 и все. 

[KaYot]

Начинать траблшутинг надо от простого к сложному.

Соберите для начала этот транк статиком, без LACP. Заработает - так и оставьте, нет - ищем дальше.

[Kto To]

На FreeBSD что писать в laggproto ?

[aklex]

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

[blackjack]

Там пооходу 10г включено, а забрать на сервак надо 2.

[Kto To]

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

на бдком приходит 10-ка, с бдкома расходятся еще гигалинки на некоторые районы плюс 8 пон портов плюс за онушками еще есть свитчи с абонами. уперлись там в гигабит - надо расширить

[aklex]

 

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

на бдком приходит 10-ка, с бдкома расходятся еще гигалинки на некоторые районы плюс 8 пон портов плюс за онушками еще есть свитчи с абонами. уперлись там в гигабит - надо расширить

 

В один лаг или портченел не получается все порты от сервера запустить?

Если свободен второй 10G порт на БДКоме то его заюзать на крайняк можно.

[Kto To]

Можно если покупать сетевуху на 10г. В общем - КАК можно было бы сделать я и сам знаю (купить норм коммутатор а ОЛТ оставить как ОЛТ). Но там узел товарищей и они себе там политику делают. Подскажите - для static (не lacp) что в FreeBSD прописывать в laggproto ?

[Mikca]

Можно если покупать сетевуху на 10г. В общем - КАК можно было бы сделать я и сам знаю (купить норм коммутатор а ОЛТ оставить как ОЛТ). Но там узел товарищей и они себе там политику делают. Подскажите - для static (не lacp) что в FreeBSD прописывать в laggproto ?

 

https://www.freebsd.org/cgi/man.cgi?lagg(4)

 

loadbalance или roundrobin смотря чего гоняете.

 

http://muff.kiev.ua/content/lacp-obedinenie-setevykh-interfeisov-s-ispolzovaniem-link-aggregation-control-protocolстаренько но годненько. Обратите внимание на 

Примечание. В некоторых случаях при использовании 802.1Q агрегированный интерфейс не работал. "Лечится" это отключением опции vlanhwtag на сетевых интерфейсах.

Edited February 12, 2017 by Mikca

[Mikca]

Собрали сегодня по моей просьбе стенд:

show version
BDCOM(tm) P3616-2TE Software, Version 10.1.0E Build 37273 
и
Freebsd 10.3-STABLE с драйвером igb

Собственно как и предполагалось, lacp на bdcom работает весьма через ж странно. Нормально заработал только static.

Балансировку не проверял, подозреваю что она тоже далека от идеала.