BDCOM P3608-2TE vs Port-Aggregator

Kto To · February 10, 2017 at 11:14 PM

Натолкнулся сегодня на грабли китайского ~~говно~~сетестроения.

Схема: FreeBSD сервер с двумя двухпортовыми ET сетевухами.

Включен четырьмя патчкордами в BDCOM P3608-2TE (порты g5-g8).

На FreeBSD подымаем 2 lagg интерфейса для входа и выхода трафика.

На вход 1 влан в акцесе

на выход пачка вланов в транке.

В чем суть дерьма.

Port-aggregator1 понялся без проблем и работает (в котором один влан в акцесе)

Port-aggregator2 (в котором пачка вланов) подымается на 1-2 минуты (причем клиентЫ начинают подключаться) и потом port-down пишет. При этом физически порты в АПе, ошибок нет итп.

В логах FreeBSD тихо.

В логах BDCOM-а просто Port-aggregator2 is down.

Передергивание и ребут сервера ни к чему не приводит.

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

Может кто сталкивался с подобной проблемой?

П.С. Аналогичная схема с laggX отлично работает с участием Д-Линка, Циско но закупать д-линк с 10г на тот узел нет возможности.

Edited February 10, 2017 at 11:16 PM by Kto To

Mikca · February 10, 2017 at 11:52 PM

Внезапно конфиги в студию.

Den_LocalNet · February 11, 2017 at 12:03 AM

Как вариант, если вланов много можно их размазать по полам трафика на два интерфейса.

Kto To · February 11, 2017 at 08:14 AM

Как вариант, если вланов много можно их размазать по полам трафика на два интерфейса.

Это я и сделал - не равномерно конечно но все же. Но это "костыльное" решение а хочется нормального решения как на других узлах.

Kto To · February 11, 2017 at 08:20 AM

Внезапно конфиги в студию.

interface Port-aggregator1
 switchport pvid xx
!
interface Port-aggregator2
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!
interface GigaEthernet0/5
 description Server-IN
 aggregator-group 1 mode lacp
 switchport pvid XX
!
interface GigaEthernet0/6
 description Server-OUT
 aggregator-group 2 mode lacp
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!
interface GigaEthernet0/7
 description Server-IN-2
 aggregator-group 1 mode lacp
 switchport pvid xx
!
interface GigaEthernet0/8
 description Server-OUT-2
 aggregator-group 2 mode lacp
 switchport trunk vlan-allowed xx-xx,xx-xx,xx
 switchport mode trunk
!

Edited February 11, 2017 at 08:20 AM by Kto To

blackjack · February 11, 2017 at 08:43 AM

 sysctl kern.ipc.nmbclusters

Что говорит?

Kto To · February 11, 2017 at 09:03 AM

 sysctl kern.ipc.nmbclusters   
Что говорит?

kern.ipc.nmbclusters: 1007984

blackjack · February 11, 2017 at 09:24 AM

В rc.conf cloned_interfaces сначала создаются вланы или lagg? У меня был глюк когдато, сначала надо было lagg сделать, а потом вланы. Типа так

cloned_interfaces="lagg0 vlan6 vlan7"

Edited February 11, 2017 at 09:24 AM by antilenin

Kto To · February 11, 2017 at 09:52 AM

конечно вначале laggX потом вланы.

blackjack · February 11, 2017 at 10:10 AM

А если сделать принудительно ifconfig igbX down && ifconfig igbX up в тот момент когда начинают отваливаться вланы? И netstat -m посмотрите сколько чего используется, может нехватает выделеной памяти гдето.

Хотя может таки проблема в бдкоме. Прошивку сменить попробуйте.

Kto To · February 11, 2017 at 10:49 AM



#show ver

BDCOM(tm) P3608-2TE Software, Version 10.1.0E Build 36039

Copyright by Shanghai Baud Data Communication CO. LTD.

Compiled: 2016-6-22 15:9:50 by SYS, Image text-base: 0x10000

ROM: System Bootstrap, Version 0.4.5, Serial num:00315000655

System image file is "Switch.bin"

hardware version:V1.0

Mikca · February 11, 2017 at 11:18 AM

interface GigaEthernet0/6
 description Server-OUT
 aggregator-group 2 mode lacp
!
interface GigaEthernet0/8
 description Server-OUT-2
 aggregator-group 2 mode lacp
!

Значится для начала попробуйте вот такие вот настройки на портах.

Второе - есть у меня подозрение что lacp у него работает только passive так что хз как оно вообще поднимает первый аггрегат.

Третье

show version
BDCOM(tm) P3616-2TE Software, Version 10.1.0E Build 37273

У меня не возможно задать aggregator-group 2 mode lacp, обязательно требуется еще и priority.

Пробуйте собрать в начале static, с ним по идее проблем быть не должно.

Да, и покажите как вы на фре агрегат конфигурируете.

Kto To · February 11, 2017 at 09:01 PM

cloned_interfaces="lagg0 ..."

ifconfig_lagg0="up laggproto lacp laggport igb0 laggport igb2 a.b.c.d netmask 255.255.255.252"

Обновление П.О. на 3608 какая-то странная лотерея. В свое время я наигрался с одним таким свитчом (вначале после удаленного обновления его пришлось везти а в офис за 50км т.к. почему-то после обновления он не завелся хотя 3310 всегда заводились без проблем). Дальше пробовали лить разные прошивки в него - что выше версии той что была что ниже - все до одного места - не запускается. Запустился только с той версией что у него была "из коробки". После этого как-то ссыкотно эти модели обновлять...

l1ght · February 11, 2017 at 09:24 PM

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

вообще похоже на какой-то больной loopdetect\STP

попробуйте STP выключить

blackjack · February 11, 2017 at 10:27 PM

cloned_interfaces="lagg0 ..."

ifconfig_lagg0="up laggproto lacp laggport igb0 laggport igb2 a.b.c.d netmask 255.255.255.252"
Обновление П.О. на 3608 какая-то странная лотерея. В свое время я наигрался с одним таким свитчом (вначале после удаленного обновления его пришлось везти а в офис за 50км т.к. почему-то после обновления он не завелся хотя 3310 всегда заводились без проблем). Дальше пробовали лить разные прошивки в него - что выше версии той что была что ниже - все до одного места - не запускается. Запустился только с той версией что у него была "из коробки". После этого как-то ссыкотно эти модели обновлять...

Волка бояться - в лес не ходить )))

Kto To · February 12, 2017 at 07:40 AM

Но что странное - когда удаляю вланы с po2 - то аггрегатор заводится все гуд и не падает. Добавляю вланы - 1-2 минуты и po2 down.

вообще похоже на какой-то больной loopdetect\STP

попробуйте STP выключить

!
!
!
no spanning-tree
!
!
!

В конфиге ОЛТ...

В логах пусто - просто тухнет po2 и все.

KaYot · February 12, 2017 at 08:37 AM

Начинать траблшутинг надо от простого к сложному.

Соберите для начала этот транк статиком, без LACP. Заработает - так и оставьте, нет - ищем дальше.

Kto To · February 12, 2017 at 09:46 AM

На FreeBSD что писать в laggproto ?

aklex · February 12, 2017 at 09:59 AM

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

blackjack · February 12, 2017 at 10:02 AM

Там пооходу 10г включено, а забрать на сервак надо 2.

Kto To · February 12, 2017 at 10:03 AM

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

на бдком приходит 10-ка, с бдкома расходятся еще гигалинки на некоторые районы плюс 8 пон портов плюс за онушками еще есть свитчи с абонами. уперлись там в гигабит - надо расширить

aklex · February 12, 2017 at 10:39 AM

Как-бы два вопроса.

1) Почему-бы не запихнуть все порт в один лаг?

2) Нужен ли вам канал от БДКОМА 2 Гига? По максимальной нагрузке там можно посадить 512 абонов, на что вам 1 Г порта будет достаточно.

на бдком приходит 10-ка, с бдкома расходятся еще гигалинки на некоторые районы плюс 8 пон портов плюс за онушками еще есть свитчи с абонами. уперлись там в гигабит - надо расширить

В один лаг или портченел не получается все порты от сервера запустить?

Если свободен второй 10G порт на БДКоме то его заюзать на крайняк можно.

Kto To · February 12, 2017 at 05:34 PM

Можно если покупать сетевуху на 10г. В общем - КАК можно было бы сделать я и сам знаю (купить норм коммутатор а ОЛТ оставить как ОЛТ). Но там узел товарищей и они себе там политику делают. Подскажите - для static (не lacp) что в FreeBSD прописывать в laggproto ?

Mikca · February 12, 2017 at 08:24 PM

Можно если покупать сетевуху на 10г. В общем - КАК можно было бы сделать я и сам знаю (купить норм коммутатор а ОЛТ оставить как ОЛТ). Но там узел товарищей и они себе там политику делают. Подскажите - для static (не lacp) что в FreeBSD прописывать в laggproto ?

https://www.freebsd.org/cgi/man.cgi?lagg(4)

loadbalance или roundrobin смотря чего гоняете.

http://muff.kiev.ua/content/lacp-obedinenie-setevykh-interfeisov-s-ispolzovaniem-link-aggregation-control-protocolстаренько но годненько. Обратите внимание на

Примечание. В некоторых случаях при использовании 802.1Q агрегированный интерфейс не работал. "Лечится" это отключением опции vlanhwtag на сетевых интерфейсах.

Edited February 12, 2017 at 08:30 PM by Mikca

Mikca · February 13, 2017 at 06:34 PM

Собрали сегодня по моей просьбе стенд:

show version
BDCOM(tm) P3616-2TE Software, Version 10.1.0E Build 37273 
и
Freebsd 10.3-STABLE с драйвером igb

Собственно как и предполагалось, lacp на bdcom работает весьма ~~через ж~~ странно. Нормально заработал только static.

Балансировку не проверял, подозреваю что она тоже далека от идеала.

Sign In

BDCOM P3608-2TE vs Port-Aggregator

Recommended Posts

Kto To

Mikca

Den_LocalNet

Kto To

Kto To

blackjack

Kto To

blackjack

Kto To

blackjack

Kto To

Mikca

Kto To

l1ght

blackjack

Kto To

KaYot

Kto To

aklex

blackjack

Kto To

aklex

Kto To

Mikca

Mikca

Create an account or sign in to comment

Create an account

Sign in

Recently Browsing 0 members

Similar Content

Заміна процесора bdcom 3608 2te

bdcom Продам BDCOM OLT 1 2 3 4 17

Куплю OLT BDcom 1 2 3 4 16

продам OLT BDCOM 1 2 3 4 8

Продам Juniper EX4500 ( L3, 40 port sfp+) 1 2 3 4 13

Browse

Activity