Флуд в сети - поиск возможных причин

[scaran 1]

Обращаюсь за помощью к коллективному разуму.
Попалась сеть в условное обслуживание. В ней есть проблема в рандомный период времени - не важно  хоть в час пик, хоть ночью, хоть раз неделю, но может и  пару раз за день происходит следюущие: перестают быть доступны все шлюзы абонентов с реальными IP (соответсвтенно и все абоненты  по всех 9 сетках /24). Пинги проскакивают один из 20. Тоесть недоступость почти 100%. Прекращается все если не трогать максимум за 15 минут, но бывает и за минут 5 попустит. Ну или лечится ребутом одного агрегационного узла на 48 даунлинков (extreme x450a-24x, soft 15.3.5.2 patch1-12 + dgs-3120-24sc прошивка последняя). Все менеджмент сетки при этом живут (шлюзы менеджмента на другом сервере висят и  естественно в каждая в разных вланах). Бывает помогает потушить один из домов оптического свитча и шлюзы отпускает, но иногда тушение одного порта помогает, иногда другой, конкретно грешить на какой-то дом не могу. С этого агрегационного узла все даунлинки только на управляемые домовые свитчи, тупых линков нет, медных колбас тоже. Всего в сети 9 агрегационных узлов с 20-30 даунлинками в сторону домов. Все агрегационные узлы стекаются в ящик extreme bd 8810, с него линк на фрибсд сервак где и висят все шлюзы для абонентов. Схема чистая звезда, петли на аплинках исключены.
Суммарно по сети примерно 150 управляемых коммутаторов, тупых линков  в виде медик+тупарь штук 30-40 (в основном где по 1-2 абонента, в дальнейшем и эти  точки заменятся на управляемые).

На каждом агрегационном узле своя менеджмент сеть /24 и свой абонская сеть тоже /24 с реальниками. Адреса все статикой. Тоесть суммарно 9 менеджмент подсетей и 9 подсетей абонских  (конечно же разбито все на 9 вланов все и в менеджменте и отдельными 9 вланов в абонских сетках)
Схема набросками следующая:

Оптические коммутаторы на агрегациях следующие:
Extreme x450a-24x, Dlink DGS-3120-24sc, Edge-Core ES4612, Dlink DGS-3612G, TP-Link TL-SG5412F
Коммутаторы на домах таких моделей:
Extreme summit x150, x250, x350, x450, 200-24, 200-48
Dlink DES-3200-10/28
Cisco WS-C2960-24TC-L, 8TC-L, WS-C2950, WS-C2940, WS-C3560/3750
Huawei S2326TP-EI/S2309
TP-Link TL-SL2210WEB
В % соотношениях: экстримов 75%, хуавеев 10%, длинки 10%, циски 5%

На всех экстримах  и длинках включен dos-protect. На всех свитчах включены шторм контроли, бродкаст/мультикаст контроли с огричением в 5% от пропускной спосбности порта, джамбофреймы везде отключены. dhcp snooping включены везде. loopdetect на всех абонских поратх включены. IGMP snooping тоже везде включен, но по нему я заметил, что когда на аксес свитчах чекаю igmp snooping querier , то querier-ом как правило выступают абоны, а это я так понимаю не есть хорошо и квериером должен быть онли шлюз. но вряд ли это ложит шлюзы. В логах свичтей и на графиках я не вижу ни всирания цпу ничего. Но заметил странную тенденцию - на аксес свитчах в момент начала вот такого флуда даунятся как правило линки на конце которых висят,  опростят меня боги - наши "любимые" тенды. Проблема не в них - я ради инетереса тушил вообще все порты с тендами (их суммарно по сети не более полутора десятка, флуд все равно происходил).
Единственное что на свитчах не настроено это защита arp spoofing. Похоже ли это на бомбежку арпами от которых шлюзы с ума сходят? Понятно что правильнее будет зеркалить трафик на ящике  BD 8810 c порта уходящего на сервак freebsd с шлюзами абонентов (я так и планирую делать), но пока едет сборка на х99 китайце под тазик, то приходится только догадки догадывать. Ах да,  доступа на сервак с фрибсд у меня отсутствует, потому зайти на него и глянуть что у него в логах я не могу. Куда еще можно покопать?, у кого может мысля проявится, может что на аксесах подонастраивать, но я уже не представляю что.

[rtrt 59]

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

[Туйон 1,319]

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

[Туйон 1,319]

Если есть роутеры TP-Link 840 ревизии 5 - с голубеньким интерфейсом - начинать с них.

Отключать IGMP снупинг и прокси.

[scaran 1]

1 час назад, rtrt сказал:

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

 

port-isolate тоже включен
 

 

1 час назад, Туйон сказал:

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

я тенды все тушил, флуд все равно происходил

[Земеля 729]

1 минуту назад, scaran сказал:

port-isolate тоже включен
 

 

я тенды все тушил, флуд все равно происходил

Мониторинг есть ? 

Может банально это не флуд а ошибки на портах при достижение определенного количества трафика?

в идеале поставить пинги на все свичи и анализировать какая ветка пошла первая гулять ( так как мы рассматриваем что это 1 клиент буянит ,а это может быть и 2-3)

Раздробите абонентов  хотя бы влан - свич.

Протестируйте может ли абонент с ветки 1  пинговать абонента ветки 2 ... у нас была такая фигня когда тип авторизации был статик ip . ( изоляция на свичай / портах не было) итого весь траф ходил аж через сервер 

[scaran 1]

2 минуты назад, Земеля сказал:

Мониторинг есть ? 

Может банально это не флуд а ошибки на портах при достижение определенного количества трафика?

в идеале поставить пинги на все свичи и анализировать какая ветка пошла первая гулять ( так как мы рассматриваем что это 1 клиент буянит ,а это может быть и 2-3)

Раздробите абонентов  хотя бы влан - свич.

Протестируйте может ли абонент с ветки 1  пинговать абонента ветки 2 ... у нас была такая фигня когда тип авторизации был статик ip . ( изоляция на свичай / портах не было) итого весь траф ходил аж через сервер 

Ошибок на портах я по всем агрегациям проходился и не находил вообще. Абоненты в плане маршрутизации конечно же друг друга видят. Сейчас раздроблено отдельный влан на свитч агрегации. С каждого узла агрегации абонов максимум штук 100-120 висит. ( в среднем активных 50-60).

[scaran 1]

1 час назад, rtrt сказал:

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

 

port-isolate тоже включен
 

 

1 час назад, Туйон сказал:

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

я тенды все тушил, флуд все равно происходил

[Земеля 729]

19 минут назад, scaran сказал:

Ошибок на портах я по всем агрегациям проходился и не находил вообще. Абоненты в плане маршрутизации конечно же друг друга видят. Сейчас раздроблено отдельный влан на свитч агрегации. С каждого узла агрегации абонов максимум штук 100-120 висит. ( в среднем активных 50-60).

Банальный способ 

если есть мониторинг состояние Лан портов всего оборудования

Банально взять данные за 2-3 последние флуда, и глянуть по свичам какие порты были поднятые до флуда .. и банально методом исключения. 

[KaYot 3,735]

Флуд в разных вланах невозможен. Если синхронно лагает вся сеть - смотри скорее на ддос из мира.

[Belirium 6]

 Во время проблемы или в течении пяти минут после посмотрите на huawei командой display interface brief скорость на портах. Если скорость 50-60% на всех поднятых портах, значит широковещательный флуд внутри сети.

[Земеля 729]

15 минут назад, KaYot сказал:

Флуд в разных вланах невозможен. Если синхронно лагает вся сеть - смотри скорее на ддос из мира.

у нас был прикол когда у оператора была построенная сеть по аналогии, а клиент просто кинул кибель с соседнего дома и вставлял его в другой свич 

делал аля петлю на гиг портах. 

[Wassabi 4]

Если трафик бегает между абонентскими VLAN-ми, скорее всего, надо смотреть наличие и блокировать Unknown Unicast Flood в маршрутизаторе который видит все абонентские VLAN.

Во всяком случае я на этих граблях танцевал...

[KaYot 3,735]

Ненене. Стапэ.

Unknown unicast может наливаться в чужие порты того же влана. Если мусорный трафик бегает между вланами - значит корневым маршрутизатором работает или микротик, или фрибсд с бриджами. В обоих случаях медицина бессильна.

 

Лично у меня после внедрения vlan per user в хелпдеске исчезли причины флуд и кольцо. Эти проблемы начинаются и заканчиваются на порту абонента, что бы он ни делал.

Edited 2023-08-04 19:23:16 by KaYot

[scaran 1]

1 минуту назад, KaYot сказал:

фрибсд с бриджами

This. Уверен почти на 99.9999%?

[KaYot 3,735]

9 минут назад, scaran сказал:

This. Уверен почти на 99.9999%

Ну тогда к сожалению у вас 1 влан на всю сеть, и источником граблей может быть что угодно вообще. Начиная от подгоревшего порта свича, заканчивая зависшей ОНУ или тендой у абонента. И лечить это можно только просматривая логи длинков и отключая порты на агрегации.

[sanyadnepr 305]

On 8/4/2023 at 12:11 AM, scaran said:

Ах да,  доступа на сервак с фрибсд у меня отсутствует, потому зайти на него и глянуть что у него в логах я не могу. Куда еще можно покопать?

В чем проблема с доступом на сервер фрибсд? Без доступа можно вечность гадать по фото.

[scaran 1]

Кто силен в готовке экстримов? Нашел еще один параметр который не включал: egress flood control, по умолчанию для бродакста, мультикаста и юникаста оно включено, тоесть разрешен флуд.

к примеру из первого disable flooding unicast port 1-48 - запретить флуд юникаст пакетов с неизвестным dst-mac в порт 1-48, вопрос на аплниках тоже запрещать? и стоит ли делать disable flooding broadcast и disable flooding multicast на абонских и аплинк портах, если к примеру адреса и так по статике у всех? Я так пониманию весь этот unknown/bdcast/multicast флуд это для дст мас адресов которые не находятся в fdb свитча и что такая херь разрешается только если такое стоит в корпоративе со всякими  шарами и прочей херней. Просто на абонских портах у меня уже настроены рейтлимиты по типу такого:
config port 4 rate-limit flood broadcast 100
config port 4 rate-limit flood multicast 500
config port 4 rate-limit flood unknown-destmac 50
что кого будет в итоге игнорить - дисейбл флуд будет игнорить рейтлимиты или наоборот рейтлимиты будут игнорить глобальный дисейбл? Если сделать в итоге disable flooding all-cast на абонских портах это ли не тоже самое что и port isolate on по сути? Ведь что так что так у абонов в рамках свичта не будет видимости между портами.

Вопрос второй по приниципу изоляции порта и реализации его на хуавеях и экстримах:
Конфиг хуавеев на абонских портах:
loopback-detect recovery-time 255
loopback-detect enable
loopback-detect action shutdown
broadcast-suppression 1
multicast-suppression 2
port-isolate enable group 1
на аплинках:
dhcp snooping trusted
broadcast-suppression 1
multicast-suppression 1

Когда на хуевеях сделать port-isolate на аплинк порту, то инет у абонов пропадают. У экстрима же делаешь config ports all isolate on то все работает у всех

[skybetik 134]

1) Зачем делать port-isolate на аплинке ?  port-isolate нужно вкл на access port и разрешать только через аплинк порт трафик. 2) Как писали ранее без понятия что у вас на серваке freebsd гадать можно вечно.

Edited 2023-08-06 10:52:56 by skybetik

[scaran 1]

В 04.08.2023 в 16:24, KaYot сказал:

Флуд в разных вланах невозможен. Если синхронно лагает вся сеть - смотри скорее на ддос из мира.

Возможно так и есть, тут заметил, что момент старта флуда 1в1 совпадает с логами из оптических длинков в которых антиддос врублен. При чем как правило фигурируют 2 гуцульских адреса).
 

2023-08-13 19:26:30 INFO(6) TCP SYN SrcPort Less 1024 is blocked from (IP: 31.41.91.37 Port: 1:24)
2023-08-13 19:26:30 INFO(6) TCP SYN SrcPort Less 1024 is blocked from (IP: 31.41.91.232 Port: 1:24)

Но после попускалова, мусор от этих адресов все равно льется.

[DenimMark 32]

В 04.08.2023 в 22:20, KaYot сказав:

Ненене. Стапэ.

Unknown unicast может наливаться в чужие порты того же влана. Если мусорный трафик бегает между вланами - значит корневым маршрутизатором работает или микротик, или фрибсд с бриджами. В обоих случаях медицина бессильна.

 

Лично у меня после внедрения vlan per user в хелпдеске исчезли причины флуд и кольцо. Эти проблемы начинаются и заканчиваются на порту абонента, что бы он ни делал.

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

 

[Kiano 616]

8 минут назад, DenimMark сказал:

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

 

Релеем

[KaYot 3,735]

10 минут назад, DenimMark сказал:

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

BRASом. Железка терминирующая абонента и ИП ему выдает, запрашивая его у радиуса. Все промышленно-стандартно.

[Dimkers 1,621]

21 минуту назад, Kiano сказал:

Релеем

хуеем. И где там в запросе вланы?

[DenimMark 32]

В 16.08.2023 в 09:03, KaYot сказав:

BRASом. Железка терминирующая абонента и ИП ему выдает, запрашивая его у радиуса. Все промышленно-стандартно.

И какой dhcp сервер под freebsd или линукс промышленно-стандартно раздает ip в разные вланы?