Jump to content

Флуд в сети - поиск возможных причин


Recommended Posts

Обращаюсь за помощью к коллективному разуму.
Попалась сеть в условное обслуживание. В ней есть проблема в рандомный период времени - не важно  хоть в час пик, хоть ночью, хоть раз неделю, но может и  пару раз за день происходит следюущие: перестают быть доступны все шлюзы абонентов с реальными IP (соответсвтенно и все абоненты  по всех 9 сетках /24). Пинги проскакивают один из 20. Тоесть недоступость почти 100%. Прекращается все если не трогать максимум за 15 минут, но бывает и за минут 5 попустит. Ну или лечится ребутом одного агрегационного узла на 48 даунлинков (extreme x450a-24x, soft 15.3.5.2 patch1-12 + dgs-3120-24sc прошивка последняя). Все менеджмент сетки при этом живут (шлюзы менеджмента на другом сервере висят и  естественно в каждая в разных вланах). Бывает помогает потушить один из домов оптического свитча и шлюзы отпускает, но иногда тушение одного порта помогает, иногда другой, конкретно грешить на какой-то дом не могу. С этого агрегационного узла все даунлинки только на управляемые домовые свитчи, тупых линков нет, медных колбас тоже. Всего в сети 9 агрегационных узлов с 20-30 даунлинками в сторону домов. Все агрегационные узлы стекаются в ящик extreme bd 8810, с него линк на фрибсд сервак где и висят все шлюзы для абонентов. Схема чистая звезда, петли на аплинках исключены.
Суммарно по сети примерно 150 управляемых коммутаторов, тупых линков  в виде медик+тупарь штук 30-40 (в основном где по 1-2 абонента, в дальнейшем и эти  точки заменятся на управляемые).

На каждом агрегационном узле своя менеджмент сеть /24 и свой абонская сеть тоже /24 с реальниками. Адреса все статикой. Тоесть суммарно 9 менеджмент подсетей и 9 подсетей абонских  (конечно же разбито все на 9 вланов все и в менеджменте и отдельными 9 вланов в абонских сетках)
Схема набросками следующая:
image.thumb.png.e9c47f276981cc4df559057d05cab4c1.png


Оптические коммутаторы на агрегациях следующие:
Extreme x450a-24x, Dlink DGS-3120-24sc, Edge-Core ES4612, Dlink DGS-3612G, TP-Link TL-SG5412F
Коммутаторы на домах таких моделей:
Extreme summit x150, x250, x350, x450, 200-24, 200-48
Dlink DES-3200-10/28
Cisco WS-C2960-24TC-L, 8TC-L, WS-C2950, WS-C2940, WS-C3560/3750
Huawei S2326TP-EI/S2309
TP-Link TL-SL2210WEB
В % соотношениях: экстримов 75%, хуавеев 10%, длинки 10%, циски 5%

На всех экстримах  и длинках включен dos-protect. На всех свитчах включены шторм контроли, бродкаст/мультикаст контроли с огричением в 5% от пропускной спосбности порта, джамбофреймы везде отключены. dhcp snooping включены везде. loopdetect на всех абонских поратх включены. IGMP snooping тоже везде включен, но по нему я заметил, что когда на аксес свитчах чекаю igmp snooping querier , то querier-ом как правило выступают абоны, а это я так понимаю не есть хорошо и квериером должен быть онли шлюз. но вряд ли это ложит шлюзы. В логах свичтей и на графиках я не вижу ни всирания цпу ничего. Но заметил странную тенденцию - на аксес свитчах в момент начала вот такого флуда даунятся как правило линки на конце которых висят,  опростят меня боги - наши "любимые" тенды. Проблема не в них - я ради инетереса тушил вообще все порты с тендами (их суммарно по сети не более полутора десятка, флуд все равно происходил).
Единственное что на свитчах не настроено это защита arp spoofing. Похоже ли это на бомбежку арпами от которых шлюзы с ума сходят? Понятно что правильнее будет зеркалить трафик на ящике  BD 8810 c порта уходящего на сервак freebsd с шлюзами абонентов (я так и планирую делать), но пока едет сборка на х99 китайце под тазик, то приходится только догадки догадывать. Ах да,  доступа на сервак с фрибсд у меня отсутствует, потому зайти на него и глянуть что у него в логах я не могу. Куда еще можно покопать?, у кого может мысля проявится, может что на аксесах подонастраивать, но я уже не представляю что.

Link to post
Share on other sites
  • Replies 82
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

А в случае куинку - вообще пофику. Про дизайн сети поржал. Когда то была такая штука - куча материнок(asrock вроде) с завода имела на сетевухе один МАС на тысячах партий. Ну или всякие там любите

Ненене. Стапэ. Unknown unicast может наливаться в чужие порты того же влана. Если мусорный трафик бегает между вланами - значит корневым маршрутизатором работает или микротик, или фрибсд с бриджа

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и л

Posted Images

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

Link to post
Share on other sites

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

image.png.a546b57e4eabc122cb95dae95bcae262.png

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

  • Like 2
Link to post
Share on other sites
1 час назад, rtrt сказал:

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

 

port-isolate тоже включен
 

 

1 час назад, Туйон сказал:

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

image.png.a546b57e4eabc122cb95dae95bcae262.png

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

я тенды все тушил, флуд все равно происходил

Link to post
Share on other sites
1 минуту назад, scaran сказал:

port-isolate тоже включен
 

 

я тенды все тушил, флуд все равно происходил

Мониторинг есть ? 

Может банально это не флуд а ошибки на портах при достижение определенного количества трафика?

в идеале поставить пинги на все свичи и анализировать какая ветка пошла первая гулять ( так как мы рассматриваем что это 1 клиент буянит ,а это может быть и 2-3)

Раздробите абонентов  хотя бы влан - свич.

Протестируйте может ли абонент с ветки 1  пинговать абонента ветки 2 ... у нас была такая фигня когда тип авторизации был статик ip . ( изоляция на свичай / портах не было) итого весь траф ходил аж через сервер 

  • Like 1
Link to post
Share on other sites
2 минуты назад, Земеля сказал:

Мониторинг есть ? 

Может банально это не флуд а ошибки на портах при достижение определенного количества трафика?

в идеале поставить пинги на все свичи и анализировать какая ветка пошла первая гулять ( так как мы рассматриваем что это 1 клиент буянит ,а это может быть и 2-3)

Раздробите абонентов  хотя бы влан - свич.

Протестируйте может ли абонент с ветки 1  пинговать абонента ветки 2 ... у нас была такая фигня когда тип авторизации был статик ip . ( изоляция на свичай / портах не было) итого весь траф ходил аж через сервер 

Ошибок на портах я по всем агрегациям проходился и не находил вообще. Абоненты в плане маршрутизации конечно же друг друга видят. Сейчас раздроблено отдельный влан на свитч агрегации. С каждого узла агрегации абонов максимум штук 100-120 висит. ( в среднем активных 50-60).

Link to post
Share on other sites
1 час назад, rtrt сказал:

а абоны друг-друга "видят"?

может настроить что-то трафик-сегментации(длинк терминология)

 

port-isolate тоже включен
 

 

1 час назад, Туйон сказал:

Если в сети есть старые тенды, с "некрасивым" веб-интерфейсом (не знаю как верно описать), вобщем старье 10-летней давности. Их отличительная черта - если их пинговать то TTL=128. Это говно флудит и ложит сети только так. Лучшее решение - выбросить их нах@р. Альтернативное решение - прошивать их более новой прошивкой. После смены прошивки ведут себя нормально. И TTL=64, это признак того, что прошивка та что надо. Интерфейс меняется на новый, более красивый скажем так.

Вот добавил фото тенды со старым интерфейсом. Эти тенды флудят.

image.png.a546b57e4eabc122cb95dae95bcae262.png

Так же прошу ознакомиться с МОЕЙ ТЕМОЙ по этому поводу.

я тенды все тушил, флуд все равно происходил

Link to post
Share on other sites
19 минут назад, scaran сказал:

Ошибок на портах я по всем агрегациям проходился и не находил вообще. Абоненты в плане маршрутизации конечно же друг друга видят. Сейчас раздроблено отдельный влан на свитч агрегации. С каждого узла агрегации абонов максимум штук 100-120 висит. ( в среднем активных 50-60).

Банальный способ 

если есть мониторинг состояние Лан портов всего оборудования

Банально взять данные за 2-3 последние флуда, и глянуть по свичам какие порты были поднятые до флуда .. и банально методом исключения. 

Link to post
Share on other sites

 Во время проблемы или в течении пяти минут после посмотрите на huawei командой display interface brief скорость на портах. Если скорость 50-60% на всех поднятых портах, значит широковещательный флуд внутри сети.

Link to post
Share on other sites
15 минут назад, KaYot сказал:

Флуд в разных вланах невозможен. Если синхронно лагает вся сеть - смотри скорее на ддос из мира.

у нас был прикол когда у оператора была построенная сеть по аналогии, а клиент просто кинул кибель с соседнего дома и вставлял его в другой свич 

делал аля петлю на гиг портах. 

Link to post
Share on other sites

Если трафик бегает между абонентскими VLAN-ми, скорее всего, надо смотреть наличие и блокировать Unknown Unicast Flood в маршрутизаторе который видит все абонентские VLAN.

Во всяком случае я на этих граблях танцевал...

  • Like 1
Link to post
Share on other sites

Ненене. Стапэ.

Unknown unicast может наливаться в чужие порты того же влана. Если мусорный трафик бегает между вланами - значит корневым маршрутизатором работает или микротик, или фрибсд с бриджами. В обоих случаях медицина бессильна.

 

Лично у меня после внедрения vlan per user в хелпдеске исчезли причины флуд и кольцо. Эти проблемы начинаются и заканчиваются на порту абонента, что бы он ни делал.

Edited by KaYot
  • Like 3
Link to post
Share on other sites
9 минут назад, scaran сказал:

This. Уверен почти на 99.9999%

Ну тогда к сожалению у вас 1 влан на всю сеть, и источником граблей может быть что угодно вообще. Начиная от подгоревшего порта свича, заканчивая зависшей ОНУ или тендой у абонента. И лечить это можно только просматривая логи длинков и отключая порты на агрегации.

Link to post
Share on other sites
On 8/4/2023 at 12:11 AM, scaran said:

Ах да,  доступа на сервак с фрибсд у меня отсутствует, потому зайти на него и глянуть что у него в логах я не могу. Куда еще можно покопать?

В чем проблема с доступом на сервер фрибсд? Без доступа можно вечность гадать по фото.

Link to post
Share on other sites

Кто силен в готовке экстримов? Нашел еще один параметр который не включал: egress flood control, по умолчанию для бродакста, мультикаста и юникаста оно включено, тоесть разрешен флуд.

к примеру из первого disable flooding unicast port 1-48 - запретить флуд юникаст пакетов с неизвестным dst-mac в порт 1-48, вопрос на аплниках тоже запрещать? и стоит ли делать disable flooding broadcast и disable flooding multicast на абонских и аплинк портах, если к примеру адреса и так по статике у всех? Я так пониманию весь этот unknown/bdcast/multicast флуд это для дст мас адресов которые не находятся в fdb свитча и что такая херь разрешается только если такое стоит в корпоративе со всякими  шарами и прочей херней. Просто на абонских портах у меня уже настроены рейтлимиты по типу такого:
config port 4 rate-limit flood broadcast 100
config port 4 rate-limit flood multicast 500
config port 4 rate-limit flood unknown-destmac 50
что кого будет в итоге игнорить - дисейбл флуд будет игнорить рейтлимиты или наоборот рейтлимиты будут игнорить глобальный дисейбл? Если сделать в итоге disable flooding all-cast на абонских портах это ли не тоже самое что и port isolate on по сути? Ведь что так что так у абонов в рамках свичта не будет видимости между портами.

Вопрос второй по приниципу изоляции порта и реализации его на хуавеях и экстримах:
Конфиг хуавеев на абонских портах:
loopback-detect recovery-time 255
loopback-detect enable
loopback-detect action shutdown
broadcast-suppression 1
multicast-suppression 2
port-isolate enable group 1
на аплинках:
dhcp snooping trusted
broadcast-suppression 1
multicast-suppression 1

Когда на хуевеях сделать port-isolate на аплинк порту, то инет у абонов пропадают. У экстрима же делаешь config ports all isolate on то все работает у всех

  • Haha 1
Link to post
Share on other sites

1) Зачем делать port-isolate на аплинке ?  port-isolate нужно вкл на access port и разрешать только через аплинк порт трафик. 2) Как писали ранее без понятия что у вас на серваке freebsd гадать можно вечно.

Edited by skybetik
  • Like 1
Link to post
Share on other sites
В 04.08.2023 в 16:24, KaYot сказал:

Флуд в разных вланах невозможен. Если синхронно лагает вся сеть - смотри скорее на ддос из мира.

Возможно так и есть, тут заметил, что момент старта флуда 1в1 совпадает с логами из оптических длинков в которых антиддос врублен. При чем как правило фигурируют 2 гуцульских адреса).
 

2023-08-13 19:26:30 INFO(6) TCP SYN SrcPort Less 1024 is blocked from (IP: 31.41.91.37 Port: 1:24)
2023-08-13 19:26:30 INFO(6) TCP SYN SrcPort Less 1024 is blocked from (IP: 31.41.91.232 Port: 1:24)

Но после попускалова, мусор от этих адресов все равно льется.

Link to post
Share on other sites
В 04.08.2023 в 22:20, KaYot сказав:

Ненене. Стапэ.

Unknown unicast может наливаться в чужие порты того же влана. Если мусорный трафик бегает между вланами - значит корневым маршрутизатором работает или микротик, или фрибсд с бриджами. В обоих случаях медицина бессильна.

 

Лично у меня после внедрения vlan per user в хелпдеске исчезли причины флуд и кольцо. Эти проблемы начинаются и заканчиваются на порту абонента, что бы он ни делал.

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

 

Link to post
Share on other sites
8 минут назад, DenimMark сказал:

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

 

Релеем

  • Haha 1
Link to post
Share on other sites
10 минут назад, DenimMark сказал:

Вибачаюсь, що не зовсім по темі, але таке питаннячко. Як і чим по «нормальному» зробити dhcp при «vlan per user”?

Дякую.

BRASом. Железка терминирующая абонента и ИП ему выдает, запрашивая его у радиуса. Все промышленно-стандартно.

Link to post
Share on other sites
В 16.08.2023 в 09:03, KaYot сказав:

BRASом. Железка терминирующая абонента и ИП ему выдает, запрашивая его у радиуса. Все промышленно-стандартно.

И какой dhcp сервер под freebsd или линукс промышленно-стандартно раздает ip в разные вланы?

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By Javamslx
      Київ потрібен інтернет (волокно) під відеонагляд
      Дві точки Голосієво, Святошино 
      https://maps.app.goo.gl/yMETWNBCqxYvNNWo9?g_st=iv
       
      https://maps.google.com/maps?q=loc:50.49005,30.38276
    • By malenkuy
      Комутатори керовані HUAWEI S2326TP-EI
      В наявності 200шт.
      Ціна 1700грн/шт
      Всі перевірені, без битих портів, в дефолті!
      Кріплення в стійку і кабель живлення в комплекті!

      Відправка по всій Україні! (Нова пошта, Укрпошта, Делівері).

      Спосіб оплати: Перерахунок на ФОП, картка приватбанк або монобанк, оплата при отримані!

       





    • By Pastor911
      Продам свитчи L2 FiberHome s4800 и s4820 2000 грн.шт
      В комплекте шнуры и уши

    • By UpiOs
      Доброго дня! Чи можно тут запитати: яка на сьогодні ціна : PON, пасивна повністю сітка, абонів більше 3т. активних на сьогодні ( + 2т. виїхали) 5 смт+ місто ( частина)+ офіс 140 кв. Чи реально взагалі щось продати?
    • By Artem1986
      Продам сеть в городе Запорожье, центр города. 500 домов, 2000 абонентов. Технология подключения FTTB. Договора с Облэнерго, ЖЭК, ОСББ. Цена 300000$. Телефон 0680363690

×
×
  • Create New...