Что то валит сеть

[Dmitrij F. 0]

Добрый день коллеги! Обращаюсь за помощью может кто то что то подскажит.  Месяца 2 назад начала флудить локация с 4 комутаторами (3 zyxel ies1248, 1 bdcom 3310b). Помогала только перезагрузка вручную так как зайти ни на один свич не удавалось. Потом переставили вход с одного свича на другой. При следующем сбое не работала уже целая сеть. Смотрели через вайршарк во время сбоя ничего аномального не было видно только что ipшки не могли найти шлюз. Меняли вход SFP модули с 40км на 20км - ничего. В логах свичей тоже ничего не видно только как вручную выключали порты во время сбоя. Сеть гигабитная, при сбое 800-850 мегабит валит ниоткуда. При чем все коммутаторы находятся в другом влане от абонентского но все они недоступны во время сбоя. Что заметили как только прервать связь с локацией(вытянуть сфп, выключить порт.) с тех 4 свичей сразу все нормализуется и даже проблемная локация работает, до следующего сбоя. Причем само часто сбой возникает в субботу реже в воскресенье и в основном вечером после 4. Бывало и в обычные дни. Уже сил нету боротся с этим явлением. Перебробовали все кроме замены свича, но какого? Их там 4 штуки и гавно явно идет с той стороны. Может кто то сталкивался с подобным? 

[Den_LocalNet 1 474]

вариантов настолько много что тут страниц не хватит писать

 

для начала сегментировать вланами хотя бы один свит - один влан (абонентский)

там где эти вланы терминируете навешать графиков/счетчиков, зеркалить ии смотреть кто происходит во время флуда

пробовать в момент флуда рубить большими кусками так что бы каждый раз откидывать половину (например на подозреваемом узле агрегации откинуть 2 свитча из 4х, должно стать ясно в каких из двух проблема, далее опять половину откидываем и смотрим)

важный момент при ручном откидывании сегментов проверять по 2-3 раза влияние подозреваемого иначе бывает стечение обстоятельств и вот вы уже ищите проблему совсем в другой стороне.

[max_m 92]

может на стороне абона свич стоит и петлю получаете loopb включите на портах, или абон верх тармашками роутер поставил.

в идеале пригнать влан на коммутатор и посмотреть.

Відредаговано 2018-02-20 10:04:40 max_m

[Dmitrij F. 0]

1 минуту назад, max_m сказал:

может на стороне абона свич стоит и петлю получаете loopb включите на портах.

Функция loopback detection стоит на каждом коммутаторе в том числе и на магистральном. В логах не пишет про loop. Я тоже сначала думал про петлю.

[Dmitrij F. 0]

35 минут назад, Den_LocalNet сказал:

вариантов настолько много что тут страниц не хватит писать

 

для начала сегментировать вланами хотя бы один свит - один влан (абонентский)

там где эти вланы терминируете навешать графиков/счетчиков, зеркалить ии смотреть кто происходит во время флуда

пробовать в момент флуда рубить большими кусками так что бы каждый раз откидывать половину (например на подозреваемом узле агрегации откинуть 2 свитча из 4х, должно стать ясно в каких из двух проблема, далее опять половину откидываем и смотрим)

важный момент при ручном откидывании сегментов проверять по 2-3 раза влияние подозреваемого иначе бывает стечение обстоятельств и вот вы уже ищите проблему совсем в другой стороне.

Рубить не получается так как шторм настолько большой что не дает зайти ни на один коммутатор на той стороне. Можно зайти в сети на 3 свича из 9ти у которых проц сильнее чем на тех которые недоступны.  На биллинг серваке который смотрит на сеть проц под 85% переваливал, его норма 5% в час пик 7%.

Не может порт на свиче в принципе коротить или еще что то там и вызывать подобное?

[Ajar 92]

Варианты решения:

1. отключить stp  и на всех портах прописать ограничение для броадкаста/мультикаста

2. настроить stp 

3. выдергивать патчкорды вручную из свитча в момент шторма

4. подключить  snmp свитчей например на cacti , добавить non-unicast графики, порт источник так точно можно будет найти.

[Dmitrij F. 0]

Ограничение стоит storm-control broadcast enable/storm-control broadcast level kbps 1024. Патчкорды выдергивали, пропадало до следующего раза. Работало годами stp форвардинг.

 

[Den_LocalNet 1 474]

51 минуту назад, Dmitrij F. сказал:

Рубить не получается так как шторм настолько большой что не дает зайти ни на один коммутатор на той стороне.

Значит шторм попадает в влан управления... а не должен
Ваша задача изолировать влан управления так что бы в него трафик не попадал

Відредаговано 2018-02-20 11:08:55 Den_LocalNet

[Dmitrij F. 0]

17 минут назад, Den_LocalNet сказал:

Значит шторм попадает в влан управления... а не должен
Ваша задача изолировать влан управления так что бы в него трафик не попадал

Так он изолирован так как абонентская сторона не пингует коммутаторы у нее нет доступа к ним.

[hailnora 128]

Не подключайте абонентов в опорные коммутаторы, участвующие в STP-кольце.

[NiTr0 584]

48 минут назад, Den_LocalNet сказал:

Значит шторм попадает в влан управления...

а не факт. у бдкомов порой отсыхает управление при флуде в абон влане (каких-то 100 мбит). тут скорее всего тот же механизм: ушел в себя бдком - стп пакеты начали теряться - другие свичи решили что там обрыв и пустили траф в бдком - привет кольцо.

 

а так - да, лимиты на бродкаст/мультикаст/неизвестный юникаст как на стп портах так и на абон портах (на стп портах - побольше).

[Земеля 728]

наподобие были такие приколы. В вашем случаи

Идем ножками к узлу

вырубаем все абоненские отводы

когда пинг 1мс

включаем абоненские отводы с интервалом в 5-10 минут

и смотрим по пингам , если пинги пошли вверх и проц в ауте, то рубаем последний отвод, все в норму и так дальше

когда вычислили флудящий отвод, идем дальше по цепочке 

если дошли уже до Олта и там видно что кто-то из абонентов то 

отправляем монтажников на оптический кросс, и рубине ветки внутри дерева и смотрим что и как 

 

аля вспоминаем когда все было на тупариках 

[CoCOsmall 38]

подобное было когдато. клиент себе вписал на сетевуху айпишку шлюза. так как сеть нормально не настроили, были приколы как у вас

[Dmitrij F. 0]

Ножками к узлу каждый раз не получится 18 км в одну сторону.) если кто то поставил бы адрес шлюза это было б видно в логах сервера.

1 час назад, NiTr0 сказал:

а не факт. у бдкомов порой отсыхает управление при флуде в абон влане (каких-то 100 мбит). тут скорее всего тот же механизм: ушел в себя бдком - стп пакеты начали теряться - другие свичи решили что там обрыв и пустили траф в бдком - привет кольцо.

 

а так - да, лимиты на бродкаст/мультикаст/неизвестный юникаст как на стп портах так и на абон портах (на стп портах - побольше).

У нас топология сети звезда там нет колец.

[Земеля 728]

20 минут назад, Dmitrij F. сказал:

Ножками к узлу каждый раз не получится 18 км в одну сторону.) если кто то поставил бы адрес шлюза это было б видно в логах сервера.

У нас топология сети звезда там нет колец.

а вы и админ\монтажная бригада?  для таких дел нужно 2-3 человека

как вариант дать бдкому белый ай-пи адрес что бы с мира можно было заходить \ пинговать. и аля ноут с 3г  можно обойтись 

[KaYot 3 708]

47 минут назад, Земеля сказал:

наподобие были такие приколы. В вашем случаи

Идем ножками к узлу

вырубаем все абоненские отводы

когда пинг 1мс

включаем абоненские отводы с интервалом в 5-10 минут

и смотрим по пингам , если пинги пошли вверх и проц в ауте, то рубаем последний отвод, все в норму и так дальше

когда вычислили флудящий отвод, идем дальше по цепочке 

В нормальных сетях, с коммутаторами имеющими нормальное управление в отдельном влане, такая ситуация не возможна.

Или зуксели реально нифига не имеют management vlan, или дизайн сети кривой.

[Земеля 728]

3 минуты назад, KaYot сказал:

В нормальных сетях, с коммутаторами имеющими нормальное управление в отдельном влане, такая ситуация не возможна.

Или зуксели реально нифига не имеют management vlan, или дизайн сети кривой.

не спорю что в нормальных сетах все должно идеально работать.

но ТС сам сказал что Железо поставили, а до ума не довели  

при идеальном должно быть qinq или dhсp82 ( влан на пон дерево)

а у него котлеты и мухи объединились в одном бутерброде 

Відредаговано 2018-02-20 13:30:41 Земеля

[Dmitrij F. 0]

28 минут назад, Земеля сказал:

а вы и админ\монтажная бригада?  для таких дел нужно 2-3 человека

как вариант дать бдкому белый ай-пи адрес что бы с мира можно было заходить \ пинговать. и аля ноут с 3г  можно обойтись 

 

27 минут назад, KaYot сказал:

В нормальных сетях, с коммутаторами имеющими нормальное управление в отдельном влане, такая ситуация не возможна.

Или зуксели реально нифига не имеют management vlan, или дизайн сети кривой.

Зикселя 8-10 лет в работе стоят не только там где есть проблема. У нас их 7 штук на сети. подобного никогда не наблюдалось. И еще раз повторюсь коммутаторы находятся в отдельном влане от абонентского трафика. Но это их не спасает от шторма. Попробуем деревья выключать вручную когда опять начнется.

[Ajar 92]

 А нет случайно интервлан кольца с вланом управления ?

[Dmitrij F. 0]

4 минуты назад, Ajar сказал:

 А нет случайно интервлан кольца с вланом управления ?

Не совсем понимаю.

[NiTr0 584]

1 час назад, Dmitrij F. сказал:

У нас топология сети звезда там нет колец.

ну если так - то с абонента прилетает флуд, раз 800 мбит - это гигабитный клиент явно.

 

1 час назад, KaYot сказал:

В нормальных сетях, с коммутаторами имеющими нормальное управление в отдельном влане, такая ситуация не возможна.

да не факт, от свичей зависит. s2228f при флуде в абонвлане пропадает из сети к примеру. да и другие свичи если у них какие-то софтфичи типа опции 82 включены - тоже от флуда кукожатся.

[Dmitrij F. 0]

1 минуту назад, NiTr0 сказал:

ну если так - то с абонента прилетает флуд, раз 800 мбит - это гигабитный клиент явно.

 

да не факт, от свичей зависит. s2228f при флуде в абонвлане пропадает из сети к примеру. да и другие свичи если у них какие-то софтфичи типа опции 82 включены - тоже от флуда кукожатся.

Гигабита нет ни у кого. На ону по умолчанию 100 стоит на сколько я знаю.

[wantmore 30]

Что у вас включено на коммутаторах? 

[boroda 14]

Тоже самое было недавно, жесткий шторм на всю сеть, почти невозможно зайти на свичи даже в управляющем влане, длится по-разному до 10 минут в разное время. Биллинг Н+, зашел в трафик, а там в этот момент сильные скачки по загрузке тупо на одном клиенте. Оказалось у него был белый адрес и плюс к этому в домашних условиях какой-то игровой сервачек. Трафика валило по графикам до 1Г, все что вмещалось в аплинк, но при этом у клиента был 100М медик, в этом и прикол. Убрали у него белый IP и проблема исчезла 

Так же был прикол с роутером Tenda, тут тупо валил разные сегменты сети, объяснений не нашли, забрали у клиента

Відредаговано 2018-02-20 16:49:42 boroda

[KaYot 3 708]

Кстати да, самое простое объяснение - у вас валит DDos на клиента из интернета. Забиты гигабитные порты трафиком, вот все и лежит.

 

На аплинках что в момент проблемы?