morfey 82 Posted 2013-01-24 08:13:18 Author Share Posted 2013-01-24 08:13:18 Траффик запрещен, алиасы есть. Нашел абонентский порт где этот "писюн")) вылазит. Отключил, мониторю. Link to post Share on other sites
BUM 245 Posted 2013-01-24 08:20:15 Share Posted 2013-01-24 08:20:15 в момент шторма на BDCOM пробовали clear fdb ? Link to post Share on other sites
alex_o 1,194 Posted 2013-01-24 08:32:37 Share Posted 2013-01-24 08:32:37 в момент шторма на BDCOM пробовали clear fdb ? этож бдком, а не экстрим. clear mac addr dyn Link to post Share on other sites
BUM 245 Posted 2013-01-24 08:36:48 Share Posted 2013-01-24 08:36:48 в момент шторма на BDCOM пробовали clear fdb ? этож бдком, а не экстрим. clear mac addr dyn Суть от этого не меняется) кстати как раз год назад наблюдалась такая же бяка на x650 прошивка 12.5.х, обновились до 12.6.1.3 проблема пропала. Link to post Share on other sites
Гайджин 574 Posted 2013-01-24 08:41:34 Share Posted 2013-01-24 08:41:34 в момент шторма на BDCOM пробовали clear fdb ? Очень здравая мысль - мне такое то же в голову приходило. Запросто может быть какое то триперьё которое генерирует пакеты с разными маками, чем перепирает таблицу коммутации на свиче агрегации. А так как все в одном влане, то свич начинает работать как хаб и разливает вполне себе легеминый трафик по всем портам - вот тебе и графики. Link to post Share on other sites
morfey 82 Posted 2013-01-24 08:41:36 Author Share Posted 2013-01-24 08:41:36 Не, не делал. После того как положил клиентский порт, все утихло. Судя по маку на порту, у клиента тплинк роутер, помониторю и зашлю монтажников поглядеть. P.S. Юзер знакомый попался, говорит что у него роутер Tenda. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 08:47:05 Share Posted 2013-01-24 08:47:05 На картинке - примерная сеть. Что было обнаружено: Роутеры A,B,C работают, все нормально, все хорошо. Вдруг B "гаснет", свич sw1 сносит его mac из таблицы коммутации, но с сервера продолжают еще "долетать" пакеты вида [src IP <a.b.c.d>; dst IP <IP_роутера B>], т.к. сервак ничего не знает о состоянии роутера B и благополучно хранит его MAC в arp-е сервер отправляет соответствующий фрейм в соответствующий интерфейс. Т.к. коммутатор уже MAC для B не помнит, он как и положено футболит фрейм на роутеры A и C, по всем правилам жанра A и C должны его проигнорировать, т.к. dst MAC вовсе не их, НО некоторые роутеры (в лично моем случае это оказались tenda) по необьяснимым причинам берут этот фрейм, извлекают из него соответствующий IP пакет, обнаруживают, что dst IP <IP_роутера B> нах одится за шлюзом по умолчанию (они-то, tend-ы, в другой подсети) и благополучно выпуливают сей пакет обратно на шлюз... Шлюз, как честный маршрутизатор пуляет уже 2 пакета в сторону роутера B, и все повторяется с максимально доступной скоростью пока шлюз наконец не сносит MAC роутера B из arp-а. При всем при этом стоящий в сторонке роутер D (НЕ tenda) так же получает некислый такой всплеск пакетов в свою сторону, но как порядочный роутер игнорит оные, но абоненту от этого не намного легче... Если свичей в цепочке несколько, то эффект проявляется когда истекает таймаут для MAC-ов на свичах. В подобном поведении пока только tenda замечена... Link to post Share on other sites
morfey 82 Posted 2013-01-24 08:50:04 Author Share Posted 2013-01-24 08:50:04 Выше написал, tenda... Как боротся с такими тендами? Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 08:50:05 Share Posted 2013-01-24 08:50:05 Как возможный вариант, если на роутере активировано клонирование MAC-а, он может тоже поступать аналогичным образом. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 08:52:39 Share Posted 2013-01-24 08:52:39 в момент шторма на BDCOM пробовали clear fdb ? Очень здравая мысль - мне такое то же в голову приходило. Запросто может быть какое то триперьё которое генерирует пакеты с разными маками, чем перепирает таблицу коммутации на свиче агрегации. А так как все в одном влане, то свич начинает работать как хаб и разливает вполне себе легеминый трафик по всем портам - вот тебе и графики. В таком варианте со стороны сервака не было бы ответной реакции - MAC не его, значит трафик игнорим, а она (реакция) есть.... Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:01:35 Share Posted 2013-01-24 09:01:35 Выше написал, tenda... Как боротся с такими тендами? Я запретил на рутере с абонентского интерфейса пакеты с src IP адресами, отличными от абонентских, т.е. по схеме выше, сервак от абонов принимает пакеты только с src_IP из Net_1 и Net_2, но это только часть решения, пришлось так же запретить принимать пакеты вида [src ip <Net_1>; dst ip <Net_2>] и наоборот (т.е. запретил общение между абонами разных подсетей). Эффект практически сошел на нет, но окончательно удалось избавиться только после того, как убрал алиасы. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:04:35 Share Posted 2013-01-24 09:04:35 Ну и есть плешь тому, кто эти тенды выпускает.... Пусть прошивку пилит. Link to post Share on other sites
alex_o 1,194 Posted 2013-01-24 09:20:38 Share Posted 2013-01-24 09:20:38 Я запретил на рутере с абонентского интерфейса пакеты с src IP адресами, отличными от абонентских Надо не забывать, что есть еще протоколы Л2-уровня - arp, dhcp, pppoe. Они умеют срать броадкастом. А arp к тому же еще и умеет засорять МАС-таблицы свичей и роутеров. Так что одного только Л3-фильтра по IP недостаточно, надо бы запретить абону по arp анонсить несвой IP и сильно ограничить пропуск броадкаста (например, 10 пакетов в сек). Link to post Share on other sites
Гайджин 574 Posted 2013-01-24 09:22:31 Share Posted 2013-01-24 09:22:31 В таком варианте со стороны сервака не было бы ответной реакции - MAC не его, значит трафик игнорим, а она (реакция) есть.... И где это? Link to post Share on other sites
Гайджин 574 Posted 2013-01-24 09:27:14 Share Posted 2013-01-24 09:27:14 Что было обнаружено: Роутеры A,B,C работают, все нормально, все хорошо. Вдруг B "гаснет", свич sw1 сносит его mac из таблицы коммутации, но с сервера продолжают еще "долетать" пакеты вида [src IP <a.b.c.d>; dst IP <IP_роутера B>], т.к. сервак ничего не знает о состоянии роутера B и благополучно хранит его MAC в arp-е сервер отправляет соответствующий фрейм в соответствующий интерфейс. Т.к. коммутатор уже MAC для B не помнит, он как и положено футболит фрейм на роутеры A и C, по всем правилам жанра A и C должны его проигнорировать, т.к. dst MAC вовсе не их, НО некоторые роутеры (в лично моем случае это оказались tenda) по необьяснимым причинам берут этот фрейм, извлекают из него соответствующий IP пакет, обнаруживают, что dst IP <IP_роутера B> нах одится за шлюзом по умолчанию (они-то, tend-ы, в другой подсети) и благополучно выпуливают сей пакет обратно на шлюз... Шлюз, как честный маршрутизатор пуляет уже 2 пакета в сторону роутера B, и все повторяется с максимально доступной скоростью пока шлюз наконец не сносит MAC роутера B из arp-а. При всем при этом стоящий в сторонке роутер D (НЕ tenda) так же получает некислый такой всплеск пакетов в свою сторону, но как порядочный роутер игнорит оные, но абоненту от этого не намного легче... В Вашей теории есть несколько проблем. Если хост потух, то трафик валиться на него перестанет гораздо раньше, чем протухнет запись в таблице коммутации на свиче агрегации - если конечно чьи то шаловливые ручки айджинг тайм не нарулили. Если Тенда поведет себя таким образом, то на L3 коммутаторе агрегации должно будет так ЦПУ нагрузить, что живые позавидуют мертвым. - А мы Морфея наблюдаем, а если бы вштырило сивч агрегации - не наблюдали бы. Link to post Share on other sites
_WesT_ 1,016 Posted 2013-01-24 09:30:53 Share Posted 2013-01-24 09:30:53 А мы Морфея наблюдаем, а если бы вштырило сивч агрегации - не наблюдали бы. Вот это очень точно сказано Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:35:20 Share Posted 2013-01-24 09:35:20 В Вашей теории есть несколько проблем. Увы, чистейшая практика! 2 дня занимался диагностикой, анализом и отловом. Если хост потух, то трафик валиться на него перестанет гораздо раньше, чем протухнет запись в таблице коммутации на свиче агрегации - если конечно чьи то шаловливые ручки айджинг тайм не нарулили. Если Тенда поведет себя таким образом, то на L3 коммутаторе агрегации должно будет так ЦПУ нагрузить, что живые позавидуют мертвым. - А мы Морфея наблюдаем, а если бы вштырило сивч агрегации - не наблюдали бы. Нет там L3 коммутатора агрегации, весь L3 приземлен прям нашлюзе, от абона до шлюза - только L2. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:39:06 Share Posted 2013-01-24 09:39:06 ув.morfey, вас не затруднит опубликовать график порта свича в сторону шлюза (если возможно - там где именно абонентский трафик гуляет, если у вас на шлюзе 2 или более физических интерфейса) в тот же период, что и графики в первом сообщении?? Link to post Share on other sites
morfey 82 Posted 2013-01-24 09:43:16 Author Share Posted 2013-01-24 09:43:16 На этом графике скачков небыло, только небольшие "обрывы" при пиках этого "шторма". График в личку кинул. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:44:37 Share Posted 2013-01-24 09:44:37 Я запретил на рутере с абонентского интерфейса пакеты с src IP адресами, отличными от абонентских Надо не забывать, что есть еще протоколы Л2-уровня - arp, dhcp, pppoe. Они умеют срать броадкастом. А arp к тому же еще и умеет засорять МАС-таблицы свичей и роутеров. Так что одного только Л3-фильтра по IP недостаточно, надо бы запретить абону по arp анонсить несвой IP и сильно ограничить пропуск броадкаста (например, 10 пакетов в сек). То, что я показал только некую выжимку из всего, что делал вам в голову не пришло?? После анализа бродкаста и мультикаста предположение о высере бродкаста или мультикаста в сеть было забраковано. Прежде, чем выкатить сюда результаты своих изысканий я провел не один час проверяя как минимум 6 гипотез возникновения указанного эффекта, со снифингом, фильтрами блокировками и т.д. и т.п. Описание всех проведенных действий и экспериментов больше смахивало бы на повесть Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 09:52:11 Share Posted 2013-01-24 09:52:11 На этом графике скачков небыло, только небольшие "обрывы" при пиках этого "шторма". График в личку кинул. Сравните масштабы и шкалы! на высланом вами графике около 12:00 и далее 00:00 есть четкие всплкески в 50М как на вход так и на выход, хороше совпадающие с пиками из первого поста. Вы статистику по unicast, broadcast и multicast фреймам со свича снимаете?? усли еще нет - очень советую начать, на ucast эти пики были бы видны очень хорошо. Кроме того отсутствие подобных пиков на bcast и mcast статистике только подтвердило бы мои слова... или наоборот - наличие бы говорило именно о bcast или mcast шторме. Link to post Share on other sites
morfey 82 Posted 2013-01-24 09:57:34 Author Share Posted 2013-01-24 09:57:34 Уже начинаю снимать) Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 10:09:04 Share Posted 2013-01-24 10:09:04 собственно есть простой метод предварительной проверки - гасите найденного абонента на сутки например (их там, кстати, как минимум 2!, на графиках в первом сообщении 2 графика нижние, которые полностью видны) там где 150М пики четко виден не только OUT, но и IN трафик, а вот на 50М IN-а уже нет, вероятно выключены были. Link to post Share on other sites
greyshadow 22 Posted 2013-01-24 10:19:06 Share Posted 2013-01-24 10:19:06 В Вашей теории есть несколько проблем. Если хост потух, то трафик валиться на него перестанет гораздо раньше, чем протухнет запись в таблице коммутации на свиче агрегации - если конечно чьи то шаловливые ручки айджинг тайм не нарулили. Если Тенда поведет себя таким образом, то на L3 коммутаторе агрегации должно будет так ЦПУ нагрузить, что живые позавидуют мертвым. - А мы Морфея наблюдаем, а если бы вштырило сивч агрегации - не наблюдали бы. Кстати, насчет dhcp, arp и т.д. с таймаутами, Вот результат вывода arp-а с самого обычного bsd-ного сервера БЕЗ всяких подкруток, тюнингов и вообще с генерик ядром: (172.17.20.19) at 00:26:2d:61:76:7d on vlan0 expires in 1196 seconds [vlan] т.е. сервак будет его помнить еще более получаса!!! А у свичей как травило таймаут небольшой, например edge-core по дефолту show mac-address-table aging-time Status: Enabled Aging time: 300 sec. Link to post Share on other sites
morfey 82 Posted 2013-01-24 10:27:08 Author Share Posted 2013-01-24 10:27:08 Кстати, нашел другого пациента. Только он онлайн, а "шторма" нет. Как-то резонансно откликнулся.. Link to post Share on other sites
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now