AoW Posted October 10, 2011 at 04:46 PM Posted October 10, 2011 at 04:46 PM сдрассте! Ежедневно, по вечерам загрузка одного ядра из двух, на тачке на которой стоит СТГ, в пол. При этом растут пинги и уменьшаться пропускабельность канала. Трафик чуть более 250 Мб, сетевухи Dlink-530, 2 гб оперативки, в течении дня загрузка проца не более 2 %. время такого трабла все время разная. захват трафика отключил, если днем трафик доростает в пол - то все гуд, а вот вечером - халепа! В чем может быть проблема? Версия газера stg-2.407-p1.. Кто с таким сталкивался? Может меня досят со стороны локалки? Билинг проходящий!
dan_aspire Posted October 10, 2011 at 04:48 PM Posted October 10, 2011 at 04:48 PM Может просто сетевушки не справляются с количеством пакетов?
AoW Posted October 10, 2011 at 05:14 PM Author Posted October 10, 2011 at 05:14 PM до них была е1000 двухпортовая, ситуация особо не поменялась
nightfly Posted October 10, 2011 at 05:18 PM Posted October 10, 2011 at 05:18 PM Таки сетевухи скорее всего. PPS какой? А да, метод захвата чисто случайно не divert? =)
QI_Can9 Posted October 10, 2011 at 05:19 PM Posted October 10, 2011 at 05:19 PM сбалансируй нагрузку между процами.
AoW Posted October 10, 2011 at 05:21 PM Author Posted October 10, 2011 at 05:21 PM сбалансируй нагрузку между процами. как? Таки сетевухи скорее всего. PPS какой? А да, метод захвата чисто случайно не divert? =) уже нет захвата, отключил вчера
AoW Posted October 10, 2011 at 05:23 PM Author Posted October 10, 2011 at 05:23 PM много ресурсов в такой момент забирает ksoftirqd
QI_Can9 Posted October 10, 2011 at 05:26 PM Posted October 10, 2011 at 05:26 PM своими руками я такого не делал (присутствовал ток), но как основное это постивить яндексовые дрова на сетевую с пересборкой ядра
nightfly Posted October 10, 2011 at 06:20 PM Posted October 10, 2011 at 06:20 PM своими руками я такого не делал (присутствовал ток), но как основное это постивить яндексовые дрова на сетевую с пересборкой ядра Яндексовые дрова на Dlink-530? под лЫнух? шутку понял много ресурсов в такой момент забирает ksoftirqd Оно еще и PCI же, правда? Купить нормальную сетевуху, с нормальным количеством очередей и нормально раскидать их по ядрам - помогает. ksoftirqd is a per-cpu kernel thread that runs when the machine is under heavy soft-interrupt load. Soft interrupts are normally serviced on return from a hard interrupt, but it's possible for soft interrupts to be triggered more quickly than they can be serviced. как-бы намекает
Kucher2 Posted October 10, 2011 at 09:09 PM Posted October 10, 2011 at 09:09 PM Было такое у меня: дропались пакеты, "прыгали" пинги. Обсуждали тут где-то долго и упорно примерно с год назад. Были танцы с настройкой. В итоге всё решилось переходом на ядерный NAT, IPFW2 с оптимизацией таблиц и всё такое: банальная перегрузка железа всякими лишними задачами.
Небесный Posted October 11, 2011 at 05:52 AM Posted October 11, 2011 at 05:52 AM Сколько я полазил и начитался - поглядев проблемы с ksoftirqd. Это не проблема в одном месте, а сразу в нескольких. Возможные причины: 1. Драйвер сетевой карты, как и вообще сама сетевая карта возможно не справляется со своей работой. 2. Это всякие там шейперы на Linux и правила фаервола. Где выход один использовать Фрю под такие вещи, как шейпер, полисер и т.п. Ну и есно при большом колличестве правил юзать ipset (был бы рад, если кто-то составил внятный ман и где-то разместил). 3. Внимательно изучить вывод команды sysctl -a | grep conntrack и принять решения о каждом пункте, вчитываясь в гугл о каждом параметре, для чего он нужен. Потом еще AoW забыл вчера посоветовать вот это - http://notes.ghost.dn.ua/node/65 Что есть обезательным, где сервачок пропускает через себя траф. ЗЫ: Ну это то, что мне принес домовой ночью под подушку, пока как бы идей больше нету.
DarkSpider Posted October 11, 2011 at 05:58 AM Posted October 11, 2011 at 05:58 AM Уперся однажды с таким же - забивание проца в потолок. Небесный прав - сначала немного оптимизируем ядро, как в статье, а потом уменьшаем количество правил фаера. Например начинаем активно использовать ipset - не думаю, что открою Америку, но - http://spider.bsyteam.net/1500
madf Posted October 11, 2011 at 06:31 AM Posted October 11, 2011 at 06:31 AM Я не понял, загрузка CPU продолжается с отключенным захватом трафика?
Kucher2 Posted October 11, 2011 at 06:48 AM Posted October 11, 2011 at 06:48 AM захват трафика отключил, если днем трафик доростает в пол - то все гуд, а вот вечером - халепа! Угу. Но шейп-то остался. Похоже тазик не справляется с кол-вом пакетов. Кстати, советую автору темы поставить какой-нить мониторинг системы, вроде Zabbix - здорово помогает разобраться "откуда ноги растут" в таких ситуациях.
Небесный Posted October 11, 2011 at 07:07 AM Posted October 11, 2011 at 07:07 AM Я не понял, загрузка CPU продолжается с отключенным захватом трафика? Раньше при включенном захвате и дет. стат. процес stargazer - отжирал 60-70% - ну как бы при таком колличестве абонентов и при таком трафике относитльно нормально. Отключили захват, отключили дет. стат. - вылазит периодически процесс ksoftirqd, с нагрузкой на одно ядро в 100%. Короче лечение одно, настроить ядро и сделать балансировку по ядрам. И смотреть дальше, пока как бы одно мне на ум приходит.
KaYot Posted October 11, 2011 at 07:19 AM Posted October 11, 2011 at 07:19 AM ksoftirqd съедающий ресурсы намекает на проблемы с шейперами/NAT/firewall. Биллинг тут не при чем, скорее железо свое отжило и требует срочной модернизации(осенью хомячки ринулись в инет, pps ощутимо подрос).
KaYot Posted October 11, 2011 at 07:23 AM Posted October 11, 2011 at 07:23 AM Да, 250мбит днем, когда активно 50 человек и 250мбит вечером, когда активно 200 - две большие разницы. Описанная вами ситуация с 5% и 100% практически нормальна.
Небесный Posted October 11, 2011 at 07:49 AM Posted October 11, 2011 at 07:49 AM Для заметочки на будущее другим, как сделать прерывания между ядрами на сетевых платах http://habrahabr.ru/blogs/sysadm/108240/ Автору темы уже переданная сылка - работаем. )))
AoW Posted October 11, 2011 at 01:10 PM Author Posted October 11, 2011 at 01:10 PM если использовать транк из двух сетевых карточек - как это отразится? будет ли разделение по нагрузке? или нагрузка будет только на одну? Есть возможномть интернет и скрипты онконнект - ондисконект перенести на отдельный нас, и хочу подготовится к этому более основательно
AoW Posted October 12, 2011 at 11:55 AM Author Posted October 12, 2011 at 11:55 AM очередное сдрассте! пока сделали только то что кидал Небесный, за что ему огромное спасибо! Результат на лицо, если раньше пинги росли на 60-70 мсек, а после тютинга только на 10 ))) В субботу ожидается переделка шлюза с использованием ipset: http://spider.bsyteam.net/1500 По завершении отпишусь!
AoW Posted October 31, 2011 at 10:05 AM Author Posted October 31, 2011 at 10:05 AM Всем сдрассте! Наконец-то у меня получилось провести незабываемую ночь на работе и перейти на айписет+НАС+интеловские сетевухи. Пока все работает хорошо, загрузка проца упала в разы, в минуты загрузки ksoftirqd занимает только 7% мощей процессора. Переход можно назвать успешным! Остается открытым вопрос относительно сбора статистики с удаленного НАС-а. Кто-что знает - поделитесь если не жалко!
nightfly Posted October 31, 2011 at 10:08 AM Posted October 31, 2011 at 10:08 AM cap_nf + softflowd - установка/настройка меньше 5 минут. stargazer.conf <Module cap_nf> TCPPort = 42111 UDPPort = 42111 </Module> Пускаем на удаленном хосте softflowd softflowd -i em0 -n хост_старгейзера:42111 В более подробном варианте тут: http://habrahabr.ru/blogs/sysadm/130937/
AoW Posted October 31, 2011 at 10:42 AM Author Posted October 31, 2011 at 10:42 AM а cap_nf + softflowd - установка/настройка меньше 5 минут. stargazer.conf TCPPort = 42111 UDPPort = 42111 Пускаем на удаленном хосте softflowd softflowd -i em0 -n хост_старгейзера:42111 В более подробном варианте тут: http://habrahabr.ru/blogs/sysadm/130937/ будет собирать только информацию об объеме или и информацию о том, кто куда ходит?
nightfly Posted October 31, 2011 at 11:11 AM Posted October 31, 2011 at 11:11 AM softflowd собирает все. Старгейзер будет писать в зависимости от выставленного флага DisabledDetailStat.
AoW Posted November 2, 2011 at 07:11 AM Author Posted November 2, 2011 at 07:11 AM Канал в 300 Мбит. Ночью 30-35 К Пакет. ждем что будет вечером!
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now