загрузка проца

[AoW 17]

сдрассте!

Ежедневно, по вечерам загрузка одного ядра из двух, на тачке на которой стоит СТГ, в пол. При этом растут пинги и уменьшаться пропускабельность канала. Трафик чуть более 250 Мб, сетевухи Dlink-530, 2 гб оперативки, в течении дня загрузка проца не более 2 %.

время такого трабла все время разная. захват трафика отключил, если днем трафик доростает в пол - то все гуд, а вот вечером - халепа! В чем может быть проблема? Версия газера stg-2.407-p1.. Кто с таким сталкивался? Может меня досят со стороны локалки? Билинг проходящий!

[dan_aspire 81]

Может просто сетевушки не справляются с количеством пакетов?

[AoW 17]

до них была е1000 двухпортовая, ситуация особо не поменялась

[nightfly 1 239]

Таки сетевухи скорее всего. PPS какой?

А да, метод захвата чисто случайно не divert? =)

[QI_Can9 3]

сбалансируй нагрузку между процами.

[AoW 17]

сбалансируй нагрузку между процами.

как?

Таки сетевухи скорее всего. PPS какой?

А да, метод захвата чисто случайно не divert? =)

уже нет захвата, отключил вчера

[AoW 17]

много ресурсов в такой момент забирает ksoftirqd

[QI_Can9 3]

своими руками я такого не делал (присутствовал ток), но как основное это постивить яндексовые дрова на сетевую с пересборкой ядра

[nightfly 1 239]

своими руками я такого не делал (присутствовал ток), но как основное это постивить яндексовые дрова на сетевую с пересборкой ядра

Яндексовые дрова на Dlink-530? под лЫнух? шутку понял

 

много ресурсов в такой момент забирает ksoftirqd

Оно еще и PCI же, правда? Купить нормальную сетевуху, с нормальным количеством очередей и нормально раскидать их по ядрам - помогает.

 

ksoftirqd is a per-cpu kernel thread that runs when the machine is under heavy soft-interrupt load. Soft interrupts are normally serviced on return from a hard interrupt, but it's possible for soft interrupts to be triggered more quickly than they can be serviced.

как-бы намекает

[Kucher2 122]

Было такое у меня: дропались пакеты, "прыгали" пинги. Обсуждали тут где-то долго и упорно примерно с год назад. Были танцы с настройкой.

В итоге всё решилось переходом на ядерный NAT, IPFW2 с оптимизацией таблиц и всё такое: банальная перегрузка железа всякими лишними задачами.

[Небесный 26]

Сколько я полазил и начитался - поглядев проблемы с ksoftirqd.

Это не проблема в одном месте, а сразу в нескольких.

Возможные причины:

1. Драйвер сетевой карты, как и вообще сама сетевая карта возможно не справляется со своей работой.

2. Это всякие там шейперы на Linux и правила фаервола. Где выход один использовать Фрю под такие вещи, как шейпер, полисер и т.п. Ну и есно при большом колличестве правил юзать ipset (был бы рад, если кто-то составил внятный ман и где-то разместил).

3. Внимательно изучить вывод команды sysctl -a | grep conntrack и принять решения о каждом пункте, вчитываясь в гугл о каждом параметре, для чего он нужен.

 

 

Потом еще AoW забыл вчера посоветовать вот это - http://notes.ghost.dn.ua/node/65

Что есть обезательным, где сервачок пропускает через себя траф.

 

ЗЫ: Ну это то, что мне принес домовой ночью под подушку, пока как бы идей больше нету.

[DarkSpider 36]

Уперся однажды с таким же - забивание проца в потолок.

Небесный прав - сначала немного оптимизируем ядро, как в статье, а потом уменьшаем количество правил фаера.

Например начинаем активно использовать ipset - не думаю, что открою Америку, но - http://spider.bsyteam.net/1500

[madf 279]

Я не понял, загрузка CPU продолжается с отключенным захватом трафика?

[Kucher2 122]

захват трафика отключил, если днем трафик доростает в пол - то все гуд, а вот вечером - халепа!

Угу.

Но шейп-то остался. Похоже тазик не справляется с кол-вом пакетов.

 

Кстати, советую автору темы поставить какой-нить мониторинг системы, вроде Zabbix - здорово помогает разобраться "откуда ноги растут" в таких ситуациях.

[Небесный 26]

Я не понял, загрузка CPU продолжается с отключенным захватом трафика?

Раньше при включенном захвате и дет. стат. процес stargazer - отжирал 60-70% - ну как бы при таком колличестве абонентов и при таком трафике относитльно нормально.

Отключили захват, отключили дет. стат. - вылазит периодически процесс ksoftirqd, с нагрузкой на одно ядро в 100%.

Короче лечение одно, настроить ядро и сделать балансировку по ядрам. И смотреть дальше, пока как бы одно мне на ум приходит.

[KaYot 3 708]

ksoftirqd съедающий ресурсы намекает на проблемы с шейперами/NAT/firewall. Биллинг тут не при чем, скорее железо свое отжило и требует срочной модернизации(осенью хомячки ринулись в инет, pps ощутимо подрос).

[KaYot 3 708]

Да, 250мбит днем, когда активно 50 человек и 250мбит вечером, когда активно 200 - две большие разницы. Описанная вами ситуация с 5% и 100% практически нормальна.

[Небесный 26]

Для заметочки на будущее другим, как сделать прерывания между ядрами на сетевых платах

http://habrahabr.ru/blogs/sysadm/108240/

Автору темы уже переданная сылка - работаем. )))

[AoW 17]

если использовать транк из двух сетевых карточек - как это отразится? будет ли разделение по нагрузке? или нагрузка будет только на одну? Есть возможномть интернет и скрипты онконнект - ондисконект перенести на отдельный нас, и хочу подготовится к этому более основательно

[AoW 17]

очередное сдрассте!

пока сделали только то что кидал Небесный, за что ему огромное спасибо! Результат на лицо, если раньше пинги росли на 60-70 мсек, а после тютинга только на 10 )))

В субботу ожидается переделка шлюза с использованием ipset: http://spider.bsyteam.net/1500

По завершении отпишусь!

[AoW 17]

Всем сдрассте!

Наконец-то у меня получилось провести незабываемую ночь на работе и перейти на айписет+НАС+интеловские сетевухи. Пока все работает хорошо, загрузка проца упала в разы, в минуты загрузки ksoftirqd занимает только 7% мощей процессора. Переход можно назвать успешным! Остается открытым вопрос относительно сбора статистики с удаленного НАС-а. Кто-что знает - поделитесь если не жалко!

[nightfly 1 239]

cap_nf + softflowd - установка/настройка меньше 5 минут.

 

stargazer.conf

<Module cap_nf>
  TCPPort = 42111
  UDPPort = 42111
</Module>

 

Пускаем на удаленном хосте softflowd

softflowd -i em0 -n хост_старгейзера:42111

 

В более подробном варианте тут: http://habrahabr.ru/blogs/sysadm/130937/

[AoW 17]

а

cap_nf + softflowd - установка/настройка меньше 5 минут. stargazer.conf

  TCPPort = 42111 UDPPort = 42111  

Пускаем на удаленном хосте softflowd

softflowd -i em0 -n хост_старгейзера:42111

В более подробном варианте тут: http://habrahabr.ru/blogs/sysadm/130937/

 

будет собирать только информацию об объеме или и информацию о том, кто куда ходит?

[nightfly 1 239]

softflowd собирает все. Старгейзер будет писать в зависимости от выставленного флага DisabledDetailStat.

[AoW 17]

Канал в 300 Мбит. Ночью 30-35 К Пакет. ждем что будет вечером!