Большой interrupt на одном ядре на маршрутизаторе.

[rusol 0]

Всем привет.

 

Прошу помощи, не могу уже больше года побороть одну проблему.

 

Иногда (раз в неделю, раз в месяц...), в основном в час пик, резко вырастает interrupt на одном из четырех ядер на сервере, на котором FreeBSD 10.1 + Nodeny + IPFW + PF + DHCP, при этом клиенты жалуются, что очень тупит интернету.

 

Я этот симптом вижу на сервере так через top -SHPi:

 

 

Так же наблюдаю значительное увеличение пакетов через команду netstat -hdw1 -i ix0

 

Помогает в таких ситуациях следующее:

 

1. Выключение на пару секунд и включение всех клиентских портов на центральном коммутаторе.

2. Выключение по одному порту на центральном коммутаторе, но не всегда этот метод срабатывает.

3. Иногда помогает перезагрузка сервера (но не всегда).

 

Подскажите, на что в такой ситуации еще обратить внимание? Я ведь купирую следствие проблемы, но саму проблему не могу определить.

 

Готов заплатить за помощь.

 

Відредаговано 2022-11-29 19:53:47 rusol

[zababaha 22]

1. Замените железо на более производительное, а лучше реализуйте схему биллинг отдельно от брасов, которых должно быть несколько.

2. Смените версию FreeBSD на нечетную.

3. Сделайте так, чтобы ipcad потреблял меньше ресурсов (копните в сторону netflow, мануалы на офсайте есть).

Відредаговано 2022-11-29 20:13:19 zababaha

[wantmore 30]

У вас LA майже 4 при чотирьох наявних ядрах. Тобто настав час модернізувати сервер. 

[rusol 0]

Благодарю за ваши ответы!

 

По поводу замены железа на более производительное:

у меня есть ощущение, что происходит резкий скачок количества пакетов, проходимых через сервер, думал может это какие-то атаки и можно как-то обезопасить сервер от них, ведь если поменять железо, а эти атаки продолжатся, возможно ничего не изменится.

 

По поводу смены версии на более новую, это сервак старенький, ему лет 5 точно, может ли такое быть, что 4 года такого не было, а на 5 год появилась эта проблема и может вылечиться переустановкой Фри на более свежую?

 

Ipcad почему-то на скриншоте аномально потреблял проц, обычно это небольшое потребление, в раене 3-4%.
 

Те, що в мене LA майже 4, якщо цей глюк не проявляється, то в мене LA при піковій нагрузці в районі 2, можливо я помиляюсь, але є таке відчуття, що з мережі на сервак різко прилітає штучно згенерована куча пакетів (типу атаки якоїсь) і тоді проявляється такий глюк.

 

Один раз ми навіть вияснили конкретного клієнта, після відключення котрого цей глюк різко пропадав. Але нічого підозрілого в нього не знайшли.

 

[rusol 0]

И вот только-что проявился этот глюк на абсолютно низкой нагрузке (сейчас веерное отключение света, нагрузка на сервер от пиковой максимум 10-15%)

 

Количество пакетов тоже было небольшое (примерно 100К), смотрел через netstat -hdw1 -i ix0, сервак молотит в час пик 200-250К, и все норм.

 

 

 

[rusol 0]

Так же написал скрипт-снятие симптомов этой ситуации методом выключения и включения сетевой карты на маршрутизаторе. Может ли кто-то помочь добавить проверку загрузки interrupt, как только одно из ядер процессора будет больше загружено, чем в сумме все остальные в раза 2, то выключить и включить сетевую. Поставлю в крон, пока буду искать решение этой проблемы.