Падают BRASы

[inspire_871]

Есть в работе несколько BRASов (6), до всех модернизаций в каждом сервере стояли 2 портовые медные интеловские сетевые карты. Было решено расширить 4 наса из 6 с помощью добавления в каждый по сетевой карте с последующим объединением 2 портов одной сетевой в бонд. Софт брасов не новый, едем на том что было ранее настроено. Как итог сейчас имеем: при кратковременном скачке электричества по районам - насы где стоят карты с бондами становятся раком (циклический ребут). Насы где нет бондинга, софт такой же как и в остальных, не уходят в ребут. Думали что проблема может быть из-за бонда, заменили на одном из насов на сетевую x520, проблема осталась. Малейший скачек света тянет в циклический ребут. При отключении электричества на районе на 3-5 минут и с последующим возобновлением проблем не наблюдается, клиенты спокойно подключаются и сервера не падают. Куда копать?

[zulu_Radist]

Мало вводных данных, какая ос, ядро

[inspire_871]

Fedora древняя 3.6.11-4.fc16.i686.PAE

[wantmore]

Что в journal до момента ребута?

[inspire_871]

Железо где проблемы: Xeon X3440 сокет 1156 12 Гб оперы, железо где нет проблем сокет 775 проц X5450 3.00GHz 4 Гб оперы. 

[foreverok]

LC контроллер есть? Может там что то видно?

 

[Den_LocalNet]

Странно что никто не предложил полечить ээ путем установки нормальных Ups. 

Відредаговано 29 квітня, 2020 Den_LocalNet

[nedoinet]

5 часов назад, Den_LocalNet сказал:

Странно что никто не предложил полечить ээ путем установки нормальных Ups. 

ну это же не наш метод)))

[ISK]

9 часов назад, inspire_871 сказал:

Железо где проблемы: Xeon X3440 сокет 1156 12 Гб оперы, железо где нет проблем сокет 775 проц X5450 3.00GHz 4 Гб оперы. 

Метод исключения - не, не пробовали? Ну ладно, озвучу. Тут, на самом деле, могут быть и проблемы с БП и вздутые кондёры и проблемы с охлаждением... Вы бы специалистам™ отдали на диагностику - всяко лучше будет. Или как всегда - начальство жлобствует?

[Sided]

1 час назад, ISK сказал:

Метод исключения - не, не пробовали? Ну ладно, озвучу. Тут, на самом деле, могут быть и проблемы с БП и вздутые кондёры и проблемы с охлаждением... Вы бы специалистам™ отдали на диагностику - всяко лучше будет. Или как всегда - начальство жлобствует?

так тут обычно и начальство пишет ☺️

[zulu_Radist]

Я подумал что серваки сходят с ума изза того что в районах отключают свет и происходит лавинообразная аутентификация клиентов в последствии...

А если бутается сервер аварийно изза электричества, ну тут извините, гланды лечить через анал тупо, вам нужны упсы нормальные.

[ISK]

1 минуту назад, Sided сказал:

так тут обычно и начальство пишет ☺️

Так это таки sehr gut! Пусть видят свои грехи - кто ж им ещё правду в глаза скажет - не подчинённые же...

[inspire_871]

4 часа назад, zulu_Radist сказал:

Я подумал что серваки сходят с ума изза того что в районах отключают свет и происходит лавинообразная аутентификация клиентов в последствии...

Это как раз и происходит, проблема не со светом в серверной, в серверной упсы стоят. Моргает свет на районе и ребуты серверов, при отключении на 2-3-5 минут света на районе с последующим его включением проходит нормально, ничего не ребутится. На бутающихся серваках уже уменьшили PADI, но как оказалось от этого легче не стало. 

[foreverok]

Битва экстрасенсов, не иначе.  Логи? - Не не слышал. Конфиги железа? - да ну нах@р )

Давайте предположим, что БП не вытягивает нагрузку. В штатной ситуации - когда все ровно - процессор курит и переходит в режим энергосбережения. В случае ахтунга, идет увеличение нагрузки на ЦП, и соответственно увеличивается нагрузка на БП.

 

Відредаговано 30 квітня, 2020 foreverok

[nedoinet]

36 минут назад, inspire_871 сказал:

Это как раз и происходит, проблема не со светом в серверной, в серверной упсы стоят. Моргает свет на районе и ребуты серверов, при отключении на 2-3-5 минут света на районе с последующим его включением проходит нормально, ничего не ребутится. 

Не все упсы одинаково полезны. 

[v68]

Проверяйте на наличие дутых конденсаторов на материнских платах, а также в блоках питания.

Если не поможет - попробуйте поменять блок питания.

[inspire_871]

11 минут назад, hex@set сказал:

Не Accel случаем стоит? Наблюдалось похожее поведение на каком-то старом асселе.

Accel. Нет возможности сейчас доступа к логам получить и скинуть сюда. Как лечилось в последние падения насов: отключение самых жирных веток на свитче, насы загружались и после 10 минут старта включались эти самые жирные ветки, авторизация проходила успешно, в ребут ничего не шло. В момент падения/старта 2 наса на другом железе пик PADI в 5200-5500 держат нормально, а 4 других уходят в ребут, и при старте явно что-то их долбит что они в циклический ребут идут. Получается что после выжидания времени после загрузки и включения жирных веток на проблеммные насы летит около 5550-6000 PADI и они отрабатывают и не ложатся. Вообщем как будет лог скину

[ISK]

В 30.04.2020 в 22:06, hex@set сказал:

или как иFedora древний?)

Вот Вы сейчас ностальгию мне навеяли! Сам когда-то с неё начинал c нормальными системами работать! 8-я версия была. 2007 год, если не ошибаюсь...

 

UPD: Нет, всё-таки 7-я и да, 2007 год...

Відредаговано 2 травня, 2020 ISK
UPD

[NaviNavi]

Решили проблему. На 4 насах было обновлено ядро когда добавили сетевые карты и объединены порты в бонд, этот момент забыли и так оно жило до проблем с электричеством на районе. Сегодня откатились к предыдущему ядру и проблема ушла, перезагружали сервера, лавинные PADI запросы в районе 7к были отбиты серверами доступа, то что прописывали в конфиге были обработаны и клиент подключился удачно.

Всем спасибо, проблему решили

[nedoinet]

3 часа назад, NaviNavi сказал:

Решили проблему. На 4 насах было обновлено ядро когда добавили сетевые карты и объединены порты в бонд, этот момент забыли и так оно жило до проблем с электричеством на районе. Сегодня откатились к предыдущему ядру и проблема ушла, перезагружали сервера, лавинные PADI запросы в районе 7к были отбиты серверами доступа, то что прописывали в конфиге были обработаны и клиент подключился удачно.

Всем спасибо, проблему решили

Получаетс все-таки проблема была в массовых запросах подключения от абонов, у которых еще не упала сессия? Из-за чего у ядра сносило крышу?