FreeBSD hi loading CPU

[KaYot]

И почему сразу выкинуть железо? Ну живёт оно себе нормально, не перенагружается

hw.model: Intel® Pentium® CPU G860 @ 3.00GHz

Суть проблемы: иногда, загрузка проца подымается до возможных 100% (проц кстати двухядерка пень 4).

Ты хоть сам понимаешь, какая пропасть поколений между Pentium 4 и Pentium G sandy bridge?

 

Значит не железо виновато, рекомендация стандартна - сносите BSD, ставьте linux.

[l1ght]

 

И почему сразу выкинуть железо? Ну живёт оно себе нормально, не перенагружается

hw.model: Intel® Pentium® CPU G860 @ 3.00GHz

Суть проблемы: иногда, загрузка проца подымается до возможных 100% (проц кстати двухядерка пень 4).

Ты хоть сам понимаешь, какая пропасть поколений между Pentium 4 и Pentium G sandy bridge?

 

Значит не железо виновато, рекомендация стандартна - сносите BSD, ставьте linux.

 

Да я вот думаю в сторону accel-ppp с ipoe, только вот у меня стоит Ubilling, такой он теплый и родной 

Не хочется никуда переходит, да и с фрей мне как-то проще, если не считать этого момента с падением в кору.

По поводу проца - ну я просто перепутал, поэтому и вылажил строчку hw.model, дабы вопросы о железе отпали.

[DemonidZe]

Ubilling на линухе очень даже работает вообще без проблем

[l1ght]

Тут нас + биллинг в одной коробке 

Насколько я помню линуха поддержка была и гарантированя работа исключительно как биллинга.

Качаю убунту.. буду тестить.

Edited May 22, 2014 by L1ght

[DemonidZe]

там тоже нас + билинг в одной коробке блингу все равно  где работать как настроите OnConnect что он будет вносить в фаирвол зависит от вас .

http://wiki.ubilling.net.ua/doku.php?id=setupubuntuserver1204

Edited May 22, 2014 by DemonidZe

[l1ght]

там тоже нас + билинг в одной коробке блингу все равно  где работать как настроите OnConnect что он будет вносить в фаирвол зависит от вас .

http://wiki.ubilling.net.ua/doku.php?id=setupubuntuserver1204

Да я как раз это и прочитал. Ну я так линукс не очень люблю....

Но когда такой выбор стоит - тут уж придётся

[DemonidZe]

а я вот хочу разобраться что за хрень , nas-ы на фре  сам билинг на линухе, уж както очень мне понравился ipfw как-то не охото на  iptables обратно возвращаться

[l1ght]

Ну это разве что ставить свич и зеркалить на порт, а на втором порте сидеть с ваершарком.

Да и мне ipfw по вкус, удобно просто, нет километровых конфигов.

Edited May 22, 2014 by L1ght

[Lambert]

Ну как-то ж работают у людей роутеры под фрей, гигосы гоняют

может сетевушки и вправду сменить?

[l1ght]

Да для таких нагрузок они не должны помирать-то совсем, 70-80 кппс это суммарная нагрузка.

То есть просто netstat -hdw 1

[maxx]

Да для таких нагрузок они не должны помирать-то совсем, 70-80 кппс это суммарная нагрузка.

То есть просто netstat -hdw 1

мол чек. вам дают разумные советы. ет и ай5. Данная конфигурация переваривает до гига трафика и 200 кппс гарантос. А изьеб со старым железом, и фразы должно молотить, ну если вы любите ставить эксперименты на живой рабочей системе, то вперед. Тюньте сисцтл пересобирайте ядро. Мое решение может быть и избыточно, но оно гарантированно работает на куче насов. ПС. как то я тут выкладывал сравнение феном2 х6  и интел ай5. Кароче стоял нас, молотил 600 абонов, и 400 мегбаит по пппое. Загрузка проца была около 80% прыгало в потолок вечером. После перехода на ай5 сендибридж, нагрузка стала 5%. В насе заменилась только мать и проц, даже винт остался тот же, для чистоты эксперимента.

ПС я думаю 300 долларов за нормальный нас, деньги смешные более чем.

[l1ght]

 

Да для таких нагрузок они не должны помирать-то совсем, 70-80 кппс это суммарная нагрузка.

То есть просто netstat -hdw 1

мол чек. вам дают разумные советы. ет и ай5. Данная конфигурация переваривает до гига трафика и 200 кппс гарантос. А изьеб со старым железом, и фразы должно молотить, ну если вы любите ставить эксперименты на живой рабочей системе, то вперед. Тюньте сисцтл пересобирайте ядро. Мое решение может быть и избыточно, но оно гарантированно работает на куче насов. ПС. как то я тут выкладывал сравнение феном2 х6  и интел ай5. Кароче стоял нас, молотил 600 абонов, и 400 мегбаит по пппое. Загрузка проца была около 80% прыгало в потолок вечером. После перехода на ай5 сендибридж, нагрузка стала 5%. В насе заменилась только мать и проц, даже винт остался тот же, для чистоты эксперимента.

ПС я думаю 300 долларов за нормальный нас, деньги смешные более чем.

 

Я с вами согласен более чем на 100%. Только условия не я диктую.

Я то стучу начальству, что надо железяку вменяемую, уже вроде как год покупаем - никак не купим.

Пока имеем то что имеем и нужно как-то продолжать работу.

Да будь моя вола - ушёл бы от насов как таковых в пользу железных роутеров (тех же джуниперов, цысок и прочего)

[BARVIT]

У нас нагрузка вообще мелочь, и 250мб трафика нет, сменить железо это не решение проблемы, год работало и кушать не просило. А тут на тебе, сразу стало плохое. При нормальной работе в пиках до 40% нагрузки. Здесь что-то другое, только вот что....

[maxx]

Да будь моя вола - ушёл бы от насов как таковых в пользу железных роутеров (тех же джуниперов, цысок и прочего)

 

сие тоже тут обсуждалось. Вроде как решили всем миром что софтовый нас, при соотношении цена качество трахает что джуниперы что циски. Вобще любое инбокс решение. Да и с вашим начальством я думаю цисок не будет.

[maxx]

У нас нагрузка вообще мелочь, и 250мб трафика нет, сменить железо это не решение проблемы, год работало и кушать не просило. А тут на тебе, сразу стало плохое. При нормальной работе в пиках до 40% нагрузки. Здесь что-то другое, только вот что....

ну вот у нас тоже кушать не просило, пока не вышел новый протокол торрента. И кор 2 квад на 250 мегабитах умер.давно это было а по поводу вашей ситуации, опишите подробнее что у вас на насе крутиться. пппое, там например может чем натите. и тд и тп. нет.иср включить/выключить.

вот что я тюнил в бытность амд серверов.

/usr/bin/cpuset -l 0-2 -p $(ps ax|grep swi1|awk 'NR % 2{print $1}')
/usr/bin/cpuset -l 0 -p $(ps ax|grep dummynet|awk 'NR % 2{print $1}')
#/usr/bin/cpuset -l 1-2 -p 32

/sbin/sysctl dev.igb.0.rx_processing_limit=4096
/sbin/sysctl dev.igb.1.rx_processing_limit=4096
/sbin/sysctl dev.igb.0.enable_aim=0
/sbin/sysctl dev.igb.1.enable_aim=0
/sbin/sysctl dev.igb.0.flow_control=0
/sbin/sysctl dev.igb.1.flow_control=0

#/sbin/sysctl net.inet.ip.dummynet.io_fast=1
/sbin/sysctl net.inet.ip.dummynet.hash_size=256

/sbin/sysctl net.isr.direct=1

Edited May 22, 2014 by maxx

[l1ght]

pppoe mpd5, есть dhcp. щас с пппое на dhcp уходим понемногу.

IPFW NAT используется. Иср пробовал и включить и выключить, пару раз спасало его включение.

Тут же крутится и БД и веб сервер.

[xspirit]

было тоже самое пока не перешли на pf nat

[maxx]

pppoe mpd5, есть dhcp. щас с пппое на dhcp уходим понемногу.

IPFW NAT используется. Иср пробовал и включить и выключить, пару раз спасало его включение.

Тут же крутится и БД и веб сервер.

1 ну по поводу пппое на бсд я писал год назад. Ввиду того что распараллеливание процессов по ядрам во фрихе осуществляется по заголовкам айпи, а в пппое заголовок айпи 1 то все процессы вешаются на 1 ядро. есть патч для ядра, когда процессы паралелятся  на основе маков, но я так и не заставил его работать. 

2 айпифв нат ? натд или пф, конкретизируйте.

3 нет иср должен быть или включен или выключен. Если выключен то посмотрите как себя ведет процес swi, если иср включен то смотрите по нагрузке на проц.

[l1ght]

Иср включен всегда, просто меняется net.isr.dispatch=deferred\direct.

NAT ipfw! У меня с распаралеливанием всё просто 2 ядра - 2 сетевые задействованы. Получается примерно ровно.

Лично мне сугубо по барабану, пускай одно ядро будет нагружено на 50% а второе на 25%, лишь бы оно в кору не падало!!!

Вот сейчас ждем повторения и будет статистика снятая с зеркала порта.

После анализа может быть станет что-то понятно.

А до тех пор... ну не может ложить нат, какой бы он ни был, систему с аптаймом месяц\минуту\час, и продолжать так держать её час\два\три, даже если перезапустишь машину.

А потом как ни в чём не бывало - продолжать работать.

Если косяк есть - будет ложить систему сразу, а не планомерно, без всякой систематичности неопределенное время. Может час, а может ребутом вылечится, а может и 10 ребутов не вылечат.

Ещё по поводу ISR - если 2 процесса исра - один на одну карту - второй на вторую. При deferred - процесс исра отвечающий за em0 (допустим) - будет 100%.

При direct - тоже самое только без процесса исра. em0 queue - 100%.

[maxx]

Иср включен всегда, просто меняется net.isr.dispatch=deferred\direct.

NAT ipfw! У меня с распаралеливанием всё просто 2 ядра - 2 сетевые задействованы. Получается примерно ровно.

Лично мне сугубо по барабану, пускай одно ядро будет нагружено на 50% а второе на 25%, лишь бы оно в кору не падало!!!

Вот сейчас ждем повторения и будет статистика снятая с зеркала порта.

После анализа может быть станет что-то понятно.

А до тех пор... ну не может ложить нат, какой бы он ни был, систему с аптаймом месяц\минуту\час, и продолжать так держать её час\два\три, даже если перезапустишь машину.

А потом как ни в чём не бывало - продолжать работать.

Если косяк есть - будет ложить систему сразу, а не планомерно, без всякой систематичности неопределенное время. Может час, а может ребутом вылечится, а может и 10 ребутов не вылечат.

Ещё по поводу ISR - если 2 процесса исра - один на одну карту - второй на вторую. При deferred - процесс исра отвечающий за em0 (допустим) - будет 100%.

При direct - тоже самое только без процесса исра. em0 queue - 100%.

ну так у вас просто проц не выгребает паходу. при выключенном иср директ сетевушка сама рулит прерываниями. ваши так не умеют, потому все упирается в потолок.

[l1ght]

maxx, перечитайте тему, нагрузка не важна.

Не только у меня такая проблема.

[BARVIT]

maxx, вот посмотрите на скачки, просто чуть ли ни с нуля.

 

после пробела это перезагрузка, и со старта в потолок.

Edited May 22, 2014 by BARVIT

[Al G]

Было похожее давно, решилось блокировкой портов 6881-6889 на вход с внешки. От кучи левых DHT-соединений у ipfw nat сносило крышу, проц перегружен прерываниями, всплеск LA до 200 и падение сервера.

Что говорит "ipfw nat show" в спокойное время и перед падением сервера?

Если дело в количестве трансляций ната, то ещё можно потюнить таймауты libalias в исходниках, чтобы записи быстрее отстреливались, а не висели сутки.

[DemonidZe]

Было похожее давно, решилось блокировкой портов 6881-6889 на вход с внешки. От кучи левых DHT-соединений у ipfw nat сносило крышу, проц перегружен прерываниями, всплеск LA до 200 и падение сервера.

Что говорит "ipfw nat show" в спокойное время и перед падением сервера?

Если дело в количестве трансляций ната, то ещё можно потюнить таймауты libalias в исходниках, чтобы записи быстрее отстреливались, а не висели сутки.

кстати очень похоже на то что ipfw nat сносит крышу последний раз поигрался временем отстреливания соединений пика пока не было .

если не ошибаюсь то вот это net.inet.ip.fw.dyn_syn_lifetime=10

net.inet.ip.fw.dyn_ack_lifetime=120

Edited May 22, 2014 by DemonidZe

[nightfly]

 

кстати очень похоже на то что ipfw nat сносит крышу последний раз поигрался временем отстреливания соединений пика пока не было .

походу да, если в top -SHP фигурируют в основном igb:que внешней карточкии - скорее всего это отрывает башню либалиасу на тему скорости очистки кеша трансляций.

 

 

если не ошибаюсь то вот это net.inet.ip.fw.dyn_syn_lifetime=10

net.inet.ip.fw.dyn_ack_lifetime=120

не, вообще не в ту степь.

 

 

Если дело в количестве трансляций ната, то ещё можно потюнить таймауты libalias в исходниках, чтобы записи быстрее отстреливались, а не висели сутки.

угу - походу должно помочь + поиграться с deny_in как вариант.

Edited May 22, 2014 by nightfly