Jump to content

FreeBSD нагрузка на проц при обработке трафика


Recommended Posts

Дано: 
сервер Dell PowerEdge R710
проц 2* Intel Xeon E5620 
оператива 2* 8Gb
сетевая 4-портовая broadcom NetXtreme II BCM5709

На железе стоит VMware ESXi 5.1.0

в нутри крутится виртуалка с FreeBSD 12.2
на которой работает билинг интернет провайдера "Ubilling: 1.1.3 rev 7831"
один выход сетевухи смотрит на абонов, второй в инет
входящий канал инета 1гигабит, 

при трафике в +/- 800Mb 2 ядра проца загружаются в 100% и прокачать больше трафика биллинг не может

нагрузка по обработке очередей сетевых карт висит на 2 ядрах  kernel {if_io_tqg_5} и kernel {if_io_tqg_7},
остальные ядра проца по большей части простаивают.

Кто что посоветует в решении данной проблемки ? 
Как можно размазать нагрузку между ядрами? 

Link to post
Share on other sites
5 часов назад, Nejron сказав:

Дано: 
сервер Dell PowerEdge R710
проц 2* Intel Xeon E5620 
оператива 2* 8Gb
сетевая 4-портовая broadcom NetXtreme II BCM5709

На железе стоит VMware ESXi 5.1.0

в нутри крутится виртуалка с FreeBSD 12.2
на которой работает билинг интернет провайдера "Ubilling: 1.1.3 rev 7831"
один выход сетевухи смотрит на абонов, второй в инет
входящий канал инета 1гигабит, 

при трафике в +/- 800Mb 2 ядра проца загружаются в 100% и прокачать больше трафика биллинг не может

нагрузка по обработке очередей сетевых карт висит на 2 ядрах  kernel {if_io_tqg_5} и kernel {if_io_tqg_7},
остальные ядра проца по большей части простаивают.

Кто что посоветует в решении данной проблемки ? 
Как можно размазать нагрузку между ядрами? 

Это уже не billing а все в 1 флаконе ) самая большая проблема  это 

VMware и небось там ещё и нат ). Биллинг оставьте в виртуалке хотя хе зачем не знаю а вот нас отдельно.

Link to post
Share on other sites
6 hours ago, Nejron said:
... и прокачать больше трафика биллинг не может ...

 

Стало аж любопытно, а зачем вы трафик прокачиваете чрез биллинг?

 

PS И вопрос форуму - как отключить этот глючный форумный редактор?

Link to post
Share on other sites

Сетевуху внутрь VM не прокидывал, да и хотелось бы этого избежать, 
и да, uBilling у меня со всем сопутствующим висит в одном "флаконе",

тут , так сказать, концепция "бомжпровайдера" ,
у меня вообще вся инфраструктура висела на 2-х "десктопнух ПК", и только пару месяцев назад поставил третий, 

на одном висит 1С, почтовик и PFsense для локалки, 
на втором IPTV, zabex, сайт,

ну и на третий вынес биллинг, 
все висит в VMware 5.1, для возможности быстрого разврачивания любой виртуалки на любом и ПК в случае нештатной ситуации.

и да, я по факту не админ, максимум еникей/монтажник,
"админ" сбежал лет 5 назад, когда я только устраивался на работу, 
вот с тех времен я и пытаюсь что то как то изучать и улучшать )))
 

Да и моя деятельность не сильно то интересует начальство, лиш бы не в минус работал, 
так что денег по факту нет ))) работаю скорее по личному интересу, а в другом случае закрылись бы уже давно.

Да и проблем с трафиком раньше почти не было, 
тут нагрузка подскочила в связи с карантином и удаленной работой/учебой, 
так что мне по сути раскинуть бы нагрузку по обработке сети по разным ядрам и зыбить о проблемках с сервачком еще на пару лет )))

  • Haha 2
Link to post
Share on other sites

top -SPHa   Посмотри какие процессы грузят. Но по любому собери другую машину для прогона трафика. 

И у тебя уже 800М , поэтому ставь сразу 4 гиговых порта , чтобы lagg настроить. Или же немножко трафика оставь на билинге, остальное на НАС.

Ну и сетевая  Intel 82576  как по мне лучше.

 

Edited by vovchokig
Link to post
Share on other sites
9 часов назад, Nejron сказал:

да, я по факту не админ, максимум еникей/монтажник,
"админ" сбежал лет 5 назад, когда я только устраивался на работу, 

Беги оттудова. Чего там делать-то? Ну разве шо зп очень гуд.

  • Like 1
Link to post
Share on other sites

все таки 1 гиг тянется, это у меня забекс сильно усреднял статистику
при снятии ее со свича, 
хотя вопрос с загрузкой ядер остается ,
 

 

Edited by Nejron
Link to post
Share on other sites

сделал тестовую виртуалку на том же железе и на той же фряхе

но с другой виртуальной сетевухой которая поддерживает TSO4,
нагрузка уменьшилась на половину,
30-32% при прогоне трафика в 800мб при включенном TSO4
и 60-65% при том же трафике при выключеном, 
но все равно нагрузка одет по одному ядру

Link to post
Share on other sites

фря не дружит с многопоточностью сетевой когда она в виртуалке

либо пробрасывать сетевку, либо на baremetal ставить

Link to post
Share on other sites

походу таки да, 
на тестовой виртуалке нагрузка небольшая только при тесте iperf3 с BSD 
а в обратную сторону (BSD как сервер iperf3) та же херня с упором в потолок, 
ща поексперименть с линой, может там что то по другому выстрелит, 
или я себе в голову выстрелю

Link to post
Share on other sites
9 часов назад, bit сказал:

Тюнят гики ;)

А еще нищеброды, 
хотя вполне возможно что из за безисходности в последствии они становятся гиками ))
 

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Loading...
  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By dbnk7er
      Куплю сеть в городе Киев или Киевской области. 
      Предложения в личку.
    • By progxaker
      Здравствуйте. Появилась потребность в подключении Asterisk к UBilling с возможностью записи разговоров.
      Данный функционал(со стороны Asterisk) выполнил через MixMonitor.
      exten => _XXX,1,MixMonitor(/var/records/${STRFTIME(${EPOCH},,%Y%m%d-%H%M%S)}_${CALLERID(num)}_${CALLERID(dnid)}.wav) Сделал базу CDR, привязал к UBilling'у, но вот прослушать/скачать записи не получается.
      Хочется понять в каком формате(имя и расширение) сохранять, чтобы он мог их прочитать.
      P.S. В alter.ini аргументы ASTERISK_ENABLED=1, ASTERISK_CALLRECS_PATH=<папка>(права есть, группы назначены).

    • By nikollas
      Добрый день. В наличии PPPoE сервера, MPD5 + pf, FreeBSD 9.1. Оптическая сетевая 10G, многопоточная. Развернул для этих же целей FreeBSD 11.4 и столкнулся с проблемой разброса прерываний по ядрам проца.
      На 9-ке можно без проблем руками раскидывать прерывания командой "cpuset -l ядро -x № прерывания". Получается картина
       
      procstat -at | grep irq
       
      intr             irq264: ix0:que    0    8 wait    -         
      intr             irq265: ix0:que    3    8 wait    -         
      intr             irq266: ix0:que    2    8 wait    -         
      intr             irq267: ix0:que    3    8 wait    -         
      intr             irq268: ix0:link   0    8 wait    -         
      intr             irq269: ix1:que    2    8 wait    -         
      intr             irq270: ix1:que    3    8 wait    -         
      intr             irq271: ix1:que    1    8 wait    -         
      intr             irq272: ix1:que    1    8 wait    -         
      intr             irq273: ix1:link   3    8 wait    -         
       
      На 11-ке раскидать руками ОС не дает, это делается автоматом и большая часть нагрузки уходит на 1-й проц, на остальных нагрузки получается раза в 2-3 меньше. 
       
      procstat -at | grep irq

      intr                irq259: ix0:q0        0    8 run     -         
      intr                irq260: ix0:q1       -1    8 wait    -         
      intr                irq261: ix0:q2       -1    8 wait    -         
      intr                irq262: ix0:q3       -1    8 wait    -         
      intr                irq263: ix0:q4       -1    8 wait    -         
      intr                irq264: ix0:q5       -1    8 wait    -         
      intr                irq265: ix0:link     -1    8 wait    -         
      intr                irq266: ix1:q0       -1    8 wait    -         
      intr                irq267: ix1:q1       -1    8 wait    -         
      intr                irq268: ix1:q2       -1    8 wait    -         
      intr                irq269: ix1:q3       -1    8 wait    -         
      intr                irq270: ix1:q4       -1    8 wait    -         
      intr                irq271: ix1:q5       -1    8 wait    -     
       
      vmstat -i
       
      irq259: ix0:q0                  26389637      10083
      irq260: ix0:q1                   1780629        680
      irq261: ix0:q2                   1864978        713
      irq262: ix0:q3                   5651474       2159
      irq263: ix0:q4                   2437979        931
      irq264: ix0:q5                   2519809        963
      irq265: ix0:link                       1          0
      irq266: ix1:q0                  16177017       6181
      irq267: ix1:q1                   2918329       1115
      irq268: ix1:q2                   2561989        979
      irq269: ix1:q3                   3170112       1211
      irq270: ix1:q4                   3907708       1493
      irq271: ix1:q5                   5857000       2238

      Просьба подсказать, можно ли что то подкрутить в настройках что бы можно было руками накидывать прерывания на ядра.
    • By Maxim (Днепр)
      Необходим толковый админ под FreeBSD для удаленной работы
    • By a_n_h
      Всем доброго дня!
        Задача простая, для спеца, помогите адаптировать скрипт для привязки прерываний по ядрам проца как вариант отсюда:
      https://dadv.livejournal.com/139366.html
      у меня два камня по 6-сть ядер, сетевые 10Г.
×
×
  • Create New...