Поділитися



PPPoE тунели в Mikrotik OS на многоядерном сервере - или как решыть проблему нагрузки одного ядра
Хто обслуговує 4к абонентів на Mikrotik OS? Напевно ніхто, ніхто крім мене)
Нижче наведу приклад роботи такого сервера і вирішення проблем.
Отже:
  • Mikrotik OS
  • 2 процесори Intel Xeon 2926MHz 6count
  • 2 мережеві 10G
  • інше неважливо)
Під час пікового навантаження (3700 абонентів, 3525Mbps - нагрузка Uplink порта) одно ядро загружалося на 96%, а інші відпочивали — 45-55%. Були спроби заміни на потужніший сервер — 4 процесори 2400MHz по 8 ядер, але це тільки погіршило ситуацію, одно ядро влягалося на 100%. Після кількох днів тестів з різним залізом дійшов висновку що для даного випадку важлива не кількисть ядер, а максимальна частота. Сервер на одному І5 3400MHz працював краще ніж чотирьохпроцесорний Proliant. Але суть не в цьому, я всерівно повернувся до старого сервера. Проблема заключалася в автоматичному розподіленні IRQ на Mikrotik OS.
Отже настирливо рекомендую вручну розподілити нагрузку і обовязково вимкнути незадіяні мережеві. Тут графіки роботи такого сервера на протязі 7 днів, до і після змін.
Останні 2 фото — це приклад роботи сервера на 2к абонів (I5 3100MHz, 4 мідні 1G мережеві)
1.png
2.png
3.png
4.png
5.png
2018-12-31 10:22 bigvyxa 2225 30
boroda
2018-12-31 13:21:33
Avatar
Так вы разделили нагрузку на 2 севрера? Почему стало 2К на серврее? 
tkapluk
2018-12-31 13:34:58
Avatar
Після кількох днів тестів з різним залізом дійшов висновку що для даного випадку важлива не кількисть ядер, а максимальна частота. 
При чем это касается не только сетей, а фактически всего. Уже наступали на эти грабли в разны сферах... 
bigvyxa
2018-12-31 14:57:13
Avatar
Так вы разделили нагрузку на 2 севрера? Почему стало 2К на серврее? 

ні це два різні сервери, перший я не розділяв, він залишився працювати після ручного балансування
Другий я навів як приклад там також були проблеми з нагрузкою на одне ядро, після ручного балансування він працює в штатному режимі без наріканнь
 
Kiano
2018-12-31 15:25:22
Avatar
А принцип разнесения какой?
не пойму
boroda
2018-12-31 15:27:13
Avatar
Так вы разделили нагрузку на 2 севрера? Почему стало 2К на серврее? 

ні це два різні сервери, перший я не розділяв, він залишився працювати після ручного балансування
Другий я навів як приклад там також були проблеми з нагрузкою на одне ядро, після ручного балансування він працює в штатному режимі без наріканнь
 

то есть 4К абонов  тянет на одном сервере? Биллинг на другом? каккой бил?
WideAreaNetwork
2018-12-31 18:37:52
Avatar
как раз тоже постала задача в резервном серваке, посоветуйте пжл проц/мать/сетевую на 1к юзеров, заранее всем спс за помощь
bigvyxa
2019-01-01 13:22:54
Avatar
Так вы разделили нагрузку на 2 севрера? Почему стало 2К на серврее? 

ні це два різні сервери, перший я не розділяв, він залишився працювати після ручного балансування
Другий я навів як приклад там також були проблеми з нагрузкою на одне ядро, після ручного балансування він працює в штатному режимі без наріканнь
 

то есть 4К абонов  тянет на одном сервере? Биллинг на другом? каккой бил?

так зараз на даному сервері працює 4к абонентів
bigvyxa
2019-01-01 13:30:41
Avatar
А принцип разнесения какой?
не пойму

все залежить від конфігурації
на сервері з 2к абонів 4ядра і чотири мідні 1г порти, там я фізично присвоїв для кожного ядра особисту мережеву за яку відповідає тільки він (раніше він хаотично розкидав процеси різних мережевих на різні ядра)
на сервері де 4к абонів 2процесори (по 6 ядер) і 2 оптичні 10г мережеві, я фізично присвоїв кожну мережеву до окремого процесора, тобто розділив усі процеси першої мережевої на всі 8 ядер першого процесора, а другої мережевої відповідно на 2 процесор

Також є ще один нюанс мікрот залежно від кількості ядер ділить процеси мережевих на відповідну кількість (8ядер = 8 процесів однієї мережевої) але чомусь процес під номером "0" завжди приблизно в 3рази більший від остальних, тому рекомендую процес "0" ставити на одне ядрррррррррррррррр, а інші розділяти на ядра які залишилися
 
bigvyxa
2019-01-01 13:40:02
Avatar
А принцип разнесения какой?
не пойму
Детальніше можна розібратися на цьому зображенні cpu0-5 - це 6 ядер першого проца а на них присвоєно тільки процеси ETH6 (перша мережева карта), а cpu6-11 - це 6 ядер другого проца і на них присвоєно тільки процеси ETH7 (друга мережева)
Як бачите eth6-TxRx-0 набагато більший від всіх остальних  eth6-TxRx-... , тому він прибитий окремо сам на одне ядро, такаж ситуація з eth7
Ondp
2019-01-01 16:30:39
Avatar
Подскажи пожалуйста как ты прописываешь (system resource irq .......?) определенное ядро на определенный eth у меня значение только auto((
bigvyxa
2019-01-01 16:59:45
Avatar
Подскажи пожалуйста как ты прописываешь (system resource irq .......?) определенное ядро на определенный eth у меня значение только auto((

Натисни два рази на "auto", потім в додатковому меню в рядку "CPU" вручну напиши номер ядра який тебе цікавить 
bigvyxa
2019-01-01 17:06:52
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
tkapluk
2019-01-01 18:00:31
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?
bigvyxa
2019-01-01 19:20:05
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?
інтересно
a_n_h
2019-01-01 19:27:19
Avatar
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

наверно цена...
tkapluk
2019-01-01 20:05:02
Avatar
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

наверно цена...

Скажи честно, ты бы взял данную платформу в продакшн? Экономия на спичках... 
KaYot
2019-01-01 20:38:31
Avatar
То что pppoe-трафик не раскидывается по очередям сетевых карт давно известная истина, это гуглится за 10 секунд.
То что для балансировки нагрузки сетевые карты нужно раскидать по ядрам вроде бы тоже аксиома не требующая проверок.
И к микротику оба этих вопроса отношения не имеют, любая ОС требует абсолютно такой же настройки.
otchem
2019-01-02 06:22:06
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

кто сказал что он слабее ?
вообще это как сравнивать теплое с мягким, i3 всего 2 сраных ядра, но неплохая производительность на поток, fx8350 8 ядер 4 блока, в многопоточных приложениях он вплотную подкрыдывается к средненькому i5
bigvyxa
2019-01-02 09:03:27
Avatar
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

наверно цена...

Скажи честно, ты бы взял данную платформу в продакшн? Экономия на спичках... 

Я сказав що протестую, а не що буду на ньому робити. 
tkapluk
2019-01-02 12:10:35
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

кто сказал что он слабее ?
вообще это как сравнивать теплое с мягким, i3 всего 2 сраных ядра, но неплохая производительность на поток, fx8350 8 ядер 4 блока, в многопоточных приложениях он вплотную подкрыдывается к средненькому i5
Вот неужели перед тем, как писать такие высеры нельзя воспользоваться Гуглом? В современных i3 4 ядра! 
По первой же ссылке из поисковика: 

В синтетических тестах Intel Core i3-8100 опережает Ryzen 3 в среднем на 6%, «старенький» Core i5 – на 9%, а FX-8350 – на 12%. В играх он смотрится еще лучше, ведь обходит Intel Core i5-4690K на 8-12%, Ryzen 3 – на 23-31%, а FX-8350 – от 35 до 43%. 

И это они тестировали младшую модель, с 8300 было бы еще интересней. Ну и тут как бы речь конкретно об РОС, где с многопоточностью не все ок. 
_FACE_
2019-01-04 13:11:03
Avatar
На одному з форумів знайшов що Mikrotik OS дуже добре почуває себе на AMD FX-8350 (4000 МГц, 8ядер), це напевно кощунство сервак на AMD але цей процак настільки дешевий що я його обовязково протестую і напишу враження сюда) 
На дворе 2019 год... Какой смысл тестировать древний проц который слабее i3?

кто сказал что он слабее ?
вообще это как сравнивать теплое с мягким, i3 всего 2 сраных ядра, но неплохая производительность на поток, fx8350 8 ядер 4 блока, в многопоточных приложениях он вплотную подкрыдывается к средненькому i5
Вот неужели перед тем, как писать такие высеры нельзя воспользоваться Гуглом? В современных i3 4 ядра! 
По первой же ссылке из поисковика: 
В синтетических тестах Intel Core i3-8100 опережает Ryzen 3 в среднем на 6%, «старенький» Core i5 – на 9%, а FX-8350 – на 12%. В играх он смотрится еще лучше, ведь обходит Intel Core i5-4690K на 8-12%, Ryzen 3 – на 23-31%, а FX-8350 – от 35 до 43%. 
И это они тестировали младшую модель, с 8300 было бы еще интересней. Ну и тут как бы речь конкретно об РОС, где с многопоточностью не все ок. 


AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
_FACE_
2019-01-04 13:13:18
Avatar
https://www.cpubenchmark.net/cpu.php?cpu=AMD+FX-8300+Eight-Core&id=1825
https://www.cpubenchmark.net/cpu.php?cpu=Intel+Core+i3-8100+%40+3.60GHz&id=3103
tkapluk
2019-01-04 13:24:34
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 
_FACE_
2019-01-04 13:34:28
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 

Зачем мне, у меня джунпинер
tkapluk
2019-01-04 13:37:00
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 

Зачем мне, у меня джунпинер
Так тут же главный аргумент 2000 грн! Джун продадите, баблишко пропьете! 
 
_FACE_
2019-01-04 16:54:50
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 

Зачем мне, у меня джунпинер
Так тут же главный аргумент 2000 грн! Джун продадите, баблишко пропьете! 
 

я бы ой3 даже не стал ставить в офисный комп
_FACE_
2019-01-04 21:56:53
Avatar
  • Mikrotik OS
  • 2 процесори Intel Xeon 2926MHz 6count
  • 2 мережеві 10G
  • інше неважливо)
отличное описание
bigvyxa
2019-01-10 10:46:50
Avatar
  • Mikrotik OS
  • 2 процесори Intel Xeon 2926MHz 6count
  • 2 мережеві 10G
  • інше неважливо)
отличное описание

Я вважаю що для даної теми цього опису достатньо
Опублікував я цю тему щоб поспілкуватися з однодумцями і запропонувати хочаб якесь рішення проблеми, а не слухати критику про опис!
І взагалі для того щоб навести приклад балансування нагрузки ядер на Мікроті взагалі ніякого опису не потрібно
bigvyxa
2019-01-10 10:48:41
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 

Ще раз повторюю я куплю цей процак щоб потестити, а не будувати на ньому сервер для обслуговувваня клієнтів, невже так важко зрозуміти різницю?
bigvyxa
2019-01-10 10:54:32
Avatar

AMD FX 8300 стоит 2к грн, ой3 8100 стоит 5к, и платформа дороже. Разница призводительности в стоке минимальна, под разгоном амд значительно обходит ой3
Уже купили для ядра сети? :)
 

І якщо ви прийшли сюда "піпіськами мірятися" то напевно варто закрити цю тему і створити ту яка буде називатися - "в кого залізо коштує більше бабла" Я намагався просто її висвітлити.
Ви маєте увійти під своїм обліковим записом

loading