Dual-Socket,MultiCore,Static IRQ balance MIkrotik

[ynet 0]

Имеем мать Intel s2600 + 2CPU XEON 

2NIC 82599 4-port  #1 и  #2

Три аплинка включены все в одну карту #1 каждый в своем порту и своем vlan

Три даунлинка в сторону pppoe серверов. Каждый сервер на своем vlan.

Трафика на аплинках по 5-6Г.

Сделана раскидка irq очередей карт по ядрам cpu, подобраны буфера карт, минимум правил фаервола и т.д.

Задача 3FW BGP + raw fw 30-40 правил

 

 

По сути имеем три порта с большим RX и три с большим TX

Вопрос, вернее мольба к коллегам))

Все работает прекрасно если всем сетевым картам(потокам на них) распределены ядра одного сокета(CPU\NUMA) 

все, все шесть портов! 

НО! Как только мы пытаемся перекинуть порты с большим TX ,выше чем 2-3Г на ядра другого сокета - получаем лютую просадку и деградацию трафика всей системы в целом! 

 

Понимаем что это происходит изза перекидки пакетов между сокетами(физическими CPU) но как побороть? и можно ли на routerOS?

Как вариант#1 протестировать на CHR, дабы дать ему все ядра и раскидкой по CPU\NUMA пусть займется гипервизор?

Вариант#2 - перейти на linux\bsd с большими возможностями тюнинга стека.

Вариант#3 - перейти на циско\джун ,доширак и жить с одной почкой ))) 

 

В чем боль? где узкое место? Intel UPI? ядро linux? ROS? 

Сталкивался кто с двухкаменными системами и трафиком 15-20Г TX\RX ?

[foreverok 95]

Карты физически в какие слоты установлены? Если физически установлены в слоты первого CPU, попробуйте переставить, что бы одна карта на CPU1 висела, вторая на CPU2. И прерывания соответственно раскидать.

 

 

 

Відредаговано 2021-01-21 18:03:20 foreverok

[ynet 0]

5 минут назад, foreverok сказал:

Карты физически в какие слоты установлены? Если физически установлены в слоты первого CPU, попробуйте переставить, что бы одна карта на CPU1 висела, вторая на CPU2. И прерывания соответственно раскидать.

 

 

 

Перебрали все возможные варианты с картами. Стоит два райзера. Раскидывали по схеме в мануале. Результат тот же, только деградация трафика чуть меняется

  

1 Райзер вот такой

2 Разер вот такой

 

[foreverok 95]

По процессорам то раскидано? Или на одном висят райзеры? Кстати, без них никак не обойтись?

[ynet 0]

Щас работает на разных райзерах. Пробывали разные райзеры, порты в райзерах, порты в сетевухах

[sanyadnepr 305]

Неповезло. Оставьте один проц.

[ynet 0]

1 час назад, sanyadnepr сказал:

Неповезло. Оставьте один проц.

Так пока и есть

[Kiano 598]

а настройки биоса? в плане шины qpi

[ynet 0]

13 минут назад, Kiano сказал:

а настройки биоса? в плане шины qpi

Биос тоже проработали.

На самом деле суть вопроса упирается в том что кто то вообще пробывал проживать 20 г туда сюда на микротике?

[Kiano 598]

17 часов назад, ynet сказал:

Биос тоже проработали.

На самом деле суть вопроса упирается в том что кто то вообще пробывал проживать 20 г туда сюда на микротике?

Как по мне, это очень дохера для роутероса.

Но еще вопрос: у вас х64 или х86 версия оси?

НТ выключали?

Відредаговано 2021-01-23 13:15:12 Kiano

[martin 170]

С таким то трафиком, можно и два джуна взять.

Они сейчас дешевле грязи

[Kiano 598]

Джун сам по себе не панацея. У него тоже бывают факапы, дохнущая флеша, ноу ресурс, отвал корзин и тд. Он сложнее (но это не аргумент), но имеет одно очень существенное преимущество: раздельные плейны

[melvin 62]

1 час назад, martin сказал:

можно и два джуна взять.

Они сейчас дешевле грязи

Зачем два для трафика в 20Г?

Где Вы такую элитную грязь нашли?

[martin 170]

https://www.ebay.com/itm/Juniper-MX5-T-Chassis-w-MIC-3D-20GE-SFP-Module-Licenses/383908491000?hash=item5962baaef8:g:oRsAAOSw7WJgBYeI

 

а если поискать, то и еще дешевле можно найти

[KaYot 3 605]

1. Может HT надо для начала выключить? 48 ядер на роутере это как-то фе. Или там реально 24ех головые цпу?

2. Единственный вариант который не должен был минусовым с 2 CPU и 2 картами  - каждая карта ставится в слот своего CPU и привязывается к нему.

3. В вашем случае с тупой маршрутизацией вторая голова нечем не поможет в принципе, накладные расходы на лишние перемещения трафика сожрут весь профит. Вот если б там терминация с НАТом были..

Відредаговано 2021-01-23 12:58:14 KaYot

[martin 170]

ну если хочется танцев - никогда в роутерах не приветствовалась двухпроцесорность.. подозреваю что там кроме НТ еще и процы по 2 Ггц )), да еще и Е5 первой версии ?)

Поставьте туда один 3.2+ ггц Core-i5 или i7 и вытянет он у вас весь этот нещастный трафик..

А если линукс туда поставите - то и все 20 гиг вытянет )

Но лучше для этой задачи возьмите джун и забудете где он стоит

[Бульба 93]

6 hours ago, martin said:

https://www.ebay.com/itm/Juniper-MX5-T-Chassis-w-MIC-3D-20GE-SFP-Module-Licenses/383908491000?hash=item5962baaef8:g:oRsAAOSw7WJgBYeI

 

а если поискать, то и еще дешевле можно найти

только он толком не умеет, сильно бу и в случае поломки хер замену найдешь
ну и 20 портов 1 гиг)) надо еще отдельный свитч который это все бондить будет 

Відредаговано 2021-01-23 17:50:42 Бульба

[martin 170]

https://local.com.ua/forum/topic/117904-продам-маршрутизатор-juniper m320/?tab=comments#comment-1325170

 

не благодарите )

[ynet 0]

В 23.01.2021 в 17:18, martin сказал:

ну если хочется танцев - никогда в роутерах не приветствовалась двухпроцесорность.. подозреваю что там кроме НТ еще и процы по 2 Ггц )), да еще и Е5 первой версии ?)

Поставьте туда один 3.2+ ггц Core-i5 или i7 и вытянет он у вас весь этот нещастный трафик..

А если линукс туда поставите - то и все 20 гиг вытянет )

Но лучше для этой задачи возьмите джун и забудете где он стоит

Процы intel xeon gold 6248R 24 ядра (48 потоков) 2999ггц . Поверьте и ценник у них не малый

[tkapluk 871]

42 минуты назад, ynet сказал:

Поверьте и ценник у них не малый

Камень по цене практически как б/у-шный Джун )) 

[ynet 0]

41 минуту назад, tkapluk сказал:

Камень по цене практически как б/у-шный Джун )) 

Их два))