ynet 0 Posted 2021-01-21 17:39:35 Share Posted 2021-01-21 17:39:35 Имеем мать Intel s2600 + 2CPU XEON 2NIC 82599 4-port #1 и #2 Три аплинка включены все в одну карту #1 каждый в своем порту и своем vlan Три даунлинка в сторону pppoe серверов. Каждый сервер на своем vlan. Трафика на аплинках по 5-6Г. Сделана раскидка irq очередей карт по ядрам cpu, подобраны буфера карт, минимум правил фаервола и т.д. Задача 3FW BGP + raw fw 30-40 правил По сути имеем три порта с большим RX и три с большим TX Вопрос, вернее мольба к коллегам)) Все работает прекрасно если всем сетевым картам(потокам на них) распределены ядра одного сокета(CPU\NUMA) все, все шесть портов! НО! Как только мы пытаемся перекинуть порты с большим TX ,выше чем 2-3Г на ядра другого сокета - получаем лютую просадку и деградацию трафика всей системы в целом! Понимаем что это происходит изза перекидки пакетов между сокетами(физическими CPU) но как побороть? и можно ли на routerOS? Как вариант#1 протестировать на CHR, дабы дать ему все ядра и раскидкой по CPU\NUMA пусть займется гипервизор? Вариант#2 - перейти на linux\bsd с большими возможностями тюнинга стека. Вариант#3 - перейти на циско\джун ,доширак и жить с одной почкой ))) В чем боль? где узкое место? Intel UPI? ядро linux? ROS? Сталкивался кто с двухкаменными системами и трафиком 15-20Г TX\RX ? Link to post Share on other sites
foreverok 95 Posted 2021-01-21 18:01:38 Share Posted 2021-01-21 18:01:38 (edited) Карты физически в какие слоты установлены? Если физически установлены в слоты первого CPU, попробуйте переставить, что бы одна карта на CPU1 висела, вторая на CPU2. И прерывания соответственно раскидать. Edited 2021-01-21 18:03:20 by foreverok Link to post Share on other sites
ynet 0 Posted 2021-01-21 18:20:40 Author Share Posted 2021-01-21 18:20:40 5 минут назад, foreverok сказал: Карты физически в какие слоты установлены? Если физически установлены в слоты первого CPU, попробуйте переставить, что бы одна карта на CPU1 висела, вторая на CPU2. И прерывания соответственно раскидать. Перебрали все возможные варианты с картами. Стоит два райзера. Раскидывали по схеме в мануале. Результат тот же, только деградация трафика чуть меняется 1 Райзер вот такой 2 Разер вот такой Link to post Share on other sites
foreverok 95 Posted 2021-01-21 21:08:22 Share Posted 2021-01-21 21:08:22 По процессорам то раскидано? Или на одном висят райзеры? Кстати, без них никак не обойтись? Link to post Share on other sites
ynet 0 Posted 2021-01-22 06:20:25 Author Share Posted 2021-01-22 06:20:25 Щас работает на разных райзерах. Пробывали разные райзеры, порты в райзерах, порты в сетевухах Link to post Share on other sites
sanyadnepr 305 Posted 2021-01-22 06:45:45 Share Posted 2021-01-22 06:45:45 Неповезло. Оставьте один проц. Link to post Share on other sites
ynet 0 Posted 2021-01-22 08:03:19 Author Share Posted 2021-01-22 08:03:19 1 час назад, sanyadnepr сказал: Неповезло. Оставьте один проц. Так пока и есть Link to post Share on other sites
Kiano 615 Posted 2021-01-22 19:20:07 Share Posted 2021-01-22 19:20:07 а настройки биоса? в плане шины qpi Link to post Share on other sites
ynet 0 Posted 2021-01-22 19:35:16 Author Share Posted 2021-01-22 19:35:16 13 минут назад, Kiano сказал: а настройки биоса? в плане шины qpi Биос тоже проработали. На самом деле суть вопроса упирается в том что кто то вообще пробывал проживать 20 г туда сюда на микротике? Link to post Share on other sites
Kiano 615 Posted 2021-01-22 19:40:26 Share Posted 2021-01-22 19:40:26 (edited) 17 часов назад, ynet сказал: Биос тоже проработали. На самом деле суть вопроса упирается в том что кто то вообще пробывал проживать 20 г туда сюда на микротике? Как по мне, это очень дохера для роутероса. Но еще вопрос: у вас х64 или х86 версия оси? НТ выключали? Edited 2021-01-23 13:15:12 by Kiano Link to post Share on other sites
martin 170 Posted 2021-01-23 09:07:45 Share Posted 2021-01-23 09:07:45 С таким то трафиком, можно и два джуна взять. Они сейчас дешевле грязи Link to post Share on other sites
Kiano 615 Posted 2021-01-23 09:10:10 Share Posted 2021-01-23 09:10:10 Джун сам по себе не панацея. У него тоже бывают факапы, дохнущая флеша, ноу ресурс, отвал корзин и тд. Он сложнее (но это не аргумент), но имеет одно очень существенное преимущество: раздельные плейны Link to post Share on other sites
melvin 66 Posted 2021-01-23 10:10:20 Share Posted 2021-01-23 10:10:20 1 час назад, martin сказал: можно и два джуна взять. Они сейчас дешевле грязи Зачем два для трафика в 20Г? Где Вы такую элитную грязь нашли? Link to post Share on other sites
martin 170 Posted 2021-01-23 11:07:38 Share Posted 2021-01-23 11:07:38 https://www.ebay.com/itm/Juniper-MX5-T-Chassis-w-MIC-3D-20GE-SFP-Module-Licenses/383908491000?hash=item5962baaef8:g:oRsAAOSw7WJgBYeI а если поискать, то и еще дешевле можно найти Link to post Share on other sites
KaYot 3,679 Posted 2021-01-23 12:06:06 Share Posted 2021-01-23 12:06:06 (edited) 1. Может HT надо для начала выключить? 48 ядер на роутере это как-то фе. Или там реально 24ех головые цпу? 2. Единственный вариант который не должен был минусовым с 2 CPU и 2 картами - каждая карта ставится в слот своего CPU и привязывается к нему. 3. В вашем случае с тупой маршрутизацией вторая голова нечем не поможет в принципе, накладные расходы на лишние перемещения трафика сожрут весь профит. Вот если б там терминация с НАТом были.. Edited 2021-01-23 12:58:14 by KaYot Link to post Share on other sites
martin 170 Posted 2021-01-23 15:18:19 Share Posted 2021-01-23 15:18:19 ну если хочется танцев - никогда в роутерах не приветствовалась двухпроцесорность.. подозреваю что там кроме НТ еще и процы по 2 Ггц )), да еще и Е5 первой версии ?) Поставьте туда один 3.2+ ггц Core-i5 или i7 и вытянет он у вас весь этот нещастный трафик.. А если линукс туда поставите - то и все 20 гиг вытянет ) Но лучше для этой задачи возьмите джун и забудете где он стоит Link to post Share on other sites
Бульба 93 Posted 2021-01-23 17:46:50 Share Posted 2021-01-23 17:46:50 (edited) 6 hours ago, martin said: https://www.ebay.com/itm/Juniper-MX5-T-Chassis-w-MIC-3D-20GE-SFP-Module-Licenses/383908491000?hash=item5962baaef8:g:oRsAAOSw7WJgBYeI а если поискать, то и еще дешевле можно найти только он толком не умеет, сильно бу и в случае поломки хер замену найдешь ну и 20 портов 1 гиг)) надо еще отдельный свитч который это все бондить будет Edited 2021-01-23 17:50:42 by Бульба Link to post Share on other sites
martin 170 Posted 2021-01-25 16:42:04 Share Posted 2021-01-25 16:42:04 https://local.com.ua/forum/topic/117904-продам-маршрутизатор-juniper m320/?tab=comments#comment-1325170 не благодарите ) Link to post Share on other sites
ynet 0 Posted 2021-01-30 15:21:24 Author Share Posted 2021-01-30 15:21:24 В 23.01.2021 в 17:18, martin сказал: ну если хочется танцев - никогда в роутерах не приветствовалась двухпроцесорность.. подозреваю что там кроме НТ еще и процы по 2 Ггц )), да еще и Е5 первой версии ?) Поставьте туда один 3.2+ ггц Core-i5 или i7 и вытянет он у вас весь этот нещастный трафик.. А если линукс туда поставите - то и все 20 гиг вытянет ) Но лучше для этой задачи возьмите джун и забудете где он стоит Процы intel xeon gold 6248R 24 ядра (48 потоков) 2999ггц . Поверьте и ценник у них не малый Link to post Share on other sites
tkapluk 899 Posted 2021-01-30 16:04:21 Share Posted 2021-01-30 16:04:21 42 минуты назад, ynet сказал: Поверьте и ценник у них не малый Камень по цене практически как б/у-шный Джун )) Link to post Share on other sites
ynet 0 Posted 2021-01-30 16:46:20 Author Share Posted 2021-01-30 16:46:20 41 минуту назад, tkapluk сказал: Камень по цене практически как б/у-шный Джун )) Их два)) Link to post Share on other sites
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now