Посоветуйте железо для 7-10gbit bgp

[][-RaY 387]

Ура! Холивар. А мы ушли на мх80 пару шт, так они тоже глючат, бутаются и виснут, реже чем софтсоутеры вообщем, но не пинацея.

[ttttt 195]

Перечитал всю тему на наге, ну так там 4.3Mpps / 36Gbit (9 Mpps на E3-1240) с парой недель мороки, примерно такой же овэрхэд у ядра freebsd, не вижу чем гордиться. А line rate на каждую 10Г карточку все-таки 14 Mpps, т.е. еще далеко  

 

вывод top проскакивает

 

Вывод top - не реальная загрузка.

(если подумать, то топ на больших I/O вообще практически бесполезный)

Изменено 2013-06-30 22:59:04 пользователем ttttt

[KaYot 3 732]

Вывод top - не реальная загрузка.

(если подумать, то топ на больших I/O вообще практически бесполезный)

Обоснуй, что TOP не показывает в linux?

[martin 170]

Артем - а чем вы их там кормите что они бутаются ?? ))

[adeep 212]

Артем - а чем вы их там кормите что они бутаются ?? ))

PPoE/IPoE/BGP )

[loki 86]

 

37гбит ... С ровно нулевой загрузкой

Кайот, реально это с загрузкой 100%, просто не учитывается в статистике. Да и гигабиты не интересны, pps больше скажут о реальном овэрхэде.

 

А так интеловские бенчмарки с DPDK куда интереснее цифры показывают (160 Mpps), как и с netmap кстати.

 

чтоб повторить подобное на фре, нужно чтоб она могла ipfw/dummynet в юзерспейсе, ну и pf с smp. Изменено 2013-07-01 12:47:11 пользователем loki

[ttttt 195]

Обоснуй, что TOP не показывает в linux? 

 

А чего только в линукс? Нигде ниче внятного не показывает, когда I/O на пределе. Может я неправильно выразился на счет 100%.

 

чтоб повторить подобное на фре, нужно чтоб она могла ipfw/dummynet в юзерспейсе, ну и pf с smp.

 

Ну так там тема на наге тоже с "внутренними разработками", а не всем доступными решениями. Те Mpps на e3- в обычном линуксе с оптимальными настройками вы не увидите конечно же

[loki 86]

кажись там openonload использовали

[ttttt 195]

Где? В бенчамрках DPDK? Так там 6WINDGate проприетарный стэк. 

[loki 86]

в наговском суперсофтроутере

[ttttt 195]

Не, в наговском тот же линуксовый ядерный стэк, только какие-то свои модули для iptables и для быстрого роутинга "FASTROUTE" плюс всякие настройки, ручное распределение прерываний по ядрам, чего-то еще, что могут недоговаривать

А так и на freebsd и на линуксе примерно одно и то же, может чуть хуже на freebsd, но зато там dummynet с netmap'ом уже дружит и свой модуль в ядро не нужен.

[KaYot 3 732]

 

Обоснуй, что TOP не показывает в linux?

А чего только в линукс? Нигде ниче внятного не показывает, когда I/O на пределе. Может я неправильно выразился на счет 100%.

 

Не согласен, при загрузке дисковым i/o растет показатель wait в том же топе. Ну а при тупой маршрутизации/бриджевании огромных потоков трафика будут загружены все шины, но собственно CPU свободен, что и покажет top.

[ttttt 195]

Ну вот в той же теме на наге при 3 Mpps - top показывает 3%, а 9 Mpps на железе помощнее (e3) - уже 88%, почему вдруг не получилось использовать весь "свободный" CPU? 

Изменено 2013-07-01 22:48:33 пользователем ttttt

[loki 86]

, но зато там dummynet с netmap'ом уже дружит и свой модуль в ядро не нужен.

 

Вот, ради интереса, сделал маленький тест. Поставил 9.1 freebsd, собрал ядро с netmap-ом, ipfw и dummynet. 

Фря 10Г ифейсом воткнута в свитч, в этот же свитч подсоеденены еще 2 Linux сервера на которых запущен hping3 на фрю, вот так :  hping3 --fast --udp --rand-source 10.10.10.10 --rand-dest --flood -I eth1. На сервер приходит порядка 300 мегабит udp трафика, с таким вот pps-ом 

 

ix0: 600608.00 P/s 0.00 P/s 600608.00 P/s

 

 

Загрузка по ядрам:

 

 

CPU 0: 0.0% user, 0.0% nice, 0.0% system, 14.2% interrupt, 85.8% idle

CPU 1: 0.0% user, 0.0% nice, 0.0% system, 14.2% interrupt, 85.8% idle

CPU 2: 0.0% user, 0.0% nice, 0.0% system, 10.1% interrupt, 89.9% idle

CPU 3: 0.0% user, 0.0% nice, 0.0% system, 15.4% interrupt, 84.6% idle

CPU 4: 0.0% user, 0.0% nice, 0.0% system, 17.2% interrupt, 82.8% idle

CPU 5: 0.0% user, 0.0% nice, 0.0% system, 19.5% interrupt, 80.5% idle

CPU 6: 0.0% user, 0.0% nice, 0.0% system, 22.5% interrupt, 77.5% idle

CPU 7: 0.0% user, 0.0% nice, 0.0% system, 17.8% interrupt, 82.2% idle

CPU 8: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle

CPU 9: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle

CPU 10: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle

CPU 11: 0.0% user, 0.0% nice, 0.6% system, 0.0% interrupt, 99.4% idle

Mem: 17M Active, 22M Inact, 970M Wired, 5664K Cache, 1501M Buf, 14G Free

Swap: 3816M Total, 3816M Free

Получается все таки ipfw не дружит с нетмапом ? 

 

P.S 

CPU E5-2620 0 @ 2.00GHz +  16 Гб озу + INTEL X520-DA2 (E10G42BTDA)

Изменено 2013-07-02 08:38:24 пользователем loki

[ttttt 195]

Получается все таки ipfw не дружит с нетмапом ? 

 

Дружит, но надо ставить юзерспейс версию Луиджи:

http://info.iet.unipi.it/~luigi/dummynet/

[loki 86]

Попробую погоняю шнягу ipfw-user

http://info.iet.unipi.it/~luigi/doc/20120813-ipfw-user.tgz

 

но а  загрузка все же не радует  так как правило было одно allow any to any ((

 

П.С ты пробовал ? 

Изменено 2013-07-02 23:23:01 пользователем loki

[ttttt 195]

Нет, не пробовал, я и на netmap посмотреть только picobsd образ запускал, а так мне оно без всего стэка бесполезно. Я надеюсь со временем кто-нибудь netbsd'шным стэком и для netmap займется, тогда будет что пробовать, для DPDK уже занялись https://github.com/anttikantee/dpdk-rumptcpip

[Владимир ака Cisco Сейлер 12]

При попытке "прокачивать" такие объемы через х86 архитектуру нужно понимать, что сама шина данных будет узким местом, маршрутизатор из ПК это всегда начальный уровень... 

[KaYot 3 732]

Владимир, а что в вашем понимании есть шина данных в современных ПК? И можете ли вы хотя бы наугад прикинуть ширину этой "шины" например в xeon e3/e5?

[adeep 212]

Владимир, а что в вашем понимании есть шина данных в современных ПК? И можете ли вы хотя бы наугад прикинуть ширину этой "шины" например в xeon e3/e5?

В одном из проектов про переписыванию драйвера на сетевушки было упомянуто что общая шина на текущей архитектуре 40гбит/с

[martin 170]

там имелось ввиду 40 гигабайт , а не гигабит. С шиной там проблем никаких нет на новых чипсетах С20хх

[KaYot 3 732]

Воот, а Владимир похоже в далеком прошлом живет

[adeep 212]

там имелось ввиду 40 гигабайт , а не гигабит. С шиной там проблем никаких нет на новых чипсетах С20хх

Когда я разбирался в той разработке чипов C2хх еще не было

Изменено 2013-07-24 14:01:09 пользователем adeep

[loki 86]

Какую шину подразумеваете ? 

Если PCI, то у PCI_Express 3.0 до 512Гбит

https://ru.wikipedia.org/wiki/PCI_Express

Изменено 2013-07-24 14:17:56 пользователем loki

[adeep 212]

Какую шину подразумеваете ? 

Если PCI, то у PCI_Express 3.0 до 512Гбит

https://ru.wikipedia.org/wiki/PCI_Express

http://www.intel.com/content/www/us/en/chipsets/server-chipsets/server-chipset-c202.html

Внимательно смотрите и просвещайтесь сколько в какую сторону у чипа выделено.