Посоветуйте железо для 7-10gbit bgp

[jordanmua 29]

Прошу совета и помощи. Нужно в 1u поставить сервер для BGP ожидаемая нагрузка 7 гбит с запасом 10. 
В работе стоит amd 8350 и двух глазая сетевая 82599eb только зебра, прокачивает 4 гбита, и проц упарается по прерываниям.
Вопрос что поставить для 7-10 гбит. Какой пооц? 
Интел? Какой? 
А оптерон 6300 16 ядер ( 8 пакетов по 2 ядра) это 16 физ прерываний или всетаки 8.
Очень бы хотелось поднять вопрос о физ прирываниях амд, да они медленее по тестам но нам сетевикам может быть физ прерывания дадут то что надо? Или всетаки интел?

[onorua 126]

в 1U  не поместитесь, ИМХО.

[jordanmua 29]

Ну 2U.

Вопрос в процессоре. А так же в АМД неужели 16 физ прерываний на оптеронах не дорогих не дают нам сетевикам ничего?

[ttttt 195]

А каким боком сюда "прерывания на оптеронах"?

[fastvd 62]

когда дорастают до 4Г-7Г то думаю на нормальную железку деньги должны быть..

[Link_x 47]

I7-3930K должен справиться, остальное по вкусу

[Melanxolik 63]

Там помимо процов еще надо смотреть что сама материнка может прожевать, часто упирается в её, и кол её связей между шиной и процом.

К стати, на наге вроде темка была по поводу soft router, и многое обговаривалось.

[Sided 132]

На локале уже обсуждали

http://local.com.ua/forum/topic/41439-uabgp-10g-soft-router-%D1%81%D0%B2%D0%BE%D0%B8%D0%BC%D0%B8-%D1%80%D1%83%D0%BA%D0%B0%D0%BC%D0%B8-v10/

[KaYot 3 606]

Процессор класса e3-1270 v2, мать собственно говоря любая. Легко можно поместить в 1u.

Многоголовые оптероны не нужны. На задачах тупой маршрутизации PPS и трафик упирается сугубо в эффективность контроллеров памяти и PCI-e, вот с этим у свежих xeon'ов полный порядок. У вас должна получиться околонулевая загрузка всех 4ех ядер при 10г сквозном(если туда всякие soft-flow, и NATы с шейперами не пихать конечно и минимально подтюнить linux).

[ttttt 195]

Где-то был бенчмарк vyatta на уже древних ксеонах, 20 гигабит, 1.5 mpps или что-то около того. 

[mt6561 63]

+1 к Кайоту, у нас все так и работает, 40G расчетной загрузки на Е5-м.

Сетевушки естесственно только Intel.

[martin 170]

mx80 - сила )

а если по компам - тогда да? ксеон Е3 серия или Е5, На Е5 был НАТ + куча шейперов + бгп - суммарно 16 гиг трафика при загрузке всех процов на 40-50 процентов (проц Е5-2690)

[loki 86]

Фул предвидется?

У нас 4 BGP сессии, 2 фула + ua-ix +  msk-ix.

 

 Xeon E5520, 4 Гб Озу, карты - интел, настроена агрегация. Сервер 2U, материнка Tyan. Если нужен точный конфиг, могу збросить.

Планируем переезд на 10G.

 

 

total: 433759.85 P/s 417856.30 P/s 851616.15 P/s
total: 2.65 Gb/s 2.45 Gb/s 5.10 Gb/s

[ttttt 195]

851616.15 P/s

5.10 Gb/s

 

А как ядра загружены на таком? 50%+?

[loki 86]

снял только что:

162 processes: 14 running, 106 sleeping, 42 waiting
CPU 0: 0.0% user, 0.0% nice, 1.1% system, 46.6% interrupt, 52.3% idle
CPU 1: 0.0% user, 0.0% nice, 3.8% system, 43.6% interrupt, 52.6% idle
CPU 2: 0.0% user, 0.0% nice, 8.6% system, 35.6% interrupt, 55.8% idle
CPU 3: 0.0% user, 0.0% nice, 1.9% system, 46.2% interrupt, 51.9% idle
CPU 4: 0.4% user, 0.0% nice, 5.3% system, 19.5% interrupt, 74.8% idle
CPU 5: 0.8% user, 0.0% nice, 2.3% system, 33.5% interrupt, 63.5% idle
CPU 6: 0.4% user, 0.0% nice, 3.4% system, 29.7% interrupt, 66.5% idle
CPU 7: 0.0% user, 0.0% nice, 10.5% system, 8.6% interrupt, 80.8% idle

[KaYot 3 606]

Там шо, HT включен? А может еще и conntrack с фаерволом?

[loki 86]

НТ выключен, фаервола чуть-чуть, ос FreeBSD 8.0

[KaYot 3 606]

Аааа так бсд маздай)

2xE5520 получается стоит?

[loki 86]

Давай без холиваров.  Сырую 8ку как то спеша поставили, и с тех пор стоит себе. Но в 9ветке много чего пофиксили, беду с распаралеливанием и роутинг перфомансом.

 

 

 

 

bgp# uptime
11:07PM up 716 days, 8:41, 2 users, load averages: 0.36, 0.42, 0.41

 

Да, есть чем удивить на линуксе ?

Відредаговано 2013-06-30 20:14:47 loki

[KaYot 3 606]

Ну на НАГе ветка есть, 37гбит по-моему получили на обычном железе с БРАС(!!) функционалом(аккаунтинг+полисинг). С ровно нулевой загрузкой, дальше уперлись в пакетную скорость pci-e шины - при росте трафика появляются дропы.

Про хоть что-то подобное в BSD я никогда не слышал.

Відредаговано 2013-06-30 20:26:39 KaYot

[mlevel 52]

Ну на НАГе ветка есть, 37гбит по-моему получили на обычном железе с БРАС(!!) функционалом(аккаунтинг+полисинг). С ровно нулевой загрузкой, дальше уперлись в пакетную скорость pci-e шины - при росте трафика появляются дропы.

Про хоть что-то подобное в BSD я давно не слышал.

Ето значит что такое на FreeBSD не возможно?

 

P.S. http://info.iet.unipi.it/~luigi/netmap/

Відредаговано 2013-06-30 20:34:08 mlevel

[KaYot 3 606]

 

Ну на НАГе ветка есть, 37гбит по-моему получили на обычном железе с БРАС(!!) функционалом(аккаунтинг+полисинг). С ровно нулевой загрузкой, дальше уперлись в пакетную скорость pci-e шины - при росте трафика появляются дропы.

Про хоть что-то подобное в BSD я давно не слышал.

Ето значит что такое на FreeBSD не возможно?

 

P.S. http://info.iet.unipi.it/~luigi/netmap/

 

Бррр. По ссылке - некий SDK для смелых, с графиком тупой отправки pktgen. Какое отношение ЭТО имеет к реальному трафику в 37G полисера-бриджа в linux?

В подобных условиях на тестах vyatta какой-то celeron под socket 1566 легко заливал тестовые 40гбит упираясь в интерфейсы.

Да-да, на том же НАге я смотрел про испытания этого netmap'a и попытки его куда-то припинать. Но это ведь чисто академический интерес, не правда ли?

Відредаговано 2013-06-30 20:44:42 KaYot

[loki 86]

Скинь ссылку, очень интересно, чё за карты PCIe3 они пользовали, x8 небось.

[ttttt 195]

37гбит ... С ровно нулевой загрузкой

Кайот, реально это с загрузкой 100%, просто не учитывается в статистике. Да и гигабиты не интересны, pps больше скажут о реальном овэрхэде. 

 

А так интеловские бенчмарки с DPDK куда интереснее цифры показывают (160 Mpps), как и с netmap кстати. 

[KaYot 3 606]

 

37гбит ... С ровно нулевой загрузкой

Кайот, реально это с загрузкой 100%, просто не учитывается в статистике. Да и гигабиты не интересны, pps больше скажут о реальном овэрхэде. 

 

А так интеловские бенчмарки с DPDK куда интереснее цифры показывают (160 Mpps), как и с netmap кстати. 

 

http://forum.nag.ru/forum/index.php?showtopic=81814&hl=route-cache&st=0

Это реальный сервер с аккаунтингом и полисингом абонентов, даже не бридж как я выше писал.

Местами вывод top проскакивает, реально загрузка пара процентов.

Відредаговано 2013-06-30 21:00:58 KaYot