Железо для сервера - рекомендации

[Men In White 1]

Ну, попробую на начальном этапе, не прожует, возьмем …76-ю.

Докупить всегда успеем, тем более, есть куда вставить ;-)

Господа, хочу услышать Ваше мнение по поводу, Nortel 5530-24TFD, если взять вместо Alcatel OS 6850-U24X или D-Link 3120-24SC?

Спасибо!

[KaYot 3 707]

Господа, хочу услышать Ваше мнение по поводу, Nortel 5530-24TFD, если взять вместо Alcatel OS 6850-U24X или D-Link 3120-24SC?

Спасибо!

IMHO 10g портов мало, для ваших то 500 абонентов.

[Men In White 1]

 

Господа, хочу услышать Ваше мнение по поводу, Nortel 5530-24TFD, если взять вместо Alcatel OS 6850-U24X или D-Link 3120-24SC?

Спасибо!

IMHO 10g портов мало, для ваших то 500 абонентов.

 

Это сарказм?

Или я что-то не так понимаю...

Хотя, тут можно понимать по-разному:

1. Мало 10Gb портов - сарказм

2. Мало Gb портов, всего 10шт.

Там комбо порты, ну, а вообще, по цене того же Д-Линка 3120-24SC можно взять два таких Нортела.

+ 2xStack 40G, 2xXFP, 12xcombo SFP, 24xGigaEthernet... 

Відредаговано 2014-01-31 21:46:03 Men In White

[NiTr0 584]

Ну если 130Вт не смущает - за 3000 грн можно и взять...

[Men In White 1]

Ну если 130Вт не смущает - за 3000 грн можно и взять...

Ну, да... тут есть такой момент прожорливый старой техники.... что Алик, что Нортел... по 130 Ватт жрут, собаки...

[Abram 98]

А про реалтек вы зря. Там где бортовые интеля подключенные к dmi умирают на 600мбит, бортовой реалтек сидящий на pci-e 1x дует 980мбит без потерь.

Кстати, да. У меня на работе декстопный тазик с набортным реалтеком до гига тянет. Его, правда, плющит при этом - но тянет .

[passer 67]

Кстати, кто-нибудь делал уже NAT на Xeon e3-12xx и 10G? Сколько pps, сессий  (желательно с указанием поколения проца) вытянул?

Відредаговано 2014-01-31 22:36:34 passer

[ValRevan 38]

>Это такая шутка - i82574L аналог i82576? 

Набортные более 600-700 мбит не прожуют. Лучше реалтека, да, но хуже чем даже i82571. 

 

Лично у меня много серверов SuperMicro с  Intel® 82574L набортным

Никаких особо больших падений скорости не замечал

Работают под VMW ESXi 4.x-5.x, MS Win 2008 R2-2012 + MS SQL 2008-2012, MS Win 2008 / R2-2012 Terminal + Citrix PS 4.5-6.5, Open-E v6-7 etc

Откуда такая инфа про проблемы с ними?

На каких MB точно замеченны?

[KaYot 3 707]

ValRevan: у вас не провайдинг.

Простые чипы начинают терять пакеты при большом PPS и высокой загрузке железа, из-за маленьких объемов внутренних буферов.

Если на стенде при закачке по FTP или iperf'ом любой чип легко свой гигабит выдает(при pci-e интерфейсе конечно), то на сервере доступа с тяжелой обработкой каждого пакета(shape, nat, firewall) начиная с какого-то PPS у простых бортовых чипов начинаются проблемы. А у 82571/82576 - не начинаются.

[Ruslik 27]

Кстати, кто-нибудь делал уже NAT на Xeon e3-12xx и 10G? Сколько pps, сессий  (желательно с указанием поколения проца) вытянул?

 

Нат не делал, тестил pps, получилось без потерь 1.2Мpps вытянуть на тесте, дальше растет пинг и потери начинаются.

Все из коробки было, хипертридинг выключен, прерывания раскиданы по ядрам.

[Ruslik 27]

 

на борту две очень неплохих уже есть (аналоги E1G42ET), как правило Intel® 82574L.

Это такая шутка - i82574L аналог i82576?

Набортные более 600-700 мбит не прожуют. Лучше реалтека, да, но хуже чем даже i82571.

 

 

Жуют гиг,  только больше 400Kpps не тянут, там по 1 очереди на прием и отдачу всего.

Для роутинга не годятся, для сервисов вполне.

[passer 67]

Эм, а как 400kpps получится на гигабитном сетевом интерфейсе на живом трафике если средний размер пакетов не менее 600байт обычно?

У меня выходило 130-140kpps (in+out до 250kpps) на гигабитном интерфейсе забитом в полку.

Відредаговано 2014-02-01 13:04:50 passer

[ValRevan 38]

Жуют гиг,  только больше 400Kpps не тянут, там по 1 очереди на прием и отдачу всего.

Для роутинга не годятся, для сервисов вполне.

Pardon, в доках

Two optimized transmit (Tx) and receive (Rx) queues for

the Controller’s single port

 

Что бы не углублятся скажу что есть машина с ESXi 5.x и у нее сеть наружу через 2 набортные i82574L

100+ VM из них около 10 очень тяжелых

Полет нормальный, с сетью проблем нет

Может просто драйвера хорошие это все сглаживают но я никогда особых падений скорости с ними не видел и котировал под свои задачи их выше PT

Відредаговано 2014-02-01 17:59:01 ValRevan

[KaYot 3 707]

Фишка в том, что эта самая планка PPS зависит от мощности и загрузки железа. Более мощный сервер может прокачать в разы больше, при тех же простых бортовых сетевках.

На s775 мамке супермикро + Q9300 у меня потери начинались как раз на 500-600мбит(до 100к PPS) на бортовых 82573. Замена их на двухголовую PT потери полностью устранила при той же 50-60% загрузке CPU.

Відредаговано 2014-02-01 13:49:41 KaYot

[Ruslik 27]

Эм, а как 400kpps получится на гигабитном сетевом интерфейсе на живом трафике если средний размер пакетов не менее 600байт обычно?

У меня выходило 130-140kpps (in+out до 250kpps) на гигабитном интерфейсе забитом в полку.

 

ддос 64-байтными пакетами например. Трафик не всегда по 600 байт идет.

[NiTr0 584]

ValRevan: у вас не провайдинг.

Простые чипы начинают терять пакеты при большом PPS и высокой загрузке железа, из-за маленьких объемов внутренних буферов.

Если на стенде при закачке по FTP или iperf'ом любой чип легко свой гигабит выдает(при pci-e интерфейсе конечно), то на сервере доступа с тяжелой обработкой каждого пакета(shape, nat, firewall) начиная с какого-то PPS у простых бортовых чипов начинаются проблемы. А у 82571/82576 - не начинаются.

А еще плюшки типа interrupt moderation и т.п...

 

Pardon, в доках

Two optimized transmit (Tx) and receive (Rx) queues for

the Controller’s single port

Они есть, но толку от них нет. Накладные расходы на обработку передачи пакета - околонулевые.

 

Что бы не углублятся скажу что есть машина с ESXi 5.x и у нее сеть наружу через 2 набортные i82574L

100+ VM из них около 10 очень тяжелых

Полет нормальный, с сетью проблем нет

Может просто драйвера хорошие это все сглаживают но я никогда особых падений скорости с ними не видел и котировал под свои задачи их выше PT

Да пофиг насколько машины тяжелые. Одно дело - отдача/прием контента, другое - роутинг в т.ч. и мелких пакетов.

 

Простой пример: nforce forcedeth, вроде кошерная, даже в серверах применялась. На линуксе - легко дает с семпроном 2800+ скачивание по фтп со скоростью порядка гигабита. Работал с ней бордюр, никого не трогал, загрузка под 60% по ядрам, проц 2-головый прерывания прилеплены к головам. Сменил сетевуху на 82576 - и случилось чудо, нагрузка упала до менее чем 10%...

[byteplayer 0]

 

А если не секрет какая при этом была загрузка канала?

В полку. 2 интерфейса в bond, 2 гига трафика.

ми з кожного OLT влани засовуємо в QinQ - і так тягнем до брасу, ну і там термінуємо. Зручно. На опт82 від китайців - забили

Именно так.

 

А есть смысл играться с:

http://local.com.ua/forum/topic/51309-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0-2u-hp-dl385-g7-%D1%81-%D1%87%D0%B5%D1%81%D1%82%D0%BD%D1%8B%D0%BC%D0%B8-32-%D1%8F%D0%B4%D1%80%D0%B0%D0%BC%D0%B8/?hl=opteron

 

+

 

http://ic-line.ua/servernie-setevie

http://ic-line.ua/pdf/servernie-setevie/NIC-10G-2BF.pdf

 

 

То есть 32 ядра и 2 сетевых по 16 очередей.

Как раз по ядру на очередь.

По идее, должно выйти очень мощно. Нет?

По идее accel-ipoe на такой тачке должен прожевать очень много. Нет?

Что скажете?

[adeep 212]

А есть смысл играться с:

http://local.com.ua/forum/topic/51309-продам-сервера-2u-hp-dl385-g7-с-честными-32-ядрами/?hl=opteron

+

http://ic-line.ua/servernie-setevie

http://ic-line.ua/pdf/servernie-setevie/NIC-10G-2BF.pdf

То есть 32 ядра и 2 сетевых по 16 очередей.

Как раз по ядру на очередь.

По идее, должно выйти очень мощно. Нет?

По идее accel-ipoe на такой тачке должен прожевать очень много. Нет?

Что скажете?

я б сказал Intel only...

[byteplayer 0]

 

А есть смысл играться с:

http://local.com.ua/forum/topic/51309-продам-сервера-2u-hp-dl385-g7-с-честными-32-ядрами/?hl=opteron

+

http://ic-line.ua/servernie-setevie

http://ic-line.ua/pdf/servernie-setevie/NIC-10G-2BF.pdf

То есть 32 ядра и 2 сетевых по 16 очередей.

Как раз по ядру на очередь.

По идее, должно выйти очень мощно. Нет?

По идее accel-ipoe на такой тачке должен прожевать очень много. Нет?

Что скажете?

я б сказал Intel only...

 

А в чём там проблема? Да, там ядра по 2ГГц, но их 32!!! И можно каждое прибить к своей очереди. 

[byteplayer 0]

 

 

А есть смысл играться с:

http://local.com.ua/forum/topic/51309-продам-сервера-2u-hp-dl385-g7-с-честными-32-ядрами/?hl=opteron

+

http://ic-line.ua/servernie-setevie

http://ic-line.ua/pdf/servernie-setevie/NIC-10G-2BF.pdf

То есть 32 ядра и 2 сетевых по 16 очередей.

Как раз по ядру на очередь.

По идее, должно выйти очень мощно. Нет?

По идее accel-ipoe на такой тачке должен прожевать очень много. Нет?

Что скажете?

я б сказал Intel only...

 

А в чём там проблема? Да, там ядра по 2ГГц, но их 32!!! И можно каждое прибить к своей очереди. 

 

Вопрос ещё в том, есть ли в этих сетвых Intel 82599 по 16 очередей на порт? Будет ли драйвер работать со свеми 16-ю очередями?

[KaYot 3 707]

 

 

А есть смысл играться с:

http://local.com.ua/forum/topic/51309-продам-сервера-2u-hp-dl385-g7-с-честными-32-ядрами/?hl=opteron

+

http://ic-line.ua/servernie-setevie

http://ic-line.ua/pdf/servernie-setevie/NIC-10G-2BF.pdf

То есть 32 ядра и 2 сетевых по 16 очередей.

Как раз по ядру на очередь.

По идее, должно выйти очень мощно. Нет?

По идее accel-ipoe на такой тачке должен прожевать очень много. Нет?

Что скажете?

я б сказал Intel only...

 

А в чём там проблема? Да, там ядра по 2ГГц, но их 32!!! И можно каждое прибить к своей очереди. 

Проблема в том, что производительность софт-роутеров нынче упирается не в возможности CPU, а в скорость подсистемы памяти и ширину/латентность внутренних шин.

В итоге на практике какой-нить высокочастотный, с быстрой памятью 4ех яденый xeon E3 молотит трафик не хуже чем двухголовый монстр E5 с 2х6 медленных ядер и узкой шиной между сокетами.

С оптеронами ситуация точно та же, не нужны эти 30 ядер, один вред от них будет.

[NiTr0 584]

производительность софт-роутеров нынче упирается не в возможности CPU, а в скорость подсистемы памяти и ширину/латентность внутренних шин.

Даже не так. 1) латентность памяти 2) латентность и объем кешей 3) наличие плюшек типа записи в L3 при DMA как интеловый I/OATDMA (хотя на наге вроде как писали что толку с него нет - но возможно, оно просто на тестовой системе не завелось просто) 4) скорость ядер 5) их кол-во. Где-то в таком порядке.

Оптероны ИМХО должны быть хороши для вычислений (особенно - веб-сервера). Но в роутинге они сольют свежим интелам.

[adeep 212]

А в чём там проблема? Да, там ядра по 2ГГц, но их 32!!! И можно каждое прибить к своей очереди.

латентность переключения между потоками выполнения. одно ядро будет эффективнее чем два равной производительности.

[byteplayer 0]

Что имеем реально быстрого из серверных чипсетов (материнок, процессоров, памяти)? Есть у кого-то опыт удачного использования 4-сокетных решений или для роутера это нереально? Я ищу железо, на котором можно поиметь мощу чипа 82599 во всей красе. У кого есть soft-BRAS с интерфейсами 10G, чтоб на нём помещалось 5К+ онлайна и трафик 5G+? Такое в природе возможно? Смотрю в сторону accel-ipoe.

[ttttt 195]

с интерфейсами 10G, чтоб на нём помещалось 5К+ онлайна и трафик 5G+? Такое в природе возможно?

С вашего поста думал, что хотите 40G гонять, а оно всего 5G Конечно такое возможно, на любом современном железе и линуксе/фре