Железо для маршрутизации PPoE

[roogi 0]

Прошу посоветовать железо (мать+проц) для сервера (маршрутизатор PPoE). Приблизительное количество абонентов PPoE – 3000.

Аплинк-2 канала (1+1), ёмкость каналов - 3G.

Ёмкость канала PPoE с сервера на свич L3-3G.

Итого 5 10G интерфейсов.Планируется использовать 3 сетевых адаптера Intel X520-DA2.

OS Centos 7

Відредаговано 2016-08-01 11:42:53 roogi

[urs 13]

Надо указать в ТЗ - OS

[roogi 0]

Исправил

[roogi 0]

что нет мыслей ни у кого?

[SBogdan 3]

Мать

http://hotline.ua/computer-materinskie-platy/supermicro-mbd-x11ssl-f-b/

 

ЦП

http://hotline.ua/computer-processory/intel-xeon-e3-1241v3-bx80646e31241v3/

 

Карточки  10Г

http://www.ebay.com/itm/Genuine-INTEL-Ethernet-Server-Adapter-10-Gbps-Dual-Port-X520-DA2-E10G42BTDA-/181977236959?hash=item2a5eb045df:g:rSMAAOSwwo1Xdc9C

или можно взять у https://local.com.ua/forum/user/29951-ievgen/

 

Доп. охлаждение для карточек (по желанию)

http://hotline.ua/computer-kulery-i-radiatory/titan-ttc-sc07tzrb/

 

Корпус 

http://hotline.ua/computer-korpusa/csv-3u-r/

 

БП

http://hotline.ua/computer-bloki-pitaniya/seasonic_ss-350es/

 

Хватит, что бы пропустить через себя 20-25 Гбит. Если мало, нужно смотреть в сторону 1151 и DDR4.

Відредаговано 2016-08-04 17:06:09 SBogdan

[911 140]

А пппое трафик по ядрам не параллелится

Зачем вам 5 сетевух 10г?

[911 140]

Я бы рекомендовал 2 сервера на е3 с 4 портовым гигабитным адаптером

[KaYot 3 707]

А я бы вообще сказал, что для 3к PPPoE с головой хватит самого просто сервера с e3-1220 v1.

И лучше по старинке, с пачкой 1G сетевок в бонде, вместо модных 10G.

Проверено.

[Ромка 567]

А я бы вообще сказал, что для 3к PPPoE с головой хватит самого просто сервера с e3-1220 v1.И лучше по старинке, с пачкой 1G сетевок в бонде, вместо модных 10G.Проверено.

аплинк на брас можно и в бондинге, а вот абонам при рррое лучше отдать парой портов с задублироваными вланами на портах.

[nawaga 8]

А пппое трафик по ядрам не параллелится

Зачем вам 5 сетевух 10г?

Аплинк 1-й канал 3G Оператор "А" (резервный канал плюс еще интерфейс 3G)

Аплинк 2-й канал 3G Оператор "В" (резервный канал плюс еще интерфейс 3G)

плюс интерфейс 3G   на РРоЕ...итого 5 интерфейсов...распараллеливание трафика это уже второй вопрос.

[KaYot 3 707]

А нахрена аплинки в pppoe-сервер втыкать?

Он еще и функции бордера, почтовика, веб-сервера и биллинга будет выполнять?

[roogi 0]

--"А нахрена аплинки в pppoe-сервер втыкать?
Он еще и функции бордера, почтовика, веб-сервера и биллинга будет выполнять?"

 

--А куда их втыкать?Если вы про L3 свич - то разница в чем где будет обрабатываться? Нет --функции почтовика билинга и тп у нас другое железо

Відредаговано 2016-08-05 08:18:03 roogi

[FonOdinus 92]

Бордер отдельно, НАСы отдельно!!!!

[aklex 152]

Немаловаженый вопрос - шейпинг будет? НАТ? все на этом сервере?

Если да, то нифига не вытянет один сервер эту всю нагрузку.

Відредаговано 2016-08-05 10:33:32 aklex

[KaYot 3 707]

--А куда их втыкать?Если вы про L3 свич - то разница в чем где будет обрабатываться?

Конечно. Все аплинки в L3 свич, от него один 10g шнурок в сервер.

В сторону pppoe-абонентов второй порт 10G, но как сказано выше - это плохая идея. Весь трафик упадет на 1 ядро, сервер будет работать в полсилы в итоге..

Лучше собрать транк из 4х1G сетевок и воткнуть его например в тот же L3 свич.

[roogi 0]

Посоветуйте модель L3 коммутатора под аплинки?

[John_Doe 301]

Я бы для начала задумался как уйти от PPPoE, а не какую под него терминацию собирать

Відредаговано 2016-09-17 10:33:35 John_Doe

[nawaga 8]

Я бы для начала задумался как уйти от PPPoE, а не какую под него терминацию собирать

Параллельно поставили С300...будем перетаскивать на PON ( vlan per user )/

[prototip 284]

Солидарен , нужно думать как от него избавиться от этого РРРоЕ , хотя я бы не стал торопиться особо .  Один РРРоЕ терминатор на такую пачку зверей аля 3000 это чревато , лучше 2-3 параллельных РРРоЕ и вопрос с ресурсами РС сам собой отпадает . 

[LENS 105]

 

А я бы вообще сказал, что для 3к PPPoE с головой хватит самого просто сервера с e3-1220 v1.И лучше по старинке, с пачкой 1G сетевок в бонде, вместо модных 10G.Проверено.

аплинк на брас можно и в бондинге, а вот абонам при рррое лучше отдать парой портов с задублироваными вланами на портах.

 

А почему в сторону абонентов отдавать pppoe не в LACP а дублировать вланы в разных портах?

[John_Doe 301]

 

 

Один РРРоЕ терминатор на такую пачку зверей аля 3000 это чревато , лучше 2-3 параллельных РРРоЕ и вопрос с ресурсами РС сам собой отпадает .

кстати да, масштабируется терминация РРРоЕ очень хорошо

[KaYot 3 707]

А почему в сторону абонентов отдавать pppoe не в LACP а дублировать вланы в разных портах?

Потому что один фиг в итоге.

Но идеологически правильнее таки порты в бондинг загнать.

Відредаговано 2016-09-17 15:37:52 KaYot

[foreverok 95]

 

 

А я бы вообще сказал, что для 3к PPPoE с головой хватит самого просто сервера с e3-1220 v1.И лучше по старинке, с пачкой 1G сетевок в бонде, вместо модных 10G.Проверено.

аплинк на брас можно и в бондинге, а вот абонам при рррое лучше отдать парой портов с задублироваными вланами на портах.

 

А почему в сторону абонентов отдавать pppoe не в LACP а дублировать вланы в разных портах?

 

В таком случае, скорее всего будет та же проблема с балансировкой между физическими интерфейсами. Хотя тут уже от алгоритмов агрегации зависит.

[LENS 105]

 

 

 

А я бы вообще сказал, что для 3к PPPoE с головой хватит самого просто сервера с e3-1220 v1.И лучше по старинке, с пачкой 1G сетевок в бонде, вместо модных 10G.Проверено.

аплинк на брас можно и в бондинге, а вот абонам при рррое лучше отдать парой портов с задублироваными вланами на портах.

 

А почему в сторону абонентов отдавать pppoe не в LACP а дублировать вланы в разных портах?

 

В таком случае, скорее всего будет та же проблема с балансировкой между физическими интерфейсами. Хотя тут уже от алгоритмов агрегации зависит.

 

Расскажу свой текущий опыт проб и ошибок.

Поставил я второй сервер для балансировки клиентов - HP DL 360G6 2x2.8Ghz всунул SD карту и поставил на него FreeBSD 10.3, карта в RO, раздел /var в памяти, чтоб винты не крутились зря.

Из оптического кольца на нашей сети у меня есть свободные медные 1Г и CX4 в этом месте. Ну думаю куплю карточку и порядок, на запас типа...

Купил intel два порта cx4 PCI-E, подключил 5ти метровым кабелем infiniband и линк завелся.

Крутил я вертел и скажу свое мнение - гавно эти 10G карточки при трафика до 3G. Я разочаровался!

Я утомился распределять нагрузку по ядрам и становиться младшим научным сотрудником по ядрам) Времени очень много уходит.

В итоге устанавливаю 4 портовую карточку  и получается итого 6 портов со встроеными, настраиваю LACP на трех портах где pppoe вланы на вход, на исход интерфейс вешаю три сессии в разных портах bgp multipath или как его называют ECMP. (у меня brocade распределает только dst-src mac, что в интерконнекте с двумя маками будет все лить в один порт) и наконец все работает очень даже хорошо, нагрузка по моим расчетам NAT(pf)+MPD+IPCAD+IPFW(pipe) до трех гиг проглотит.

Но когда я перейду через планку 2,5 - 3 юзеров - буду железный брас покупать. ASR1002 ESP10 наверное, ну или по-ситуации буду решать

Відредаговано 2016-09-17 16:03:57 LENS

[NiTr0 584]

 

 

Крутил я вертел и скажу свое мнение - гавно эти 10G карточки при трафика до 3G. Я разочаровался! Я утомился распределять нагрузку по ядрам и становиться младшим научным сотрудником по ядрам) Времени очень много уходит.

открою секрет: ни одна сетевуха (ну кроме может свежих XL710) не умеет распределять PPPoE по ядрам, все падает на одно ядро. в линуксе спасает RPS, в бзде оный отсутствует.

 

и да, 2-камневая древняя платформа будет иметь проблемы с NUMA...