BGP 10G Soft Router Своими руками v1.0

[korvin2000 7]

Много зависит от драйвера

И прошивки модулей

За все время была проблема перенесли один из серверов и сдох странно кабель работало, но с потерями. Заменили все полетело дальше.

 

Стоит несколько Intel x520-da2. Запускал уже в нескольких сетях. Работают годами.

Из замеченых глюков адаптеров... Если подключаете два порта, то необходимо, чтобы несущая была одинаковая на обеих портах. Тоесть, либо два оптических модуля, либо Twinax-кабеля. Раз наступил на эти грабли, потратил время на выяснение ситуации. Один порт подымается, другой нет....

Иногда бывают ревизии карт, что если подключение через оптический линк, то он подымается только при старте системы... Иногда оптические модуля некоректно работают... С Twinax проблем будет поменьше.

 

Пример трафа на одном из софварных маршрутизаторов:

[muff 115]

muff

Можете сказать конфигурацию сервера и OS. Спасибо.

 

HP ProLiant DL360 G7

CPU: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz (2533.47-MHz K8-class CPU)
real memory  = 17179869184 (16384 MB)
avail memory = 16602632192 (15833 MB)
FreeBSD/SMP: Multiprocessor System Detected: 24 CPUs
FreeBSD/SMP: 2 package(s) x 6 core(s) x 2 SMT threads

# uname -rsm
FreeBSD 10.3-RELEASE amd64

# uptime
10:25  up 226 days,  8:35, 6 users, load averages: 3,73 4,19 4,06

Відредаговано 2016-12-02 08:26:46 muff

[magamel 3]

 

muff

Можете сказать конфигурацию сервера и OS. Спасибо.

 

HP ProLiant DL360 G7

CPU: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz (2533.47-MHz K8-class CPU)
real memory  = 17179869184 (16384 MB)
avail memory = 16602632192 (15833 MB)
FreeBSD/SMP: Multiprocessor System Detected: 24 CPUs
FreeBSD/SMP: 2 package(s) x 6 core(s) x 2 SMT threads

# uname -rsm
FreeBSD 10.3-RELEASE amd64

# uptime
10:25  up 226 days,  8:35, 6 users, load averages: 3,73 4,19 4,06

 

 

muff, а можете сказати які задачі виконує сервер ? Роутер, нат, шейпер, просто фаєрвол ?

Відредаговано 2016-12-02 08:48:10 magamel

[muff 115]

 

 

muff

Можете сказать конфигурацию сервера и OS. Спасибо.

 

HP ProLiant DL360 G7

CPU: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz (2533.47-MHz K8-class CPU)
real memory  = 17179869184 (16384 MB)
avail memory = 16602632192 (15833 MB)
FreeBSD/SMP: Multiprocessor System Detected: 24 CPUs
FreeBSD/SMP: 2 package(s) x 6 core(s) x 2 SMT threads

# uname -rsm
FreeBSD 10.3-RELEASE amd64

# uptime
10:25  up 226 days,  8:35, 6 users, load averages: 3,73 4,19 4,06

 

 

muff, а можете сказати які задачі виконує сервер ? Роутер, нат, шейпер, просто фаєрвол ?

 

BGP плюс роутінг.

НАТ, шейпи - на сателітах.

[v0van 3]

Вечер добрый. 

Кто может подсказать что лучше для Soft Router кол ядер в процессоре или тактовая частота?

Выбираю между e5-2680v2 2.8Ghz +Turbo 3.6Ghz(10c/20) & e5-2692v2 2.2Ghz(12c/24)    Х2

Задачи от 8 до 12Гб трафика + 7BGP сессий + 2 full view  + шейпер 

 

Спасибо за помощь. 

Відредаговано 2017-10-21 18:20:32 v0van

[foreverok 95]

Я бы выбрал вариант №1 e5-2680v2 2.8Ghz +Turbo 3.6Ghz(10c/20)

 

ИМХО. При правильной настройке нагрузка равномерно распределяется по ядрам CPU, потому чаще важна общая частота (частота*количество ядер).

P.S. e5-2692v2 2.2Ghz(12c/24) - что тут нет https://ark.intel.com/ru/products/series/78582/Intel-Xeon-Processor-E5-v2-Family(может он протух? , заморачиваться лениво)

[v0van 3]

http://www.cpu-world.com/CPUs/Xeon/Intel-Xeon%20E5-2692%20v2.html

[v0van 3]

Как раз так и думал чтобы равномерно распределить нагрузку между ядрами, а в e5-2692v2  12 ядер 24 потока. Хотел поставить 2шт и получить 48 потоков. И использовать 2 сетевые intel x520-da2

[911 140]

Или может даже Е3, но с бОльшей частотой

[mixtery 121]

Как раз так и думал чтобы равномерно распределить нагрузку между ядрами, а в e5-2692v2  12 ядер 24 потока. Хотел поставить 2шт и получить 48 потоков. И использовать 2 сетевые intel x520-da2

Не пользуйте hypertheading в работе с траффиком, чревато

 

Выше уже писали меньшее кол-во ядер и выше частота лучше чем больше ядер и меньше частот.

А дальше уже магия тюнинга, распределение прерываний, NUMA, буфферы, чексуммы.

[v0van 3]

Так что взять e5-2680v2 2.8Ghz +Turbo 3.6Ghz(10c/20) 2шт.? Или может кто то предложит свой, рабочий вариант?

[KaYot 3 702]

IMHO, 2ух сокетная система под такую задачу так себе идея. Очень велика вероятность что установка второго камня совершенно ничего не даст, или сделает хуже.

Про HT уже написали, он в принципе не нужен.

Мой выбор вообще E5-1680 v2, если уже есть сервер и важен LGA2011, или 1680 v4 с ddr4 если можно другой сокет.

 

Ну а из ваших вариантов 2680 с турбо 3.1Ггц и 2692 с 2.6Ггц одинаковы. Я бы взял 1х 2680.

Відредаговано 2017-10-22 06:38:38 KaYot

[v0van 3]

У меня сейчас работает бордер на 2шт intel x5670 + intel x520-da2 + mikrotik (знаю что он не для этого, но простота настройки и упрвления берет свое) = 6Гб/с 

Смотрю на перспективу - поэтому и задался данным вопросом заблаговременно.

[mort1k 13]

Задачи от 8 до 12Гб трафика + 7BGP сессий + 2 full view  + шейпер

 

надо плясать от того,  какой планируется шейпер и какой pps. На таком обьеме использование софт роутера граничит со здравым смыслом.

[v0van 3]

Сейчас 600т pps

В firewall  65 записей

В Mangle 26 записей

[zulu_Radist 856]

точно шейпер, не полисер?

[muff 115]

Выносите шейпера. И клиентов, соответственно, терминируйте отдельно...

 

Схема с двумя серверами (софт-роутеры):

1. BGP плюс крупные клиенты.
2. Терминируем и шейпим мелких клиентов. 

[muff 115]

10G Soft Router ...

[DenimMark 32]

Какие карточки на роутере и какой свич ? Если не секрет.

Відредаговано 2017-10-29 12:04:51 DenimMark

[muff 115]

Карта Intel x520-da2.

 

На даный момент подключена к комутатору Quanta LB6M.

 

Карта работала в паре со следующими комутаторами:

- D-LINK DGS-3420-28SC

- Eltex MES2324FB

- Fujitsu XG2600

[v0van 3]

10G Soft Router ...

Вечер добрый. Какая комплектация Soft Router ?

[muff 115]

HP ProLiant DL360 G7

CPU: Intel(R) Xeon(R) CPU           E5649  @ 2.53GHz (2533.47-MHz K8-class CPU)

real memory  = 17179869184 (16384 MB)

avail memory = 16602632192 (15833 MB)

FreeBSD/SMP: Multiprocessor System Detected: 24 CPUs

FreeBSD/SMP: 2 package(s) x 6 core(s) x 2 SMT threads

# uname -rsm

FreeBSD 10.3-RELEASE amd64

Відредаговано 2017-10-30 15:50:41 muff

[pashaumka 33]

минимум 8 ядер с выключенным гипертредингом  и  VT-d

У меня 2 булыжника по 4. ( х2 HT )

 

нуи + софтово разнос прерываний...

 

model name    : Intel® Xeon® CPU           L5420  @ 2.50GHz
 

#uptime
18:31:49 up 54 days,  2:00,  1 user,  load average: 0,21, 0,22, 0,23

Відредаговано 2017-10-30 16:34:35 pashaumka

[xnet.com.ua 20]

82599ES

dgs-3420

3Gb траф 600k pps

i7-3770

37% навантаження у топі

Відредаговано 2017-10-30 21:25:38 xnet.com.ua

[muff 115]

Кста... PPS для наглядности.