BGP 10G Soft Router Своими руками v1.0

[loki 86]

Схема -- AGG Switches --- Cisco4506E <---> LACP BRAS(1,2,3,4)

                                                    |+|

                                                    |+|

                                                    |+|

                                                    10G BORDER

Карточки: 

dev.ix.0.%desc: Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.5.15
dev.igb.0.%desc: Intel® PRO/1000 Network Connection version - 2.3.10

 

Система:

root@bgp:/ # uname -v
FreeBSD 9.2-STABLE #0: Mon Dec 2 00:41:04 EET 2013

 

 

 

ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: VLAN110_from__BRAS
options=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO>
ether 90:e2:ba:2a:9d:84
inet 10.10.100.10 netmask 0xffffff00 broadcast 10.10.100.255
inet6 fe80::92e2:baff:fe2a:9d84%ix0 prefixlen 64 scopeid 0x5
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect (10Gbase-SR <full-duplex>)
status: active

 

 

LACP на BRAS-aх:

 

lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>
ether 00:1b:21:4d:13:58
inet 10.101.100.254 netmask 0xffffff00 broadcast 10.101.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

 

lagg21: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
ether 00:e0:81:d1:f8:fb
inet 10.10.100.21 netmask 0xffffff00 broadcast 10.10.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Настройки LACP cisco:

 

 

21 Po21(SU) LACP Gi4/14(P) Gi4/15(P) Gi4/16(P)
22 Po22(SU) LACP Gi4/7(P) Gi4/8(P) Gi4/9(P)
23 Po23(SU) LACP Gi4/11(P) Gi4/12(P)

 

 

interface GigabitEthernet4/14
switchport access vlan 110
switchport mode access
no cdp enable
channel-protocol lacp
channel-group 21 mode active

 

 

Прокачка :  ix0: 536 Mb/s   2.67 Gb/s 

Изменено 2013-12-04 10:18:53 пользователем loki

[fastvd 62]

  В 03.12.2013 в 17:06, serg_cl сказал:

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

[Mechanik 49]

последнюю строку расшифруйте плиз ибо вообще не понять

так решение нефига не 10Г

Изменено 2013-12-04 10:18:10 пользователем Mechanik

[loki 86]

  В 04.12.2013 в 10:08, fastvd сказал:

 

  В 03.12.2013 в 17:06, serg_cl сказал:

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

 

 

Дешевле, но не производительнее ну и масштабируется плохо.

[loki 86]

  В 04.12.2013 в 10:15, Mechanik сказал:

последнюю строку расшифруйте плиз ибо вообще не понять

так решение нефига не 10Г

 

 

Брасы воткнуты в циску с агрегацией, циска на 10G соеденена с бордером. На каждом брасе по 2-3 интерфейса в LAG.

9 патчкордов  с брасов идет на циску. Была проблема в ограничености портов на софт-бордере, вот и  решили поменять на 10Г карту.

 

П.С Вечером опускал шейпера, доходило до 4Гбит. Да, далеко до 10Г, но решение нас устраивает своею бюджетностью и масштабируемостью.  

Циска с помощью PBR на каждый брас "кладет" по 1000 юзеров.

Изменено 2013-12-04 10:27:32 пользователем loki

[Mechanik 49]

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

[fastvd 62]

  В 04.12.2013 в 10:26, Mechanik сказал:

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Изменено 2013-12-04 10:37:50 пользователем fastvd

[loki 86]

У ccr 1 БП. Что делать если он сгорит ? ИМХО не ремонтнопригодный он.

[NiTr0 585]

  В 04.12.2013 в 10:08, fastvd сказал:

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

3 браса на сохо-железе за 3k$ - это дофига, за эти деньги серверный комплект можно собрать, на каком-то 6-головом (или 8-головом) зионе, с 10г картой. Который будет кушать Вт 100-150, терминировать тысяч 7-10 сессий и жевать под 10г в каждую сторону.

 

  В 04.12.2013 в 10:36, fastvd сказал:

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Ну и толку ему от 10г? Если он на 3-4 гигах суммарного трафика загнется...

И по повоу десктопа - а с чего вы взяли, что он будет хуже по надежности по сравнению с МТ?

Изменено 2013-12-04 11:20:19 пользователем NiTr0

[serg_cl 3]

  В 04.12.2013 в 09:05, serg_cl сказал:

В добавок при добавлении квоты роутер уходит в ребут!

 

ROS 6.6, Core I7 i7-3930k, MSI X79A-GD65,A-Gear NIC-10G-2BF 

 

Обновился до 6.7, после добавления квоты в ребут уже не ходит ....

[serg_cl 3]

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

[fastvd 62]

  В 04.12.2013 в 14:02, serg_cl сказал:

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

pfifо если симпл кваес-только так попали дропы

[korvin2000 7]

некоторое время назад в драйверах появилась возможность без патча использовать несертифицированные модули

 

в файл 

/etc/modprobe.d/ixgbe.conf

 

добавляем опции

 

для однопортовой карты

options ixgbe   allow_unsupported_sfp=1

 

для двухпортовой карты

options ixgbe   allow_unsupported_sfp=1,1

Изменено 2013-12-20 09:47:20 пользователем korvin2000

[EDantes 0]

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

[askask 3]

Если сервер исключительно молотит трафик(никаких бд, веб серверов и т. д.), то si - это для вас основной показатель, а он в свою очередь входит в общую загрузку ядра. Load average = Сумма общей загрузки ядер процессора. 

Никаких проблем если <70% или 0.7*(количество_ядер), можно и больше, но будьте готовы...

  В 22.08.2016 в 08:51, EDantes сказал:

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

Изменено 2016-08-23 00:07:00 пользователем askask

[DenimMark 32]

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

[korvin2000 7]

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

 

  В 01.12.2016 в 09:21, DenimMark сказал:

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Изменено 2016-12-01 09:40:00 пользователем korvin2000

[KaYot 3 730]

  В 01.12.2016 в 09:21, DenimMark сказал:

Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G

Добавьте еще таких в бондинг. До 3-4гбит 10g нет смысла делать.

[DenimMark 32]

Ожидал такой совет. Во первых почему нету смысла ? Во вторых как в бондинге получить всегда свободный канал с пропускной способностью в  1Гбит в одной сессии ?

[DenimMark 32]

  В 01.12.2016 в 09:34, korvin2000 сказал:

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

 

  В 01.12.2016 в 09:21, DenimMark сказал:

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

 

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.

[Daniil_ 10]

У нас стоит вот такая карточка Silicom PE210G2SPi9 на чипе Intel 82599

https://local.com.ua/forum/topic/80995-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC-%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5-%D0%BA%D0%B0%D1%80%D1%82%D1%8B-210gbe-intel-82599-dual-port-10gb-pcie/

[korvin2000 7]

Я делал, что на тех, что на других нет проблем чипсет одинаковый.

Остальное все маркетинг.

 

  В 01.12.2016 в 09:45, DenimMark сказал:

 

  В 01.12.2016 в 09:34, korvin2000 сказал:

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

 

  В 01.12.2016 в 09:21, DenimMark сказал:

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.

[xnet.com.ua 20]

я собі купляв цю:
https://ru.aliexpress.com/item/1-PC-New-X520-SR2-10G-Ethernet-Converged-Network-Adapter-E10G42BFSR-With-2-SFP/32740510248.html

 

у комплекті 2 сфп

 

made in malasya

працює норм.

[muff 116]

Стоит несколько Intel x520-da2. Запускал уже в нескольких сетях. Работают годами. 

Из замеченых глюков адаптеров... Если подключаете два порта, то необходимо, чтобы несущая была одинаковая на обеих портах. Тоесть, либо два оптических модуля, либо Twinax-кабеля. Раз наступил на эти грабли, потратил время на выяснение ситуации. Один порт подымается, другой нет....

Иногда бывают ревизии карт, что если подключение через оптический линк, то он подымается только при старте системы... Иногда оптические модуля некоректно работают... С Twinax проблем будет поменьше.

 

Пример трафа на одном из софварных маршрутизаторов:

Изменено 2016-12-01 19:08:15 пользователем muff

[v0van 3]

muff

Можете сказать конфигурацию сервера и OS. Спасибо.