Jump to content

BGP 10G Soft Router Своими руками v1.0


Recommended Posts

Схема -- AGG Switches --- Cisco4506E <---> LACP BRAS(1,2,3,4)

                                                    |+|

                                                    |+|

                                                    |+|

                                                    10G BORDER

Карточки: 

dev.ix.0.%desc: Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.5.15
dev.igb.0.%desc: Intel® PRO/1000 Network Connection version - 2.3.10

 

Система:

root@bgp:/ # uname -v
FreeBSD 9.2-STABLE #0: Mon Dec 2 00:41:04 EET 2013

 

 

 

ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: VLAN110_from__BRAS
options=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO>
ether 90:e2:ba:2a:9d:84
inet 10.10.100.10 netmask 0xffffff00 broadcast 10.10.100.255
inet6 fe80::92e2:baff:fe2a:9d84%ix0 prefixlen 64 scopeid 0x5
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect (10Gbase-SR <full-duplex>)
status: active

 

 

LACP на BRAS-aх:

 

lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>
ether 00:1b:21:4d:13:58
inet 10.101.100.254 netmask 0xffffff00 broadcast 10.101.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

 

lagg21: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
ether 00:e0:81:d1:f8:fb
inet 10.10.100.21 netmask 0xffffff00 broadcast 10.10.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Настройки LACP cisco:

 

 

21 Po21(SU) LACP Gi4/14(P) Gi4/15(P) Gi4/16(P)
22 Po22(SU) LACP Gi4/7(P) Gi4/8(P) Gi4/9(P)
23 Po23(SU) LACP Gi4/11(P) Gi4/12(P)

 

 

interface GigabitEthernet4/14
switchport access vlan 110
switchport mode access
no cdp enable
channel-protocol lacp
channel-group 21 mode active

 

 

Прокачка :  ix0: 536 Mb/s   2.67 Gb/s 

Edited by loki
Link to post
Share on other sites
  • Replies 475
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Сорри за оффтоп, но в данной теме оффтоп уже сплошной...     На Украинском форуме начинают как на русском, продолжают как на еврейском, и, часто минуя американский вариант, начинают меряться фуям

Nexus 9372 может уже 128к маршрутов, а 93180 - весь мильен. Вообще не вижу места серверу на бордере.

А смысл? Нынче железо настолько дёшево и быстро, что наоборот, в спец-железках все меньше и меньше смысла. Сервер за 300$ может жевать 10G, а это на минуточку уровень такого себе оператора средне

Posted Images

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

Link to post
Share on other sites

 

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

 

 

Дешевле, но не производительнее ну и масштабируется плохо.

Link to post
Share on other sites

последнюю строку расшифруйте плиз ибо вообще не понять

так решение нефига не 10Г

 

 

Брасы воткнуты в циску с агрегацией, циска на 10G соеденена с бордером. На каждом брасе по 2-3 интерфейса в LAG.

9 патчкордов  с брасов идет на циску. Была проблема в ограничености портов на софт-бордере, вот и  решили поменять на 10Г карту.

 

П.С Вечером опускал шейпера, доходило до 4Гбит. Да, далеко до 10Г, но решение нас устраивает своею бюджетностью и масштабируемостью.  

Циска с помощью PBR на каждый брас "кладет" по 1000 юзеров.

Edited by loki
Link to post
Share on other sites

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

Link to post
Share on other sites

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Edited by fastvd
Link to post
Share on other sites

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

3 браса на сохо-железе за 3k$ - это дофига, за эти деньги серверный комплект можно собрать, на каком-то 6-головом (или 8-головом) зионе, с 10г картой. Который будет кушать Вт 100-150, терминировать тысяч 7-10 сессий и жевать под 10г в каждую сторону.

 

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Ну и толку ему от 10г? Если он на 3-4 гигах суммарного трафика загнется...

И по повоу десктопа - а с чего вы взяли, что он будет хуже по надежности по сравнению с МТ?

Edited by NiTr0
Link to post
Share on other sites

В добавок при добавлении квоты роутер уходит в ребут!

 

ROS 6.6, Core I7 i7-3930k, MSI X79A-GD65,A-Gear NIC-10G-2BF 

 

Обновился до 6.7, после добавления квоты в ребут уже не ходит ....

Link to post
Share on other sites

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

Link to post
Share on other sites

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

pfifо если симпл кваес-только так попали дропы

Link to post
Share on other sites
  • 2 weeks later...
некоторое время назад в драйверах появилась возможность без патча использовать несертифицированные модули


 

в файл 

/etc/modprobe.d/ixgbe.conf

 

добавляем опции

 

для однопортовой карты

options ixgbe   allow_unsupported_sfp=1

 

для двухпортовой карты


options ixgbe   allow_unsupported_sfp=1,1

Edited by korvin2000
Link to post
Share on other sites
  • 2 years later...

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

Link to post
Share on other sites

Если сервер исключительно молотит трафик(никаких бд, веб серверов и т. д.), то si - это для вас основной показатель, а он в свою очередь входит в общую загрузку ядра. Load average = Сумма общей загрузки ядер процессора. 

Никаких проблем если <70% или 0.7*(количество_ядер), можно и больше, но будьте готовы...

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

Edited by askask
Link to post
Share on other sites
  • 3 months later...

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Link to post
Share on other sites

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Edited by korvin2000
Link to post
Share on other sites

Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G

Добавьте еще таких в бондинг. До 3-4гбит 10g нет смысла делать.
Link to post
Share on other sites

Ожидал такой совет. Во первых почему нету смысла ? Во вторых как в бондинге получить всегда свободный канал с пропускной способностью в  1Гбит в одной сессии ?

Link to post
Share on other sites

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

 

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.

Link to post
Share on other sites

Я делал, что на тех, что на других нет проблем чипсет одинаковый.

Остальное все маркетинг.

 

 

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.
Link to post
Share on other sites

Стоит несколько Intel x520-da2. Запускал уже в нескольких сетях. Работают годами. 

Из замеченых глюков адаптеров... Если подключаете два порта, то необходимо, чтобы несущая была одинаковая на обеих портах. Тоесть, либо два оптических модуля, либо Twinax-кабеля. Раз наступил на эти грабли, потратил время на выяснение ситуации. Один порт подымается, другой нет....

Иногда бывают ревизии карт, что если подключение через оптический линк, то он подымается только при старте системы... Иногда оптические модуля некоректно работают... С Twinax проблем будет поменьше.

 

Пример трафа на одном из софварных маршрутизаторов:

post-11828-0-16116600-1480619206_thumb.png

Edited by muff
Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.


×
×
  • Create New...