Перейти до

BGP 10G Soft Router Своими руками v1.0


Рекомендованные сообщения

Схема -- AGG Switches --- Cisco4506E <---> LACP BRAS(1,2,3,4)

                                                    |+|

                                                    |+|

                                                    |+|

                                                    10G BORDER

Карточки: 

dev.ix.0.%desc: Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.5.15
dev.igb.0.%desc: Intel® PRO/1000 Network Connection version - 2.3.10

 

Система:

root@bgp:/ # uname -v
FreeBSD 9.2-STABLE #0: Mon Dec 2 00:41:04 EET 2013

 

 

 

ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
description: VLAN110_from__BRAS
options=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO>
ether 90:e2:ba:2a:9d:84
inet 10.10.100.10 netmask 0xffffff00 broadcast 10.10.100.255
inet6 fe80::92e2:baff:fe2a:9d84%ix0 prefixlen 64 scopeid 0x5
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>
media: Ethernet autoselect (10Gbase-SR <full-duplex>)
status: active

 

 

LACP на BRAS-aх:

 

lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>
ether 00:1b:21:4d:13:58
inet 10.101.100.254 netmask 0xffffff00 broadcast 10.101.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

 

lagg21: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>
ether 00:e0:81:d1:f8:fb
inet 10.10.100.21 netmask 0xffffff00 broadcast 10.10.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

 

Настройки LACP cisco:

 

 

21 Po21(SU) LACP Gi4/14(P) Gi4/15(P) Gi4/16(P)
22 Po22(SU) LACP Gi4/7(P) Gi4/8(P) Gi4/9(P)
23 Po23(SU) LACP Gi4/11(P) Gi4/12(P)

 

 

interface GigabitEthernet4/14
switchport access vlan 110
switchport mode access
no cdp enable
channel-protocol lacp
channel-group 21 mode active

 

 

Прокачка :  ix0: 536 Mb/s   2.67 Gb/s 

Відредаговано loki
Ссылка на сообщение
Поделиться на других сайтах
  • Відповіді 477
  • Створено
  • Остання відповідь

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Сорри за оффтоп, но в данной теме оффтоп уже сплошной...     На Украинском форуме начинают как на русском, продолжают как на еврейском, и, часто минуя американский вариант, начинают меряться фуям

Nexus 9372 может уже 128к маршрутов, а 93180 - весь мильен. Вообще не вижу места серверу на бордере.

А смысл? Нынче железо настолько дёшево и быстро, что наоборот, в спец-железках все меньше и меньше смысла. Сервер за 300$ может жевать 10G, а это на минуточку уровень такого себе оператора средне

Posted Images

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

Ссылка на сообщение
Поделиться на других сайтах

последнюю строку расшифруйте плиз ибо вообще не понять

так решение нефига не 10Г

Відредаговано Mechanik
Ссылка на сообщение
Поделиться на других сайтах

 

Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные.

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

 

 

Дешевле, но не производительнее ну и масштабируется плохо.

Ссылка на сообщение
Поделиться на других сайтах

последнюю строку расшифруйте плиз ибо вообще не понять

так решение нефига не 10Г

 

 

Брасы воткнуты в циску с агрегацией, циска на 10G соеденена с бордером. На каждом брасе по 2-3 интерфейса в LAG.

9 патчкордов  с брасов идет на циску. Была проблема в ограничености портов на софт-бордере, вот и  решили поменять на 10Г карту.

 

П.С Вечером опускал шейпера, доходило до 4Гбит. Да, далеко до 10Г, но решение нас устраивает своею бюджетностью и масштабируемостью.  

Циска с помощью PBR на каждый брас "кладет" по 1000 юзеров.

Відредаговано loki
Ссылка на сообщение
Поделиться на других сайтах

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

Ссылка на сообщение
Поделиться на других сайтах

я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые

ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Відредаговано fastvd
Ссылка на сообщение
Поделиться на других сайтах

а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.

3 браса на сохо-железе за 3k$ - это дофига, за эти деньги серверный комплект можно собрать, на каком-то 6-головом (или 8-головом) зионе, с 10г картой. Который будет кушать Вт 100-150, терминировать тысяч 7-10 сессий и жевать под 10г в каждую сторону.

 

не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват

ccr есть с 10г тоже.

Ну и толку ему от 10г? Если он на 3-4 гигах суммарного трафика загнется...

И по повоу десктопа - а с чего вы взяли, что он будет хуже по надежности по сравнению с МТ?

Відредаговано NiTr0
Ссылка на сообщение
Поделиться на других сайтах

В добавок при добавлении квоты роутер уходит в ребут!

 

ROS 6.6, Core I7 i7-3930k, MSI X79A-GD65,A-Gear NIC-10G-2BF 

 

Обновился до 6.7, после добавления квоты в ребут уже не ходит ....

Ссылка на сообщение
Поделиться на других сайтах

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

Ссылка на сообщение
Поделиться на других сайтах

Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и  "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать.

pfifо если симпл кваес-только так попали дропы

Ссылка на сообщение
Поделиться на других сайтах
  • 2 weeks later...
Опубліковано: (відредаговано)
некоторое время назад в драйверах появилась возможность без патча использовать несертифицированные модули


 

в файл 

/etc/modprobe.d/ixgbe.conf

 

добавляем опции

 

для однопортовой карты

options ixgbe   allow_unsupported_sfp=1

 

для двухпортовой карты


options ixgbe   allow_unsupported_sfp=1,1

Відредаговано korvin2000
Ссылка на сообщение
Поделиться на других сайтах
  • 2 years later...

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

Ссылка на сообщение
Поделиться на других сайтах

Если сервер исключительно молотит трафик(никаких бд, веб серверов и т. д.), то si - это для вас основной показатель, а он в свою очередь входит в общую загрузку ядра. Load average = Сумма общей загрузки ядер процессора. 

Никаких проблем если <70% или 0.7*(количество_ядер), можно и больше, но будьте готовы...

Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким  образом:
Cpu0  :  1.7%us,  1.7%sy,  0.0%ni, 70.5%id,  0.1%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu1  :  0.8%us,  0.6%sy,  0.0%ni, 72.7%id,  0.0%wa,  0.0%hi, 26.0%si,  0.0%st
Cpu2  :  1.8%us,  1.7%sy,  0.0%ni, 71.6%id,  0.0%wa,  0.0%hi, 24.8%si,  0.0%st
Cpu3  :  0.5%us,  0.6%sy,  0.0%ni, 74.3%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu4  :  1.7%us,  1.7%sy,  0.0%ni, 71.9%id,  0.0%wa,  0.0%hi, 24.6%si,  0.0%st
Cpu5  :  0.5%us,  0.6%sy,  0.0%ni, 74.4%id,  0.1%wa,  0.0%hi, 24.4%si,  0.0%st

(в часы пика si% 50-60%)
При этом средняя нагрузка остается малой:
cat /proc/loadavg
0.08 0.16 0.18 1/98 29900

Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?
Спасибо! 
 

Відредаговано askask
Ссылка на сообщение
Поделиться на других сайтах
  • 3 months later...

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Відредаговано korvin2000
Ссылка на сообщение
Поделиться на других сайтах

Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G

Добавьте еще таких в бондинг. До 3-4гбит 10g нет смысла делать.
Ссылка на сообщение
Поделиться на других сайтах

Ожидал такой совет. Во первых почему нету смысла ? Во вторых как в бондинге получить всегда свободный канал с пропускной способностью в  1Гбит в одной сессии ?

Ссылка на сообщение
Поделиться на других сайтах

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

 

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.

Ссылка на сообщение
Поделиться на других сайтах
Ссылка на сообщение
Поделиться на других сайтах

Я делал, что на тех, что на других нет проблем чипсет одинаковый.

Остальное все маркетинг.

 

 

Добрый

 

Если быстро надо, то ic-line.ua

Если сэкономить, то на aliexpress

 

http://www.aliexpress.com/item/32597717762/32597717762.html

 

;)

 

Добрый день.

 

Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta.

Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать.
Ссылка на сообщение
Поделиться на других сайтах

я собі купляв цю:
https://ru.aliexpress.com/item/1-PC-New-X520-SR2-10G-Ethernet-Converged-Network-Adapter-E10G42BFSR-With-2-SFP/32740510248.html

 

у комплекті 2 сфп

 

made in malasya

працює норм.

Ссылка на сообщение
Поделиться на других сайтах

Стоит несколько Intel x520-da2. Запускал уже в нескольких сетях. Работают годами. 

Из замеченых глюков адаптеров... Если подключаете два порта, то необходимо, чтобы несущая была одинаковая на обеих портах. Тоесть, либо два оптических модуля, либо Twinax-кабеля. Раз наступил на эти грабли, потратил время на выяснение ситуации. Один порт подымается, другой нет....

Иногда бывают ревизии карт, что если подключение через оптический линк, то он подымается только при старте системы... Иногда оптические модуля некоректно работают... С Twinax проблем будет поменьше.

 

Пример трафа на одном из софварных маршрутизаторов:

post-11828-0-16116600-1480619206_thumb.png

Відредаговано muff
Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.


×
×
  • Створити нове...