loki 86 Posted 2013-12-04 09:38:10 Share Posted 2013-12-04 09:38:10 (edited) Схема -- AGG Switches --- Cisco4506E <---> LACP BRAS(1,2,3,4) |+| |+| |+| 10G BORDER Карточки: dev.ix.0.%desc: Intel® PRO/10GbE PCI-Express Network Driver, Version - 2.5.15dev.igb.0.%desc: Intel® PRO/1000 Network Connection version - 2.3.10 Система: root@bgp:/ # uname -vFreeBSD 9.2-STABLE #0: Mon Dec 2 00:41:04 EET 2013 ix0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500description: VLAN110_from__BRASoptions=407bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4,TSO6,LRO,VLAN_HWTSO>ether 90:e2:ba:2a:9d:84inet 10.10.100.10 netmask 0xffffff00 broadcast 10.10.100.255inet6 fe80::92e2:baff:fe2a:9d84%ix0 prefixlen 64 scopeid 0x5nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>media: Ethernet autoselect (10Gbase-SR <full-duplex>)status: active LACP на BRAS-aх: lagg0: flags=8943<UP,BROADCAST,RUNNING,PROMISC,SIMPLEX,MULTICAST> metric 0 mtu 1500options=1bb<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,JUMBO_MTU,VLAN_HWCSUM,TSO4>ether 00:1b:21:4d:13:58inet 10.101.100.254 netmask 0xffffff00 broadcast 10.101.100.255media: Ethernet autoselectstatus: activelaggproto lacplaggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> lagg21: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500options=19b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,TSO4>ether 00:e0:81:d1:f8:fbinet 10.10.100.21 netmask 0xffffff00 broadcast 10.10.100.255media: Ethernet autoselectstatus: activelaggproto lacplaggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>laggport: em1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING> Настройки LACP cisco: 21 Po21(SU) LACP Gi4/14(P) Gi4/15(P) Gi4/16(P)22 Po22(SU) LACP Gi4/7(P) Gi4/8(P) Gi4/9(P)23 Po23(SU) LACP Gi4/11(P) Gi4/12(P) interface GigabitEthernet4/14switchport access vlan 110switchport mode accessno cdp enablechannel-protocol lacpchannel-group 21 mode active Прокачка : ix0: 536 Mb/s 2.67 Gb/s Edited 2013-12-04 10:18:53 by loki Link to post Share on other sites
fastvd 62 Posted 2013-12-04 10:08:57 Share Posted 2013-12-04 10:08:57 Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные. а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз. Link to post Share on other sites
Mechanik 49 Posted 2013-12-04 10:15:53 Share Posted 2013-12-04 10:15:53 (edited) последнюю строку расшифруйте плиз ибо вообще не понять так решение нефига не 10Г Edited 2013-12-04 10:18:10 by Mechanik Link to post Share on other sites
loki 86 Posted 2013-12-04 10:17:05 Share Posted 2013-12-04 10:17:05 Собственно ROS 6.6 увидел карту A-Gear NIC-10G-2BF без проблем, но не знаю в карте дело или нет, но simple queue практически не работает, если у кого то получилось на 6 ветке использовать simple queue просьба расказать где там грабли. Как только добавляю правило у абонента дальше шлюза трафик не идёт. Типы очередей пробовал разные. а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз. Дешевле, но не производительнее ну и масштабируется плохо. Link to post Share on other sites
loki 86 Posted 2013-12-04 10:23:47 Share Posted 2013-12-04 10:23:47 (edited) последнюю строку расшифруйте плиз ибо вообще не понять так решение нефига не 10Г Брасы воткнуты в циску с агрегацией, циска на 10G соеденена с бордером. На каждом брасе по 2-3 интерфейса в LAG. 9 патчкордов с брасов идет на циску. Была проблема в ограничености портов на софт-бордере, вот и решили поменять на 10Г карту. П.С Вечером опускал шейпера, доходило до 4Гбит. Да, далеко до 10Г, но решение нас устраивает своею бюджетностью и масштабируемостью. Циска с помощью PBR на каждый брас "кладет" по 1000 юзеров. Edited 2013-12-04 10:27:32 by loki Link to post Share on other sites
Mechanik 49 Posted 2013-12-04 10:26:06 Share Posted 2013-12-04 10:26:06 я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать Link to post Share on other sites
fastvd 62 Posted 2013-12-04 10:36:47 Share Posted 2013-12-04 10:36:47 (edited) я имел ввиду не Ваше решение, а microtik ccr . там все порты гиговые ценник получается 1к$ , за эти деньги можно сервак с 10G сетевухами собрать не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват ccr есть с 10г тоже. Edited 2013-12-04 10:37:50 by fastvd Link to post Share on other sites
loki 86 Posted 2013-12-04 10:48:47 Share Posted 2013-12-04 10:48:47 У ccr 1 БП. Что делать если он сгорит ? ИМХО не ремонтнопригодный он. Link to post Share on other sites
NiTr0 585 Posted 2013-12-04 11:18:24 Share Posted 2013-12-04 11:18:24 (edited) а почему не используете готовое решение на базе ccr ? были тесты - чисто БЖП в дефольте писали что 2.5 Г проходит без проблем, если под БРАС, то цена 3-х брасов на МТ будет дешевле чем 3 БРАСА на норм серваках, и по электричеству экономия больше чем в 10 раз.3 браса на сохо-железе за 3k$ - это дофига, за эти деньги серверный комплект можно собрать, на каком-то 6-головом (или 8-головом) зионе, с 10г картой. Который будет кушать Вт 100-150, терминировать тысяч 7-10 сессий и жевать под 10г в каждую сторону. не сервак а десктоп с серверными сетевухами,который кушает 300-350 ват, а мт 30 ват ccr есть с 10г тоже. Ну и толку ему от 10г? Если он на 3-4 гигах суммарного трафика загнется... И по повоу десктопа - а с чего вы взяли, что он будет хуже по надежности по сравнению с МТ? Edited 2013-12-04 11:20:19 by NiTr0 Link to post Share on other sites
serg_cl 3 Posted 2013-12-04 13:58:48 Share Posted 2013-12-04 13:58:48 В добавок при добавлении квоты роутер уходит в ребут! ROS 6.6, Core I7 i7-3930k, MSI X79A-GD65,A-Gear NIC-10G-2BF Обновился до 6.7, после добавления квоты в ребут уже не ходит .... Link to post Share on other sites
serg_cl 3 Posted 2013-12-04 14:02:21 Share Posted 2013-12-04 14:02:21 Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать. Link to post Share on other sites
fastvd 62 Posted 2013-12-06 18:45:07 Share Posted 2013-12-06 18:45:07 Может кто то подскажет если существенная разница на практике между "multi-queue-ethernet-default" и "ethernet-default", пишут что если использовать multi-queue-ethernet-default то RPS нужно отключать. pfifо если симпл кваес-только так попали дропы Link to post Share on other sites
korvin2000 7 Posted 2013-12-20 09:47:04 Author Share Posted 2013-12-20 09:47:04 (edited) некоторое время назад в драйверах появилась возможность без патча использовать несертифицированные модули в файл /etc/modprobe.d/ixgbe.conf добавляем опции для однопортовой карты options ixgbe allow_unsupported_sfp=1 для двухпортовой карты options ixgbe allow_unsupported_sfp=1,1 Edited 2013-12-20 09:47:20 by korvin2000 Link to post Share on other sites
EDantes 0 Posted 2016-08-22 08:51:04 Share Posted 2016-08-22 08:51:04 Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким образом:Cpu0 : 1.7%us, 1.7%sy, 0.0%ni, 70.5%id, 0.1%wa, 0.0%hi, 26.0%si, 0.0%stCpu1 : 0.8%us, 0.6%sy, 0.0%ni, 72.7%id, 0.0%wa, 0.0%hi, 26.0%si, 0.0%stCpu2 : 1.8%us, 1.7%sy, 0.0%ni, 71.6%id, 0.0%wa, 0.0%hi, 24.8%si, 0.0%stCpu3 : 0.5%us, 0.6%sy, 0.0%ni, 74.3%id, 0.0%wa, 0.0%hi, 24.6%si, 0.0%stCpu4 : 1.7%us, 1.7%sy, 0.0%ni, 71.9%id, 0.0%wa, 0.0%hi, 24.6%si, 0.0%stCpu5 : 0.5%us, 0.6%sy, 0.0%ni, 74.4%id, 0.1%wa, 0.0%hi, 24.4%si, 0.0%st(в часы пика si% 50-60%)При этом средняя нагрузка остается малой:cat /proc/loadavg0.08 0.16 0.18 1/98 29900Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?Спасибо! Link to post Share on other sites
askask 3 Posted 2016-08-22 18:14:20 Share Posted 2016-08-22 18:14:20 (edited) Если сервер исключительно молотит трафик(никаких бд, веб серверов и т. д.), то si - это для вас основной показатель, а он в свою очередь входит в общую загрузку ядра. Load average = Сумма общей загрузки ядер процессора. Никаких проблем если <70% или 0.7*(количество_ядер), можно и больше, но будьте готовы... Уважаемые, форумчане. Прошу помощи разобраться в таком вопросе... Есть шлюз, который обрабатывает порядка 2-3 Гбит/с трафика. При этом нагрузка по процессорам выглядеть таким образом:Cpu0 : 1.7%us, 1.7%sy, 0.0%ni, 70.5%id, 0.1%wa, 0.0%hi, 26.0%si, 0.0%stCpu1 : 0.8%us, 0.6%sy, 0.0%ni, 72.7%id, 0.0%wa, 0.0%hi, 26.0%si, 0.0%stCpu2 : 1.8%us, 1.7%sy, 0.0%ni, 71.6%id, 0.0%wa, 0.0%hi, 24.8%si, 0.0%stCpu3 : 0.5%us, 0.6%sy, 0.0%ni, 74.3%id, 0.0%wa, 0.0%hi, 24.6%si, 0.0%stCpu4 : 1.7%us, 1.7%sy, 0.0%ni, 71.9%id, 0.0%wa, 0.0%hi, 24.6%si, 0.0%stCpu5 : 0.5%us, 0.6%sy, 0.0%ni, 74.4%id, 0.1%wa, 0.0%hi, 24.4%si, 0.0%st(в часы пика si% 50-60%)При этом средняя нагрузка остается малой:cat /proc/loadavg0.08 0.16 0.18 1/98 29900Вопрос такой: влияет ли показатель загруженности процессора "si" на общую загруженность системы (loadavg) и есть ли запас по мощности еще у сервера в таком случае?Спасибо! Edited 2016-08-23 00:07:00 by askask Link to post Share on other sites
DenimMark 32 Posted 2016-12-01 09:21:09 Share Posted 2016-12-01 09:21:09 Добрый день. Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta. Link to post Share on other sites
korvin2000 7 Posted 2016-12-01 09:34:23 Author Share Posted 2016-12-01 09:34:23 (edited) Добрый Если быстро надо, то ic-line.ua Если сэкономить, то на aliexpress http://www.aliexpress.com/item/32597717762/32597717762.html Добрый день. Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta. Edited 2016-12-01 09:40:00 by korvin2000 Link to post Share on other sites
KaYot 3,731 Posted 2016-12-01 09:36:41 Share Posted 2016-12-01 09:36:41 Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1GДобавьте еще таких в бондинг. До 3-4гбит 10g нет смысла делать. Link to post Share on other sites
DenimMark 32 Posted 2016-12-01 09:43:40 Share Posted 2016-12-01 09:43:40 Ожидал такой совет. Во первых почему нету смысла ? Во вторых как в бондинге получить всегда свободный канал с пропускной способностью в 1Гбит в одной сессии ? Link to post Share on other sites
DenimMark 32 Posted 2016-12-01 09:45:07 Share Posted 2016-12-01 09:45:07 Добрый Если быстро надо, то ic-line.ua Если сэкономить, то на aliexpress http://www.aliexpress.com/item/32597717762/32597717762.html Добрый день. Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta. Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать. Link to post Share on other sites
Daniil_ 10 Posted 2016-12-01 09:58:11 Share Posted 2016-12-01 09:58:11 У нас стоит вот такая карточка Silicom PE210G2SPi9 на чипе Intel 82599 https://local.com.ua/forum/topic/80995-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D0%BC-%D1%81%D0%B5%D1%82%D0%B5%D0%B2%D1%8B%D0%B5-%D0%BA%D0%B0%D1%80%D1%82%D1%8B-210gbe-intel-82599-dual-port-10gb-pcie/ Link to post Share on other sites
korvin2000 7 Posted 2016-12-01 11:24:06 Author Share Posted 2016-12-01 11:24:06 Я делал, что на тех, что на других нет проблем чипсет одинаковый. Остальное все маркетинг. Добрый Если быстро надо, то ic-line.ua Если сэкономить, то на aliexpress http://www.aliexpress.com/item/32597717762/32597717762.html Добрый день. Кто то может посоветовать что есть на сегодня из "нормальных карточек" 10G SFP+ для софт роутера. Сейчас стоит Intel Corporation 82576 подбираемся потихоньку к 1G. OS Vyatta. Не быстро надо, а нормально. И вопрос в том что кто то уже такое сделал и может посоветовать. Link to post Share on other sites
xnet.com.ua 20 Posted 2016-12-01 14:01:49 Share Posted 2016-12-01 14:01:49 я собі купляв цю:https://ru.aliexpress.com/item/1-PC-New-X520-SR2-10G-Ethernet-Converged-Network-Adapter-E10G42BFSR-With-2-SFP/32740510248.html у комплекті 2 сфп made in malasya працює норм. Link to post Share on other sites
muff 116 Posted 2016-12-01 19:06:21 Share Posted 2016-12-01 19:06:21 (edited) Стоит несколько Intel x520-da2. Запускал уже в нескольких сетях. Работают годами. Из замеченых глюков адаптеров... Если подключаете два порта, то необходимо, чтобы несущая была одинаковая на обеих портах. Тоесть, либо два оптических модуля, либо Twinax-кабеля. Раз наступил на эти грабли, потратил время на выяснение ситуации. Один порт подымается, другой нет.... Иногда бывают ревизии карт, что если подключение через оптический линк, то он подымается только при старте системы... Иногда оптические модуля некоректно работают... С Twinax проблем будет поменьше. Пример трафа на одном из софварных маршрутизаторов: Edited 2016-12-01 19:08:15 by muff Link to post Share on other sites
v0van 3 Posted 2016-12-01 19:41:23 Share Posted 2016-12-01 19:41:23 muff Можете сказать конфигурацию сервера и OS. Спасибо. Link to post Share on other sites
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now