Vlan-per-usr, qinq, linux

[xaoc_nsk 0]

День добрый всем!

 

В данный момент сеть построена на D'Link (L2) Des 3526, 3028, 3200 звездно-кольцевая топология. Все стягивается в центр Eltex MES3124F (L3) (4x10G + 24x1G)   далее в маршрутизатор на sles linux. Подключено несколько районов, собственно на каждый район свой vlan и ip c маской /22.

Привязки по старинному-дебильному ip-mac binding

 

Серверная машина с конфигурацией

 

Supermicro SERVER SYS-6027R-WRF

CPU Intel Socket 2011 Xeon E5-2650 (2.00GHz/20Mb) tray 8core 16 потоков

Память - Kingston DIMM 2Х8GB 1333MHz DDR3L ECC Reg CL9  DR x4 1.35V Hynix C 

Сетевка Intel X520-DA2 (10G)

 

Подключено где-то 5к клиентов.

 

Тестирую перевод данной сети на vlan-per-user + qinq + ip unnumbered

 

Делим сеть на сегменты по 8-12 свичей в кольцах, --> MES3124F --> server

В сегменте клиентские vlan 1000-1500 ( типовой конфиг для всех сегментов) на входе в MES навешивается еще один тэг и уходит в маршрутизатор

На маршрутизаторе на lo повешен ip 192.168.0.1/24 ( сеть за натом) Как показала практика не обязательно вешать этот ip на lo , можно на любой который не используется в qinq. Об этом далее

 

На сервере создаются интерфейс вида eth0.X.Y, к примеру eth0.6.1002 ( 6 - номер сегмента, 1002 -клиентский vlan)

Скрипт для быстрого поднятия большого количества qinq интерфейсов почти допилен. В среднем для того чтобы поднять 10к клиентских vlan требуется где-то 2 минуты на текущем железе. Минус в том, если необходимо ребутнуть сервер или еще что-то в этом духе, то обратные операции по выключению и удалению длятся несколько дольше, но подобные манипуляции с сервером делаются крайне редко, раз-два в год.

 

eth0.X.Y - X впринципе используется только для навешивания внешнего тега, ну и еще для поднятия сабинтерфейсов. К примеру после того как создали кучу сабинтерфейсов eth0.6.1000-eth0.6.1800 достаточно сделать:

 

ifconfig eth0.6 down

ifconfig eth0.6 up

и все eth0.6.Y подымутся вслед за основным.

 

на lo 

ip route add unreachable 192.168.0.0/24

ip addr add 192.168.0.1/24

 

на клиента

ip route add 192.168.8.10/32 dev eth0.6.1002 src 192.168.0.1

 

вариаций много. Прим. статья http://habrahabr.ru/post/108453/

 

На sles пришлось маленько повоевать с proxy_arp, но вышло. Ну и с файрволом конечно же)))

 

Клиенты получают ип через DHCP-Relay + opt82. Пропатчил ICS, чтобы небыло проблем с перетыкальщиками, которые готовы каждый день комп менять ( лиза ip адреса на день примерно, с патчем ип заново выдается сразу, даже если мак отличается) Прим. Ни в коем случае не использовать вариант с патчем для выдачи ip без relay + opt82. Будет попец и размеры ее будут увеличиваться с каждой минутой как только позвонит первый клиент.

 

Статью к сожалению не могу упомянуть, найду ссылку - добавлю.

 

Все просто супер. Клиенты получают ip , инет есть у всех, retracker.local благодаря proxy_arp работает. Атаки и прочую лабуду на тестовой сети как рукой сняло.

 

 

Интересно выслушать критику! Советы может быть

Cisco, в ближайшем времени, к сожалению нет возможности приобрести

 

Еще интересует не загнется ли сервер, если реально будет поднято и активно 10к клиентов при такой схеме подключения

На данный момент примерно 5к. Сервер активно использует всего 2-3 ядра да и то загрузка на 10-30 процентов когда какая-то жесть в сети происходит, остальные по 1-2% загрузка

[John_Doe 301]

accel-ppp+radius работает более красиво

[xaoc_nsk 0]

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

Кстати а сам он как работает? не глючит?

 

Что именно не красиво?)

Edited 2014-09-23 07:53:19 by xaoc_nsk

[John_Doe 301]

некрасиво 100500 статичных интерфейсов. не возможность рулить юзерами динамически

аксель интерфейсы подымает динамически +CoA дает массу преимуществ. и работает он нормально не гючит

[KaYot 3,732]

Поздравляю, вы изобрели собственный блекждек. Хотя достаточно было таки осилить сборку accel-ppp.

Статья на хабре была актуальна в 2010ом, но сейчас то зачем лепить костыли..

 

У нас сеть примерно тех же размеров, работает vlan-per-user qinq. 

На каждый дом идет slan(это логичнее чем давать его на район), на клиентов одинаковые cvlan. Конфиги свичей доступа типовые, vlan 1-50 и все.

Терминируется все это на тазике с linux+accel. Accel привязан к биллингу абсолютно стандартно, через radius. Никаких костылей.

Acсel проводит авторизацию, создает маршруты(ваши прописанные вручную это верх безумия), считает трафик, выступает dhcp сервером или релеем(как вам удобнее).

Даже proxy-arp сам обеспечивает, исключая gratuitous arp(признайтесь, долбаетесь ведь с ним частенько?).

Плюс может автоматически создавать qinq-интерфейсы клиентские(мы пока эту фичу не используем) и шейпить, получая аттрибуты по радиусу.

+ICS в роли dhcp это очередной ад и израилъ.

 

Да, мой скрипт поднимает 10к интерфейсов секунд за 30, а удаляет еще быстрее. На куда более слабом железе

Edited 2014-09-23 08:10:12 by KaYot

[Abram 98]

accel-ppp - готовое красивое решение всех ваших проблем. Таки осильте сборку .

[xaoc_nsk 0]

Да есть такое)))

Про собственный блэкджек - это точно)

НА самом деле я не против accel-ppp, просто не получается его собрать на sles. Биллинг кстати Lanbilling, не 2.0 а старенький)

На другую операционную систему переходить не очень то хочется

uname -a 

Linux test 3.0.13-0.27-default #1 SMP Wed Feb 15 13:33:49 UTC 2012 (d73692b) x86_64 x86_64 x86_64 GNU/Linux

 

там вроде что-то писали про то что не собирается IPoe драйвер на ядре старше 3.4 вроде.

Руки кривые для правильной сборки((( Руководствовался собственно статьями где участвовал товарищь KaYoT

Edited 2014-09-23 08:13:04 by xaoc_nsk

[KaYot 3,732]

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

А его и не нужно собирать для вашей схемы. Он фактически только для автосоздания интерфейсов нужен.

Ну и в актуальных сборках эти ошибки давно поправили, у меня драйвер отлично собирается под centos + ведро 3.10

[xaoc_nsk 0]

Это последняя версия accel-ppp 1.8.0 у Вас?

[KaYot 3,732]

Да, стоит 1.8.0 релизная. Абсолютно стабильна и работоспособна, за год ни одного косяка не вылезло.

[Abram 98]

Пффф, 1.8.0 для слабаков. У нормальных пацанов master.

[xaoc_nsk 0]

а подробней?)

[Abram 98]

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

[KaYot 3,732]

Пффф, 1.8.0 для слабаков. У нормальных пацанов master.

Весь прошлый год альфа-тестил мастера, надоело.

[Abram 98]

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.

[xaoc_nsk 0]

Да по факту то нужно автоподнятие интерфейсов и роуты

 

KaYoT, собирал из git ?

Edited 2014-09-23 08:31:46 by xaoc_nsk

[KaYot 3,732]

Нет, сейчас стоит релиз собранный из тарбола.

Мастер-ветка обновляется чуть ли не каждый день и функционал постоянно растет. Но естественно бывают глючные сборки, нужно все очень внимательно тестировать и выбирать адекватно работающую.

[xaoc_nsk 0]

Был бы благодарен за помощь)

[Abram 98]

Из git собирается абсолютно всё так же. Только git clone вместо wget + unzip/untar

[Lynx100 90]

 

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.

 

там вкусные плюшки появляются, остановится тяжело )

[Lynx100 90]

Пффф, 1.8.0 для слабаков. У нормальных пацанов master.

+1 только жесть, только хардкор )

[Abram 98]

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master.

+1 только жесть, только хардкор )

 

Сказал Lynx100, глядя на свой MX-80.

[Lynx100 90]

 

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

 

факт, сам попервах у KaYot на наге выяснял как работает и стоит ли связываться

[Lynx100 90]

 

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master.

+1 только жесть, только хардкор )

 

Сказал Lynx100, глядя на свой MX-80.

 

подъе%*#л...

ну я же говорил на 2-а МХ-а )

 

а  возле МХ-ов сидит Accel-ppp в бою и тестируется на черный день ) мало ли что... да и в МХ есть свои моменты

 

ПС: а еще у меня часть абонентов на пппое висит.... исторически скажем так

Edited 2014-09-23 09:05:00 by Lynx100

[Abram 98]

Lynx100,

Да я в курсе. Но всё равно не устану подковыривать .