Jump to content

Vlan-per-usr, qinq, linux

xaoc_nsk

By xaoc_nsk
in Software

 Share

Recommended Posts

xaoc_nsk Пролетал Мимо

xaoc_nsk

Posted
Posted
День добрый всем!

 

В данный момент сеть построена на D'Link (L2) Des 3526, 3028, 3200 звездно-кольцевая топология. Все стягивается в центр Eltex MES3124F (L3) (4x10G + 24x1G)   далее в маршрутизатор на sles linux. Подключено несколько районов, собственно на каждый район свой vlan и ip c маской /22.

Привязки по старинному-дебильному ip-mac binding

 

Серверная машина с конфигурацией

 

Supermicro SERVER SYS-6027R-WRF

CPU Intel Socket 2011 Xeon E5-2650 (2.00GHz/20Mb) tray 8core 16 потоков

Память - Kingston DIMM 2Х8GB 1333MHz DDR3L ECC Reg CL9  DR x4 1.35V Hynix C 

Сетевка Intel X520-DA2 (10G)

 

Подключено где-то 5к клиентов.

 

Тестирую перевод данной сети на vlan-per-user + qinq + ip unnumbered

 

Делим сеть на сегменты по 8-12 свичей в кольцах, --> MES3124F --> server

В сегменте клиентские vlan 1000-1500 ( типовой конфиг для всех сегментов) на входе в MES навешивается еще один тэг и уходит в маршрутизатор

На маршрутизаторе на lo повешен ip 192.168.0.1/24 ( сеть за натом) Как показала практика не обязательно вешать этот ip на lo , можно на любой который не используется в qinq. Об этом далее

 

На сервере создаются интерфейс вида eth0.X.Y, к примеру eth0.6.1002 ( 6 - номер сегмента, 1002 -клиентский vlan)

Скрипт для быстрого поднятия большого количества qinq интерфейсов почти допилен. В среднем для того чтобы поднять 10к клиентских vlan требуется где-то 2 минуты на текущем железе. Минус в том, если необходимо ребутнуть сервер или еще что-то в этом духе, то обратные операции по выключению и удалению длятся несколько дольше, но подобные манипуляции с сервером делаются крайне редко, раз-два в год.

 

eth0.X.Y - X впринципе используется только для навешивания внешнего тега, ну и еще для поднятия сабинтерфейсов. К примеру после того как создали кучу сабинтерфейсов eth0.6.1000-eth0.6.1800 достаточно сделать:

 

ifconfig eth0.6 down

ifconfig eth0.6 up

и все eth0.6.Y подымутся вслед за основным.

 

на lo 

ip route add unreachable 192.168.0.0/24

ip addr add 192.168.0.1/24

 

на клиента

ip route add 192.168.8.10/32 dev eth0.6.1002 src 192.168.0.1

 

вариаций много. Прим. статья http://habrahabr.ru/post/108453/

 

На sles пришлось маленько повоевать с proxy_arp, но вышло. Ну и с файрволом конечно же)))

 

Клиенты получают ип через DHCP-Relay + opt82. Пропатчил ICS, чтобы небыло проблем с перетыкальщиками, которые готовы каждый день комп менять ( лиза ip адреса на день примерно, с патчем ип заново выдается сразу, даже если мак отличается) Прим. Ни в коем случае не использовать вариант с патчем для выдачи ip без relay + opt82. Будет попец и размеры ее будут увеличиваться с каждой минутой как только позвонит первый клиент.

 

Статью к сожалению не могу упомянуть, найду ссылку - добавлю.

 

Все просто супер. Клиенты получают ip , инет есть у всех, retracker.local благодаря proxy_arp работает. Атаки и прочую лабуду на тестовой сети как рукой сняло.

 

post-33178-0-45322600-1411457935_thumb.png

 

Интересно выслушать критику! Советы может быть

Cisco, в ближайшем времени, к сожалению нет возможности приобрести

 

Еще интересует не загнется ли сервер, если реально будет поднято и активно 10к клиентов при такой схеме подключения

На данный момент примерно 5к. Сервер активно использует всего 2-3 ядра да и то загрузка на 10-30 процентов когда какая-то жесть в сети происходит, остальные по 1-2% загрузка

  • Replies 68
  • Created
  • Last Reply

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

KaYot
KaYot

Поздравляю, вы изобрели собственный блекждек. Хотя достаточно было таки осилить сборку accel-ppp. Статья на хабре была актуальна в 2010ом, но сейчас то зачем лепить костыли..   У нас сеть примерно

Abram
Abram

accel-ppp - готовое красивое решение всех ваших проблем. Таки осильте сборку .

John_Doe
John_Doe

некрасиво 100500 статичных интерфейсов. не возможность рулить юзерами динамически аксель интерфейсы подымает динамически +CoA дает массу преимуществ. и работает он нормально не гючит

Posted Images

xaoc_nsk Пролетал Мимо

xaoc_nsk

Posted
  • Author
Posted (edited)

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

Кстати а сам он как работает? не глючит?

 

Что именно не красиво?)

Edited by xaoc_nsk
John_Doe Вампир

John_Doe

Posted
Posted

некрасиво 100500 статичных интерфейсов. не возможность рулить юзерами динамически

аксель интерфейсы подымает динамически +CoA дает массу преимуществ. и работает он нормально не гючит

KaYot Бог

KaYot

Posted
Posted (edited)

Поздравляю, вы изобрели собственный блекждек. Хотя достаточно было таки осилить сборку accel-ppp.

Статья на хабре была актуальна в 2010ом, но сейчас то зачем лепить костыли..

 

У нас сеть примерно тех же размеров, работает vlan-per-user qinq. 

На каждый дом идет slan(это логичнее чем давать его на район), на клиентов одинаковые cvlan. Конфиги свичей доступа типовые, vlan 1-50 и все.

Терминируется все это на тазике с linux+accel. Accel привязан к биллингу абсолютно стандартно, через radius. Никаких костылей.

Acсel проводит авторизацию, создает маршруты(ваши прописанные вручную это верх безумия), считает трафик, выступает dhcp сервером или релеем(как вам удобнее).

Даже proxy-arp сам обеспечивает, исключая gratuitous arp(признайтесь, долбаетесь ведь с ним частенько?).

Плюс может автоматически создавать qinq-интерфейсы клиентские(мы пока эту фичу не используем) и шейпить, получая аттрибуты по радиусу.

+ICS в роли dhcp это очередной ад и израилъ.

 

Да, мой скрипт поднимает 10к интерфейсов секунд за 30, а удаляет еще быстрее. На куда более слабом железе :)

Edited by KaYot
  • Thanks 1
Abram Вампиреныш

Abram

Posted
Posted

accel-ppp - готовое красивое решение всех ваших проблем. Таки осильте сборку :).

xaoc_nsk Пролетал Мимо

xaoc_nsk

Posted
  • Author
Posted (edited)

Да есть такое)))

Про собственный блэкджек - это точно)

НА самом деле я не против accel-ppp, просто не получается его собрать на sles. Биллинг кстати Lanbilling, не 2.0 а старенький)

На другую операционную систему переходить не очень то хочется

uname -a 
Linux test 3.0.13-0.27-default #1 SMP Wed Feb 15 13:33:49 UTC 2012 (d73692b) x86_64 x86_64 x86_64 GNU/Linux
 
там вроде что-то писали про то что не собирается IPoe драйвер на ядре старше 3.4 вроде.
Руки кривые для правильной сборки((( Руководствовался собственно статьями где участвовал товарищь KaYoT
Edited by xaoc_nsk
KaYot Бог

KaYot

Posted
Posted

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

А его и не нужно собирать для вашей схемы. Он фактически только для автосоздания интерфейсов нужен.

Ну и в актуальных сборках эти ошибки давно поправили, у меня драйвер отлично собирается под centos + ведро 3.10

KaYot Бог

KaYot

Posted
Posted

Да, стоит 1.8.0 релизная. Абсолютно стабильна и работоспособна, за год ни одного косяка не вылезло.

Abram Вампиреныш

Abram

Posted
Posted

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

KaYot Бог

KaYot

Posted
Posted

Пффф, 1.8.0 для слабаков. У нормальных пацанов master. :)

Весь прошлый год альфа-тестил мастера, надоело.

Abram Вампиреныш

Abram

Posted
Posted

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.
xaoc_nsk Пролетал Мимо

xaoc_nsk

Posted
  • Author
Posted (edited)

Да по факту то нужно автоподнятие интерфейсов и роуты

 

KaYoT, собирал из git ?

Edited by xaoc_nsk
KaYot Бог

KaYot

Posted
Posted

Нет, сейчас стоит релиз собранный из тарбола.

Мастер-ветка обновляется чуть ли не каждый день и функционал постоянно растет. Но естественно бывают глючные сборки, нужно все очень внимательно тестировать и выбирать адекватно работающую.

Abram Вампиреныш

Abram

Posted
Posted

Из git собирается абсолютно всё так же. Только git clone вместо wget + unzip/untar

Lynx100 Вампиреныш

Lynx100

Posted
Posted

 

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.

 

:) там вкусные плюшки появляются, остановится тяжело :))

Abram Вампиреныш

Abram

Posted
Posted

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master. :)

+1 только жесть, только хардкор :))

 

Сказал Lynx100, глядя на свой MX-80.
Lynx100 Вампиреныш

Lynx100

Posted
Posted

 

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

 

факт, сам попервах у KaYot на наге выяснял как работает и стоит ли связываться

Lynx100 Вампиреныш

Lynx100

Posted
Posted (edited)

 

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master. :)

+1 только жесть, только хардкор :))

 

Сказал Lynx100, глядя на свой MX-80.

 

:) подъе%*#л... ;)

ну я же говорил на 2-а МХ-а :))

 

а  возле МХ-ов сидит Accel-ppp в бою и тестируется на черный день :)) мало ли что... да и в МХ есть свои моменты

 

ПС: а еще у меня часть абонентов на пппое висит.... исторически скажем так

Edited by Lynx100

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Go to topic listing
×
×
  • Create New...