Перейти до

Vlan-per-usr, qinq, linux


Рекомендованные сообщения

День добрый всем!

 

В данный момент сеть построена на D'Link (L2) Des 3526, 3028, 3200 звездно-кольцевая топология. Все стягивается в центр Eltex MES3124F (L3) (4x10G + 24x1G)   далее в маршрутизатор на sles linux. Подключено несколько районов, собственно на каждый район свой vlan и ip c маской /22.

Привязки по старинному-дебильному ip-mac binding

 

Серверная машина с конфигурацией

 

Supermicro SERVER SYS-6027R-WRF

CPU Intel Socket 2011 Xeon E5-2650 (2.00GHz/20Mb) tray 8core 16 потоков

Память - Kingston DIMM 2Х8GB 1333MHz DDR3L ECC Reg CL9  DR x4 1.35V Hynix C 

Сетевка Intel X520-DA2 (10G)

 

Подключено где-то 5к клиентов.

 

Тестирую перевод данной сети на vlan-per-user + qinq + ip unnumbered

 

Делим сеть на сегменты по 8-12 свичей в кольцах, --> MES3124F --> server

В сегменте клиентские vlan 1000-1500 ( типовой конфиг для всех сегментов) на входе в MES навешивается еще один тэг и уходит в маршрутизатор

На маршрутизаторе на lo повешен ip 192.168.0.1/24 ( сеть за натом) Как показала практика не обязательно вешать этот ip на lo , можно на любой который не используется в qinq. Об этом далее

 

На сервере создаются интерфейс вида eth0.X.Y, к примеру eth0.6.1002 ( 6 - номер сегмента, 1002 -клиентский vlan)

Скрипт для быстрого поднятия большого количества qinq интерфейсов почти допилен. В среднем для того чтобы поднять 10к клиентских vlan требуется где-то 2 минуты на текущем железе. Минус в том, если необходимо ребутнуть сервер или еще что-то в этом духе, то обратные операции по выключению и удалению длятся несколько дольше, но подобные манипуляции с сервером делаются крайне редко, раз-два в год.

 

eth0.X.Y - X впринципе используется только для навешивания внешнего тега, ну и еще для поднятия сабинтерфейсов. К примеру после того как создали кучу сабинтерфейсов eth0.6.1000-eth0.6.1800 достаточно сделать:

 

ifconfig eth0.6 down

ifconfig eth0.6 up

и все eth0.6.Y подымутся вслед за основным.

 

на lo 

ip route add unreachable 192.168.0.0/24

ip addr add 192.168.0.1/24

 

на клиента

ip route add 192.168.8.10/32 dev eth0.6.1002 src 192.168.0.1

 

вариаций много. Прим. статья http://habrahabr.ru/post/108453/

 

На sles пришлось маленько повоевать с proxy_arp, но вышло. Ну и с файрволом конечно же)))

 

Клиенты получают ип через DHCP-Relay + opt82. Пропатчил ICS, чтобы небыло проблем с перетыкальщиками, которые готовы каждый день комп менять ( лиза ip адреса на день примерно, с патчем ип заново выдается сразу, даже если мак отличается) Прим. Ни в коем случае не использовать вариант с патчем для выдачи ip без relay + opt82. Будет попец и размеры ее будут увеличиваться с каждой минутой как только позвонит первый клиент.

 

Статью к сожалению не могу упомянуть, найду ссылку - добавлю.

 

Все просто супер. Клиенты получают ip , инет есть у всех, retracker.local благодаря proxy_arp работает. Атаки и прочую лабуду на тестовой сети как рукой сняло.

 

post-33178-0-45322600-1411457935_thumb.png

 

Интересно выслушать критику! Советы может быть

Cisco, в ближайшем времени, к сожалению нет возможности приобрести

 

Еще интересует не загнется ли сервер, если реально будет поднято и активно 10к клиентов при такой схеме подключения

На данный момент примерно 5к. Сервер активно использует всего 2-3 ядра да и то загрузка на 10-30 процентов когда какая-то жесть в сети происходит, остальные по 1-2% загрузка

Ссылка на сообщение
Поделиться на других сайтах
  • Відповіді 68
  • Створено
  • Остання відповідь

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Поздравляю, вы изобрели собственный блекждек. Хотя достаточно было таки осилить сборку accel-ppp. Статья на хабре была актуальна в 2010ом, но сейчас то зачем лепить костыли..   У нас сеть примерно

accel-ppp - готовое красивое решение всех ваших проблем. Таки осильте сборку .

некрасиво 100500 статичных интерфейсов. не возможность рулить юзерами динамически аксель интерфейсы подымает динамически +CoA дает массу преимуществ. и работает он нормально не гючит

Posted Images

Опубліковано: (відредаговано)

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

Кстати а сам он как работает? не глючит?

 

Что именно не красиво?)

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

некрасиво 100500 статичных интерфейсов. не возможность рулить юзерами динамически

аксель интерфейсы подымает динамически +CoA дает массу преимуществ. и работает он нормально не гючит

Ссылка на сообщение
Поделиться на других сайтах

Поздравляю, вы изобрели собственный блекждек. Хотя достаточно было таки осилить сборку accel-ppp.

Статья на хабре была актуальна в 2010ом, но сейчас то зачем лепить костыли..

 

У нас сеть примерно тех же размеров, работает vlan-per-user qinq. 

На каждый дом идет slan(это логичнее чем давать его на район), на клиентов одинаковые cvlan. Конфиги свичей доступа типовые, vlan 1-50 и все.

Терминируется все это на тазике с linux+accel. Accel привязан к биллингу абсолютно стандартно, через radius. Никаких костылей.

Acсel проводит авторизацию, создает маршруты(ваши прописанные вручную это верх безумия), считает трафик, выступает dhcp сервером или релеем(как вам удобнее).

Даже proxy-arp сам обеспечивает, исключая gratuitous arp(признайтесь, долбаетесь ведь с ним частенько?).

Плюс может автоматически создавать qinq-интерфейсы клиентские(мы пока эту фичу не используем) и шейпить, получая аттрибуты по радиусу.

+ICS в роли dhcp это очередной ад и израилъ.

 

Да, мой скрипт поднимает 10к интерфейсов секунд за 30, а удаляет еще быстрее. На куда более слабом железе :)

Відредаговано KaYot
  • Thanks 1
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Да есть такое)))

Про собственный блэкджек - это точно)

НА самом деле я не против accel-ppp, просто не получается его собрать на sles. Биллинг кстати Lanbilling, не 2.0 а старенький)

На другую операционную систему переходить не очень то хочется

uname -a 
Linux test 3.0.13-0.27-default #1 SMP Wed Feb 15 13:33:49 UTC 2012 (d73692b) x86_64 x86_64 x86_64 GNU/Linux
 
там вроде что-то писали про то что не собирается IPoe драйвер на ядре старше 3.4 вроде.
Руки кривые для правильной сборки((( Руководствовался собственно статьями где участвовал товарищь KaYoT
Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

пробовал я его у себя собрать, не хочет собираться на это ядро и все тут. Имею ввиду ipoe драйвер

А его и не нужно собирать для вашей схемы. Он фактически только для автосоздания интерфейсов нужен.

Ну и в актуальных сборках эти ошибки давно поправили, у меня драйвер отлично собирается под centos + ведро 3.10

Ссылка на сообщение
Поделиться на других сайтах

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

Ссылка на сообщение
Поделиться на других сайтах

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Да по факту то нужно автоподнятие интерфейсов и роуты

 

KaYoT, собирал из git ?

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

Нет, сейчас стоит релиз собранный из тарбола.

Мастер-ветка обновляется чуть ли не каждый день и функционал постоянно растет. Но естественно бывают глючные сборки, нужно все очень внимательно тестировать и выбирать адекватно работающую.

Ссылка на сообщение
Поделиться на других сайтах

 

Весь прошлый год альфа-тестил мастера, надоело.

Тут главное - вовремя остановиться на версии, которая тебя устраивает.

 

:) там вкусные плюшки появляются, остановится тяжело :))

Ссылка на сообщение
Поделиться на других сайтах

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master. :)

+1 только жесть, только хардкор :))

 

Сказал Lynx100, глядя на свой MX-80.
Ссылка на сообщение
Поделиться на других сайтах

 

а подробней?)

Ну лично у меня master из git-а на момент сборки тазика (несколько месяцев тому назад), т.к. в релизе была какая-то специфичная бага.

А всё остальное - совсем как у KaYot-а и с его же помощью; он тут первопроходец.

 

факт, сам попервах у KaYot на наге выяснял как работает и стоит ли связываться

Ссылка на сообщение
Поделиться на других сайтах

 

 

Пффф, 1.8.0 для слабаков. У нормальных пацанов master. :)

+1 только жесть, только хардкор :))

 

Сказал Lynx100, глядя на свой MX-80.

 

:) подъе%*#л... ;)

ну я же говорил на 2-а МХ-а :))

 

а  возле МХ-ов сидит Accel-ppp в бою и тестируется на черный день :)) мало ли что... да и в МХ есть свои моменты

 

ПС: а еще у меня часть абонентов на пппое висит.... исторически скажем так

Відредаговано Lynx100
Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від Melanxolik
      Как многие уже знаю, символ: "З" является запрещенным на территории нашей страны, в связи с этим, возникло много проблем, особенно в довольно популярной файловой системе, которая звучит так: Зфс, она содержит у себя утилиты названия которых начинаются также с Зпул, Зфс и т.д.
      Как у нас сейчас с этим и кто-то уже пробовал пушить разрабов по этому поводу?
       
    • Від Rubert
      WorldVPS Solutions небольшой проект который предоставляет хостинг с бесплатным администрированием более 10-ти лет, у нас огромный опыт в подборе оборудования в лучших центрах обработки данных в мире с идеальным соотношением цена/качество.
       
      Мы предоставляем хостинг в таких странах как Нидерланды, Германия, США, Франция и Люксембург.
       
       
      VPS (Нидерланды, Германия, США и Франция):
       
      Virtualization KVM
      CPU Intel Xeon E5 1x2.6 GHz
      RAM 1 GB DDR4
      Disk 20 GB SSD RAID10
      Traffic unlimited
      Port 1000 Mbit
      IP 1 IPv4 + IPv6 on request
      From $13.00/mo
       
       
      VPS с большим дисков (США и Франция):
       
      2 vCores
      RAM 4 GB
      200 GB HDD or 100 GB SSD
      Port 100 Mbit/s
      1 IPv4 (up to 4 IP)
      From $19.00/mo
       
       
      Выделенный сервер в Нидерландах:
       
      Intel Core i3 2100 2 x 3.10 GHz
      4GB DDR3 RAM (up to 32 GB)
      1 TB or 120 GB (up to 16 TB)
      max 4 drives
      link 100 Mbit/s (up to 1 Gbit/s)
      50TB traffic per month
      1 IP (up to 4 IP)
      10Gbit/s protection DDoS Shield (FREE!)
      From $48.00/mo
       
      Выделенный сервер в Франции:
       
      AMD Opteron 3280, 8x 2.4 GHz Turbo
      16GB DDR3 RAM (up to 32 GB)
      2x2 TB HDD (up to SSD)
      max 2 drives
      link 100 Mbit/s
      1 IP (up to 4 IP)
      From $58.00/mo
       
      ---
       
      На сайте вы можете ознакомится со всеми возможными конфигурациями серверов.
       
      worldvps.ru
       
      *А так же для первых 10-ти заказов из форума local.com.ua мы предоставим бесплатно лицензию управления ISPmanager 6 Lite (кроме VPS с большим диском).
    • Від freedomwarrior
      Всем привет.
      Предоставляю услуги сетевика/админа.
      Что то починить, настроить bgp/ospf и т.д
      Если рухтеры то только Juniper.
      Серверное администрировани Linux/Unix, поднять веб сервер, починить и т.д.
      Настройка мониторинга с Grafana/Prometheus/Alertmanager и разного рода экспортеры.
      Кому интересно - пишите в личку.
      Только удаленка.
      Всем добра!
    • Від FTTH2
      Linux Foundation project homepage for DANOS:
      https://www.danosproject.org/
       
      Download link:
      https://danosproject.atlassian.net/wiki/spaces/DAN/pages/819201/Releases
       
      CGNAT Bulk Port Allocation HOWTO
      https://wiki.brasilpeeringforum.org/w/CGNAT_Bulk_Port_Allocation_com_DPDK
       
      Atom C3858 benchmark (4.5 Mpps, 10G at all packet sizes larger than 256B)
      https://old.reddit.com/r/networking/comments/ec8red/anyone_benchmarkuse_danos_the_att_and_brocade/fbhjy1s/
       
      AMD GX-412TC 1 GHz benchmark (2.3 Mpps, 2G using imix)
      https://ipng.ch/s/articles/2021/07/19/pcengines-apu6.html
       
      Any Xeon should be able to do 10G linerate at all packet sizes.
    • Від freehost
      В крупную хостинг-компанию требуется сотрудник службы технической поддержки.
       
      Обязанности:
      Отвечать на вопросы клиентов (работа с панелью управления, настройка POP3, SMTP, FTP, другие технические вопросы) по телефону, эл. почте, решать мелкие проблемы (неверно заполненные данные и настройки в контрольной панели, проблемы с доступом и т. п.), не сложные вопросы касающиеся администрирования, подключение IPKVM, перезагрузка серверов.
       
      Требования:
      Умение работать в Интернет с основными клиентами (браузеры: IE и Mozilla, почтовые клиенты: The bat, outlook, FTP-клиенты: IE, Far, Cute FTP; Базовые знания PHP, MySQL; Уметь читать и понимать логи Apache, Nginx, Exim Приветствуется опыт работы в Web-Дизайне, работа с Joomla, Wordpress Навыки работы в командной строке UNIX; Желателен опыт работы с VestaCP, ISPmanager Коммуникабельность, терпение, эмоциональная уравновешенность, способность к обучению.  
      Условия:
      Официальное трудоустройство 24 дня отпуска Обеды за счет компании Сменный график. Смена сутки, потом три дня выходных. Оплачиваемый больничный Возможность повышения до дежурного администратора. Работа в дата-центре (в случае локдаунов предусмотрена развозка сотрудников)
        Работа в дата-центре это возможность получить опыт работы с различными технологиями (apache, nginx, mysql, zabbix, wordpress, joomla, dns…), а так же опыт работы с железной частью серверов.
      Если нету опыта работы с Unix, резюме просьба не присылать.

      Резюме присылайте на hr@freehost.com.ua

×
×
  • Створити нове...