Перейти до

2 Бордера, BGP


Рекомендованные сообщения

День добрый!

 

Может кто сталкивался с подобным, если не сложно - ткните носом куда смотреть.

 

Есть два сервера для сбора всего трафика с абонентов и 1 бордер. На нем шейпы, нат, бгп.

Нагрузка на оба браса в среднем пополам по vlan. Работают в связке через keepalived( vrrp). Если 1 брас отвалился, все это добро, что было на нем, благополучно переселяется на другой, до поднятия первого, с минимальной потерей связи, секунды 2-3, а то бывает и вообще не заметно.

 

Собственно теперь появился еще 1 бордер. Для резервирования и балансировки, ибо трафика стало многовато. Да и аплинков уже не 2, а 4...планируется еще 1.

 

Имеем сетку /24 адресов 2 по /28 используем под NAT.

 

И вот собственно вопрос. Пытаемся поднять оба бордера в такой же связке. Такак как ипов на нат не много, поделили их пополам на оба бордера.

Первое с чем столкнулись, вполне логично...что запрос уходит через одного провайдера на брд1 - а приходит через другого на брд2 иииии tcp reset. ( на Белых ip не успел проверить)

Но серым это точно не понравится. чтобы быстрее разрешить вопрос. сделали каждому свою связку брас-бордер, иначе многие пострадают

 

Возможно ли вообще балансировать трафик. Это не первостепенная задача.

Когда падает один бордер, а он, собака, падает намертво, причину пока не установили, то тут возникает проблема с перестроением маршрутов. По факту выходит, что один из брасов тупо перестает ходить в сеть.

 

Железо есть. сидим думаем, но к сожалению с таким столкнулся в первый раз. Забыл упомянуть. Все на linux (sles) на новом стоит дебиан, но он что-то неадекватно себя ведет, возможно не нравится ядро...это сейчас тестируем. вообще хотелось бы уйти от sles. начинали на нем работать еще так давно только изза того, что он не очень хорошо работал с некоторыми рейдами( инфа по рейдам не моя, сказали мол так, хотя какая разница какая система).

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах
  • Відповіді 81
  • Створено
  • Остання відповідь

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Точнее "не все наты под БСД"))

На самом деле, это первая задача. Второй задачей станет вопрос - нафига тебе два fullview и что с ними делать. Подозреваю что внешние линки тебе должны анонсировать дефаулты, при чем не само

Posted Images

 

 

Имеем сетку /28 адресов для ната.

А как вы их анонсируете в 4 аплинка то? Минимальный вроде как /24 ...

Или все же эта подсеть от одного из аплинков? тогда почему вы удивляетесь что исход идет через него?!

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

на обоих бордерах бгп поднят и анонсируется /24

Предположим если на 1 бордере собраны все 4 аплинка, .ну и анонсируем 24 каждому провайдеру

 

только тут на 1 бордер сходят 2 прова, и на второй 2 прова. и там и там анонсится /24 на обоих бгп. Разница только в нате на бордерах.

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 из общей /24 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью. Все поправил в первом сообщении

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью 

Бордер и НАТ отдельно или на одной железке? Белые ип ходят в инет через ту же железку или нат живет отдельно?

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Бордер и нат на одной. И белые через нее же ходят.

Нат на этой машине стоит, чтобы удобнее было шейпить через физицеский интерфейс, не используя imq и прочее

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

Если бы нат был отдельно, может что-то и проще бы было. Но появилось бы еще одно узкое место. с сервером на котором все натится.

Ссылка на сообщение
Поделиться на других сайтах

Бордер и нат на одной. И белые через нее же ходят.

Нат на этой машине стоит, чтобы удобнее было шейпить через физицеский интерфейс, не используя imq и прочее

А от аплинков принимаете дефолт или fv?

Ссылка на сообщение
Поделиться на других сайтах

fullview с дефолтом от 2х полноценных провайдеров и еще 2 у нас это точки обмена (nsk-ix, xcom) с них ни одного не второго как объясняет 1 из админов

 

т.е по факту получается так.

 

1 бордер - 1 провайдер с fv и дефолт + 1 точка обмена

2 бордер - 2 провадер с fv и дефолт + 2 точка обмена

Ссылка на сообщение
Поделиться на других сайтах

Балансировать не получится, т.к. сеть всего /24. Непонятно почему для вас проблема что пакет возвращается по другому маршруту. Внутри вашей сети перекиньте на нужный брас. Или есть ньюансы ? Чтобы брасы переключались на один бордер при падении второго можно поднять динамический роутинг между брасами и бордерами, например тот же бгп и отдавать дефолт на брасы.

Ссылка на сообщение
Поделиться на других сайтах

Нужно еще использовать OSPF для синхронизации маршрутов.

Во фряхе есть PF sync, который синкает сессии NAT'a и при отвале одного из брасов абоненту не рвут сессии.

Відредаговано supportod
Ссылка на сообщение
Поделиться на других сайтах

да прошу прощения. Это все похоже от недосыпов. OSPF используется. для перестроения маршрутов когда один из брасов падает

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Выше писал, балансировка не самое важное в данный момент(если вопрос раком встанет, то руководству буду сетовать чтобы еще подсеть приобретал, не зависимо от стоимости, раз уж профукал вспышку), по факту, пока работают оба бордера - идея такова, чтобы снизит нагрузку входящим трафиком на серверную еденицу. И если 1 из бордеров упал, перестроить маршруты так чтобы с обоих брасов на живой бордер шло.

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

по сути помоему так и можно делать с помощью того же оспф. Но что делать, чтобы не потерять аплинки с отвалившегося, это считай 2 гбита трафика

Ссылка на сообщение
Поделиться на других сайтах

С утра набросаю схему, как было до, как стало после, и что пытаемся. Мои недоработки, думаю со схемы и стоило начинать, меньше слов было бы

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

было вот так. Работало отлично. Никто и не замечал,если кто-то из брасов вылетал напрочь

post-33178-0-72735200-1488309258_thumb.jpg

Відредаговано xaoc_nsk
Ссылка на сообщение
Поделиться на других сайтах

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 из общей /24 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью. Все поправил в первом сообщении

вам нужна маршрутизация между бгп серверами еще. тогда даже если придет с другого аплинка, все равно потом попадет на нужный сервер. ну и нат делать не на внешний интерфейс аплинка, а на любой

Ссылка на сообщение
Поделиться на других сайтах

Я б НАТ и бордер никогда бы в жизни не совмещал.

Лучше НАТить до бордера.

БРАСом или отдельной НАТилкой -- это уже другой вопрос.

Если позволяли бы средства, то отдельной НАТилкой или двумя.

Всё бы обвязал ОСПФ с прямыми дублированными линками с разными link cost, чтоб, когда всё хорошо, то чтоб бежало по основному линку, а когда плохо -- по резервному.

Ссылка на сообщение
Поделиться на других сайтах

Не должно быть никаких граблей в этой схеме.

Или на rp_filter трафик умирает(нужно отключить), или маршрутизация между бордерами не работает(прописать статикой /28 NAT-сети на соседние сервера).

Ссылка на сообщение
Поделиться на других сайтах
  • 2 weeks later...

Пытаемся реализовать, или понять можно ли или какими средствами

бордеры сконфигурите как route reflectors (для упрощения жизни), на брасах поднимите до них iBGP (хотя и с OSPF все должно работать, но лишняя сущность со своими тараканами, особенно в квагге), отключите rp_filter на аплинках. если сильно проблемно с fv на брасах (упираетесь в производительность или еще чего) - можно им с бордеров дефолт скармливать.

 

что у вас VRRP делает на схеме - для меня вообще загадка.

Ссылка на сообщение
Поделиться на других сайтах
  • 2 weeks later...

Я так и не понял, что мешало объединений Border1 и BRAS1, Border2 и BRAS2?

C NAT решаемо. В зависимости от типа NAT добавляются правила форвардинга.

 

Надеюсь это все не в продакшене?

Ссылка на сообщение
Поделиться на других сайтах
  • 2 weeks later...

 

 

Сейчас проблема только в одном осталась, это нат.

а в чем проблма? навскидку варианты решений:

1) нат на брасах в пул адресов, анонс этого пула по iBGP брасам

2) нат на бордерах, пулы анонсят друг другу.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від PB24
      Приветствую. К сожалению, не сильно силен в правилах маршрутизации RIPE. Буду очень благодарен, если разъясните. 
      Сейчас есть AS и два блока /24 IPv4 в ''Локация 1''  и анонсируется на своем железном маршрутизаторе в ДЦ. 
      Есть необходимость запуска в другой локации ''Локация 2'' и запустить оборудование в ДЦ этой локации на одном из блоков /24. ДЦ поддерживает BYOIP .
      1) Как это выглядит в рабочем виде?
      2) Не нужно параллельно ставить еще один маршрутизатор для анонса в "Локация 2" ?
      3) Как это прописывается в аккаунте RIPE?
      4) Как настраивается на железном роутере в "Локация 1"
       
      Спасибо большое за ответы, особенно если они будут максимально информативными. 
    • Від avtoritetik
      Доброго часу.
      Колеги, хто як робить пріоритети в маршрутах аплінка? - Тільки не пропонуйте руками)
      Умовно: Сервер в США через УкрТелеком далі на 2 AS, а через Київстар ближче на 2 AS, але маршрут в УкрТелекома кращий, біжить довше, але железка вирішила що ідеально через УкрТелеком)
       
      Знайшов рішення NoctioN, але від запропонованої ціни вирішив що краще без нього жити.
       
      Коротко, за 4 Гбіт управління 1600 evro в місяць...
       
      Поділіться, будь ласка, хто що використовує, скільки коштує, що краще?!?!?!
    • Від SXM.U
      L3 48SFP+ 6QSFP мегакрутий комбайн з широкими можливостями в прекрасному стані.
      BGP/OSPF/MPLS, і тд., все, що душа забажає. Реальне споживання ВСЬОГО до 200Вт. За рахунок 2U корпусу не такий шумний, як його колеги N3/5/6/7K, і набагато ширші функції, може прийняти кілька українських Х-ів(128к маршрутів)
      Характеристики - www.stack-systems.com.ua/kommutator-cisco-nexus-n9k-c9396px
      Є версія на 6 QSFP - 800$, та 12QSFP - 850$.
       
      L3 Cisco Nexus 3064PX - 48*SFP+, 4*QSFP - 750$







    • Від Aleks-net
      Маршрутизатор Juniper MX104-80G-AC-BNDL (MX104 Promotional bundle, 80G,4x10G built-in ports, 4 MIC slots, redundant AC PS,1 RE. SW licneces included :JUNOS, ADV-R,JFLOW-5G)

      Стан б/в.

      Ціна 4800 у.о.

      Можливо продаж окремо плати MIC-3D-2XGE-XFP - 600 у.о.


    • Від Johnny Gas
      Доброго времени суток, господа!
      Прошу консультации у знающих людей.
      Нужно поставить молотилки, которые смогут переварить около 10 гб трафика для 5к+ абонентов.
       
      Хотим поставить Foundry BigIron RX-4 для AS и агрегации (сначала по дефолту, а в будущем уже FullView) в паре с Juniper MX80.
      Juniper будет работать по радиусу с биллингом Mikbill. На нем будет DHCP server, NAT, Firewall, шейпер по радиусу. В будущем так же хотим добавить на него страницу авторизации, что так же даст свою нагрузку в первые дни месяця.
       
      Подскажите, пожалуйста, сколько абонентов и Гигов трафика сможет перемолотить при таком раскладе Juniper MX80 и  нормальная ли такая схема.
      Хотим отказаться от микротиков.

×
×
  • Створити нове...