2 Бордера, BGP

[xaoc_nsk]

День добрый!

 

Может кто сталкивался с подобным, если не сложно - ткните носом куда смотреть.

 

Есть два сервера для сбора всего трафика с абонентов и 1 бордер. На нем шейпы, нат, бгп.

Нагрузка на оба браса в среднем пополам по vlan. Работают в связке через keepalived( vrrp). Если 1 брас отвалился, все это добро, что было на нем, благополучно переселяется на другой, до поднятия первого, с минимальной потерей связи, секунды 2-3, а то бывает и вообще не заметно.

 

Собственно теперь появился еще 1 бордер. Для резервирования и балансировки, ибо трафика стало многовато. Да и аплинков уже не 2, а 4...планируется еще 1.

 

Имеем сетку /24 адресов 2 по /28 используем под NAT.

 

И вот собственно вопрос. Пытаемся поднять оба бордера в такой же связке. Такак как ипов на нат не много, поделили их пополам на оба бордера.

Первое с чем столкнулись, вполне логично...что запрос уходит через одного провайдера на брд1 - а приходит через другого на брд2 иииии tcp reset. ( на Белых ip не успел проверить)

Но серым это точно не понравится. чтобы быстрее разрешить вопрос. сделали каждому свою связку брас-бордер, иначе многие пострадают

 

Возможно ли вообще балансировать трафик. Это не первостепенная задача.

Когда падает один бордер, а он, собака, падает намертво, причину пока не установили, то тут возникает проблема с перестроением маршрутов. По факту выходит, что один из брасов тупо перестает ходить в сеть.

 

Железо есть. сидим думаем, но к сожалению с таким столкнулся в первый раз. Забыл упомянуть. Все на linux (sles) на новом стоит дебиан, но он что-то неадекватно себя ведет, возможно не нравится ядро...это сейчас тестируем. вообще хотелось бы уйти от sles. начинали на нем работать еще так давно только изза того, что он не очень хорошо работал с некоторыми рейдами( инфа по рейдам не моя, сказали мол так, хотя какая разница какая система).

Edited February 28, 2017 by xaoc_nsk

[Prihod]

 

 

Имеем сетку /28 адресов для ната.

А как вы их анонсируете в 4 аплинка то? Минимальный вроде как /24 ...

Или все же эта подсеть от одного из аплинков? тогда почему вы удивляетесь что исход идет через него?!

[xaoc_nsk]

на обоих бордерах бгп поднят и анонсируется /24

Предположим если на 1 бордере собраны все 4 аплинка, .ну и анонсируем 24 каждому провайдеру

 

только тут на 1 бордер сходят 2 прова, и на второй 2 прова. и там и там анонсится /24 на обоих бгп. Разница только в нате на бордерах.

Edited February 28, 2017 by xaoc_nsk

[xaoc_nsk]

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 из общей /24 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью. Все поправил в первом сообщении

Edited February 28, 2017 by xaoc_nsk

[Prihod]

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью 

Бордер и НАТ отдельно или на одной железке? Белые ип ходят в инет через ту же железку или нат живет отдельно?

[xaoc_nsk]

Бордер и нат на одной. И белые через нее же ходят.

Нат на этой машине стоит, чтобы удобнее было шейпить через физицеский интерфейс, не используя imq и прочее

Edited February 28, 2017 by xaoc_nsk

[xaoc_nsk]

Если бы нат был отдельно, может что-то и проще бы было. Но появилось бы еще одно узкое место. с сервером на котором все натится.

[Prihod]

Бордер и нат на одной. И белые через нее же ходят.

Нат на этой машине стоит, чтобы удобнее было шейпить через физицеский интерфейс, не используя imq и прочее

А от аплинков принимаете дефолт или fv?

[xaoc_nsk]

fullview с дефолтом от 2х полноценных провайдеров и еще 2 у нас это точки обмена (nsk-ix, xcom) с них ни одного не второго как объясняет 1 из админов

 

т.е по факту получается так.

 

1 бордер - 1 провайдер с fv и дефолт + 1 точка обмена

2 бордер - 2 провадер с fv и дефолт + 2 точка обмена

[vlin]

Балансировать не получится, т.к. сеть всего /24. Непонятно почему для вас проблема что пакет возвращается по другому маршруту. Внутри вашей сети перекиньте на нужный брас. Или есть ньюансы ? Чтобы брасы переключались на один бордер при падении второго можно поднять динамический роутинг между брасами и бордерами, например тот же бгп и отдавать дефолт на брасы.

[supportod]

Нужно еще использовать OSPF для синхронизации маршрутов.

Во фряхе есть PF sync, который синкает сессии NAT'a и при отвале одного из брасов абоненту не рвут сессии.

Edited February 28, 2017 by supportod

[xaoc_nsk]

да прошу прощения. Это все похоже от недосыпов. OSPF используется. для перестроения маршрутов когда один из брасов падает

[xaoc_nsk]

Выше писал, балансировка не самое важное в данный момент(если вопрос раком встанет, то руководству буду сетовать чтобы еще подсеть приобретал, не зависимо от стоимости, раз уж профукал вспышку), по факту, пока работают оба бордера - идея такова, чтобы снизит нагрузку входящим трафиком на серверную еденицу. И если 1 из бордеров упал, перестроить маршруты так чтобы с обоих брасов на живой бордер шло.

Edited February 28, 2017 by xaoc_nsk

[xaoc_nsk]

по сути помоему так и можно делать с помощью того же оспф. Но что делать, чтобы не потерять аплинки с отвалившегося, это считай 2 гбита трафика

[xaoc_nsk]

С утра набросаю схему, как было до, как стало после, и что пытаемся. Мои недоработки, думаю со схемы и стоило начинать, меньше слов было бы

[xaoc_nsk]

было вот так. Работало отлично. Никто и не замечал,если кто-то из брасов вылетал напрочь

Edited February 28, 2017 by xaoc_nsk

[xaoc_nsk]

Пытаемся реализовать, или понять можно ли или какими средствами

Edited February 28, 2017 by xaoc_nsk

[xaoc_nsk]

Ну или хотя бы для начала, чтобы при падении одного из бордеров аплинки не терялись.

[adeep]

На белых ip проверили, вообще проблем нет, все четко проходит. А с натом проблема в том, что с одного уходит и может прийти на второй бордер. Нат там другой, коннтрэка нет... ну и дроп соответственно.

 

Извиняюсь, может не так объяснил, 2 по 28 из общей /24 мы для ната используем на разных бордерах, остальные белые. но анонсится 24 полностью. Все поправил в первом сообщении

вам нужна маршрутизация между бгп серверами еще. тогда даже если придет с другого аплинка, все равно потом попадет на нужный сервер. ну и нат делать не на внешний интерфейс аплинка, а на любой

[byteplayer]

Я б НАТ и бордер никогда бы в жизни не совмещал.

Лучше НАТить до бордера.

БРАСом или отдельной НАТилкой -- это уже другой вопрос.

Если позволяли бы средства, то отдельной НАТилкой или двумя.

Всё бы обвязал ОСПФ с прямыми дублированными линками с разными link cost, чтоб, когда всё хорошо, то чтоб бежало по основному линку, а когда плохо -- по резервному.

[KaYot]

Не должно быть никаких граблей в этой схеме.

Или на rp_filter трафик умирает(нужно отключить), или маршрутизация между бордерами не работает(прописать статикой /28 NAT-сети на соседние сервера).

[NiTr0]

Пытаемся реализовать, или понять можно ли или какими средствами

бордеры сконфигурите как route reflectors (для упрощения жизни), на брасах поднимите до них iBGP (хотя и с OSPF все должно работать, но лишняя сущность со своими тараканами, особенно в квагге), отключите rp_filter на аплинках. если сильно проблемно с fv на брасах (упираетесь в производительность или еще чего) - можно им с бордеров дефолт скармливать.

 

что у вас VRRP делает на схеме - для меня вообще загадка.

[xaoc_nsk]

Сейчас проблема только в одном осталась, это нат. 

[supportod]

Я так и не понял, что мешало объединений Border1 и BRAS1, Border2 и BRAS2?

C NAT решаемо. В зависимости от типа NAT добавляются правила форвардинга.

 

Надеюсь это все не в продакшене?

[NiTr0]

 

 

Сейчас проблема только в одном осталась, это нат.

а в чем проблма? навскидку варианты решений:

1) нат на брасах в пул адресов, анонс этого пула по iBGP брасам

2) нат на бордерах, пулы анонсят друг другу.