Нормально ли такое поведение у CCR-1072?

[Karfax 3]

Здравствуйте!

 

Имеется два CCR-1072, у обоих есть свой внешний канал (BGP) через разных провайдеров. Между роутерами есть L2.

Стала задача выпустить второй бордер через первый в его внешнего провайдера (Когент).

 

Проблема в том, что сейчас на бордере-1 загрузка проца около 25% (есть с два десятка правил в фаерволе, трафика бегает около 5 Гбит/сек). Если я выпускаю второй бордер через первый, то добавляется где-то 2 гбит/сек трафика и загрузка процессора на первом возрастает на 10%.

В самый верх фаервола (по после правил фасттрека) добавил такое правило:
 

/ip firewall filter
add action=accept chain=forward comment="Permit Cogent to border-2" in-interface=Cogent out-interface=Border-2

это правило позволяет трафику, который не попал в фасттрек не проходить все остальные цепочки в фаерволе, таким образом снижая загрузку где-то на 5-7% (иначе дополнительная загрузка была б не 10%, а все 20%).

 

Собственно в чем вопрос: нормально ли такое поведение ццра? Как мне кажется дополнительная нагрузка в 10% при форвардинге 2 гиг/сек трафика это как-то многовато.

 

Во вложении схема, скриншоты профайлера до и после дополнительной нагрузки, а также графики забикса с трафиком и цпу.

 

Відредаговано 2021-04-08 11:24:02 Karfax

[tkapluk 871]

Чего не поднять вторую бгп сессию с когентом сразу на втором бордере? 

[Karfax 3]

18 минут назад, tkapluk сказал:

Чего не поднять вторую бгп сессию с когентом сразу на втором бордере? 

 

Невозможно в силу разных причин.

Тут нарисована упрощенная схема, на самом деле бордеры соединены между собой через стороннюю сеть, в которой нам выделили влан, который используется для нашей внутренней маршрутизации. Ну и честно, тут для примера взят когент как известный провайдер, на самом деле провайдер другой и у них не такая уж либеральная политика в отношении множества сессий. К тому же, в дальнейшем интресует выпускать не один бордер, а еще штуки 2-3 дополнительно. Так что тут тогда придется больше сессий просить - могут и не дать.

 

Интересует конкретно этот момент, как описан в первом посте. Если это его нормально поведение при форвардинге трафика, то будем кто-то думать.

[Kiano 597]

Надеюсь conntrack выключен?

[xakep7 6]

Raw? Если нет, то юзайте их, а нее фаерволл. Неплохо снижает нагрузку т.к. эти правила работают на уровне чипа не доходя до ядра системы (RouterOS) тем самым меньше нагружая процессор при большей производительности, фаер же по факту софт т.е. над ядром системы, а не под ним. (Грубые определения)

Conntrack актуально (включен али нет?).

Да и сравнения не точны. 5 гбит и 2 гбит могут генерировать одинаковое кол-во PPS, что в основном и влияет на нагрузку.

Відредаговано 2021-04-08 16:49:14 xakep7

[Kiano 597]

Только что, xakep7 сказал:

Raw? Если нет, то юзайте их, а нее фаерволл. Неплохо снижает нагрузку т.к. эти правила работают на уровне чипа не доходя до ядра системы (RouterOS) тем самым меньше нагружая процессор при большей производительности, фаер же по факту софт т.е. над ядром системы, а не под ним. (Грубые определения)

Conntrack актуально (включен али нет?).

а зачем raw?

[xakep7 6]

1 минуту назад, Kiano сказал:

а зачем raw?

Менее ресурсозатратны при таких операциях.

[Kiano 597]

Только что, xakep7 сказал:

Менее ресурсозатратны при таких операциях.

я это и спрашиваю

при каких?

[xakep7 6]

3 минуты назад, Kiano сказал:

я это и спрашиваю

при каких?

Роутинг (прероутинг)/фильтрация трафика на дубовом уровне (блок портов/типов трафика/адресов)/дроп по спискам адресов.

При одних и тех же правилах в данных операциях, выигрыш получается в несколько раз.

Відредаговано 2021-04-08 16:55:05 xakep7

[Kiano 597]

Только что, xakep7 сказал:

Роутинг (прероутинг)/фильтрация трафика на дубовом уровне (блок портов/типов трафика/адресов)

Роутинг здесь не при чем, raw к нему никакого отношения не имеет. Raw это stateless фв, по сути. И он здесь вообще не при чем. Если это чисто маршрутизатор, то фв на нем не стоит использовать вообще. В таком случае - да, лучше raw, и то, лучше вообще без фв.

[DVSGROUP 126]

7 часов назад, Karfax сказал:

Тут нарисована упрощенная схема, на самом деле бордеры соединены между собой через стороннюю сеть, в которой нам выделили влан, который используется для нашей внутренней маршрутизации.

VLAN поднят на стороннем свиче, или на самом CCR?

 

2 часа назад, Kiano сказал:

я это и спрашиваю

при каких?

 

ConnTrack это целая подсистема, которая ведет таблицу всех соединений, при этом для каждого соединения определяется его статус и зависимости (new, established, related, invalid). Иными словами, определяется принадлежность пакетов отдельным потокам.

 

Само собой разумеется, работа ConnTrack вызывает нагрузку на ЦП, даже если правило всего 1.

 

Обычно на стыках нет NAT, поэтому ConnTrack не используется, чтобы не нагружать Бордер.

 

ConnTrack нужен уровнем ниже, где нет прямой маршрутизации и рулится NAT.

[Karfax 3]

5 часов назад, Kiano сказал:

Надеюсь conntrack выключен?

нет, вкючен. на бордере есть небольшой (по объему трафика) нат. Не сломает ли выключение контрака нат?

[DVSGROUP 126]

1 минуту назад, Karfax сказал:

Не сломает ли выключение контрака нат?

 

NAT перестанет работать

[Karfax 3]

45 минут назад, DVSGROUP сказал:

VLAN поднят на стороннем свиче, или на самом CCR?

на самом ццр

[DVSGROUP 126]

1 час назад, Karfax сказал:

на самом ццр

 

Это не совсем правильно. У вас на входе для таких вещей должен быть хороший управляемый коммутатор.

 

VLAN принимается tagged или untagged? Если tagged - то софтово или аппаратно?

 

Если вы принимаете VLAN софтово, это также создает дополнительную нагрузку.

[Kiano 597]

9 часов назад, DVSGROUP сказал:

VLAN поднят на стороннем свиче, или на самом CCR?

 

 

ConnTrack это целая подсистема, которая ведет таблицу всех соединений, при этом для каждого соединения определяется его статус и зависимости (new, established, related, invalid). Иными словами, определяется принадлежность пакетов отдельным потокам.

 

Само собой разумеется, работа ConnTrack вызывает нагрузку на ЦП, даже если правило всего 1.

 

Обычно на стыках нет NAT, поэтому ConnTrack не используется, чтобы не нагружать Бордер.

 

ConnTrack нужен уровнем ниже, где нет прямой маршрутизации и рулится NAT.

Спасибо за информацию)) но я не спрашивал, что такое conntrack

8 часов назад, Karfax сказал:

нет, вкючен. на бордере есть небольшой (по объему трафика) нат. Не сломает ли выключение контрака нат?

На этом маршрутизаторе нат необходимо отключить как таковой.

механизм conntrack это часть NAT

Как вариант, сделайте такое: RAW, для ипов, которые не имеют отношения к nat сделайте action=notrack

[Kiano 597]

Иными словами, Вы полностью трекаете весь трафик, проходящий через ццр

На 5 гигах роутинга он не должен грузиться выше 10%

Відредаговано 2021-04-09 05:06:35 Kiano

[Karfax 3]

1 час назад, Kiano сказал:

Как вариант, сделайте такое: RAW, для ипов, которые не имеют отношения к nat сделайте action=notrack

 

IP онтосящиеся к нату - это которые указаны в Action=src-nat To address=...? Или еще в добавок и не которые натятся? Судя по

 

 

7 часов назад, DVSGROUP сказал:

VLAN принимается tagged или untagged? Если tagged - то софтово или аппаратно?

Не совсем понимаю что значит принимать влан софтово?

 

Внешний провайдер выкидывает в нашу сторону свой влан антагом (ну это обычно у всех так). Его линк включен в CRS, там принимается антагом, ему назначается тэе и дальше этот влан расходится по узлам.

 

На ццре влан создается в interface/vlan и вешается на порт, который смотрит в сторону ццра.

Відредаговано 2021-04-09 12:45:29 Karfax

[Kiano 597]

На ццр только софтово вланы

Про ипы к нату - в лс

[DVSGROUP 126]

13 часов назад, Kiano сказал:

На ццр только софтово вланы

 

старые ревизии ccr умели, тот же 1009 с атеросом

https://wiki.mikrotik.com/wiki/Manual:Switch_Chip_Features

 

[Kiano 597]

В топике 1072

1009 старое унылое гуано со свитч чипом