Перейти до

Linux NAT и потери при настройке nftables с flow offload


Рекомендованные сообщения

Приветствую,

 

Ребята такое дело есть nat сервер на базе линукса и все вроде бы правильно с таким вот конфигом:

flush ruleset

table ip filter {
        chain input {
                type filter hook input priority 0; policy accept;
                ct state established accept
                iif "vlan4" counter drop
                iif "vlan5" counter drop
        }

        #flowtable fastnat {
        #        hook ingress priority 0
        #        devices = { vlan4, vlan5 }
        #}

        #chain forward {
        #        type filter hook forward priority 0; policy accept;
        #        ip protocol { tcp , udp } flow offload @fastnat;
        #}
}


table ip nat {
        chain post {
                type nat hook postrouting priority 100; policy accept;
                ip saddr 10.0.0.0/8 oif "vlan5" snat to 105.46.1.1-105.46.1.125 persistent
        }

        chain pre {
                type nat hook prerouting priority -100; policy accept;
        }
}

Плюс подкручены стандартные опции для самого нат сервера через sysctl.

 

Обратите внимание на закомменченную порцию с flow offload, с ней при 12G нат трафика неаблюдаются довольно сушественные потери на входе интерфейса:

image.png.efdbc75870e47593490f809f3e4b475e.png

 

Если закомментить часть отвечающую за flow offload, то нагрузка на процессот немного вырастает но потери исчезают аж пока трафика не станет 19G при загрузке CPU 85%. Да и то при такой нагрузке потери менее значительные:

image.png.fc65a7b36d39e25faf1f4f9d311a40bc.png

 

Функция flow offload хороша и позволяет сэкономить на нагрузке CPU, но почему оно так сильно влияет на потери трафика или нужно настроить что либо еще?

 

Ссылка на сообщение
Поделиться на других сайтах
  • 3 months later...

Добрый день.

Прошу прощения за небольшой некропостинг - но проблему удалось победить? Столкнулся с такой же проблемой

Ссылка на сообщение
Поделиться на других сайтах

при великому трафіку такі проблеми бачили на картах intel 710, напевне через відносно малий буфер, в нас проблема вирішилася після заміни мережевої карти.

Крім цього ще існують проблеми з timeout встановлених зєднаннь, тобто після попадання в контракт і маркування зєдання як offload збивається timeout сесії на дефолтний, в якомусь з останніх ядер він ставився в коді в 86400. Тобто після будь-яких сканувань (вірусами чи абонентами) дуже швидко росте таблиця conntrack. Коротше кажучи, трохи сирувата реалізація offload

Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, karyon сказал:

при великому трафіку такі проблеми бачили на картах intel 710, напевне через відносно малий буфер, в нас проблема вирішилася після заміни мережевої карти.

40G? На что поменяли если не секрет?

Ссылка на сообщение
Поделиться на других сайтах
  • 3 weeks later...

На тестовом стенде удалось воспроизвести, локализовать и победить проблему.

На сервере с NAT в разных интерфейсах поднят BGP с разными маршрутизаторами (маршрутизаторы в свою очередь подключены к разным магистральным провайдерам, т.ч. трафик может прийти как с одного интерфейса так и с другого).

На самом сервере с NAT маршрут по умолчанию смотрит только в первый интерфейс.

 

Так вот. проблемы начинаются, когда трафик приходит в второй интерфейс (куда нет дефолта). Видимо из-за offload сервер пытается ответить в этот же интерфейс, а так как нет маршрута - посылает ARP запрос, на который никто не отвечает.

Выключение второго интерфейса тут же решает проблему.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від Sat_Odessa
      Помогите решить задачу:
      Есть 2 роутера с белыми адресами: TPLink и MikroTik. Необходима переодическая настройка (открытие/закрытие портов). С Mikrotik-oм никаких проблем нет, так как инструкций в интернете вагон и маленькая тележка. А вот с TPLink-ом загвоздка. Чтобы не открывать доступ к нему на весь мир, доступ веб-интерфейсу TPLink-а открыт только для адреса Mikrotik-а. Соответственно из локальной сети Mikrotik-а я могу попасть в настройки TPLink-а. Но иногда нужен удаленный доступ к TPLink-у из других мест.
       
      Можно ли как-то открыть на Mikrotik-е внешний порт, чтобы весь трафик из интернета на этот порт перенаправлялся на внешний IP-адрес TPLink-а? Чтобы для TPLink-а это выглядело так, как будто я подключаюсь к нему с IP-адреса Mikrotik-а.
    • Від Інет.укр
      Продам MS-MIC-16G б.у з гарантією 1міс.
      вартість 65 000грн 
      Варіанти оплати:
      рахунок від фоп крипта USDT на карту монобанк p.s 
       


    • Від Lux-Domofon
      Доброго дня, потріна допомога в налаштуванні sip server Asterisk, для ip домофонії. Виникла проблема з NAT, а також з  DTMF для відкривання дверей. 
    • Від Інет.укр
      Продам 3шт MS-MIC-16G ціна $4600 за 3шт.
      Гарантія 30діб
      Можливо рахунок від ФОП
    • Від renegade310
      Доброго дня.
      Маємо коробку A10 3030s.
      Прошивка:
               64-bit Advanced Core OS (ACOS) version 4.1.4-GR1-P5, build 81 (Sep-08-2020,09:32)           Booted from Hard Disk primary image           Number of control CPUs is set to 1           aFleX version: 2.0.0           GUI primary image (default) version 4_1_4-GR1-P5-4_1_4-gr1-p5-38           GUI secondary image version 4_1_4-GR1-P5-4_1_4-gr1-p5-38           aXAPI version: 3.0           Cylance version: N/A           Hard Disk primary image (default) version 4.1.4-GR1-P5, build 81           Hard Disk secondary image version 4.1.4-GR1-P5, build 81           Last configuration saved at Feb-9-2023, 18:37           Hardware: 8 CPUs(Stepping 9), Single 74G drive, Free storage is 34G           Total System Memory 16350 Mbytes, Free Memory 7692 Mbytes           Hardware Manufacturing Code: 175211           Current time is Feb-11-2023, 19:01           The system has been up 21 days, 1 hour, 9 minutes  
      І недавно сталася проблема що розвалився lag на ньому і в логах було таке:
       
      Feb 09 2023 16:54:12 Notice      [Router]:Interface(s)  ethernet 9,  removed from aggregator po2 Feb 09 2023 16:54:12 Notice      [Router]:Interface(s)  ethernet 10,  removed from aggregator po2 Feb 09 2023 16:54:12 Notice      [Router]:Interface(s)  ethernet 11,  removed from aggregator po1 Feb 09 2023 16:54:12 Notice      [Router]:Interface(s)  ethernet 12,  removed from aggregator po1 Feb 09 2023 16:54:11 Error       [Fail Safe]:Failed in thread LWP 6361 Feb 09 2023 16:54:11 Error       [Fail Safe]:Failed in thread LWP 6338 Feb 09 2023 16:54:11 Error       [Fail Safe]:Failed in thread LWP 6340 Feb 09 2023 16:54:11 Error       [Fail Safe]:Failed in thread 0x6f09149 Feb 09 2023 16:54:11 Error       [Fail Safe]:FailSafe timestamp 4704431868, last update time 409464572  Feb 09 2023 16:54:11 Error       [Fail Safe]:FailSafe detected problem in ALB threads. Feb 09 2023 16:54:11 Warning     [AXMON]:Detected problem in Health Monitor DataCPU1 (LWP 6216). (Last counter was -1772775275 at time 4704431868 bit 7). Feb 09 2023 16:54:11 Warning     [AXMON]:Detected problem in Health Monitor DataCPU4 (LWP 6220). (Last counter was -1460486145 at time 4704431868 bit 6). Feb 09 2023 16:54:11 Warning     [AXMON]:Detected problem in Health Monitor DataCPU0 (LWP 6215). (Last counter was -974207122 at time 4704431868 bit 5). Feb 09 2023 16:54:11 Warning     [AXMON]:Detected problem in Health Monitor DataCPU3 (LWP 6219). (Last counter was 1747921038 at time 4704431868 bit 4). Feb 09 2023 16:54:11 Warning     [AXMON]:Detected problem in Health Monitor DataCPU2 (LWP 6217). (Last counter was -1737089530 at time 4704431868 bit 3). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU1 (LWP 6216). (Last counter was -1772775275 at time 4704431789 bit 7). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU4 (LWP 6220). (Last counter was -1460486145 at time 4704431789 bit 6). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU0 (LWP 6215). (Last counter was -974207122 at time 4704431789 bit 5). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU3 (LWP 6219). (Last counter was 1747921038 at time 4704431789 bit 4). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU2 (LWP 6217). (Last counter was -1737089530 at time 4704431789 bit 3). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU1 (LWP 6216). (Last counter was -1772775275 at time 4704431713 bit 7). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU4 (LWP 6220). (Last counter was -1460486145 at time 4704431713 bit 6). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU0 (LWP 6215). (Last counter was -974207122 at time 4704431713 bit 5). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU3 (LWP 6219). (Last counter was 1747921038 at time 4704431712 bit 4). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU1 (LWP 6216). (Last counter was -1772775275 at time 4704431636 bit 7). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU4 (LWP 6220). (Last counter was -1460486145 at time 4704431636 bit 6). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU0 (LWP 6215). (Last counter was -974207122 at time 4704431636 bit 5). Feb 09 2023 16:54:10 Warning     [AXMON]:Detected problem in Health Monitor DataCPU3 (LWP 6219). (Last counter was 1747921038 at time 4704431636 bit 4). Feb 09 2023 16:54:09 Warning     [AXMON]:Detected problem in Health Monitor DataCPU1 (LWP 6216). (Last counter was -1772775275 at time 4704431556 bit 7). Feb 09 2023 16:54:09 Warning     [AXMON]:Detected problem in Health Monitor DataCPU0 (LWP 6215). (Last counter was -974207122 at time 4704431556 bit 5). Feb 09 2023 16:54:09 Warning     [AXMON]:Detected problem in Health Monitor DataCPU3 (LWP 6219). (Last counter was 1747921038 at time 4704431552 bit 4).  
      Проблема була тимчасова, буквально за хвилину лаг знову зібрався і все працює.
      В чому може бути проблема?
×
×
  • Створити нове...