сетевуха 10г

[twg 871]

Всем привет.

 

Опыта с сетевыми 10Г нет. Прошу плиз просветить в моменте

На одной Linux машине имеем:

Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
        Kernel driver in use: igb

Загрузка CPUs при трарфике ~1G

 

На второй Linux машине примерно такой же конфигурации, как и первая:

Подключение к коммутатору - медью.

Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2
    Kernel driver in use: i40e

Загрузка CPUs при трарфике ~1,5G

 

Вопрос: Шо за херня такая? Шо ей нужно и где отсчелкнуть, шобы попустило?

10G:

ethtool -c enp1s0f0
Coalesce parameters for enp1s0f0:
Adaptive RX: on  TX: on
stats-block-usecs: 0
sample-interval: 0
pkt-rate-low: 0
pkt-rate-high: 0

rx-usecs: 50
rx-frames: 0
rx-usecs-irq: 0
rx-frames-irq: 256

tx-usecs: 50
tx-frames: 0
tx-usecs-irq: 0
tx-frames-irq: 256

rx-usecs-low: 0
rx-frame-low: 0
tx-usecs-low: 0
tx-frame-low: 0

rx-usecs-high: 0
rx-frame-high: 0
tx-usecs-high: 0
tx-frame-high: 0

==

ethtool -k enp1s0f0
Features for enp1s0f0:
rx-checksumming: on
tx-checksumming: on
    tx-checksum-ipv4: on
    tx-checksum-ip-generic: off [fixed]
    tx-checksum-ipv6: on
    tx-checksum-fcoe-crc: off [fixed]
    tx-checksum-sctp: on
scatter-gather: on
    tx-scatter-gather: on
    tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
    tx-tcp-segmentation: on
    tx-tcp-ecn-segmentation: on
    tx-tcp6-segmentation: on
    tx-tcp-mangleid-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-ipip-segmentation: on
tx-sit-segmentation: on
tx-udp_tnl-segmentation: on
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
busy-poll: off [fixed]
tx-gre-csum-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-sctp-segmentation: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: on
rx-udp_tunnel-port-offload: on

 

Заранее благодарю.

 

 

Відредаговано 2018-12-04 18:57:43 twg

[twg 871]

Just now, Erixxon said:

Пробуй iptables -t raw -A PREROUTING -j NOTRACK

Спасибо. Но NAT есть и на первой машине. И он мне нужен.

[Avad0n 22]

А если tso, gso, gro выключить? 

[twg 871]

4 minutes ago, Avad0n said:

А если tso, gso, gro выключить? 

поодиночке не пробовал. Но если оптом

ethtool --offload enp1s0f0 rx off tx off sg off tso off gso off gro off lro off rxvlan off txvlan off rxhash off

то не помогает.

[NiTr0 584]

2 часа назад, twg сказал:

Вопрос: Шо за херня такая?

perf top ответит.

 

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

[twg 871]

10 hours ago, NiTr0 said:

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

Мы все любим максимальные буфера )) Это было сделано сразу.

 

В моем первом посте первый сервер не старый, а рабочий. Там гиговая карта, которая перекачивает около гига, с натом, и при этом я не видел si> 6%. 

Второй сервер похож по железу на первый. 4 ядра, 4г мозгов. Только во втором карта Х710 10Г. И при не сильно большем трафике, генерит сильно бОльшую нагрузку. Меня это и смутило. Подумал, что может это карточка Х710 какято не хорошая )). Прошивка последняя на карте, дрова тоже собрал последние.

И там,  и там прерывания раскинуты по ядрам. офлоад вырубил. Увеличил буфер пакетов tx-frames-irq 512, было 256, при этом rx-usecs: 0. С tx тоже Немного упала нагрузка. Буду пробовать увеличивать дальше по чуть-чуть, пока не увижу заметного влияния на латенси.

Ещё начинаю думать, что в сети есть какая-то флудящея чем-то херня. Буду смотреть.

Відредаговано 2018-12-05 07:32:08 twg

[NiTr0 584]

perf top что говорит?

[inspire_87 4]

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?

Відредаговано 2018-12-05 19:35:04 inspire_87

[twg 871]

2 hours ago, NiTr0 said:

perf top что говорит?

думаю я понял в чем трабл.

Есть юзеры, генерящие больше 1000 записей в conntrack

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

Начал бороться с вирусами по клиентам. Пару дней и победим. А дальше посмотрим что с этой картой и как.

[mixtery 121]

1 час назад, inspire_87 сказал:

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?

зависимость от пряморуковизны вопрошающего прямая
ответ - при любом
входных данных нет
роутишь - одно дело
натишь - другое
шейпишь - третье
ОСь и софт - четвёртое

Відредаговано 2018-12-05 20:42:52 mixtery

[NiTr0 584]

В 05.12.2018 в 21:39, twg сказал:

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

подкрутить таймауты ната?

 

и syn рассылать могут и торрент-клиенты к примеру, когда пиры ищут.

 

у меня сейчас на одном брасе 300к сессий в коннтраке при онлайне около 1к, из них 38к в состоянии SYN_SENT. надо бы notrack прикрутить для белых адресов...

[twg 871]

On 12/7/2018 at 9:38 AM, NiTr0 said:

надо бы notrack прикрутить для белых адресов

Для белых есть NOTRACK

 

On 12/7/2018 at 9:38 AM, NiTr0 said:

подкрутить таймауты ната?

net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
net.netfilter.nf_conntrack_tcp_timeout_syn_sent=10

net.netfilter.nf_conntrack_tcp_timeout_established=400

 

Чето ещё забыл?

 

 

 

[KaYot 3 711]

established=(30-80)

Установка больших значений не имеет смысла.

Пока нас неделю ДОСили ставил 30с - ни одной жалобы от клиентов.

[twg 871]

3 hours ago, KaYot said:

established=(30-80)

Спасибо, попробую

[NiTr0 584]

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

[twg 871]

10 hours ago, NiTr0 said:

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

))

Вопрс не глупый. Оказалось дефолт.

Увеличил

echo 193572 > /sys/module/nf_conntrack/parameters/hashsize

каких-то изменений в загрузке ядер не заметил. Может модуль нужно передернуть?

[twg 871]

хм, странно. Я ж думаю, что не мог забыть об этом. В rc.local написано: echo 193572 > /sys/module/nf_conntrack/parameters/hashsize

Но сделал cat, а там 16384.

[twg 871]

Сегодня ночью поменяю карту с х710 на х520. Танцы с бубном продолжаются ))

[NiTr0 584]

13 часов назад, twg сказал:

Может модуль нужно передернуть?

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

[KaYot 3 711]

Оно на разных ядрах по разному меняется. Через sysctl -a смотрите реально состояние и им же меняйте.

[twg 871]

11 hours ago, NiTr0 said:

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

 

Відредаговано 2018-12-10 09:18:54 twg

[BUM 242]

2 минуты назад, twg сказал:

 

покажите вывод
iptables-save

[twg 871]

Карту поменял на х520. Та же фигня.

В правилах iptables примерно штук 30 простых строк. Дропы, Ацепты, ISG и Нат. В основном все -s и -d префиксами. Конфигурация аналогичная той, что работает на другой машине, но с гиговой картой и на которой при аналогичном трафике (до гига) проц вгружен в 4 - 5 раз меньше.

Пришел к выводу, что телегу нужно менять на мощнее. Общаюсь с людьми и понимаю, что эти х520/710 грузят проц куда больше, чем старые добрые igb карты.

 

Думаю тему можно прикрывать.

 

Всем спасибо за участие, за советы.

[WideAreaNetwork 222]

35 минут назад, twg сказал:

Думаю тему можно прикрывать.

прикроете когда результат будет))) пока только догадки, мне интересно например чем все закончится

[twg 871]

Just now, WideAreaNetwork said:

мне интересно например чем все закончится

 

Санта Барбара. ))

Я же не админь тут. Это я типа для себя прикрываю.

Догадки, да. Отпишусь по результатам.