Перейти до

сетевуха 10г


Рекомендованные сообщения

Всем привет.

 

Опыта с сетевыми 10Г нет. Прошу плиз просветить в моменте

На одной Linux машине имеем:

Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
        Kernel driver in use: igb

Загрузка CPUs при трарфике ~1G

1114612532_Screenshotfrom2018-12-0420-32-17.png.036a418c73fb18225a5c511f7eb79580.png

 

На второй Linux машине примерно такой же конфигурации, как и первая:

Подключение к коммутатору - медью.

Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2
    Kernel driver in use: i40e

Загрузка CPUs при трарфике ~1,5G

254981850_Screenshotfrom2018-12-0420-39-55.png.b30bdaf3fc75b68e5596880d074b85d5.png

 

Вопрос: Шо за херня такая? Шо ей нужно и где отсчелкнуть, шобы попустило? ;)

10G:

ethtool -c enp1s0f0
Coalesce parameters for enp1s0f0:
Adaptive RX: on  TX: on
stats-block-usecs: 0
sample-interval: 0
pkt-rate-low: 0
pkt-rate-high: 0

rx-usecs: 50
rx-frames: 0
rx-usecs-irq: 0
rx-frames-irq: 256

tx-usecs: 50
tx-frames: 0
tx-usecs-irq: 0
tx-frames-irq: 256

rx-usecs-low: 0
rx-frame-low: 0
tx-usecs-low: 0
tx-frame-low: 0

rx-usecs-high: 0
rx-frame-high: 0
tx-usecs-high: 0
tx-frame-high: 0

==

ethtool -k enp1s0f0
Features for enp1s0f0:
rx-checksumming: on
tx-checksumming: on
    tx-checksum-ipv4: on
    tx-checksum-ip-generic: off [fixed]
    tx-checksum-ipv6: on
    tx-checksum-fcoe-crc: off [fixed]
    tx-checksum-sctp: on
scatter-gather: on
    tx-scatter-gather: on
    tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
    tx-tcp-segmentation: on
    tx-tcp-ecn-segmentation: on
    tx-tcp6-segmentation: on
    tx-tcp-mangleid-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-ipip-segmentation: on
tx-sit-segmentation: on
tx-udp_tnl-segmentation: on
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
busy-poll: off [fixed]
tx-gre-csum-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-sctp-segmentation: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: on
rx-udp_tunnel-port-offload: on

 

Заранее благодарю.

 

 

Відредаговано twg
Ссылка на сообщение
Поделиться на других сайтах
4 minutes ago, Avad0n said:

А если tso, gso, gro выключить? 

поодиночке не пробовал. Но если оптом

ethtool --offload enp1s0f0 rx off tx off sg off tso off gso off gro off lro off rxvlan off txvlan off rxhash off

то не помогает.

Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, twg сказал:

Вопрос: Шо за херня такая?

perf top ответит.

 

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

  • Like 1
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)
10 hours ago, NiTr0 said:

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

Мы все любим максимальные буфера )) Это было сделано сразу.

 

В моем первом посте первый сервер не старый, а рабочий. Там гиговая карта, которая перекачивает около гига, с натом, и при этом я не видел si> 6%. 

Второй сервер похож по железу на первый. 4 ядра, 4г мозгов. Только во втором карта Х710 10Г. И при не сильно большем трафике, генерит сильно бОльшую нагрузку. Меня это и смутило. Подумал, что может это карточка Х710 какято не хорошая )). Прошивка последняя на карте, дрова тоже собрал последние.

И там,  и там прерывания раскинуты по ядрам. офлоад вырубил. Увеличил буфер пакетов tx-frames-irq 512, было 256, при этом rx-usecs: 0. С tx тоже Немного упала нагрузка. Буду пробовать увеличивать дальше по чуть-чуть, пока не увижу заметного влияния на латенси.

Ещё начинаю думать, что в сети есть какая-то флудящея чем-то херня. Буду смотреть.

Відредаговано twg
Ссылка на сообщение
Поделиться на других сайтах

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?

Відредаговано inspire_87
Ссылка на сообщение
Поделиться на других сайтах
2 hours ago, NiTr0 said:

perf top что говорит?

думаю я понял в чем трабл.

Есть юзеры, генерящие больше 1000 записей в conntrack

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

Начал бороться с вирусами по клиентам. Пару дней и победим. А дальше посмотрим что с этой картой и как.

Ссылка на сообщение
Поделиться на других сайтах
1 час назад, inspire_87 сказал:

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?


зависимость от пряморуковизны вопрошающего прямая
ответ - при любом
входных данных нет
роутишь - одно дело
натишь - другое
шейпишь - третье
ОСь и софт - четвёртое

Відредаговано mixtery
Ссылка на сообщение
Поделиться на других сайтах
В 05.12.2018 в 21:39, twg сказал:

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

подкрутить таймауты ната?

 

и syn рассылать могут и торрент-клиенты к примеру, когда пиры ищут.

 

у меня сейчас на одном брасе 300к сессий в коннтраке при онлайне около 1к, из них 38к в состоянии SYN_SENT. надо бы notrack прикрутить для белых адресов...

Ссылка на сообщение
Поделиться на других сайтах
On 12/7/2018 at 9:38 AM, NiTr0 said:

надо бы notrack прикрутить для белых адресов

Для белых есть NOTRACK

 

On 12/7/2018 at 9:38 AM, NiTr0 said:

подкрутить таймауты ната?

net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
net.netfilter.nf_conntrack_tcp_timeout_syn_sent=10

net.netfilter.nf_conntrack_tcp_timeout_established=400

 

Чето ещё забыл?

 

 

 

Ссылка на сообщение
Поделиться на других сайтах

established=(30-80)

Установка больших значений не имеет смысла.

Пока нас неделю ДОСили ставил 30с - ни одной жалобы от клиентов.

  • Like 1
Ссылка на сообщение
Поделиться на других сайтах

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

  • Like 1
Ссылка на сообщение
Поделиться на других сайтах
10 hours ago, NiTr0 said:

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

))

Вопрс не глупый. Оказалось дефолт.

Увеличил

echo 193572 > /sys/module/nf_conntrack/parameters/hashsize

каких-то изменений в загрузке ядер не заметил. Может модуль нужно передернуть?

Ссылка на сообщение
Поделиться на других сайтах
13 часов назад, twg сказал:

Может модуль нужно передернуть?

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)
11 hours ago, NiTr0 said:

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

 

Screenshot from 2018-12-10 11-17-43.png

Відредаговано twg
Ссылка на сообщение
Поделиться на других сайтах

Карту поменял на х520. Та же фигня.

В правилах iptables примерно штук 30 простых строк. Дропы, Ацепты, ISG и Нат. В основном все -s и -d префиксами. Конфигурация аналогичная той, что работает на другой машине, но с гиговой картой и на которой при аналогичном трафике (до гига) проц вгружен в 4 - 5 раз меньше.

Пришел к выводу, что телегу нужно менять на мощнее. Общаюсь с людьми и понимаю, что эти х520/710 грузят проц куда больше, чем старые добрые igb карты.

 

Думаю тему можно прикрывать.

 

Всем спасибо за участие, за советы.

  • Sad 1
Ссылка на сообщение
Поделиться на других сайтах
35 минут назад, twg сказал:

Думаю тему можно прикрывать.

прикроете когда результат будет))) пока только догадки, мне интересно например чем все закончится

Ссылка на сообщение
Поделиться на других сайтах
Just now, WideAreaNetwork said:

мне интересно например чем все закончится

 

Санта Барбара. ))

Я же не админь тут. Это я типа для себя прикрываю.

Догадки, да. Отпишусь по результатам.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

×
×
  • Створити нове...