Jump to content

сетевуха 10г

twg

By twg,
in Hardware

 Share Followers 0

Recommended Posts

twg

twg 871

Posted
Posted (edited)

Всем привет.

 

Опыта с сетевыми 10Г нет. Прошу плиз просветить в моменте

На одной Linux машине имеем:

Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
        Kernel driver in use: igb

Загрузка CPUs при трарфике ~1G

1114612532_Screenshotfrom2018-12-0420-32-17.png.036a418c73fb18225a5c511f7eb79580.png

 

На второй Linux машине примерно такой же конфигурации, как и первая:

Подключение к коммутатору - медью.

Ethernet controller: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ (rev 01)
    Subsystem: Intel Corporation Ethernet Converged Network Adapter X710-2
    Kernel driver in use: i40e

Загрузка CPUs при трарфике ~1,5G

254981850_Screenshotfrom2018-12-0420-39-55.png.b30bdaf3fc75b68e5596880d074b85d5.png

 

Вопрос: Шо за херня такая? Шо ей нужно и где отсчелкнуть, шобы попустило? ;)

10G:

ethtool -c enp1s0f0
Coalesce parameters for enp1s0f0:
Adaptive RX: on  TX: on
stats-block-usecs: 0
sample-interval: 0
pkt-rate-low: 0
pkt-rate-high: 0

rx-usecs: 50
rx-frames: 0
rx-usecs-irq: 0
rx-frames-irq: 256

tx-usecs: 50
tx-frames: 0
tx-usecs-irq: 0
tx-frames-irq: 256

rx-usecs-low: 0
rx-frame-low: 0
tx-usecs-low: 0
tx-frame-low: 0

rx-usecs-high: 0
rx-frame-high: 0
tx-usecs-high: 0
tx-frame-high: 0

==

ethtool -k enp1s0f0
Features for enp1s0f0:
rx-checksumming: on
tx-checksumming: on
    tx-checksum-ipv4: on
    tx-checksum-ip-generic: off [fixed]
    tx-checksum-ipv6: on
    tx-checksum-fcoe-crc: off [fixed]
    tx-checksum-sctp: on
scatter-gather: on
    tx-scatter-gather: on
    tx-scatter-gather-fraglist: off [fixed]
tcp-segmentation-offload: on
    tx-tcp-segmentation: on
    tx-tcp-ecn-segmentation: on
    tx-tcp6-segmentation: on
    tx-tcp-mangleid-segmentation: on
udp-fragmentation-offload: off [fixed]
generic-segmentation-offload: on
generic-receive-offload: on
large-receive-offload: off [fixed]
rx-vlan-offload: on
tx-vlan-offload: on
ntuple-filters: on
receive-hashing: on
highdma: on
rx-vlan-filter: on [fixed]
vlan-challenged: off [fixed]
tx-lockless: off [fixed]
netns-local: off [fixed]
tx-gso-robust: off [fixed]
tx-fcoe-segmentation: off [fixed]
tx-gre-segmentation: on
tx-ipip-segmentation: on
tx-sit-segmentation: on
tx-udp_tnl-segmentation: on
fcoe-mtu: off [fixed]
tx-nocache-copy: off
loopback: off [fixed]
rx-fcs: off [fixed]
rx-all: off [fixed]
tx-vlan-stag-hw-insert: off [fixed]
rx-vlan-stag-hw-parse: off [fixed]
rx-vlan-stag-filter: off [fixed]
busy-poll: off [fixed]
tx-gre-csum-segmentation: on
tx-udp_tnl-csum-segmentation: on
tx-gso-partial: on
tx-sctp-segmentation: off [fixed]
l2-fwd-offload: off [fixed]
hw-tc-offload: on
rx-udp_tunnel-port-offload: on

 

Заранее благодарю.

 

 

Edited by twg
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
Just now, Erixxon said:

Пробуй iptables -t raw -A PREROUTING -j NOTRACK

Спасибо. Но NAT есть и на первой машине. И он мне нужен.

Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
4 minutes ago, Avad0n said:

А если tso, gso, gro выключить? 

поодиночке не пробовал. Но если оптом

ethtool --offload enp1s0f0 rx off tx off sg off tso off gso off gro off lro off rxvlan off txvlan off rxhash off

то не помогает.

Link to post
Share on other sites
NiTr0

NiTr0 585

Posted
Posted
2 часа назад, twg сказал:

Вопрос: Шо за херня такая?

perf top ответит.

 

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

  • Like 1
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted (edited)
10 hours ago, NiTr0 said:

и да, стоит включить interrupt moderation на какое-то разумное значение (несколько тысяч прерываний/сек) и выкрутить буфера на максимум.

Мы все любим максимальные буфера )) Это было сделано сразу.

 

В моем первом посте первый сервер не старый, а рабочий. Там гиговая карта, которая перекачивает около гига, с натом, и при этом я не видел si> 6%. 

Второй сервер похож по железу на первый. 4 ядра, 4г мозгов. Только во втором карта Х710 10Г. И при не сильно большем трафике, генерит сильно бОльшую нагрузку. Меня это и смутило. Подумал, что может это карточка Х710 какято не хорошая )). Прошивка последняя на карте, дрова тоже собрал последние.

И там,  и там прерывания раскинуты по ядрам. офлоад вырубил. Увеличил буфер пакетов tx-frames-irq 512, было 256, при этом rx-usecs: 0. С tx тоже Немного упала нагрузка. Буду пробовать увеличивать дальше по чуть-чуть, пока не увижу заметного влияния на латенси.

Ещё начинаю думать, что в сети есть какая-то флудящея чем-то херня. Буду смотреть.

Edited by twg
Link to post
Share on other sites
inspire_87

inspire_87 4

Posted
Posted (edited)

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?

Edited by inspire_87
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
2 hours ago, NiTr0 said:

perf top что говорит?

думаю я понял в чем трабл.

Есть юзеры, генерящие больше 1000 записей в conntrack

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

Начал бороться с вирусами по клиентам. Пару дней и победим. А дальше посмотрим что с этой картой и как.

Link to post
Share on other sites
mixtery

mixtery 123

Posted
Posted (edited)
1 час назад, inspire_87 сказал:

Вопрос немного по теме. Стоит граничный роутер с сетевой Intel x520, мать на борту с двумя камнями E5-2420, при каком трафике начнутся проблемы за роутером, сколько стабильно может качать данная связка трафика?


зависимость от пряморуковизны вопрошающего прямая
ответ - при любом
входных данных нет
роутишь - одно дело
натишь - другое
шейпишь - третье
ОСь и софт - четвёртое

Edited by mixtery
Link to post
Share on other sites
NiTr0

NiTr0 585

Posted
Posted
В 05.12.2018 в 21:39, twg сказал:

гдето человек 50 с сессиями больше 500 штук на каждого. А самые отьявленные по 1300. В основном syn рассылают. Т.е. вирусня. При трафике 1,5Г 130к - 150к сессий на всех.

подкрутить таймауты ната?

 

и syn рассылать могут и торрент-клиенты к примеру, когда пиры ищут.

 

у меня сейчас на одном брасе 300к сессий в коннтраке при онлайне около 1к, из них 38к в состоянии SYN_SENT. надо бы notrack прикрутить для белых адресов...

Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
On 12/7/2018 at 9:38 AM, NiTr0 said:

надо бы notrack прикрутить для белых адресов

Для белых есть NOTRACK

 

On 12/7/2018 at 9:38 AM, NiTr0 said:

подкрутить таймауты ната?

net.netfilter.nf_conntrack_tcp_timeout_fin_wait=30
net.netfilter.nf_conntrack_tcp_timeout_syn_sent=10

net.netfilter.nf_conntrack_tcp_timeout_established=400

 

Чето ещё забыл?

 

 

 

Link to post
Share on other sites
KaYot

KaYot 3,731

Posted
Posted

established=(30-80)

Установка больших значений не имеет смысла.

Пока нас неделю ДОСили ставил 30с - ни одной жалобы от клиентов.

  • Like 1
Link to post
Share on other sites
NiTr0

NiTr0 585

Posted
Posted

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

  • Like 1
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
10 hours ago, NiTr0 said:

да, глупый вопрос... conntrack hash size какой? надеюсь, не дефолтный? оптимально - где-то порядка половины от ожидаемого кол-ва сессий.

))

Вопрс не глупый. Оказалось дефолт.

Увеличил

echo 193572 > /sys/module/nf_conntrack/parameters/hashsize

каких-то изменений в загрузке ядер не заметил. Может модуль нужно передернуть?

Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted

хм, странно. Я ж думаю, что не мог забыть об этом. В rc.local написано: echo 193572 > /sys/module/nf_conntrack/parameters/hashsize

Но сделал cat, а там 16384.

Link to post
Share on other sites
NiTr0

NiTr0 585

Posted
Posted
13 часов назад, twg сказал:

Может модуль нужно передернуть?

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted (edited)
11 hours ago, NiTr0 said:

оно не факт что на лету меняется. вернее - вроде как должно, но не меняется. я параметром модуля в modprobe.conf прописывал.

 

да, что в perf top все же?

 

Screenshot from 2018-12-10 11-17-43.png

Edited by twg
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted

Карту поменял на х520. Та же фигня.

В правилах iptables примерно штук 30 простых строк. Дропы, Ацепты, ISG и Нат. В основном все -s и -d префиксами. Конфигурация аналогичная той, что работает на другой машине, но с гиговой картой и на которой при аналогичном трафике (до гига) проц вгружен в 4 - 5 раз меньше.

Пришел к выводу, что телегу нужно менять на мощнее. Общаюсь с людьми и понимаю, что эти х520/710 грузят проц куда больше, чем старые добрые igb карты.

 

Думаю тему можно прикрывать.

 

Всем спасибо за участие, за советы.

  • Sad 1
Link to post
Share on other sites
twg

twg 871

Posted
  • Author
Posted
Just now, WideAreaNetwork said:

мне интересно например чем все закончится

 

Санта Барбара. ))

Я же не админь тут. Это я типа для себя прикрываю.

Догадки, да. Отпишусь по результатам.

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Followers 0
Go to topic listing

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...