Распределение прерываний сетевой карты

Sashok1985 · 2018-03-16 14:44:21

Помогите решить проблему. Есть сервер: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz, Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01).

На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов.

Відредаговано 2018-03-16 14:51:46 Sashok1985

loki · 2018-03-16 16:54:44

Ну скидывай доступ к серверу сюда в тему. А что ? Ванговать зачём, давай смотреть

cetim · 2018-03-16 17:22:15

А какой биллинг ?

masters · 2018-03-16 17:41:30

Что за ОС?

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте.

Відредаговано 2018-03-16 17:42:13 masters

KaYot · 2018-03-16 18:40:15

В конце концов окажется что под pptp имелось в виду pppoe.

ttttt · 2018-03-16 18:53:43

Цитата

82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01).

На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов.
Expand

Вот нет, чтобы брать маломощные тазики и спокойно себе масштабироваться горизонтально по мере роста с минимум проблем и забот, надо было лезть в 10 гигабит, причем на самом говняном сетевом стэке в мире.

l1ght · 2018-03-16 19:26:00

В 16.03.2018 в 18:40, KaYot сказав:

В конце концов окажется что под pptp имелось в виду pppoe.

Expand

да лучше PPPoE чем PPTP, который уже умер

Sashok1985 · 2018-03-16 21:00:49

В 16.03.2018 в 18:40, KaYot сказав:

В конце концов окажется что под pptp имелось в виду pppoe.

Expand

))) опечатался. pppoe

В 16.03.2018 в 17:41, masters сказав:

Что за ОС?

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте.

Expand

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Відредаговано 2018-03-16 21:03:41 Sashok1985

KaYot · 2018-03-16 21:08:20

В 16.03.2018 в 21:00, Sashok1985 сказав:

))) опечатался. pppoe

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Expand

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

masters · 2018-03-16 21:11:07

В 16.03.2018 в 21:00, Sashok1985 сказав:

))) опечатался. pppoe

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Expand

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Sashok1985 · 2018-03-19 06:59:20

В 16.03.2018 в 21:08, KaYot сказав:

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

Expand

Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. В том числе "/sys/class/net/eth0/queues/rx-0/rps_cpus" также не дают ничего толкового. Как бы не распределял, одно ядро всегда почти в полку.

В 16.03.2018 в 21:11, masters сказав:

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Expand

Уточните пожалуйста, что вы имеете в виду? Раскидать по очередям. smp_afinity и rps_cpus или что-то ещё?

graysilver · 2018-03-19 08:13:21

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

pashaumka · 2018-03-19 08:16:29

i7-3770 - это 4 процессора ( без ГипперТрединга ), 10г на ней шуршать будет, вот только я не знаю, выжмите ли вы с неё все.

желательно 8

В 19.03.2018 в 08:13, graysilver сказав:

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

Expand

это на какой ОС?

Відредаговано 2018-03-19 08:34:44 pashaumka

pashaumka · 2018-03-19 08:37:27

В 16.03.2018 в 21:11, masters сказав:

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Expand

подскажи, как... сам хочу перепроверить

graysilver · 2018-03-19 11:41:31

В 19.03.2018 в 08:16, pashaumka сказав:

это на какой ОС?

Expand

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

pashaumka · 2018-03-19 11:54:18

В 19.03.2018 в 11:41, graysilver сказав:

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

Expand

так как разнести прерывания для PPPoE по очередям?

KaYot · 2018-03-19 11:55:41

В 16.03.2018 в 21:08, KaYot сказав:

RPS поможет вам.

Expand

В 19.03.2018 в 11:54, pashaumka сказав:

так как разнести прерывания для PPPoE по очередям?

Expand

pashaumka · 2018-03-19 11:58:00

В 19.03.2018 в 11:55, KaYot сказав:

Expand

у меня оно так

options ixgbe RSS=8 allow_unsupported_sfp=1,1

Dimkers · 2018-03-19 12:01:49

Google: rps queens cpu linux

NiTr0 · 2018-03-19 12:13:01

В 19.03.2018 в 11:54, pashaumka сказав:

так как разнести прерывания для PPPoE по очередям?

Expand

сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.

pashaumka · 2018-03-19 12:17:52

В 19.03.2018 в 12:13, NiTr0 сказав:
сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.
echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus
ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.
Expand

ну у меня так и есть

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

NiTr0 · 2018-03-19 12:19:37

ну то да, все пакеты будут падать в одну очередь прерывания, но по ядрам нагрузка будет размазываться равномерно.

pashaumka · 2018-03-19 12:25:31

я тут хотел сделать тест сети... однако у меня с бгп более 3Гб не поднимается...

хотя между сетевухами iperf показывает 9,6 гб

Sashok1985 · 2018-03-19 14:22:43

В 19.03.2018 в 12:17, pashaumka сказав:

ну у меня так и есть

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

Expand

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса?

pashaumka · 2018-03-19 14:42:56

В 19.03.2018 в 14:22, Sashok1985 сказав:

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса?

Expand

никогда не задумывался... чесслово

быть кто-то подскажет, как правильнее?

01

02

04

08

10

20

40

80

Увійти

Распределение прерываний сетевой карты

Рекомендованные сообщения

Sashok1985 0

Ссылка на сообщение

Поделиться на других сайтах

loki 86

Ссылка на сообщение

Поделиться на других сайтах

cetim 16

Ссылка на сообщение

Поделиться на других сайтах

masters 126

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 730

Ссылка на сообщение

Поделиться на других сайтах

ttttt 195

Ссылка на сообщение

Поделиться на других сайтах

l1ght 377

Ссылка на сообщение

Поделиться на других сайтах

Sashok1985 0

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 730

Ссылка на сообщение

Поделиться на других сайтах

masters 126

Ссылка на сообщение

Поделиться на других сайтах

Sashok1985 0

Ссылка на сообщение

Поделиться на других сайтах

graysilver 143

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

graysilver 143

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 730

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

Dimkers 1 606

Ссылка на сообщение

Поделиться на других сайтах

NiTr0 585

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

NiTr0 585

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

Sashok1985 0

Ссылка на сообщение

Поделиться на других сайтах

pashaumka 34

Ссылка на сообщение

Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Создать аккаунт

KaYot 3 730

KaYot 3 730

KaYot 3 730

Dimkers 1 606