Распределение прерываний сетевой карты

[Sashok1985 0]

Помогите решить проблему. Есть сервер: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz,  Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01). 

На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов. 

Edited 2018-03-16 14:51:46 by Sashok1985

[loki 86]

Ну скидывай доступ к серверу сюда в тему. А что ? Ванговать зачём, давай смотреть 

[cetim 16]

А какой биллинг ?

[masters 126]

Что за ОС? 

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте. 

Edited 2018-03-16 17:42:13 by masters

[KaYot 3,732]

В конце концов окажется что под pptp имелось в виду pppoe.

[ttttt 195]

82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01).

На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов.

Вот нет, чтобы брать маломощные тазики и спокойно себе масштабироваться горизонтально по мере роста с минимум проблем и забот, надо было лезть в 10 гигабит, причем на самом говняном сетевом стэке в мире.

[l1ght 377]

45 минут назад, KaYot сказал:

В конце концов окажется что под pptp имелось в виду pppoe.

да лучше PPPoE чем PPTP, который уже умер

[Sashok1985 0]

2 часа назад, KaYot сказал:

В конце концов окажется что под pptp имелось в виду pppoe.

))) опечатался. pppoe

 

3 часа назад, masters сказал:

Что за ОС? 

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте. 

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Edited 2018-03-16 21:03:41 by Sashok1985

[KaYot 3,732]

6 минут назад, Sashok1985 сказал:

))) опечатался. pppoe

 

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

[masters 126]

6 минут назад, Sashok1985 сказал:

))) опечатался. pppoe

 

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

[Sashok1985 0]

В 16.03.2018 в 23:08, KaYot сказал:

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. В том числе "/sys/class/net/eth0/queues/rx-0/rps_cpus"  также не дают ничего толкового. Как бы не распределял, одно ядро всегда почти в полку.

В 16.03.2018 в 23:11, masters сказал:

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Уточните пожалуйста, что вы имеете в виду? Раскидать по очередям. smp_afinity и rps_cpus или что-то ещё?

[graysilver 143]

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

[pashaumka 35]

i7-3770 - это 4 процессора ( без ГипперТрединга ), 10г на ней шуршать будет, вот только я не знаю, выжмите ли вы с неё все.

желательно 8

 

 

21 минуту назад, graysilver сказал:

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

 

это на какой ОС?

 

 

 

Edited 2018-03-19 08:34:44 by pashaumka

[pashaumka 35]

В 16.03.2018 в 23:11, masters сказал:

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

подскажи, как... сам хочу перепроверить

[graysilver 143]

3 hours ago, pashaumka said:

это на какой ОС?

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

[pashaumka 35]

8 минут назад, graysilver сказал:

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

 

так как разнести прерывания для PPPoE по очередям?

[KaYot 3,732]

В 16.03.2018 в 23:08, KaYot сказал:

RPS поможет вам.

 

1 минуту назад, pashaumka сказал:

так как разнести прерывания для PPPoE по очередям?

 

[pashaumka 35]

2 минуты назад, KaYot сказал:

 

 

у меня оно так

options ixgbe RSS=8 allow_unsupported_sfp=1,1

 

 

[Dimkers 1,617]

Google: rps queens cpu linux

[NiTr0 585]

16 минут назад, pashaumka сказал:

 

так как разнести прерывания для PPPoE по очередям?

сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.
 

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.

[pashaumka 35]

4 минуты назад, NiTr0 сказал:

сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.
 

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.

 

ну у меня так и есть

 

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

[NiTr0 585]

ну то да, все пакеты будут падать в одну очередь прерывания, но по ядрам нагрузка будет размазываться равномерно.

[pashaumka 35]

я тут хотел сделать тест сети... однако у меня с бгп более 3Гб не поднимается...

хотя между сетевухами iperf показывает 9,6 гб

[Sashok1985 0]

2 часа назад, pashaumka сказал:

 

ну у меня так и есть

 

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса? 

[pashaumka 35]

19 минут назад, Sashok1985 сказал:

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса? 

никогда не задумывался...   чесслово

быть кто-то подскажет, как правильнее?

01

02

04

08

10

20

40

80