Перейти до

Распределение прерываний сетевой карты

Sashok1985

Автор: Sashok1985,
в Маршрутизатор L3

 Share Подписчики 2

Рекомендованные сообщения

Sashok1985

Sashok1985 0

Опубликовано:
Опубликовано: (відредаговано)

Помогите решить проблему. Есть сервер: Intel(R) Core(TM) i7-3770 CPU @ 3.40GHz,  Intel Corporation 82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01). 

На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов. 

Відредаговано Sashok1985
Ссылка на сообщение
Поделиться на других сайтах
masters

masters 126

Опубліковано:
Опубліковано: (відредаговано)

Что за ОС? 

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте. 

Відредаговано masters
Ссылка на сообщение
Поделиться на других сайтах
ttttt

ttttt 195

Опубліковано:
Опубліковано:
  Цитата

82599ES 10-Gigabit SFI/SFP+ Network Connection (rev 01).



На нём вращается биллинг, шейпер. За ним около 1к клиентов (pptp). В моменты пик (а то и ранее), очень высокий уровень system interrupts и не равномерно по ядрам. Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. На сетевой карте, наблюдаются RX mcast потери. Сетевуха одна, на ней вращается порядка 20 вланов.
Expand  

Вот нет, чтобы брать маломощные тазики и спокойно себе масштабироваться горизонтально по мере роста с минимум проблем и забот, надо было лезть в 10 гигабит, причем на самом говняном сетевом стэке в мире.

Ссылка на сообщение
Поделиться на других сайтах
l1ght

l1ght 377

Опубліковано:
Опубліковано:
  В 16.03.2018 в 18:40, KaYot сказав:

В конце концов окажется что под pptp имелось в виду pppoe.

Expand  

да лучше PPPoE чем PPTP, который уже умер

Ссылка на сообщение
Поделиться на других сайтах
Sashok1985

Sashok1985 0

Опубліковано:
  • Автор
Опубліковано: (відредаговано)
  В 16.03.2018 в 18:40, KaYot сказав:

В конце концов окажется что под pptp имелось в виду pppoe.

Expand  

))) опечатался. pppoe

 

  В 16.03.2018 в 17:41, masters сказав:

Что за ОС? 

Irqbalance попробуйте, если не фря.

Дрова интела последние поставьте. 

Expand  

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Відредаговано Sashok1985
Ссылка на сообщение
Поделиться на других сайтах
KaYot

KaYot 3 730

Опубліковано:
Опубліковано:
  В 16.03.2018 в 21:00, Sashok1985 сказав:

))) опечатался. pppoe

 

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Expand  

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

Ссылка на сообщение
Поделиться на других сайтах
masters

masters 126

Опубліковано:
Опубліковано:
  В 16.03.2018 в 21:00, Sashok1985 сказав:

))) опечатался. pppoe

 

Centos 7. Irqbalance в пики не справляется. Одно ядро всеравно сваливается в полку.

Expand  

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Ссылка на сообщение
Поделиться на других сайтах
Sashok1985

Sashok1985 0

Опубліковано:
  • Автор
Опубліковано:
  В 16.03.2018 в 21:08, KaYot сказав:

PPPoE не раскидывается по ядрам, так и должно быть. Странно что не загуглили, таких тем сотни на каждом форуме..

RPS поможет вам.

Expand  

Оптимизации по типу smp_afinity, ethtool -K -G и так далее выполнены, но эффекта особого не дают. В том числе "/sys/class/net/eth0/queues/rx-0/rps_cpus"  также не дают ничего толкового. Как бы не распределял, одно ядро всегда почти в полку.

  В 16.03.2018 в 21:11, masters сказав:

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Expand  

Уточните пожалуйста, что вы имеете в виду? Раскидать по очередям. smp_afinity и rps_cpus или что-то ещё?

Ссылка на сообщение
Поделиться на других сайтах
graysilver

graysilver 143

Опубліковано:
Опубліковано:

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

Ссылка на сообщение
Поделиться на других сайтах
pashaumka

pashaumka 33

Опубліковано:
Опубліковано: (відредаговано)

i7-3770 - это 4 процессора ( без ГипперТрединга ), 10г на ней шуршать будет, вот только я не знаю, выжмите ли вы с неё все.

желательно 8

 

 

  В 19.03.2018 в 08:13, graysilver сказав:

Проверьте собран ли pppoe с поддержкой кернел моде? И выведите нат на отдельную машинку от pppoe, удивитесь на сколько много у вас появится свободных ресурсов на обеих.

Expand  

 

это на какой ОС?

 

 

 

83d3a530-d708-49a8-8712-c72214b18dca.png

Відредаговано pashaumka
Ссылка на сообщение
Поделиться на других сайтах
pashaumka

pashaumka 33

Опубліковано:
Опубліковано:
  В 16.03.2018 в 21:11, masters сказав:

 

Не удивительно, раз PPPoE. Очереди у Вас нормально по ядрам раскидываются. Проблема в том, что интеловские драйвера насыпают все PPPoE пакеты в одну очередь, т.к. не видят в них IP. Вам надо раскидать их по очередям для начала.

Expand  

подскажи, как... сам хочу перепроверить

Ссылка на сообщение
Поделиться на других сайтах
graysilver

graysilver 143

Опубліковано:
Опубліковано:
  В 19.03.2018 в 08:16, pashaumka сказав:

это на какой ОС?

Expand  

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

Ссылка на сообщение
Поделиться на других сайтах
pashaumka

pashaumka 33

Опубліковано:
Опубліковано:
  В 19.03.2018 в 11:41, graysilver сказав:

Linux

Если включено, то у скорее всего у вас проблема через частое переключение между задачами. Вынос ната отдельно от браса в нашем случаи освободил 70% ресурсов.

Expand  

 

так как разнести прерывания для PPPoE по очередям?

Ссылка на сообщение
Поделиться на других сайтах
KaYot

KaYot 3 730

Опубліковано:
Опубліковано:
  В 16.03.2018 в 21:08, KaYot сказав:

RPS поможет вам.

Expand  

 

  В 19.03.2018 в 11:54, pashaumka сказав:

так как разнести прерывания для PPPoE по очередям?

Expand  

 

Ссылка на сообщение
Поделиться на других сайтах
NiTr0

NiTr0 585

Опубліковано:
Опубліковано:
  В 19.03.2018 в 11:54, pashaumka сказав:

 

так как разнести прерывания для PPPoE по очередям?

Expand  

сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.
  

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.

Ссылка на сообщение
Поделиться на других сайтах
pashaumka

pashaumka 33

Опубліковано:
Опубліковано:
  В 19.03.2018 в 12:13, NiTr0 сказав:

сами прерывания - никак.

а вот вынести оработку из контекста прерывания в воркеры - RPS.
  

echo 0f >/sys/class/net/eth1/queues/rx-0/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-1/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-2/rps_cpus
echo 0f >/sys/class/net/eth1/queues/rx-3/rps_cpus

ессно, отключить HT (от него в роутинге только вред - кеш вымывает) и задать 4 очереди.

Expand  

 

ну у меня так и есть

 

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

Ссылка на сообщение
Поделиться на других сайтах
Sashok1985

Sashok1985 0

Опубліковано:
  • Автор
Опубліковано:
  В 19.03.2018 в 12:17, pashaumka сказав:

 

ну у меня так и есть

 

#Enable Receive Packet Steering (RPS)
/bin/echo ff > /sys/class/net/eth2/queues/rx-0/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-1/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-2/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-3/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-4/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-5/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-6/rps_cpus
/bin/echo ff > /sys/class/net/eth2/queues/rx-7/rps_cpus

Expand  

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса? 

Ссылка на сообщение
Поделиться на других сайтах
pashaumka

pashaumka 33

Опубліковано:
Опубліковано:
  В 19.03.2018 в 14:22, Sashok1985 сказав:

А почему Вы указываете маску процессора (ff) на все ядра? Какой тогда смысл от такого разброса? 

Expand  

никогда не задумывался...   чесслово

быть кто-то подскажет, как правильнее?

01

02

04

08

10

20

40

80

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Share
Подписчики 2
Перейти до переліку тем

  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • fikuronima
      Intel® Xeon® Processor X5450 (переходник+пропилы)
      Від fikuronima
      Intel® Xeon® Processor X5450
      12M Cache, 3.00 GHz, 1333 MHz FSB
       
      Сокет -771.
      Готовый для установки в сокет 775. Переходник наклеен, пропилы сделаны. 
      Цена - 499 грн.
       


    • kolomiets
      Срочно продам сервер 2U
      Від kolomiets
      Продано
       
      Сервер Intel (SR2600URBRP)
      Процесор: Intel Quad-Core Xeon E5520. 2.26 ГГц
      Привод: DVD RW samsung SN-S083C
      Оперативная память: DIMM DDR3 4 GB 1333 MHz x 3 = 12Gb
      Цена 1500$, торг
      тел. 063930###2 Константин
    • Гриша
      Розпродаж залишків SFP
      Від Гриша
      Продам SFP:
      SFP+ 10G 1310 20km HUAWEI - 1шт
      SFP+ 10G 1310 20km HUAWEI - 1шт
      SFP+ 10G 1310 20km HUAWEI - 1шт
      SFP+ 10G 1310 20km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 10G 1310 10km HUAWEI - 1шт
      SFP+ 1G 1310 WDM 10km 6COM - 1шт
      SFP 1G 850nm 300m CISCO - 1шт
      SFP 1G 850nm 300m CISCO - 1шт
      SFP+ 10G 850nm 300m INTEL - 1шт
      SFP+ 10G 850nm 300m INTEL - 1шт
      SFP+ 10G 850nm 300m INTEL - 1шт
       
      Ціна, фото по посиланню: 
      https://docs.google.com/spreadsheets/d/1qgYDF0iqjyv2IG6wO5O0O4fYSllWILm1Pj4khu_WCBo/edit#gid=0
      Торг доречний
    • rocker_ilko
      Продам мережеві карти Intel, Broadcom
      Від rocker_ilko
      продам мережеві карти. Є з низькопрофільною планкою і з стандартною. 
       
      HP nc365tIntel, 10/100/1000, 4порта, PCI-E    550грн
      HP 361t, Intel, 10/100/1000, 2порта, PCI-E      1100грн
      Intel I350-t2, Intel, 2порта, PCI-E                      550грн
      HP nc375tIntel, 10/100/1000, 4порта, PCI-E    550грн
      HP nc364tIntel, 10/100/1000, 4порта, PCI-E    550грн
      Intel ET DualIntel, 10/100/1000, 2порта, PCI-E      550грн
      HP 10GB Ethernet 2-Port 530T, HP, 10/100/1000/10000, 2порта, PCI-E   1100грн
      Intel ET QuadIntel, 10/100/1000, 4порта, PCI-E         1100грн    
      Intel I350-t4, Intel, 4, PCI-E    1100грн
       
    • Kycherr
      X710-T4 10 Гб ethernet RJ45 lan Карта x710t4blk
      Від Kycherr
      Торг!!! Ціну пропонуйте
      Конфигурация портов
      Quad
      Скорость передачи данных на порт
      10GbE/1GbE/100Mb
      Технология виртуализации Intel® для соединений
      Да
      Скорость и ширина слота
      8.0 GT/s, x 8 Lane
      Контроллер
      Intel® Ethernet Controller XL710
×
×
  • Створити нове...