Перейти до

распределение прерываний irq_affinity

kid79

Автор: kid79,
в Маршрутизатор L3

 Share Подписчики 1

Рекомендованные сообщения

kid79

kid79 0

Опубликовано:
Опубликовано:

Добрый день. Подскажите каким образом лучше настроить прерывания для сервера  на котором планируется nat , полисинг. есть 2х процессорный сервер с процами  Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz итого 16 очередей, так же установлены 2 10g сетевки intel 520-da2,  
cat /proc/interrupts 

 egrep "CPU0|enp" /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11      CPU12      CPU13      CPU14      CPU15
  96:    2588535          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603008-edge      enp66s0f0-TxRx-0
  97:          0    2562102          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603009-edge      enp66s0f0-TxRx-1
  98:          0          1    2664329          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603010-edge      enp66s0f0-TxRx-2
  99:          0          1          0    2645562          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603011-edge      enp66s0f0-TxRx-3
 100:          0          1          0          0    2605085          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603012-edge      enp66s0f0-TxRx-4
 101:          0          1          0          0          0    2841460          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603013-edge      enp66s0f0-TxRx-5
 102:          0          1          0          0          0          0    2626271          0          0          0          0          0          0          0          0          0   PCI-MSI 34603014-edge      enp66s0f0-TxRx-6
 103:          0          1          0          0          0          0          0    2647586          0          0          0          0          0          0          0          0   PCI-MSI 34603015-edge      enp66s0f0-TxRx-7
 104:          0          1          0          0          0          0          0          0    2634018          0          0          0          0          0          0          0   PCI-MSI 34603016-edge      enp66s0f0-TxRx-8
 105:          0          1          0          0          0          0          0          0          0    2654337          0          0          0          0          0          0   PCI-MSI 34603017-edge      enp66s0f0-TxRx-9
 106:          0          1          0          0          0          0          0          0          0          0    2617576          0          0          0          0          0   PCI-MSI 34603018-edge      enp66s0f0-TxRx-10
 107:          0          1          0          0          0          0          0          0          0          0          0    2686481          0          0          0          0   PCI-MSI 34603019-edge      enp66s0f0-TxRx-11
 108:          0          1          0          0          0          0          0          0          0          0          0          0    2618590          0          0          0   PCI-MSI 34603020-edge      enp66s0f0-TxRx-12
 109:          0          1          0          0          0          0          0          0          0          0          0          0          0    2827394          0          0   PCI-MSI 34603021-edge      enp66s0f0-TxRx-13
 110:          0          1          0          0          0          0          0          0          0          0          0          0          0          0    2584115          0   PCI-MSI 34603022-edge      enp66s0f0-TxRx-14
 111:          0          1          0          0          0          0          0          0          0          0          0          0          0          0          0    2821120   PCI-MSI 34603023-edge      enp66s0f0-TxRx-15
 112:          0         21          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603024-edge      enp66s0f0
 132:    2597103          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127296-edge      enp67s0f0-TxRx-0
 133:          0      74771          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127297-edge      enp67s0f0-TxRx-1
 134:          0          1      74768          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127298-edge      enp67s0f0-TxRx-2
 135:          0          1          0      74714          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127299-edge      enp67s0f0-TxRx-3
 136:          0          1          0          0      76442          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127300-edge      enp67s0f0-TxRx-4
 137:          0          1          0          0          0      74852          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127301-edge      enp67s0f0-TxRx-5
 138:          0          1          0          0          0          0     157901          0          0          0          0          0          0          0          0          0   PCI-MSI 35127302-edge      enp67s0f0-TxRx-6
 139:          0          1          0          0          0          0          0      74675          0          0          0          0          0          0          0          0   PCI-MSI 35127303-edge      enp67s0f0-TxRx-7
 140:          0          1          0          0          0          0          0          0      75170          0          0          0          0          0          0          0   PCI-MSI 35127304-edge      enp67s0f0-TxRx-8
 141:          0          1          0          0          0          0          0          0          0      74714          0          0          0          0          0          0   PCI-MSI 35127305-edge      enp67s0f0-TxRx-9
 142:          0          1          0          0          0          0          0          0          0          0      74873          0          0          0          0          0   PCI-MSI 35127306-edge      enp67s0f0-TxRx-10
 143:          0          1          0          0          0          0          0          0          0          0          0      75397          0          0          0          0   PCI-MSI 35127307-edge      enp67s0f0-TxRx-11
 144:          0          1          0          0          0          0          0          0          0          0          0          0      76769          0          0          0   PCI-MSI 35127308-edge      enp67s0f0-TxRx-12
 145:          0          1          0          0          0          0          0          0          0          0          0          0          0      74660          0          0   PCI-MSI 35127309-edge      enp67s0f0-TxRx-13
 146:          0          1          0          0          0          0          0          0          0          0          0          0          0          0      83082          0   PCI-MSI 35127310-edge      enp67s0f0-TxRx-14
 147:          0          1          0          0          0          0          0          0          0          0          0          0          0          0          0      78107   PCI-MSI 35127311-edge      enp67s0f0-TxRx-15
 148:          0          6          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127312-edge      enp67s0f0

 

как идиологически правильно 
1) повесить прерывания через set_irq_affinity.sh на 1 или 2 процессора? или
2) прибить руками прерывания ?
и что еще можно покрутить для улучшения производительности?
на данный момент сделано выкручен процессор в performance
при загрузке в груб добавлены параметры GRUB_CMDLINE_LINUX="processor.max_cstate=1 intel_idle.max_cstate=1" (idle=0 почему то на 0 ругался в dmesg)

по сетевкам ринги выкручены на 4096

ethtool -G enp67s0f0 rx 4096 tx 4096
 ethtool -G enp66s0f0 rx 4096 tx 4096

так же отключен gro gso off


 

Ссылка на сообщение
Поделиться на других сайтах
  • bot changed the title to распределение прерываний irq_affinity
KaYot

KaYot 3 605

Опубліковано:
Опубліковано:

Лучше intel_idle.max_cstate=0 processor.max_cstate=1

Ну и 2 процессора для роутера - такое себе развлечение, лучше снять второй и все проблемы и раздумья исчезнут. Очень часто на 2ух получается хуже чем на одном.

  • Like 1
Ссылка на сообщение
Поделиться на других сайтах
Rudz

Rudz 33

Опубліковано:
Опубліковано:
2 часа назад, kid79 сказал:

1) повесить прерывания через set_irq_affinity.sh
2) прибить руками прерывания ?

как вам удобнее, итог один и тот же.

2 часа назад, kid79 сказал:

на 1 или 2 процессора?

на 1, и именно тот на чьей шине висит адаптер (lspci -v, смотреть во флагах адаптера numa node).

2 часа назад, kid79 сказал:

и что еще можно покрутить для улучшения производительности?

если адаптеров физически 2, а не один двуголовый - развесить на pcie от разных процов, и соответственно прибить к разным нодам.

убедиться что памяти на нодах хватает и нет критических перетечек (numastat).

2 часа назад, kid79 сказал:

GRUB_CMDLINE_LINUX="processor.max_cstate=1 intel_idle.max_cstate=1"

первое можно убрать.

2 часа назад, kid79 сказал:

idle=0

не надо, это поможет разве что быстрее растопить ледники.

лучше выключите сберегайки и у шины тоже - pcie_aspm=off

1 час назад, KaYot сказал:

Лучше intel_idle.max_cstate=0 processor.max_cstate=1

чем лучше?

1 час назад, KaYot сказал:

лучше снять второй

или нанять того кто понимает как это устроено и работает, и сможет грамотно прогнозировать/анализировать и свести к минимуму использование qpi (хотя, в последних поколениях это уже не очень-то и большая проблема).

1 час назад, KaYot сказал:

Очень часто на 2ух получается хуже чем на одном.

железо не виновато, когда его бестолково используют.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Share
Подписчики 1
Перейти до переліку тем

  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • NETOS
      Продам сервер HP ProLiant DL360p Gen8 (супер ціна)
      Від NETOS
      Продам б/у сервер HP ProLiant DL360p Gen8
      CPU: 2 шт Intel Xeon E5-2650 v2 2.6 GHz, 8 ядер, 16 потоків
      RAM: 128GB 16*8 DDR3-12800
      2 блока живлення
       
      В роботі був не більше місяця поки налаштовували. Почалась війна все зупинилося. 
       
      Вартість: 10000 грн.










    • DmitryGeo
      Продам \ здам в аренду сервер NAS\виденаблюдения\ бэкапов
      Від DmitryGeo
      Продам \ здам в аренду сервер NAS\виденаблюдения\ бэкапов
      HPE ML350 LFF 
      2x Xeon 2680 v4 
      DDR4 32-384 Gb
      SSD NVME 480 Gb загрузочный под ОС
      24 диска 3,5  x 3 Тб = 72 Тб 
      Сетевая карта 1 Gb + 10Gb
      2 x 1400 Watt
      Могу поставить у Вас или у себя (Киев)
    • AvaloncheG
      Продам сервери IBM 7978/7979/7945/7914 M3, M4
      Від AvaloncheG
      IBM System x3550 (Type 7978) 1 x Xeon E5335 DDR2 4x1Gb 667MHz - 1200грн.
      IBM System x3650 (Type 7979AC1) 1 x Xeon E5335 DDR2 2x1Gb 667MHz - 1200грн.
      IBM System x3650 M3 (7945L4G) 2 x Xeon 6C X5660 DDR3 16Gb 1333MHz - 5000грн.
      IBM System x3650 M3 (7945L4G) 2 x Xeon 6C X5660 DDR3 48Gb 1333MHz - 6000грн.
      IBM System x3550 M4 (7914E9G) 2 x Xeon E5-2620 DDR3 24Gb 1600MHz - 8000грн.
       
      +380975649269
    • Sat_Odessa
      Интернет - MikroTik - TPLink
      Від Sat_Odessa
      Помогите решить задачу:
      Есть 2 роутера с белыми адресами: TPLink и MikroTik. Необходима переодическая настройка (открытие/закрытие портов). С Mikrotik-oм никаких проблем нет, так как инструкций в интернете вагон и маленькая тележка. А вот с TPLink-ом загвоздка. Чтобы не открывать доступ к нему на весь мир, доступ веб-интерфейсу TPLink-а открыт только для адреса Mikrotik-а. Соответственно из локальной сети Mikrotik-а я могу попасть в настройки TPLink-а. Но иногда нужен удаленный доступ к TPLink-у из других мест.
       
      Можно ли как-то открыть на Mikrotik-е внешний порт, чтобы весь трафик из интернета на этот порт перенаправлялся на внешний IP-адрес TPLink-а? Чтобы для TPLink-а это выглядело так, как будто я подключаюсь к нему с IP-адреса Mikrotik-а.
    • petoner
      Декілька запитань на різні теми
      Від petoner
      1. Підскажіть сервери до 3к$ які можна купити на бу ринку України (цікавить для локальної розробки щоб можна було задеплоїти k8s кластер або експерементувати з llm). Але є одна умова, сервер має бути максимально маленький  і максимально економний в плані електроенергії.
       
      2. Я раніше цікавився як чи є вайфай адаптери чи антенти які дозволяються зловити сигнал на дуже високих відстанях. Мені цікаво чи можливо використати для цього квадропотер. Тобто є квадріки які літають на відстань 10 км і навіть більше. Якимось чином ними ж можна управляти, через радіозвязок чи навіть не знаю як (от наприклад як з росії управляють шахедами які сюди посилають, чи вони не управляються ?)
      Якщо взяти квадрік (там ж є прошивка мабуть на ядрі лінукса), присобачити туди вай фай адаптер, і через радіо канал взаємодіяти з вайфай адаптером ? (це взагалі реально)
×
×
  • Створити нове...