распределение прерываний irq_affinity

[kid79 0]

Добрый день. Подскажите каким образом лучше настроить прерывания для сервера  на котором планируется nat , полисинг. есть 2х процессорный сервер с процами  Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz итого 16 очередей, так же установлены 2 10g сетевки intel 520-da2,  
cat /proc/interrupts

 egrep "CPU0|enp" /proc/interrupts
            CPU0       CPU1       CPU2       CPU3       CPU4       CPU5       CPU6       CPU7       CPU8       CPU9       CPU10      CPU11      CPU12      CPU13      CPU14      CPU15
  96:    2588535          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603008-edge      enp66s0f0-TxRx-0
  97:          0    2562102          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603009-edge      enp66s0f0-TxRx-1
  98:          0          1    2664329          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603010-edge      enp66s0f0-TxRx-2
  99:          0          1          0    2645562          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603011-edge      enp66s0f0-TxRx-3
 100:          0          1          0          0    2605085          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603012-edge      enp66s0f0-TxRx-4
 101:          0          1          0          0          0    2841460          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603013-edge      enp66s0f0-TxRx-5
 102:          0          1          0          0          0          0    2626271          0          0          0          0          0          0          0          0          0   PCI-MSI 34603014-edge      enp66s0f0-TxRx-6
 103:          0          1          0          0          0          0          0    2647586          0          0          0          0          0          0          0          0   PCI-MSI 34603015-edge      enp66s0f0-TxRx-7
 104:          0          1          0          0          0          0          0          0    2634018          0          0          0          0          0          0          0   PCI-MSI 34603016-edge      enp66s0f0-TxRx-8
 105:          0          1          0          0          0          0          0          0          0    2654337          0          0          0          0          0          0   PCI-MSI 34603017-edge      enp66s0f0-TxRx-9
 106:          0          1          0          0          0          0          0          0          0          0    2617576          0          0          0          0          0   PCI-MSI 34603018-edge      enp66s0f0-TxRx-10
 107:          0          1          0          0          0          0          0          0          0          0          0    2686481          0          0          0          0   PCI-MSI 34603019-edge      enp66s0f0-TxRx-11
 108:          0          1          0          0          0          0          0          0          0          0          0          0    2618590          0          0          0   PCI-MSI 34603020-edge      enp66s0f0-TxRx-12
 109:          0          1          0          0          0          0          0          0          0          0          0          0          0    2827394          0          0   PCI-MSI 34603021-edge      enp66s0f0-TxRx-13
 110:          0          1          0          0          0          0          0          0          0          0          0          0          0          0    2584115          0   PCI-MSI 34603022-edge      enp66s0f0-TxRx-14
 111:          0          1          0          0          0          0          0          0          0          0          0          0          0          0          0    2821120   PCI-MSI 34603023-edge      enp66s0f0-TxRx-15
 112:          0         21          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 34603024-edge      enp66s0f0
 132:    2597103          1          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127296-edge      enp67s0f0-TxRx-0
 133:          0      74771          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127297-edge      enp67s0f0-TxRx-1
 134:          0          1      74768          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127298-edge      enp67s0f0-TxRx-2
 135:          0          1          0      74714          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127299-edge      enp67s0f0-TxRx-3
 136:          0          1          0          0      76442          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127300-edge      enp67s0f0-TxRx-4
 137:          0          1          0          0          0      74852          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127301-edge      enp67s0f0-TxRx-5
 138:          0          1          0          0          0          0     157901          0          0          0          0          0          0          0          0          0   PCI-MSI 35127302-edge      enp67s0f0-TxRx-6
 139:          0          1          0          0          0          0          0      74675          0          0          0          0          0          0          0          0   PCI-MSI 35127303-edge      enp67s0f0-TxRx-7
 140:          0          1          0          0          0          0          0          0      75170          0          0          0          0          0          0          0   PCI-MSI 35127304-edge      enp67s0f0-TxRx-8
 141:          0          1          0          0          0          0          0          0          0      74714          0          0          0          0          0          0   PCI-MSI 35127305-edge      enp67s0f0-TxRx-9
 142:          0          1          0          0          0          0          0          0          0          0      74873          0          0          0          0          0   PCI-MSI 35127306-edge      enp67s0f0-TxRx-10
 143:          0          1          0          0          0          0          0          0          0          0          0      75397          0          0          0          0   PCI-MSI 35127307-edge      enp67s0f0-TxRx-11
 144:          0          1          0          0          0          0          0          0          0          0          0          0      76769          0          0          0   PCI-MSI 35127308-edge      enp67s0f0-TxRx-12
 145:          0          1          0          0          0          0          0          0          0          0          0          0          0      74660          0          0   PCI-MSI 35127309-edge      enp67s0f0-TxRx-13
 146:          0          1          0          0          0          0          0          0          0          0          0          0          0          0      83082          0   PCI-MSI 35127310-edge      enp67s0f0-TxRx-14
 147:          0          1          0          0          0          0          0          0          0          0          0          0          0          0          0      78107   PCI-MSI 35127311-edge      enp67s0f0-TxRx-15
 148:          0          6          0          0          0          0          0          0          0          0          0          0          0          0          0          0   PCI-MSI 35127312-edge      enp67s0f0

 

как идиологически правильно 
1) повесить прерывания через set_irq_affinity.sh на 1 или 2 процессора? или
2) прибить руками прерывания ?
и что еще можно покрутить для улучшения производительности?
на данный момент сделано выкручен процессор в performance
при загрузке в груб добавлены параметры GRUB_CMDLINE_LINUX="processor.max_cstate=1 intel_idle.max_cstate=1" (idle=0 почему то на 0 ругался в dmesg)

по сетевкам ринги выкручены на 4096

ethtool -G enp67s0f0 rx 4096 tx 4096
 ethtool -G enp66s0f0 rx 4096 tx 4096

так же отключен gro gso off

 

[KaYot 3 711]

Лучше intel_idle.max_cstate=0 processor.max_cstate=1

Ну и 2 процессора для роутера - такое себе развлечение, лучше снять второй и все проблемы и раздумья исчезнут. Очень часто на 2ух получается хуже чем на одном.

[Rudz 36]

2 часа назад, kid79 сказал:

1) повесить прерывания через set_irq_affinity.sh
2) прибить руками прерывания ?

как вам удобнее, итог один и тот же.

2 часа назад, kid79 сказал:

на 1 или 2 процессора?

на 1, и именно тот на чьей шине висит адаптер (lspci -v, смотреть во флагах адаптера numa node).

2 часа назад, kid79 сказал:

и что еще можно покрутить для улучшения производительности?

если адаптеров физически 2, а не один двуголовый - развесить на pcie от разных процов, и соответственно прибить к разным нодам.

убедиться что памяти на нодах хватает и нет критических перетечек (numastat).

2 часа назад, kid79 сказал:

GRUB_CMDLINE_LINUX="processor.max_cstate=1 intel_idle.max_cstate=1"

первое можно убрать.

2 часа назад, kid79 сказал:

idle=0

не надо, это поможет разве что быстрее растопить ледники.

лучше выключите сберегайки и у шины тоже - pcie_aspm=off

1 час назад, KaYot сказал:

Лучше intel_idle.max_cstate=0 processor.max_cstate=1

чем лучше?

1 час назад, KaYot сказал:

лучше снять второй

или нанять того кто понимает как это устроено и работает, и сможет грамотно прогнозировать/анализировать и свести к минимуму использование qpi (хотя, в последних поколениях это уже не очень-то и большая проблема).

1 час назад, KaYot сказал:

Очень часто на 2ух получается хуже чем на одном.

железо не виновато, когда его бестолково используют.