Распределение прерываний сетевой карты

[ttttt 195]

Да, так. Это битмаска и для аффинити абсолютно не имеет смысла одинаковая маска и тем более ff, она дефолтовая ff, т.е. раскидывать на любое попавшееся ядро. Читайте официальную документацию:

https://www.kernel.org/doc/Documentation/IRQ-affinity.txt
https://www.kernel.org/doc/Documentation/networking/scaling.txt

[NiTr0 585]

В 19.03.2018 в 16:22, Sashok1985 сказал:

Какой тогда смысл от такого разброса?

а в чем собссно проблема-то?

 

и какой смысл для очереди, в которую идут ВСЕ прерывания, указывать worker'ом только одно ядро???

 

 

В 19.03.2018 в 17:12, ttttt сказал:

для аффинити абсолютно не имеет смысла одинаковая маска

это ни разу не аффинити. это - RPS.

[KaYot 3 732]

28 минут назад, NiTr0 сказал:

это - RPS

Именно.

Это не аппаратная обработка прерывания, это уже уровень soft irq. Накладных расходов на использование чужих ядер минимум, конструкция вида "все ядра всем потокам" работает хорошо, выравнивая кривую аппаратную балансировку.

[ttttt 195]

Не именно, распределение по ядрам традиционно называется аффинити, не важно чего конкретно, IRQ, обработки соединений, чего-то другого.
И называется так именно потому, что разделяя вещи связанные друг с другом по одним и тем же ядрам можно более эффективно использовать кэш каждого ядра, а не ждать пока данные прилетят откуда попало и не засорять ненужным кэшем не то ядро.

https://en.wikipedia.org/wiki/Affinity_mask
https://en.wikipedia.org/wiki/Processor_affinity

Відредаговано 2018-03-20 21:58:07 ttttt

[NiTr0 585]

18 часов назад, ttttt сказал:

разделяя вещи связанные друг с другом по одним и тем же ядрам можно более эффективно использовать кэш каждого ядра, а не ждать пока данные прилетят откуда попало и не засорять ненужным кэшем не то ядро.

 

ну т.е. вы хотите сказать, что включение RPS в случае одной очереди прерываний (либо PPPoE пакетов, которые падают в одну и ту же очередь, делая аппаратные очереди бесполезными) снизит производительность? при том, что в реальном мире все ровно с точностью до наоборот?

[ttttt 195]

Ок, не надо мне свои выдумки приписывать, потому уточнение, у рпс аффинити достигается выбором ядра по хэшу. Как вообще работает: при одной очереди прерывание выполняется на каком-то ядре и на этом ядре вычисляется хэш пакета и по хэшу выбирается из списка рпс ядро, куда отправлять дальнейшую обработку пакета. Соответственно оптимально в этом случае будет прибить прерывание к одному какому-то ядру, а остальные ядра указать в рпс. Если, конечно, не нума, иначе на все ядра будет медленно и нужно прибивать только к тем ядрам, куда можно быстро с ядра прерывания ходить. Когда очередей много, включен рсс и не нума, ядро где вычисляется хэш уже выбрано рсс хардом, таким же вычислением хэша и смысл отправлять пакет на дальнейшую обработку есть только самому себе. Если рсс не работает для доминирующего типа трафика, то прерывания будут попадать на одно ядро выбранное рсс, то очевидно что для оптимума стоит отключить рсс и мультиочереди и делать как и с одной очередью.

[NiTr0 585]

В 21.03.2018 в 23:37, ttttt сказал:

Соответственно оптимально в этом случае будет прибить прерывание к одному какому-то ядру, а остальные ядра указать в рпс.

таки нет. получение пакета из сетевухи и вычисление хеша по заголовку - копеечная по ресурсам операция. потому выделять под это отдельное ядро смысла нет. тут вся суть - распределить ресурсоемкую маршрутизацию пакетов на более чем одно ядро.

да и не факт что cache miss будут меньше при отдельном ядре под прием пакетов.

 

В 21.03.2018 в 23:37, ttttt сказал:

Если рсс не работает для доминирующего типа трафика, то прерывания будут попадать на одно ядро выбранное рсс, то очевидно что для оптимума стоит отключить рсс и мультиочереди и делать как и с одной очередью.

зачем? чем мешают тут мультиочереди?

[Sashok1985 0]

Всем спасибо за консультации. RPS не был лишним, тем более, что ранее, за непониманием его работы, я назначал маску по ядрам, по типу афинити. Маска на все ядра дала не плохой общий результат по ядрам. А вот проблема с полкой оказалась совсем не в этом. Один из абонентов супер заядлый торрентщик. В пики, порождал около 3-4 тыс. запросов в секунду на своём pppoe коннекте. А так как каждый pppoe коннект может обрабатываться только одной очередью, вот он и кладёт одно ядро в полку.