HP PROLIANT DL380 G6 загрузка ядра

[KaYot 3,708]

нужно модуль перегрузить, доступ пропадет.

На этом сервере ж бортовой Ilo2 есть, в смысле пропадет?

[onorua 126]

интересно, когда не распределяется, что пишет в вашем случае строка:

for irq in `cat /proc/interrupts | grep eth | awk '{print $1}' | sed s/\://g`;  
do    
  mask=`cat /proc/irq/$irq/smp_affinity`; 
  echo $irq $mask;  
done;

оно разъезжается по ядрам или так на 4х ядрах и пляшет?

[martin 170]

мыши плакали, кололись - но продолжали жрать кактус ))

Не трогай НТ - на роутерах это зло, особенно на старой архитектуре как у тебя, поверь человеку у которого 5 серваков с немаленьким трафиком.

Я так и не услышал ответа по поводу фаервола...

[ttttt 195]

 

Ну без msi по другому никак, а зачем вам больше ядер?

Ну затем что загрузка каждого из 4 = ~80%

На двух ядрах, вместо четырех можете попробовать и сказать цифры? Ибо 80% для I/O просто невозможно много.

[KaYot 3,708]

Почему много? С 1.5Г НАТа же.

[morfey 82]

мыши плакали, кололись - но продолжали жрать кактус ))

Не трогай НТ - на роутерах это зло, особенно на старой архитектуре как у тебя, поверь человеку у которого 5 серваков с немаленьким трафиком.

Я так и не услышал ответа по поводу фаервола...

Весь фаервол http://pastebin.com/xyBtQPcA

[ttttt 195]

Ну потому что НАТ - это почти все время либо ждать память, либо если "многоядерность/параллельность", то ждать синхронизации.

[onorua 126]

+1 что на роутере HT это зло.

[morfey 82]

HT отключен. Прерывания включены на картах.
http://91.234.0.2/noiter.txt - без ошибок (1 ядро)
http://91.234.0.2/withiter.txt - прерывания раскиданы, ошибки

 

Ната там всего ~600 адресов, и реальных ~1400

Edited 2014-12-21 16:42:17 by morfey

[morfey 82]

интересно, когда не распределяется, что пишет в вашем случае строка:

for irq in `cat /proc/interrupts | grep eth | awk '{print $1}' | sed s/\://g`;  
do    
  mask=`cat /proc/irq/$irq/smp_affinity`; 
  echo $irq $mask;  
done;

оно разъезжается по ядрам или так на 4х ядрах и пляшет?

Когда на карте включены прерывания и не распределено, то :

70 00000fff
71 00000fff
72 00000fff
73 00000fff
74 00000fff
75 00000fff
76 00000fff
77 00000080
79 00000fff
80 00000fff
81 00000fff
82 00000fff
83 00000fff
84 00000fff
85 00000fff
86 00000fff
88 00000fff
89 00000fff
90 00000fff
91 00000fff
92 00000fff
93 00000fff
94 00000fff
95 00000fff
97 00000fff
98 00000fff
99 00000fff
100 00000fff
101 00000fff
102 00000fff
103 00000fff
104 00000fff
 

Edited 2014-12-21 16:45:35 by morfey

[onorua 126]

ага, но как только вы разъехали прерывания по процессорам появляются ошибки, какого плана ошибки? Можно их в студию, по всем pastebin лазил, "текста" ошибки не видел. Или ошибки имеется ввиду что сетевые на порту свитча?

[morfey 82]

ага, но как только вы разъехали прерывания по процессорам появляются ошибки, какого плана ошибки? Можно их в студию, по всем pastebin лазил, "текста" ошибки не видел. Или ошибки имеется ввиду что сетевые на порту свитча?

ifconfig bond1

errors:...

+ увеличение пинга и потери пакетов, но загрузка проходит равномерно по всем ядрам, 3-10%

Edited 2014-12-21 16:55:17 by morfey

[onorua 126]

ИМХО, менять сетевые карты на intel если хочется именно на всех ядрах распределять, так как выключенный msi  вам не нравится (нету очередей внутри сетевой).

ну и я бы еще обновил драйвер сетевой (читай ядро)

Edited 2014-12-21 17:03:31 by onorua

[KaYot 3,708]

Попробуй раскидать жестко, руками, прописав соответствие очередь-ядро в /proc/irq.

Не должно быть таких чудес, скорее всего скрипт раскидывает неверно и какое-то ядро в реальности забито на 100%.

[martin 170]

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

[onorua 126]

Попробуй раскидать жестко, руками, прописав соответствие очередь-ядро в /proc/irq.

Не должно быть таких чудес, скорее всего скрипт раскидывает неверно и какое-то ядро в реальности забито на 100%.

Я проверил скрипт который он использовал вверху, все правильно делает, единственное что прерывания разбрасывает на всю сетевуху тоже, а не только на потоки, но это уже шлифовка.

[martin 170]

старое железо, двухсокетность, медленная память, не интел сетевая, НАТ - залог проблем )

У меня на похожем тазике когда то вышло около 2Г (+- 300 мег) трафика и все, дальше ступор..

[KaYot 3,708]

Вот такой же сервер с теми же сетевыми

[root@ipoe1 ~]# top
Cpu0  :  2.6%us,  5.3%sy,  0.0%ni, 61.6%id,  0.0%wa,  1.1%hi, 29.5%si,  0.0%st
Cpu1  :  2.7%us,  3.2%sy,  0.0%ni, 64.0%id,  0.0%wa,  0.0%hi, 30.1%si,  0.0%st
Cpu2  :  2.5%us,  2.0%sy,  0.0%ni, 58.4%id,  0.0%wa,  0.0%hi, 37.1%si,  0.0%st
Cpu3  :  3.6%us,  2.1%sy,  0.0%ni, 52.8%id,  0.0%wa,  0.0%hi, 41.5%si,  0.0%st
Cpu4  :  2.0%us,  4.1%sy,  0.0%ni, 61.2%id,  0.0%wa,  0.0%hi, 32.7%si,  0.0%st
Cpu5  :  4.7%us,  2.1%sy,  0.0%ni, 60.7%id,  0.0%wa,  0.0%hi, 32.5%si,  0.0%st
Mem:   6104752k total,  2669472k used,  3435280k free,   278068k buffers
Swap:  8191992k total,        0k used,  8191992k free,  1466656k cached

 

[root@ipoe1 ~]# ifstat -i bond1 -b
      bond1
 Kbps in  Kbps out
935065.7  1.61e+06

[root@ipoe1 ~]# ifconfig eth0 | grep error
          RX packets:38034817904 errors:0 dropped:0 overruns:0 frame:0
          TX packets:30460851656 errors:0 dropped:0 overruns:0 carrier:0

Загрузка равномерно размазана, трафика 2.5г суммарного, ошибок 0.

[onorua 126]

Какое у вас ядро? Начиная с 3.16 очень сильно переделали очереди на сетевые для мультипроцессовых систем.

[morfey 82]

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

На 1м сокете ошибок намного меньше.

root@bras:/etc# ifconfig eth3 | grep error
          RX packets:164116473 errors:215 dropped:56008 overruns:0 frame:215
          TX packets:2391 errors:0 dropped:0 overruns:0 carrier:0

[martin 170]

тебе нужно одну сетевую на один сокет , а вторую на другой повесить

[onorua 126]

 

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

На 1м сокете ошибок намного меньше.

root@bras:/etc# ifconfig eth3 | grep error
          RX packets:164116473 errors:215 dropped:56008 overruns:0 frame:215
          TX packets:2391 errors:0 dropped:0 overruns:0 carrier:0

Это говорит о том что сетевая работает хорошо если она на одном процессоре, 3.16 или выше ядро попробуйте, так эту проблему как раз исправляли.

[KaYot 3,708]

Ты лучше ошибки смотри с помощью ethtool -s ethX(или -S, не помню).

На этом поколении еще больших печалей с сокетами нет, контроллер pci-e чипсетный, разве что память на разных CPU. Когда тестировал 2х5560 в этом же сервере, минусов от раскидывания на второй сокет не было.

В идеале сделать сетевки входящие в первый бонд на 1 сокете, во второй - на втором.

[morfey 82]

Не помогло сетевые на разные сокеты:

irq    mask
70 00000001
71 00000001
72 00000001
73 00000002
74 00000002
75 00000002
76 00000004
77 00000004
79 00000004
80 00000008
81 00000008
82 00000008
83 00000010
84 00000010
85 00000020
86 00000020
88 00000040
89 00000040
90 00000040
91 00000080
92 00000080
93 00000080
94 00000100
95 00000100
97 00000100
98 00000200
99 00000200
100 00000200
101 00000400
102 00000400
103 00000800
104 00000800

[KaYot 3,708]

Хехе. А ты уверен что ядра по сокетам раскиданы подряд?

Лучше проверь скриптом типа этого http://pastebin.com/RS8e23jd или утилитой i7z.

Edited 2014-12-21 18:11:54 by KaYot