Jump to content
Local
morfey

HP PROLIANT DL380 G6 загрузка ядра

Recommended Posts

нужно модуль перегрузить, доступ пропадет.

На этом сервере ж бортовой Ilo2 есть, в смысле пропадет?

Share this post


Link to post
Share on other sites

интересно, когда не распределяется, что пишет в вашем случае строка:

for irq in `cat /proc/interrupts | grep eth | awk '{print $1}' | sed s/\://g`;  
do    
  mask=`cat /proc/irq/$irq/smp_affinity`; 
  echo $irq $mask;  
done;

оно разъезжается по ядрам или так на 4х ядрах и пляшет?

Share this post


Link to post
Share on other sites

мыши плакали, кололись - но продолжали жрать кактус ))

Не трогай НТ - на роутерах это зло, особенно на старой архитектуре как у тебя, поверь человеку у которого 5 серваков с немаленьким трафиком.

Я так и не услышал ответа по поводу фаервола...

Share this post


Link to post
Share on other sites

 

Ну без msi по другому никак, а зачем вам больше ядер?

Ну затем что загрузка каждого из 4 = ~80%
На двух ядрах, вместо четырех можете попробовать и сказать цифры? Ибо 80% для I/O просто невозможно много.

Share this post


Link to post
Share on other sites

Почему много? С 1.5Г НАТа же.

Share this post


Link to post
Share on other sites

мыши плакали, кололись - но продолжали жрать кактус ))

Не трогай НТ - на роутерах это зло, особенно на старой архитектуре как у тебя, поверь человеку у которого 5 серваков с немаленьким трафиком.

Я так и не услышал ответа по поводу фаервола...

Весь фаервол http://pastebin.com/xyBtQPcA

Share this post


Link to post
Share on other sites

Ну потому что НАТ - это почти все время либо ждать память, либо если "многоядерность/параллельность", то ждать синхронизации.

Share this post


Link to post
Share on other sites

HT отключен. Прерывания включены на картах.
http://91.234.0.2/noiter.txt - без ошибок (1 ядро)
http://91.234.0.2/withiter.txt - прерывания раскиданы, ошибки

 

Ната там всего ~600 адресов, и реальных ~1400

Edited by morfey

Share this post


Link to post
Share on other sites

интересно, когда не распределяется, что пишет в вашем случае строка:

for irq in `cat /proc/interrupts | grep eth | awk '{print $1}' | sed s/\://g`;  
do    
  mask=`cat /proc/irq/$irq/smp_affinity`; 
  echo $irq $mask;  
done;

оно разъезжается по ядрам или так на 4х ядрах и пляшет?

Когда на карте включены прерывания и не распределено, то :

70 00000fff
71 00000fff
72 00000fff
73 00000fff
74 00000fff
75 00000fff
76 00000fff
77 00000080
79 00000fff
80 00000fff
81 00000fff
82 00000fff
83 00000fff
84 00000fff
85 00000fff
86 00000fff
88 00000fff
89 00000fff
90 00000fff
91 00000fff
92 00000fff
93 00000fff
94 00000fff
95 00000fff
97 00000fff
98 00000fff
99 00000fff
100 00000fff
101 00000fff
102 00000fff
103 00000fff
104 00000fff
 
Edited by morfey

Share this post


Link to post
Share on other sites

ага, но как только вы разъехали прерывания по процессорам появляются ошибки, какого плана ошибки? Можно их в студию, по всем pastebin лазил, "текста" ошибки не видел. Или ошибки имеется ввиду что сетевые на порту свитча?

Share this post


Link to post
Share on other sites

ага, но как только вы разъехали прерывания по процессорам появляются ошибки, какого плана ошибки? Можно их в студию, по всем pastebin лазил, "текста" ошибки не видел. Или ошибки имеется ввиду что сетевые на порту свитча?

ifconfig bond1

errors:...

+ увеличение пинга и потери пакетов, но загрузка проходит равномерно по всем ядрам, 3-10%

Edited by morfey

Share this post


Link to post
Share on other sites

ИМХО, менять сетевые карты на intel если хочется именно на всех ядрах распределять, так как выключенный msi  вам не нравится (нету очередей внутри сетевой).

ну и я бы еще обновил драйвер сетевой (читай ядро)

Edited by onorua

Share this post


Link to post
Share on other sites

Попробуй раскидать жестко, руками, прописав соответствие очередь-ядро в /proc/irq.

Не должно быть таких чудес, скорее всего скрипт раскидывает неверно и какое-то ядро в реальности забито на 100%.

Share this post


Link to post
Share on other sites

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

Share this post


Link to post
Share on other sites

Попробуй раскидать жестко, руками, прописав соответствие очередь-ядро в /proc/irq.

Не должно быть таких чудес, скорее всего скрипт раскидывает неверно и какое-то ядро в реальности забито на 100%.

Я проверил скрипт который он использовал вверху, все правильно делает, единственное что прерывания разбрасывает на всю сетевуху тоже, а не только на потоки, но это уже шлифовка.

Share this post


Link to post
Share on other sites

старое железо, двухсокетность, медленная память, не интел сетевая, НАТ - залог проблем )

У меня на похожем тазике когда то вышло около 2Г (+- 300 мег) трафика и все, дальше ступор..

Share this post


Link to post
Share on other sites

Вот такой же сервер с теми же сетевыми

[root@ipoe1 ~]# top
Cpu0  :  2.6%us,  5.3%sy,  0.0%ni, 61.6%id,  0.0%wa,  1.1%hi, 29.5%si,  0.0%st
Cpu1  :  2.7%us,  3.2%sy,  0.0%ni, 64.0%id,  0.0%wa,  0.0%hi, 30.1%si,  0.0%st
Cpu2  :  2.5%us,  2.0%sy,  0.0%ni, 58.4%id,  0.0%wa,  0.0%hi, 37.1%si,  0.0%st
Cpu3  :  3.6%us,  2.1%sy,  0.0%ni, 52.8%id,  0.0%wa,  0.0%hi, 41.5%si,  0.0%st
Cpu4  :  2.0%us,  4.1%sy,  0.0%ni, 61.2%id,  0.0%wa,  0.0%hi, 32.7%si,  0.0%st
Cpu5  :  4.7%us,  2.1%sy,  0.0%ni, 60.7%id,  0.0%wa,  0.0%hi, 32.5%si,  0.0%st
Mem:   6104752k total,  2669472k used,  3435280k free,   278068k buffers
Swap:  8191992k total,        0k used,  8191992k free,  1466656k cached
 

[root@ipoe1 ~]# ifstat -i bond1 -b
      bond1
 Kbps in  Kbps out
935065.7  1.61e+06
[root@ipoe1 ~]# ifconfig eth0 | grep error
          RX packets:38034817904 errors:0 dropped:0 overruns:0 frame:0
          TX packets:30460851656 errors:0 dropped:0 overruns:0 carrier:0
Загрузка равномерно размазана, трафика 2.5г суммарного, ошибок 0.

Share this post


Link to post
Share on other sites

Какое у вас ядро? Начиная с 3.16 очень сильно переделали очереди на сетевые для мультипроцессовых систем.

Share this post


Link to post
Share on other sites

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

На 1м сокете ошибок намного меньше.

root@bras:/etc# ifconfig eth3 | grep error
          RX packets:164116473 errors:215 dropped:56008 overruns:0 frame:215
          TX packets:2391 errors:0 dropped:0 overruns:0 carrier:0

Share this post


Link to post
Share on other sites

тебе нужно одну сетевую на один сокет , а вторую на другой повесить

Share this post


Link to post
Share on other sites

 

итить колотить !! так там же двухсокетная система ))

прибей прерывания на один сокет пока, второй оставь пустым

На 1м сокете ошибок намного меньше.

root@bras:/etc# ifconfig eth3 | grep error
          RX packets:164116473 errors:215 dropped:56008 overruns:0 frame:215
          TX packets:2391 errors:0 dropped:0 overruns:0 carrier:0

Это говорит о том что сетевая работает хорошо если она на одном процессоре, 3.16 или выше ядро попробуйте, так эту проблему как раз исправляли.

Share this post


Link to post
Share on other sites

Ты лучше ошибки смотри с помощью ethtool -s ethX(или -S, не помню).

На этом поколении еще больших печалей с сокетами нет, контроллер pci-e чипсетный, разве что память на разных CPU. Когда тестировал 2х5560 в этом же сервере, минусов от раскидывания на второй сокет не было.

В идеале сделать сетевки входящие в первый бонд на 1 сокете, во второй - на втором.

Share this post


Link to post
Share on other sites

Не помогло сетевые на разные сокеты:

irq    mask
70 00000001
71 00000001
72 00000001
73 00000002
74 00000002
75 00000002
76 00000004
77 00000004
79 00000004
80 00000008
81 00000008
82 00000008
83 00000010
84 00000010
85 00000020
86 00000020
88 00000040
89 00000040
90 00000040
91 00000080
92 00000080
93 00000080
94 00000100
95 00000100
97 00000100
98 00000200
99 00000200
100 00000200
101 00000400
102 00000400
103 00000800
104 00000800

Share this post


Link to post
Share on other sites

Хехе. А ты уверен что ядра по сокетам раскиданы подряд?

Лучше проверь скриптом типа этого http://pastebin.com/RS8e23jd или утилитой i7z.

Edited by KaYot

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

×