Перейти до

Border + NAT. Периодически высокая загрузка CPU.


fet4

Рекомендованные сообщения

Перечитал тему на наге, понял что не крутил только ITR. Вообще имеет смысл его трогать и как увидеть текущие значения его?

 

Сложно вам что-то посоветовать, потому что больше данных в теме не стало. Крутить там можно много чего с разными результатами.

 

ITR можно увидеть в логах ядра при инициализации драйвера, но если вы не трогали настройки, то там 1 по-умолчанию. Конкретное значение количества прерываний выбранные драйвером в конкретный момент посмотреть нельзя, только через всякие dstat/vmstat высчитывать. Как вы заметили по теме, я, например, рекомендую прибивать статические значения, если настройки драйвера по-умолчанию не работают. Мне это помогло справиться с проблемой. Но является ли это решением в вашем случае сказать сложно.

Ссылка на сообщение
Поделиться на других сайтах
  • Відповіді 62
  • Створено
  • Остання відповідь

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

в процессе тестов, но боевую нагрузку не запускали, жду релиза 17.10 из того с чем столкнулся: * в режиме CGNAT поддерживается только TCP, UDP, ICMP (тот же GRE уже не работает), возможно не всем ак

Вам нужен график или статистика pps. Трафик для софт роутеров особой роли не играет, а вот pps играет. Если НАТ, то как правильно говорят выше, количество соединений тоже роялет. Дальше смотрите на ко

Posted Images

 

Перечитал тему на наге, понял что не крутил только ITR. Вообще имеет смысл его трогать и как увидеть текущие значения его?

 

Сложно вам что-то посоветовать, потому что больше данных в теме не стало. Крутить там можно много чего с разными результатами.

 

ITR можно увидеть в логах ядра при инициализации драйвера, но если вы не трогали настройки, то там 1 по-умолчанию. Конкретное значение количества прерываний выбранные драйвером в конкретный момент посмотреть нельзя, только через всякие dstat/vmstat высчитывать. Как вы заметили по теме, я, например, рекомендую прибивать статические значения, если настройки драйвера по-умолчанию не работают. Мне это помогло справиться с проблемой. Но является ли это решением в вашем случае сказать сложно.

 

То что видно в кернел.лог

kernel: [319611.994725] igb 0000:01:00.0 enp1s0f0: igb: enp1s0f0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX
Ссылка на сообщение
Поделиться на других сайтах

CPU MHz:               799.871

CPU max MHz:      2900,0000

CPU min MHz:      800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

Ссылка на сообщение
Поделиться на других сайтах

 

CPU MHz:               799.871

CPU max MHz:      2900,0000

CPU min MHz:      800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

 

Кстати, а его обязательно из биоса отключать или можно из ос выключить?

На одном сервере не полчается выключить через cpufrequtils 

Ссылка на сообщение
Поделиться на других сайтах

 

 

CPU MHz: 799.871

CPU max MHz: 2900,0000

CPU min MHz: 800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

Кстати, а его обязательно из биоса отключать или можно из ос выключить?

На одном сервере не полчается выключить через cpufrequtils

Можно из os, но нужен ребут в любом случае.

Ищите по словам intel cpuidle.

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Спасибо всем за подсказки, как говорится век живи век учись!

 

Сделал

echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
echo performance > /sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

Нагрузка упала на 20%. Стоял режим powersaving. Сделал еще некоторые рекомендации с мануала на первой странице.

 

Потом вылез баг о котором я говорил, но теперь машинка доступна, лагает но доступна. perf-top показывает

 81,93%  [kernel]           [k] nf_conntrack_tuple_taken
   3,80%  [kernel]           [k] hash_conntrack_raw
   1,50%  [kernel]           [k] nf_nat_cleanup_conntrack
   1,20%  [kernel]           [k] fib_table_lookup
   1,12%  [kernel]           [k] nf_nat_used_tuple
   1,10%  [kernel]           [k] ip_finish_output
   1,10%  [kernel]           [k] __local_bh_enable_ip
   0,84%  [kernel]           [k] _cond_resched
   0,65%  [kernel]           [k] hash_net4_test
   0,65%  [kernel]           [k] native_irq_return_iret
   0,57%  [kernel]           [k] do_csum
   0,51%  [kernel]           [k] nf_ct_invert_tuple
   0,49%  [kernel]           [k] ip_rcv
   0,49%  [kernel]           [k] set_match_v4
   0,38%  [kernel]           [k] ipv4_invert_tuple
   0,38%  [kernel]           [k] __skb_flow_dissect
# uname -a
Linux fibernet-router 4.9.0-3-amd64 #1 SMP Debian 4.9.30-2+deb9u3 (2017-08-06) x86_64 GNU/Linux

Что это такой за зверь nf_conntrack_tuple_taken ?

# sysctl -a | grep conntrack
net.netfilter.nf_conntrack_acct = 0
net.netfilter.nf_conntrack_buckets = 2621440
net.netfilter.nf_conntrack_checksum = 1
net.netfilter.nf_conntrack_count = 873819
net.netfilter.nf_conntrack_events = 1
net.netfilter.nf_conntrack_expect_max = 256
net.netfilter.nf_conntrack_generic_timeout = 600
net.netfilter.nf_conntrack_helper = 0
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_log_invalid = 0
net.netfilter.nf_conntrack_max = 104857600
net.netfilter.nf_conntrack_tcp_be_liberal = 0
net.netfilter.nf_conntrack_tcp_loose = 1
net.netfilter.nf_conntrack_tcp_max_retrans = 3
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 120
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_timestamp = 0
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 180
net.nf_conntrack_max = 104857600

:~# iptables-save
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*nat
:PREROUTING ACCEPT [409638580:29898948645]
:INPUT ACCEPT [10046:1242872]
:OUTPUT ACCEPT [64093:3401668]
:POSTROUTING ACCEPT [2506521:101946456]
:dnat_post - [0:0]
:dnat_pre - [0:0]
-A PREROUTING -d x.x.x.x -m set --match-set dnat_ports dst -j dnat_pre
-A OUTPUT -d x.x.x.x -m set --match-set dnat_ports dst -j dnat_pre
-A POSTROUTING -m set --match-set ip_pools src -m set --match-set dnat_ports dst -j dnat_post
-A POSTROUTING -o vlan2001 -j SNAT --to-source x.x.x.x-x.x.x.x --persistent
-A POSTROUTING -o vlan2000 -j SNAT --to-source x.x.x.x-x.x.x.x --persistent
-A dnat_post -d 172.19.0.1/32 -p udp -m multiport --dports 80,443 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.19.0.1/32 -p tcp -m multiport --dports 80,443 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.123.7/32 -p tcp -m multiport --dports 6036,6037,6038,6039 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.126.9/32 -p tcp -m multiport --dports 50001,50002 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.10/32 -p tcp -m multiport --dports 50004,50005 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.166/32 -p tcp -m multiport --dports 50006,50007 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.166/32 -p udp -m multiport --dports 50006,50007 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.156/32 -p tcp -m multiport --dports 50008,50029 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.41/32 -p tcp -m multiport --dports 50009,50010,50012 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.41/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.180/32 -p tcp -m multiport --dports 50014,50015,50050 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.130/32 -p tcp -m multiport --dports 50016,50017,50025 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.181/32 -p tcp -m multiport --dports 50027,50028 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.126.7/32 -p tcp -m multiport --dports 50029,50030,50031,50032 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.216/32 -p tcp -m multiport --dports 50033,50034,50035,50036 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.223/32 -p tcp -m multiport --dports 50037,50038 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.253/32 -p tcp -m multiport --dports 50039,50040,50041,50042,50043,50044,50045,50046,50047,50048,50049 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.2.8/32 -p tcp -m multiport --dports 50050,50051,50054 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.2.9/32 -p tcp -m multiport --dports 50052,50053 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.2/32 -p tcp -m multiport --dports 50055,50056,50057,50058,50059,50060,50061,50062,50063,50064,50065 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.100/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.101/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.102/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.103/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.104/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.244/32 -p tcp -m multiport --dports 60001,60002,60003 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.130.5/32 -p tcp -m multiport --dports 50100:50200 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.129.17/32 -p tcp -m multiport --dports 50203:50213 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.101.97/32 -p tcp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.101.97/32 -p udp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j SNAT --to-source 172.19.0.6
-A dnat_pre -p tcp -m multiport --dports 80,443 -j DNAT --to-destination 172.19.0.1
-A dnat_pre -p udp -m multiport --dports 80,443 -j DNAT --to-destination 172.19.0.1
-A dnat_pre -p tcp -m multiport --dports 6036,6037,6038,6039 -j DNAT --to-destination 10.194.123.7
-A dnat_pre -p tcp -m multiport --dports 50001,50002 -j DNAT --to-destination 10.194.126.9
-A dnat_pre -p tcp -m multiport --dports 50004,50005 -j DNAT --to-destination 10.193.0.10
-A dnat_pre -p tcp -m multiport --dports 50006,50007 -j DNAT --to-destination 10.193.0.166
-A dnat_pre -p udp -m multiport --dports 50006,50007 -j DNAT --to-destination 10.193.0.166
-A dnat_pre -p tcp -m multiport --dports 50008,50029 -j DNAT --to-destination 10.193.0.156
-A dnat_pre -p tcp -m multiport --dports 50009,50010,50012 -j DNAT --to-destination 10.193.0.41
-A dnat_pre -p tcp -m multiport --dports 50013 -j DNAT --to-destination 10.193.0.41:80
-A dnat_pre -p tcp -m multiport --dports 50014,50015,50050 -j DNAT --to-destination 10.193.0.180
-A dnat_pre -p tcp -m multiport --dports 50016,50017,50025 -j DNAT --to-destination 10.193.0.130
-A dnat_pre -p tcp -m multiport --dports 50027,50028 -j DNAT --to-destination 10.193.0.181
-A dnat_pre -p tcp -m multiport --dports 50029,50030,50031,50032 -j DNAT --to-destination 10.194.126.7
-A dnat_pre -p tcp -m multiport --dports 50033,50034,50035,50036 -j DNAT --to-destination 10.193.0.216
-A dnat_pre -p tcp -m multiport --dports 50037,50038 -j DNAT --to-destination 10.193.1.223
-A dnat_pre -p tcp -m multiport --dports 50039,50040,50041,50042,50043,50044,50045,50046,50047,50048,50049 -j DNAT --to-destination 10.193.1.253
-A dnat_pre -p tcp -m multiport --dports 50050,50051,50054 -j DNAT --to-destination 10.193.2.8
-A dnat_pre -p tcp -m multiport --dports 50052,50053 -j DNAT --to-destination 10.193.2.9
-A dnat_pre -p tcp -m multiport --dports 50055,50056,50057,50058,50059,50060,50061,50062,50063,50064,50065 -j DNAT --to-destination 10.193.1.2
-A dnat_pre -p tcp -m multiport --dports 50066 -j DNAT --to-destination 172.20.0.101:80
-A dnat_pre -p tcp -m multiport --dports 50067 -j DNAT --to-destination 172.20.0.102:80
-A dnat_pre -p tcp -m multiport --dports 50068 -j DNAT --to-destination 172.20.0.103:80
-A dnat_pre -p tcp -m multiport --dports 50201 -j DNAT --to-destination 172.20.0.104:80
-A dnat_pre -p tcp -m multiport --dports 50202 -j DNAT --to-destination 172.20.0.100:80
-A dnat_pre -p tcp -m multiport --dports 60001,60002,60003 -j DNAT --to-destination 10.193.0.244
-A dnat_pre -p tcp -m multiport --dports 50100:50200 -j DNAT --to-destination 10.194.130.5
-A dnat_pre -p tcp -m multiport --dports 50203:50213 -j DNAT --to-destination 10.194.129.17
-A dnat_pre -p tcp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j DNAT --to-destination 10.194.101.97
-A dnat_pre -p udp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j DNAT --to-destination 10.194.101.97
COMMIT
# Completed on Sun Oct 22 19:26:25 2017
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*filter
:INPUT DROP [17693988:1151289130]
:FORWARD ACCEPT [6210831585:4372167186654]
:OUTPUT ACCEPT [3012059:185032231]
:input_check - [0:0]
:input_new - [0:0]
-A INPUT -m conntrack --ctstate INVALID -j DROP
-A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m conntrack --ctstate NEW -j input_new
-A FORWARD -p tcp -m set --match-set blacklist dst -j REJECT --reject-with tcp-reset
-A FORWARD -m set --match-set blacklist dst -j REJECT --reject-with icmp-port-unreachable
-A input_check -m recent --update --seconds 600 --hitcount 3 --name DEFAULT --mask 255.255.255.255 --rsource -j LOG --log-prefix "iptables INPUT bruteforce: "
-A input_check -m recent --update --seconds 600 --hitcount 3 --name DEFAULT --mask 255.255.255.255 --rsource -j DROP
-A input_check -m recent --set --name DEFAULT --mask 255.255.255.255 --rsource -j ACCEPT
-A input_new -p tcp -m tcp --dport 62222 -j input_check
-A input_new -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A input_new -m set --match-set input_src src -j ACCEPT
COMMIT
# Completed on Sun Oct 22 19:26:25 2017
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*mangle
:PREROUTING ACCEPT [6281246694:4399573830530]
:INPUT ACCEPT [18372969:1224294865]
:FORWARD ACCEPT [6252457074:4397551045317]
:OUTPUT ACCEPT [3026359:186311938]
:POSTROUTING ACCEPT [6253156115:4397605844275]
:balance - [0:0]
:new_conn - [0:0]
-A PREROUTING -m conntrack --ctstate NEW -j new_conn
-A PREROUTING -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FORWARD -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A balance -m statistic --mode random --probability 0.50000000000 -j SET --add-set vlan2000 src
-A balance -m set --match-set uplink_list src -j RETURN
-A balance -m statistic --mode random --probability 1.00000000000 -j SET --add-set vlan2001 src
-A new_conn -m set --match-set ip_pools src -m set ! --match-set uplink_list src -j balance
-A new_conn -m set --match-set vlan2000 src -j CONNMARK --set-xmark 0x1/0xffffffff
-A new_conn -m set --match-set vlan2001 src -j CONNMARK --set-xmark 0x2/0xffffffff
-A new_conn -m set --match-set vlan2000 src -j SET --add-set vlan2000 src --exist
-A new_conn -m set --match-set vlan2001 src -j SET --add-set vlan2001 src --exist
COMMIT
# Completed on Sun Oct 22 19:26:25 2017

Еще раз спасибо за помощь.

 

UPD: и вот спустя 55 мин. его попустило.

post-17131-0-86151400-1508690344_thumb.jpg

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

 

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

 

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного". 

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

 

 

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

 

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного". 

 

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

 

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

Дык у вас 1М трансляций на двухядерном целероне. Он просто больше не может.

 

Можно попробовать добавить в параметры загрузки ядра в grub "intel_idle.max_cstate=0 processor.max_cstate=1", это же лекарство для 911.

Если не поможет - только менять железо.

P.S. только обратил внимание. У вас слишком большой размер  контрак таблицы и таблицы хешей(buckets).

Уменьшите до реальных значений, скорее всего сразу все пройдет..

 

P.S.S. а покажите top. У вас памяти то хватает с такими таблицами?? Может система тупо в свопе иногда?

IMHO для таблицы состояний на 100м записей нужно 10GB+ RAM..

Відредаговано KaYot
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

to Kayot

Если не может тогда поменяю. Просто смотрю загрузка не большая проца, а как еще понять что он уже на подходе хз.

 

intel_idle.max_cstate=0 processor.max_cstate=1 уже добавил сейчас перегружусь посмотрим.

 

Какой запас контрак таблицы и таблицы хешей 2-х кратный сделать?  И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

Вы же сами нахимичили conntrack table на 100м и buckets на 2м. Поиск в таких таблицах и дает загрузку.

Поставьте реальные цифры, conntrack_max = 2M, buckets = 256k/512k.

 

И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?

Единого мнения по этому поводу нет, я ставлю хеши=конттрак/4. Официальные маны рекомендуют /8. Відредаговано KaYot
Ссылка на сообщение
Поделиться на других сайтах

 

 

 

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

 

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного". 

 

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

 

Я думаю нужно использовать нормально оборудование. Вот примерно аналогичный сервер, только без BGP.

https://monosnap.com/file/5LaQ4aRnZmLYtrQyWt4n44IuLaZSfs

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

вывод top но уже когда глюк прошел. надо будет посмотреть память в момент глюка.

top - 20:29:05 up 10 days,  1:32,  2 users,  load average: 0,00, 0,00, 0,00
Tasks: 104 total,   1 running, 103 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0,0 us,  0,0 sy,  0,0 ni, 90,1 id,  0,0 wa,  0,0 hi,  9,9 si,  0,0 st
KiB Mem :  3935492 total,  2734828 free,   789892 used,   410772 buff/cache
KiB Swap:  1951740 total,  1951740 free,        0 used.  2870248 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
28560 root      20   0  300236 130960   7960 S   0,3  3,3   0:08.86 perf_4.9
29403 root      20   0   33304  17476   3612 S   0,0  0,4   0:01.42 bash
  542 Debian-+  20   0   58620  11516   6404 S   0,0  0,3  11:47.99 snmpd
  205 root      20   0   64136   8260   7724 S   0,0  0,2   1:59.97 systemd-journal
    1 root      20   0   57248   7088   5344 S   0,0  0,2   0:06.66 systemd
29137 root      20   0   95168   6896   5928 S   0,0  0,2   0:00.00 sshd
27235 root      20   0   95168   6744   5776 S   0,0  0,2   0:00.04 sshd
  523 root      20   0   69944   6212   5440 S   0,0  0,2   0:00.03 sshd
27237 maxi      20   0   64876   6060   5216 S   0,0  0,2   0:00.00 systemd
27278 root      20   0   21344   5340   3436 S   0,0  0,1   0:01.50 bash
27245 maxi      20   0   21004   4856   3372 S   0,0  0,1   0:00.04 bash
29143 maxi      20   0   95300   4792   3704 S   0,0  0,1   0:00.22 sshd
29144 maxi      20   0   21004   4684   3196 S   0,0  0,1   0:00.07 bash
  341 root      20   0   46504   4680   4112 S   0,0  0,1   0:01.17 systemd-logind
27244 maxi      20   0   95168   4284   3276 S   0,0  0,1   0:00.63 sshd
  276 systemd+  20   0  127284   4180   3684 S   0,0  0,1   0:01.06 systemd-timesyn
29382 root      20   0   49540   3988   3420 S   0,0  0,1   0:00.00 sudo
14397 root      20   0   44916   3880   3244 R   0,3  0,1   0:00.02 top
  342 root      20   0  250116   3824   2476 S   0,0  0,1   0:21.50 rsyslogd
27277 root      20   0   49540   3824   3252 S   0,0  0,1   0:00.05 sudo
  343 message+  20   0   45116   3760   3320 S   0,0  0,1   0:00.69 dbus-daemon
  222 root      20   0   45480   3644   2908 S   0,0  0,1   0:00.77 systemd-udevd
14405 root      20   0   11176   3024   2800 S   0,0  0,1   0:00.00 uplink-check
14406 root      20   0   11176   3024   2800 S   0,0  0,1   0:00.00 uplink-check
  544 root      20   0   28424   2944   2536 S   0,0  0,1   0:00.07 vsftpd
  561 quagga    20   0   24872   2832   1828 S   0,0  0,1   0:00.04 zebra
  340 root      20   0   29636   2812   2560 S   0,0  0,1   0:15.75 cron
14399 root      20   0   48824   2696   2308 S   0,0  0,1   0:00.00 cron
14398 root      20   0   48824   2692   2304 S   0,0  0,1   0:00.00 cron
  574 quagga    20   0   30252   2556   1668 S   0,0  0,1   1:24.30 ospfd
 9413 root      20   0   14536   1868   1732 S   0,0  0,0   0:00.00 agetty
 9420 root      20   0   14536   1868   1732 S   0,0  0,0   0:00.00 agetty
27238 maxi      20   0   82572   1672      4 S   0,0  0,0   0:00.00 (sd-pam)
14414 root      20   0   17840   1260   1132 S   0,0  0,0   0:00.00 ping
14413 root      20   0   17840   1244   1120 S   0,0  0,0   0:00.00 ping
14403 root      20   0    4288    804    724 S   0,0  0,0   0:00.00 sh
14402 root      20   0    4288    720    644 S   0,0  0,0   0:00.00 sh

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

Можно попробовать добавить в параметры загрузки ядра в grub "intel_idle.max_cstate=0 processor.max_cstate=1", это же лекарство для 911.

 

это уже есть в загрузчике

 

но даже при задании минимальной и максимальной частоты через cpufreq получаем такое:

# cpufreq-info 
cpufrequtils 008: cpufreq-info (C) Dominik Brodowski 2004-2009
Report errors and bugs to cpufreq@vger.kernel.org, please.
analyzing CPU 0:
  driver: intel_pstate
  CPUs which run at the same hardware frequency: 0
  CPUs which need to have their frequency coordinated by software: 0
  maximum transition latency: 0.97 ms.
  hardware limits: 1.60 GHz - 3.90 GHz
  available cpufreq governors: performance, powersave
  current policy: frequency should be within 3.30 GHz and 3.40 GHz.
                  The governor "performance" may decide which speed to use
                  within this range.
  current CPU frequency is 2.17 GHz (asserted by call to hardware).
Ссылка на сообщение
Поделиться на других сайтах

 

И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?

Единого мнения по этому поводу нет, я ставлю хеши=конттрак/4. Официальные маны рекомендуют /8.
Если там по древнему хэш таблица реализована (что скорее всего) и linked list в бакетах, то важно избавиться от коллизий, ибо по нему медленно ходить, лезть аж в память на каждой итерации или в л3 кэш если повезет, но факт тот, что процессор не может предсказать за чем следующим лезть и должен останавливаться и тупо ждать. Так что чем больше бакетов, тем меньше шансов коллизий. Можно еще использовать простые числа для размеров, может тоже поможет, раз там такие древние алгоритмы. Например: 2097169 1048583 512389 Відредаговано ttttt
Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Установил я в груб.

 processor.max_cstate=1 intel_idle.max_cstate=0

Перезагрузился и в биосе отключил c-state_ы, установил max-perfomance на память.

 

Потом увеличил в 25-раз conntrack относительно default. Получилось.

net.netfilter.nf_conntrack_buckets = 409600
net.netfilter.nf_conntrack_count = 765844
net.netfilter.nf_conntrack_max = 1638400
net.nf_conntrack_max = 1638400

Моментально вылез в топы cpu  nf_conntrack_tuple_taken но быстро в теч 5 мин. попустило сервак. Видимо из-за уменьшенной таблицы conntrack.

 

Наблюдаю и параллельно думаю о новом проце. Что посоветуете на LGA1151 в моем случае? 

 

Есть рядом аналогичный тазик по характеристикам может лучше балансировать трафик между ними двумя, один аплинк в один, другой во второй?

 

Заранее спасибо за советы.

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

Установил я в груб.

 processor.max_cstate=1 intel_idle.max_cstate=0

Перезагрузился и в биосе отключил c-state_ы, установил max-perfomance на память.

 

Потом увеличил в 25-раз conntrack относительно default. Получилось.

net.netfilter.nf_conntrack_buckets = 409600
net.netfilter.nf_conntrack_count = 765844
net.netfilter.nf_conntrack_max = 1638400
net.nf_conntrack_max = 1638400

Моментально вылез в топы cpu  nf_conntrack_tuple_taken но быстро в теч 5 мин. попустило сервак. Видимо из-за уменьшенной таблицы conntrack.

 

Наблюдаю и параллельно думаю о новом проце. Что посоветуете на LGA1151 в моем случае? 

 

Есть рядом аналогичный тазик по характеристикам может лучше балансировать трафик между ними двумя, один аплинк в один, другой во второй?

 

Заранее спасибо за советы.

 

имхо можно балансировать

какой биллинг? и какой тип подключения? если пппое, то вообще проблем ровно ноль

p.s. а как работает нынешняя балансировка? адекватно?

Ссылка на сообщение
Поделиться на других сайтах
Опубліковано: (відредаговано)

Завтра буду проц ехать брать, ничего не поменялось. Стоит ли за i7 переплачивать?

 

ноудени+ , dhcp + pppoe, от pppoe потихоньку избавляюсь.

 

Нынешняя балансировка  по src работает адекватно, разнится в загрузке каналов примерно 50-100Мбит что для меня в принципе подходит.

post-17131-0-77872800-1508784907_thumb.png

Відредаговано fet4
Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від hardware_all
      продам радиаторы на сервера / серверные CPU kits
       
       = Dell =
      радиатор для Dell PowerEdge 1850 - 200грн
       
      радиатор DELL 2850 - 200грн
       
       = HP =
      радиатор для DL380G3 / DL370 G3 / DL360 G3 / DL560 G1 / ML350 G3 / ML370 G3  P/N: 322560-001 - 200грн
       
      радиатор для DL380G3 / DL380G2  Foxconn P/N: 279160-001 - 200грн
       
      радиатор для HP DL585G1  P/N: 321961-007  | 359774-001 - 200грн
       
      радиатор для HP DL360G3 + VRM  P/N: 345746-002 P/N: 325148-001  - 200грн

      радиатор для DL380 G5/  DL385 G2 / DL385 G5) Foxconn P/N: 391137-001 432231-101  - 200грн
       
      радиатор для DL380 G7/  DL380G6)  Foxconn P/N:496886-001 + 1 CPU (Intel Xeon X5660 CPU 2.8 GHz Six Core 6.4 GT/s QPI 12M 95W LGA 1366 Processor) + 2 вентилятора (Nidec UltraFlo 12V 2.45А  496066-001) - 700грн за комплект
       
    • Від gfxman
      Продам процессор Intel Xeon E5-2680 v3
      30 МБ кэш-памяти, тактовая частота 2,50 ГГц
      12 ядер, 24 потока.

      В наличие 2 штуки, в отличном состоянии, без проблем и дефектов.

      Установлены на сервере, реальное фото могу сделать по запросу (установлен в сервере).
       
      Стоимость 4500 грн за штуку.

      Пишите или звоните., отвечу на любые вопросы.
      P: (068) 570-17-ДватцатьДва
      Доставка по Украине.
    • Від lsp
      Привет
      Продам после апгрейда комплект:
      материнская плата Asus Z87-K + Core i3-4130 + 8 Gb DDR3
      В комплект входит: материнская плата, заглушка, коробка, процессор, вентилятор, коробка, память 2 шт по 4Гб 1600 мгц
      Цена комплекта = 3500 грн
      Связь для ускорения через телефон, вайбер или телеграм: 050 323 11 17 - Сергей





    • Від shik
      В наличии остались остатки процессоров Intel Xeon X5500/X5600
       
      Xeon X5550,X5560, E5530  - 200грн пара
      L5630, E5630 - 250грн пара
      X5675 - 1700грн пара
       
      Один E5-1410 - 250грн
    • Від Vladimir_L
      Количество большое! 
       
      В наличии серверные процесори:
      GPU XEON 5550, 5540, 5520, 5405, 5420 -  100грн./шт

      CPU XEON 5560, 5570 - 120грн./шт

      CPU XEON 5649, 5650 - 250грн./шт

      CPU XEON E5 - 2603 - 300грн./шт

      CPU XEON E5 - 2620 - 700грн./шт

      CPU XEON E5 - 2630 - 800грн./шт
       
      Контакты:
      0981071848

×
×
  • Створити нове...