Border + NAT. Периодически высокая загрузка CPU.

Dark_Angel · 2017-10-22 07:23:13

Перечитал тему на наге, понял что не крутил только ITR. Вообще имеет смысл его трогать и как увидеть текущие значения его?

Сложно вам что-то посоветовать, потому что больше данных в теме не стало. Крутить там можно много чего с разными результатами.

ITR можно увидеть в логах ядра при инициализации драйвера, но если вы не трогали настройки, то там 1 по-умолчанию. Конкретное значение количества прерываний выбранные драйвером в конкретный момент посмотреть нельзя, только через всякие dstat/vmstat высчитывать. Как вы заметили по теме, я, например, рекомендую прибивать статические значения, если настройки драйвера по-умолчанию не работают. Мне это помогло справиться с проблемой. Но является ли это решением в вашем случае сказать сложно.

fet4 · 2017-10-22 10:03:44

Перечитал тему на наге, понял что не крутил только ITR. Вообще имеет смысл его трогать и как увидеть текущие значения его?

Сложно вам что-то посоветовать, потому что больше данных в теме не стало. Крутить там можно много чего с разными результатами.

ITR можно увидеть в логах ядра при инициализации драйвера, но если вы не трогали настройки, то там 1 по-умолчанию. Конкретное значение количества прерываний выбранные драйвером в конкретный момент посмотреть нельзя, только через всякие dstat/vmstat высчитывать. Как вы заметили по теме, я, например, рекомендую прибивать статические значения, если настройки драйвера по-умолчанию не работают. Мне это помогло справиться с проблемой. Но является ли это решением в вашем случае сказать сложно.

То что видно в кернел.лог

kernel: [319611.994725] igb 0000:01:00.0 enp1s0f0: igb: enp1s0f0 NIC Link is Up 1000 Mbps Full Duplex, Flow Control: RX

Dark_Angel · 2017-10-22 10:28:04

Там должны быть еще строки инциализации. Строка что вы привели - это просто поднятие порта.

passer · 2017-10-22 12:49:22

CPU MHz: 799.871

CPU max MHz: 2900,0000

CPU min MHz: 800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

2017-10-22 16:01:26

CPU MHz: 799.871

CPU max MHz: 2900,0000

CPU min MHz: 800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

Кстати, а его обязательно из биоса отключать или можно из ос выключить?

На одном сервере не полчается выключить через cpufrequtils

KaYot · 2017-10-22 16:14:07

CPU MHz: 799.871

CPU max MHz: 2900,0000

CPU min MHz: 800,0000

На лицо включенный frequency scaling. Отключите его и заново ознакомьтесь с рекомендациями по настройке linux-серверов на первой странице форума.

Кстати, а его обязательно из биоса отключать или можно из ос выключить?
На одном сервере не полчается выключить через cpufrequtils

Можно из os, но нужен ребут в любом случае.

Ищите по словам intel cpuidle.

foreverok · 2017-10-22 16:27:20

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

fet4 · 2017-10-22 16:27:40

Спасибо всем за подсказки, как говорится век живи век учись!

Сделал

echo performance > /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
echo performance > /sys/devices/system/cpu/cpu1/cpufreq/scaling_governor

Нагрузка упала на 20%. Стоял режим powersaving. Сделал еще некоторые рекомендации с мануала на первой странице.

Потом вылез баг о котором я говорил, но теперь машинка доступна, лагает но доступна. perf-top показывает

 81,93%  [kernel]           [k] nf_conntrack_tuple_taken
   3,80%  [kernel]           [k] hash_conntrack_raw
   1,50%  [kernel]           [k] nf_nat_cleanup_conntrack
   1,20%  [kernel]           [k] fib_table_lookup
   1,12%  [kernel]           [k] nf_nat_used_tuple
   1,10%  [kernel]           [k] ip_finish_output
   1,10%  [kernel]           [k] __local_bh_enable_ip
   0,84%  [kernel]           [k] _cond_resched
   0,65%  [kernel]           [k] hash_net4_test
   0,65%  [kernel]           [k] native_irq_return_iret
   0,57%  [kernel]           [k] do_csum
   0,51%  [kernel]           [k] nf_ct_invert_tuple
   0,49%  [kernel]           [k] ip_rcv
   0,49%  [kernel]           [k] set_match_v4
   0,38%  [kernel]           [k] ipv4_invert_tuple
   0,38%  [kernel]           [k] __skb_flow_dissect

# uname -a
Linux fibernet-router 4.9.0-3-amd64 #1 SMP Debian 4.9.30-2+deb9u3 (2017-08-06) x86_64 GNU/Linux

Что это такой за зверь nf_conntrack_tuple_taken ?

# sysctl -a | grep conntrack
net.netfilter.nf_conntrack_acct = 0
net.netfilter.nf_conntrack_buckets = 2621440
net.netfilter.nf_conntrack_checksum = 1
net.netfilter.nf_conntrack_count = 873819
net.netfilter.nf_conntrack_events = 1
net.netfilter.nf_conntrack_expect_max = 256
net.netfilter.nf_conntrack_generic_timeout = 600
net.netfilter.nf_conntrack_helper = 0
net.netfilter.nf_conntrack_icmp_timeout = 30
net.netfilter.nf_conntrack_log_invalid = 0
net.netfilter.nf_conntrack_max = 104857600
net.netfilter.nf_conntrack_tcp_be_liberal = 0
net.netfilter.nf_conntrack_tcp_loose = 1
net.netfilter.nf_conntrack_tcp_max_retrans = 3
net.netfilter.nf_conntrack_tcp_timeout_close = 10
net.netfilter.nf_conntrack_tcp_timeout_close_wait = 60
net.netfilter.nf_conntrack_tcp_timeout_established = 600
net.netfilter.nf_conntrack_tcp_timeout_fin_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_last_ack = 30
net.netfilter.nf_conntrack_tcp_timeout_max_retrans = 300
net.netfilter.nf_conntrack_tcp_timeout_syn_recv = 60
net.netfilter.nf_conntrack_tcp_timeout_syn_sent = 120
net.netfilter.nf_conntrack_tcp_timeout_time_wait = 120
net.netfilter.nf_conntrack_tcp_timeout_unacknowledged = 300
net.netfilter.nf_conntrack_timestamp = 0
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 180
net.nf_conntrack_max = 104857600

:~# iptables-save
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*nat
:PREROUTING ACCEPT [409638580:29898948645]
:INPUT ACCEPT [10046:1242872]
:OUTPUT ACCEPT [64093:3401668]
:POSTROUTING ACCEPT [2506521:101946456]
:dnat_post - [0:0]
:dnat_pre - [0:0]
-A PREROUTING -d x.x.x.x -m set --match-set dnat_ports dst -j dnat_pre
-A OUTPUT -d x.x.x.x -m set --match-set dnat_ports dst -j dnat_pre
-A POSTROUTING -m set --match-set ip_pools src -m set --match-set dnat_ports dst -j dnat_post
-A POSTROUTING -o vlan2001 -j SNAT --to-source x.x.x.x-x.x.x.x --persistent
-A POSTROUTING -o vlan2000 -j SNAT --to-source x.x.x.x-x.x.x.x --persistent
-A dnat_post -d 172.19.0.1/32 -p udp -m multiport --dports 80,443 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.19.0.1/32 -p tcp -m multiport --dports 80,443 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.123.7/32 -p tcp -m multiport --dports 6036,6037,6038,6039 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.126.9/32 -p tcp -m multiport --dports 50001,50002 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.10/32 -p tcp -m multiport --dports 50004,50005 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.166/32 -p tcp -m multiport --dports 50006,50007 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.166/32 -p udp -m multiport --dports 50006,50007 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.156/32 -p tcp -m multiport --dports 50008,50029 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.41/32 -p tcp -m multiport --dports 50009,50010,50012 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.41/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.180/32 -p tcp -m multiport --dports 50014,50015,50050 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.130/32 -p tcp -m multiport --dports 50016,50017,50025 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.181/32 -p tcp -m multiport --dports 50027,50028 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.126.7/32 -p tcp -m multiport --dports 50029,50030,50031,50032 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.216/32 -p tcp -m multiport --dports 50033,50034,50035,50036 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.223/32 -p tcp -m multiport --dports 50037,50038 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.253/32 -p tcp -m multiport --dports 50039,50040,50041,50042,50043,50044,50045,50046,50047,50048,50049 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.2.8/32 -p tcp -m multiport --dports 50050,50051,50054 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.2.9/32 -p tcp -m multiport --dports 50052,50053 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.1.2/32 -p tcp -m multiport --dports 50055,50056,50057,50058,50059,50060,50061,50062,50063,50064,50065 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.100/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.101/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.102/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.103/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 172.20.0.104/32 -p tcp -m multiport --dports 80 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.193.0.244/32 -p tcp -m multiport --dports 60001,60002,60003 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.130.5/32 -p tcp -m multiport --dports 50100:50200 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.129.17/32 -p tcp -m multiport --dports 50203:50213 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.101.97/32 -p tcp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j SNAT --to-source 172.19.0.6
-A dnat_post -d 10.194.101.97/32 -p udp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j SNAT --to-source 172.19.0.6
-A dnat_pre -p tcp -m multiport --dports 80,443 -j DNAT --to-destination 172.19.0.1
-A dnat_pre -p udp -m multiport --dports 80,443 -j DNAT --to-destination 172.19.0.1
-A dnat_pre -p tcp -m multiport --dports 6036,6037,6038,6039 -j DNAT --to-destination 10.194.123.7
-A dnat_pre -p tcp -m multiport --dports 50001,50002 -j DNAT --to-destination 10.194.126.9
-A dnat_pre -p tcp -m multiport --dports 50004,50005 -j DNAT --to-destination 10.193.0.10
-A dnat_pre -p tcp -m multiport --dports 50006,50007 -j DNAT --to-destination 10.193.0.166
-A dnat_pre -p udp -m multiport --dports 50006,50007 -j DNAT --to-destination 10.193.0.166
-A dnat_pre -p tcp -m multiport --dports 50008,50029 -j DNAT --to-destination 10.193.0.156
-A dnat_pre -p tcp -m multiport --dports 50009,50010,50012 -j DNAT --to-destination 10.193.0.41
-A dnat_pre -p tcp -m multiport --dports 50013 -j DNAT --to-destination 10.193.0.41:80
-A dnat_pre -p tcp -m multiport --dports 50014,50015,50050 -j DNAT --to-destination 10.193.0.180
-A dnat_pre -p tcp -m multiport --dports 50016,50017,50025 -j DNAT --to-destination 10.193.0.130
-A dnat_pre -p tcp -m multiport --dports 50027,50028 -j DNAT --to-destination 10.193.0.181
-A dnat_pre -p tcp -m multiport --dports 50029,50030,50031,50032 -j DNAT --to-destination 10.194.126.7
-A dnat_pre -p tcp -m multiport --dports 50033,50034,50035,50036 -j DNAT --to-destination 10.193.0.216
-A dnat_pre -p tcp -m multiport --dports 50037,50038 -j DNAT --to-destination 10.193.1.223
-A dnat_pre -p tcp -m multiport --dports 50039,50040,50041,50042,50043,50044,50045,50046,50047,50048,50049 -j DNAT --to-destination 10.193.1.253
-A dnat_pre -p tcp -m multiport --dports 50050,50051,50054 -j DNAT --to-destination 10.193.2.8
-A dnat_pre -p tcp -m multiport --dports 50052,50053 -j DNAT --to-destination 10.193.2.9
-A dnat_pre -p tcp -m multiport --dports 50055,50056,50057,50058,50059,50060,50061,50062,50063,50064,50065 -j DNAT --to-destination 10.193.1.2
-A dnat_pre -p tcp -m multiport --dports 50066 -j DNAT --to-destination 172.20.0.101:80
-A dnat_pre -p tcp -m multiport --dports 50067 -j DNAT --to-destination 172.20.0.102:80
-A dnat_pre -p tcp -m multiport --dports 50068 -j DNAT --to-destination 172.20.0.103:80
-A dnat_pre -p tcp -m multiport --dports 50201 -j DNAT --to-destination 172.20.0.104:80
-A dnat_pre -p tcp -m multiport --dports 50202 -j DNAT --to-destination 172.20.0.100:80
-A dnat_pre -p tcp -m multiport --dports 60001,60002,60003 -j DNAT --to-destination 10.193.0.244
-A dnat_pre -p tcp -m multiport --dports 50100:50200 -j DNAT --to-destination 10.194.130.5
-A dnat_pre -p tcp -m multiport --dports 50203:50213 -j DNAT --to-destination 10.194.129.17
-A dnat_pre -p tcp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j DNAT --to-destination 10.194.101.97
-A dnat_pre -p udp -m multiport --dports 25565,25567,25568,30000,30001,50069:50099,4254:4258 -j DNAT --to-destination 10.194.101.97
COMMIT
# Completed on Sun Oct 22 19:26:25 2017
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*filter
:INPUT DROP [17693988:1151289130]
:FORWARD ACCEPT [6210831585:4372167186654]
:OUTPUT ACCEPT [3012059:185032231]
:input_check - [0:0]
:input_new - [0:0]
-A INPUT -m conntrack --ctstate INVALID -j DROP
-A INPUT -m conntrack --ctstate RELATED,ESTABLISHED -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -m conntrack --ctstate NEW -j input_new
-A FORWARD -p tcp -m set --match-set blacklist dst -j REJECT --reject-with tcp-reset
-A FORWARD -m set --match-set blacklist dst -j REJECT --reject-with icmp-port-unreachable
-A input_check -m recent --update --seconds 600 --hitcount 3 --name DEFAULT --mask 255.255.255.255 --rsource -j LOG --log-prefix "iptables INPUT bruteforce: "
-A input_check -m recent --update --seconds 600 --hitcount 3 --name DEFAULT --mask 255.255.255.255 --rsource -j DROP
-A input_check -m recent --set --name DEFAULT --mask 255.255.255.255 --rsource -j ACCEPT
-A input_new -p tcp -m tcp --dport 62222 -j input_check
-A input_new -p icmp -m icmp --icmp-type 8 -j ACCEPT
-A input_new -m set --match-set input_src src -j ACCEPT
COMMIT
# Completed on Sun Oct 22 19:26:25 2017
# Generated by iptables-save v1.6.0 on Sun Oct 22 19:26:25 2017
*mangle
:PREROUTING ACCEPT [6281246694:4399573830530]
:INPUT ACCEPT [18372969:1224294865]
:FORWARD ACCEPT [6252457074:4397551045317]
:OUTPUT ACCEPT [3026359:186311938]
:POSTROUTING ACCEPT [6253156115:4397605844275]
:balance - [0:0]
:new_conn - [0:0]
-A PREROUTING -m conntrack --ctstate NEW -j new_conn
-A PREROUTING -j CONNMARK --restore-mark --nfmask 0xffffffff --ctmask 0xffffffff
-A FORWARD -p tcp -m tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu
-A balance -m statistic --mode random --probability 0.50000000000 -j SET --add-set vlan2000 src
-A balance -m set --match-set uplink_list src -j RETURN
-A balance -m statistic --mode random --probability 1.00000000000 -j SET --add-set vlan2001 src
-A new_conn -m set --match-set ip_pools src -m set ! --match-set uplink_list src -j balance
-A new_conn -m set --match-set vlan2000 src -j CONNMARK --set-xmark 0x1/0xffffffff
-A new_conn -m set --match-set vlan2001 src -j CONNMARK --set-xmark 0x2/0xffffffff
-A new_conn -m set --match-set vlan2000 src -j SET --add-set vlan2000 src --exist
-A new_conn -m set --match-set vlan2001 src -j SET --add-set vlan2001 src --exist
COMMIT
# Completed on Sun Oct 22 19:26:25 2017

Еще раз спасибо за помощь.

UPD: и вот спустя 55 мин. его попустило.

Відредаговано 2017-10-22 16:55:21 fet4

fet4 · 2017-10-22 16:40:19

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

foreverok · 2017-10-22 17:09:26

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного".

fet4 · 2017-10-22 17:15:40

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного".

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

Відредаговано 2017-10-22 17:16:24 fet4

KaYot · 2017-10-22 17:17:53

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?
Найдем если проблема в нем будет.

Дык у вас 1М трансляций на двухядерном целероне. Он просто больше не может.

Можно попробовать добавить в параметры загрузки ядра в grub "intel_idle.max_cstate=0 processor.max_cstate=1", это же лекарство для 911.

Если не поможет - только менять железо.

P.S. только обратил внимание. У вас слишком большой размер контрак таблицы и таблицы хешей(buckets).

Уменьшите до реальных значений, скорее всего сразу все пройдет..

P.S.S. а покажите top. У вас памяти то хватает с такими таблицами?? Может система тупо в свопе иногда?

IMHO для таблицы состояний на 100м записей нужно 10GB+ RAM..

Відредаговано 2017-10-22 17:21:18 KaYot

fet4 · 2017-10-22 17:23:25

to Kayot

Если не может тогда поменяю. Просто смотрю загрузка не большая проца, а как еще понять что он уже на подходе хз.

intel_idle.max_cstate=0 processor.max_cstate=1 уже добавил сейчас перегружусь посмотрим.

Какой запас контрак таблицы и таблицы хешей 2-х кратный сделать? И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?

Відредаговано 2017-10-22 17:25:24 fet4

KaYot · 2017-10-22 17:25:43

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

Вы же сами нахимичили conntrack table на 100м и buckets на 2м. Поиск в таких таблицах и дает загрузку.

Поставьте реальные цифры, conntrack_max = 2M, buckets = 256k/512k.

И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?

Единого мнения по этому поводу нет, я ставлю хеши=конттрак/4. Официальные маны рекомендуют /8. Відредаговано 2017-10-22 17:27:33 KaYot

foreverok · 2017-10-22 17:27:05

Проц совсем плох. Неужели для бордера ничего лучше не нашлось?

Найдем если проблема в нем будет.

А чего ждать от бюджетного оборудования для десктопов?

Я бы взял что то из "серверного".

Вы думаете процесс nf_conntrack_tuple_taken, на другом проце не будет его так съедать? Как по мне это программный бок.

Я думаю нужно использовать нормально оборудование. Вот примерно аналогичный сервер, только без BGP.

https://monosnap.com/file/5LaQ4aRnZmLYtrQyWt4n44IuLaZSfs

fet4 · 2017-10-22 17:31:16

вывод top но уже когда глюк прошел. надо будет посмотреть память в момент глюка.

top - 20:29:05 up 10 days,  1:32,  2 users,  load average: 0,00, 0,00, 0,00
Tasks: 104 total,   1 running, 103 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0,0 us,  0,0 sy,  0,0 ni, 90,1 id,  0,0 wa,  0,0 hi,  9,9 si,  0,0 st
KiB Mem :  3935492 total,  2734828 free,   789892 used,   410772 buff/cache
KiB Swap:  1951740 total,  1951740 free,        0 used.  2870248 avail Mem

  PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND
28560 root      20   0  300236 130960   7960 S   0,3  3,3   0:08.86 perf_4.9
29403 root      20   0   33304  17476   3612 S   0,0  0,4   0:01.42 bash
  542 Debian-+  20   0   58620  11516   6404 S   0,0  0,3  11:47.99 snmpd
  205 root      20   0   64136   8260   7724 S   0,0  0,2   1:59.97 systemd-journal
    1 root      20   0   57248   7088   5344 S   0,0  0,2   0:06.66 systemd
29137 root      20   0   95168   6896   5928 S   0,0  0,2   0:00.00 sshd
27235 root      20   0   95168   6744   5776 S   0,0  0,2   0:00.04 sshd
  523 root      20   0   69944   6212   5440 S   0,0  0,2   0:00.03 sshd
27237 maxi      20   0   64876   6060   5216 S   0,0  0,2   0:00.00 systemd
27278 root      20   0   21344   5340   3436 S   0,0  0,1   0:01.50 bash
27245 maxi      20   0   21004   4856   3372 S   0,0  0,1   0:00.04 bash
29143 maxi      20   0   95300   4792   3704 S   0,0  0,1   0:00.22 sshd
29144 maxi      20   0   21004   4684   3196 S   0,0  0,1   0:00.07 bash
  341 root      20   0   46504   4680   4112 S   0,0  0,1   0:01.17 systemd-logind
27244 maxi      20   0   95168   4284   3276 S   0,0  0,1   0:00.63 sshd
  276 systemd+  20   0  127284   4180   3684 S   0,0  0,1   0:01.06 systemd-timesyn
29382 root      20   0   49540   3988   3420 S   0,0  0,1   0:00.00 sudo
14397 root      20   0   44916   3880   3244 R   0,3  0,1   0:00.02 top
  342 root      20   0  250116   3824   2476 S   0,0  0,1   0:21.50 rsyslogd
27277 root      20   0   49540   3824   3252 S   0,0  0,1   0:00.05 sudo
  343 message+  20   0   45116   3760   3320 S   0,0  0,1   0:00.69 dbus-daemon
  222 root      20   0   45480   3644   2908 S   0,0  0,1   0:00.77 systemd-udevd
14405 root      20   0   11176   3024   2800 S   0,0  0,1   0:00.00 uplink-check
14406 root      20   0   11176   3024   2800 S   0,0  0,1   0:00.00 uplink-check
  544 root      20   0   28424   2944   2536 S   0,0  0,1   0:00.07 vsftpd
  561 quagga    20   0   24872   2832   1828 S   0,0  0,1   0:00.04 zebra
  340 root      20   0   29636   2812   2560 S   0,0  0,1   0:15.75 cron
14399 root      20   0   48824   2696   2308 S   0,0  0,1   0:00.00 cron
14398 root      20   0   48824   2692   2304 S   0,0  0,1   0:00.00 cron
  574 quagga    20   0   30252   2556   1668 S   0,0  0,1   1:24.30 ospfd
 9413 root      20   0   14536   1868   1732 S   0,0  0,0   0:00.00 agetty
 9420 root      20   0   14536   1868   1732 S   0,0  0,0   0:00.00 agetty
27238 maxi      20   0   82572   1672      4 S   0,0  0,0   0:00.00 (sd-pam)
14414 root      20   0   17840   1260   1132 S   0,0  0,0   0:00.00 ping
14413 root      20   0   17840   1244   1120 S   0,0  0,0   0:00.00 ping
14403 root      20   0    4288    804    724 S   0,0  0,0   0:00.00 sh
14402 root      20   0    4288    720    644 S   0,0  0,0   0:00.00 sh

Відредаговано 2017-10-22 17:34:30 fet4

KaYot · 2017-10-22 17:36:42

Свопа нет.

Уменьшайте размеры таблиц, ребут для этого не нужен. А там поглядим.

2017-10-22 18:25:34

Можно попробовать добавить в параметры загрузки ядра в grub "intel_idle.max_cstate=0 processor.max_cstate=1", это же лекарство для 911.

это уже есть в загрузчике

но даже при задании минимальной и максимальной частоты через cpufreq получаем такое:

# cpufreq-info 
cpufrequtils 008: cpufreq-info (C) Dominik Brodowski 2004-2009
Report errors and bugs to cpufreq@vger.kernel.org, please.
analyzing CPU 0:
  driver: intel_pstate
  CPUs which run at the same hardware frequency: 0
  CPUs which need to have their frequency coordinated by software: 0
  maximum transition latency: 0.97 ms.
  hardware limits: 1.60 GHz - 3.90 GHz
  available cpufreq governors: performance, powersave
  current policy: frequency should be within 3.30 GHz and 3.40 GHz.
                  The governor "performance" may decide which speed to use
                  within this range.
  current CPU frequency is 2.17 GHz (asserted by call to hardware).

KaYot · 2017-10-22 18:34:37

А что это за CPU такой, с pstate driver? Pentium4 чтоле?

2017-10-22 18:38:53

А что это за CPU такой, с pstate driver? Pentium4 чтоле?

model name : Intel® Core i7-3770 CPU @ 3.40GHz

ttttt · 2017-10-22 20:18:35

И контрак таблица=таблица хешей или контрак таблица в 4 раза больше хешей?
Единого мнения по этому поводу нет, я ставлю хеши=конттрак/4. Официальные маны рекомендуют /8.

Если там по древнему хэш таблица реализована (что скорее всего) и linked list в бакетах, то важно избавиться от коллизий, ибо по нему медленно ходить, лезть аж в память на каждой итерации или в л3 кэш если повезет, но факт тот, что процессор не может предсказать за чем следующим лезть и должен останавливаться и тупо ждать. Так что чем больше бакетов, тем меньше шансов коллизий. Можно еще использовать простые числа для размеров, может тоже поможет, раз там такие древние алгоритмы. Например: 2097169 1048583 512389 Відредаговано 2017-10-22 20:38:24 ttttt

fet4 · 2017-10-23 16:07:52

Установил я в груб.

 processor.max_cstate=1 intel_idle.max_cstate=0

Перезагрузился и в биосе отключил c-state_ы, установил max-perfomance на память.

Потом увеличил в 25-раз conntrack относительно default. Получилось.

net.netfilter.nf_conntrack_buckets = 409600
net.netfilter.nf_conntrack_count = 765844
net.netfilter.nf_conntrack_max = 1638400
net.nf_conntrack_max = 1638400

Моментально вылез в топы cpu nf_conntrack_tuple_taken но быстро в теч 5 мин. попустило сервак. Видимо из-за уменьшенной таблицы conntrack.

Наблюдаю и параллельно думаю о новом проце. Что посоветуете на LGA1151 в моем случае?

Есть рядом аналогичный тазик по характеристикам может лучше балансировать трафик между ними двумя, один аплинк в один, другой во второй?

Заранее спасибо за советы.

Відредаговано 2017-10-23 16:09:19 fet4

2017-10-23 17:36:22

Установил я в груб.
 processor.max_cstate=1 intel_idle.max_cstate=0
Перезагрузился и в биосе отключил c-state_ы, установил max-perfomance на память.

Потом увеличил в 25-раз conntrack относительно default. Получилось.
net.netfilter.nf_conntrack_buckets = 409600
net.netfilter.nf_conntrack_count = 765844
net.netfilter.nf_conntrack_max = 1638400
net.nf_conntrack_max = 1638400
Моментально вылез в топы cpu nf_conntrack_tuple_taken но быстро в теч 5 мин. попустило сервак. Видимо из-за уменьшенной таблицы conntrack.

Наблюдаю и параллельно думаю о новом проце. Что посоветуете на LGA1151 в моем случае?

Есть рядом аналогичный тазик по характеристикам может лучше балансировать трафик между ними двумя, один аплинк в один, другой во второй?

Заранее спасибо за советы.

имхо можно балансировать

какой биллинг? и какой тип подключения? если пппое, то вообще проблем ровно ноль

p.s. а как работает нынешняя балансировка? адекватно?

fet4 · 2017-10-23 18:55:15

Завтра буду проц ехать брать, ничего не поменялось. Стоит ли за i7 переплачивать?

ноудени+ , dhcp + pppoe, от pppoe потихоньку избавляюсь.

Нынешняя балансировка по src работает адекватно, разнится в загрузке каналов примерно 50-100Мбит что для меня в принципе подходит.

Відредаговано 2017-10-23 18:58:39 fet4

KaYot · 2017-10-23 19:08:50

i7 не нужен, нужен любой i5 какой на вашу мать встанет. Можно младший.

Увійти

Border + NAT. Периодически высокая загрузка CPU.

Рекомендованные сообщения

Dark_Angel 5

Ссылка на сообщение

Поделиться на других сайтах

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Posted Images

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

Dark_Angel 5

Ссылка на сообщение

Поделиться на других сайтах

passer 67

Ссылка на сообщение

Поделиться на других сайтах

911 140

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 702

Ссылка на сообщение

Поделиться на других сайтах

foreverok 95

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

foreverok 95

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 702

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 702

Ссылка на сообщение

Поделиться на других сайтах

foreverok 95

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 702

Ссылка на сообщение

Поделиться на других сайтах

911 140

Ссылка на сообщение

Поделиться на других сайтах

KaYot 3 702

Ссылка на сообщение

Поделиться на других сайтах

911 140

Ссылка на сообщение

Поделиться на других сайтах

ttttt 195

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

Поделиться на других сайтах

911 140

Ссылка на сообщение

Поделиться на других сайтах

fet4 46

Ссылка на сообщение

KaYot 3 702

KaYot 3 702

KaYot 3 702

KaYot 3 702

KaYot 3 702

KaYot 3 702