Падает сервер

[outsourcing.you 0]

Добрий день.

 

Столкнулись с проблемой не понятной, и хотелось би услишать какойта совет, с чем ето может бить связано.

 

Есть 2 сервера с едентичними системами linux (Debian 8), на обоих стоит accel-ppp для терминации pppoe.

В правилах firewall только нат и блокирования при негативном депозите.

 

Проблема:

 

1 сервер падает раз в неделю в 5 дней, перед етим он падал реже раз 1 месяц. 

 

На обоих серверах стоят одинаковие сетевие intel et.

 

Что делалось:

 

На 1 сервере поменяли полностю железо 2 раза так как думали что причина в ньом. 

 

В логе падения сначяла ничего небило. 

 

Потом пару раз появлялось сообщение о проблемах IRQ.

 

Единственное отличие между серверами ето то что на 1 есть пользователи с реальними ip адресами. 

 

Ситуация заводит в тупик из за того что машини идентични в настройках. 

 

Если кто стикался или имеет идеи буду рад услишать.

[Melanxolik 63]

Под словом падает может быть все что хочешь. Опишите детально как ведет себя система. Atop натравите на каждые 10 мин для начала. Чтобы видеть перед падением. Клава мыш работает?

[outsourcing.you 0]

По поводу atop да идея хорошая не подумал. Поставим. 
Зависает на гулхо. Только с кнопки помогает. 

Ничего там в поведенни нету особого. 
Падает когда есть нагрузка и когда нету. 
Нагрузка всегда нулевая. Один раз заметил перед падением реский рост нагрузки, после чего все служби отпали и сам сервер завис через 10 - 15 минут. 
В лог kernel panic пишет через раз, сегодня например он просто завис без единого слова в лог. 
Грешил на nf_conntrack но там всьо розширено hash увеличен.

Посмотрю ищьо через atop что там в конце его жизни происходит.

[outsourcing.you 0]

 

 

Под словом падает может быть все что хочешь

 

Согласен описано не сильно подробно. Извеняюсь по ходу того что буду споминать буду дописивать. 

[ValRevan 38]

хотелось би услишать какойта совет, с чем ето может бить связано

сначяла ничего небило.

идентични

стикался 

буду споминать

 

ИМХО малограмотным в стиле одно слово 2 АШИБКИИ лучше идти в гопы - мотороллы, и забыть про IT как про страшный сон

[Melanxolik 63]

В лог kernel panic пишет через раз

 

traceback?

[KaYot 3 708]

Если падает линукс на терминаторе тоннелей - обновите ядро, это первое что нужно было сделать.

[Disabled 129]

примерно похожая проблема , так и не победили.

[betatest 8]

если на сервере есть accel-ppp, то покажите ядро, версию акселя, конфиг акселя и правила iptables

а заодно чипсет материнки

Відредаговано 2016-11-10 11:24:22 betatest

[NiTr0 584]

откатиться на ядро 3.4 или 3.10 для начала (не знаю какое там на дебиане стоит), либо - обновитесь на 4.8.х... потом - убрать деинициализацию шейпера, и убрать sfq.

[outsourcing.you 0]

 

 

хотелось би услишать какойта совет, с чем ето может бить связано сначяла ничего небило. идентични стикался  буду споминать   ИМХО малограмотным в стиле одно слово 2 АШИБКИИ лучше идти в гопы - мотороллы, и забыть про IT как про страшный сон

 
Умники я смотрю уже пожаловали к нам.
 

 

 

В лог kernel panic пишет через раз

 

 

Да пишет через раз

 

Версия ядра:

Linux debian 3.16.0-4-amd64 #1 SMP Debian 3.16.36-1+deb8u2 (2016-10-19) x86_64 GNU/Linux

[modules]
#path=/usr/local/lib/accel-ppp
log_file
#log_tcp
#log_pgsql
pptp
pppoe
#l2tp
#auth_mschap_v2
#auth_mschap_v1
#auth_chap_md5
auth_pap
radius
#ippool
sigchld
pppd_compat
#shaper_tbf
#chap-secrets
shaper


[core]
log-error=/var/log/accel-ppp/core.log
thread-count=4

[ppp]
verbose=1
min-mtu=1000
mtu=1492
mru=1492
#ccp=0
#sid-case=upper
check-ip=1
single-session=deny
#mppe=require

[lcp]
echo-interval=30
echo-failure=3

[pptp]
echo-interval=30
verbose=1

[pppoe]
interface=re:eth2*
#interface=vlan2
#interface=vlan3
#interface=vlan4
#ac-name=xxx
#service-name=yyy
pado-delay=1,-1:850
#pado-delay=0,100:100,200:200,-1:500
#ifname-in-sid=called-sid
#tr101=1
verbose=1

#[l2tp]
#dictionary=/usr/local/share/accel-ppp/l2tp/dictionary
#hello-interval=60
#timeout=60
#rtimeout=5
#retransmit=5
#host-name=accel-ppp
#verbose=1

[dns]
dns1=******
dns2=*******

[radius]
dictionary=/usr/local/share/accel-ppp/radius/dictionary
nas-identifier=accel-ppp
nas-ip-address=******
gw-ip-address=*****
auth-server=****
acct-server=****
dae-server=****
verbose=1
#timeout=5
max-try=99
acct-timeout=0
acct-delay-time=0

#[client-ip-range]
#192.168.0.0/24 #

#[ip-pool]
#gw-ip-address=192.168.0.1
#192.168.0.2-255
#192.168.1.1-255
#192.168.2.1-255
#192.168.3.1-255
#192.168.4.0/24

[log]
log-file=/var/log/accel-ppp/accel-ppp.log
log-emerg=/var/log/accel-ppp/emerg.log
log-fail-file=/var/log/accel-ppp/auth-fail.log
#log-debug=/dev/stdout
#log-tcp=127.0.0.1:3000
copy=1
#color=1
#per-user-dir=per_user
#per-session-dir=per_session
#per-session=1
level=3
#log-tcp=127.0.0.1:3000

#[log-pgsql]
#conninfo=user=log
#log-table=log

[pppd-compat]
#ip-pre-up=/etc/ppp/ip-pre-up
ip-up=/etc/ppp/ip-up.local
ip-down=/etc/ppp/ip-down.local
#ip-change=/etc/ppp/ip-change
radattr-prefix=/var/run/radattr
verbose=1

#[chap-secrets]
#gw-ip-address=192.168.100.1
#chap-secrets=/etc/ppp/chap-secrets

[tbf]
#attr=Filter-Id
#down-burst-factor=0.1
#up-burst-factor=1.0
#latency=50
attr-down=PPPD-Downstream-Speed-Limit
attr-up=PPPD-Upstream-Speed-Limit

[shaper]
#attr=Filter-Id
#attr-down=PPPD-Downstream-Speed-Limit
#attr-up=PPPD-Upstream-Speed-Limit
attr-down=PPPD-Upstream-Speed-Limit
attr-up=PPPD-Downstream-Speed-Limit
down-burst-factor=0.01
#up-burst-factor=1.0
#up-burst-factor=0.5
latency=5
#mpu=0
#r2q=30
#quantum=5000
#cburst=10000
ifb=ifb0
mtu=100000
up-limiter=policy
down-limiter=tbf
#leaf-qdisc=sfq perturb 10
verbose=1


[cli]
telnet=127.0.0.1:2000
password=*********
tcp=127.0.0.1:2001

iptables 

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  anywhere             *.*.*.*  match-set blacklist src
ACCEPT     all  --  anywhere             *.*.*.*  match-set blacklist src
ACCEPT     all  --  anywhere             10.10.10.1           match-set blacklist src
DROP       all  --  anywhere             anywhere             match-set blacklist src
ACCEPT     all  --  anywhere             anywhere             match-set allownet src
ACCEPT     all  --  anywhere             anywhere             match-set allownet dst
ACCEPT     all  --  anywhere             anywhere             match-set allowip src
ACCEPT     all  --  anywhere             anywhere             match-set allowip dst

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination         
DNAT       tcp  --  anywhere             snyatyn-14.dataline.net.ua  tcp dpt:8888 to:80.80.11.11:80
ACCEPT     all  --  anywhere             anywhere             match-set allownet src
ACCEPT     all  --  anywhere             anywhere             match-set allowip src

Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination         
SNAT       all  --  10.10.11.0/24        anywhere             to:*.*.*.*
SNAT       all  --  172.16.50.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.51.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.52.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.53.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.54.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.55.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.56.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.57.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.58.0/24       anywhere             to:*.*.*.*

Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро. 
Мать такая ASUSTeK COMPUTER INC F2A85-V
Перед етим стояла MSI не помню какая.

[outsourcing.you 0]

 

 

примерно похожая проблема , так и не победили.

B что дальше падает у вас сервер ? 

[NiTr0 584]

 

 

Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро.

ну нет так нет, дело ваше, ищите волшебное решение...

[outsourcing.you 0]

 

 

10 ноя 2016 - 1:58 PM outsourcing.you писал: Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро. ну нет так нет, дело ваше, ищите волшебное решение... 0 Ответить Цитата+ Пожаловаться

Да ето вариант.

Как идею тоже буду расматривать. 

[Ajar 92]

Может проблема банальная  - сбоит память ?

[outsourcing.you 0]

Била у меня такая проблема давно. Первим делом ейо проверял. 
Потому поменял 3 раза оперативу сняв с рабочих компов.

[betatest 8]

в accel-ppp.conf

[ppp]
verbose=1
min-mtu=1280
mtu=1420
mru=1420

в iptables

iptables -t mangle -A FORWARD -o ppp+ -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1360:65535 -j TCPMSS --clamp-mss-to-pmtu
iptables -t mangle -A FORWARD -i ppp+ -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1360:65535 -j TCPMSS --clamp-mss-to-pmtu

на сетевых tso/gso выключены

/etc/network/interfaces

# The primary network interface
auto eth0
allow-hotplug eth0
iface eth0 inet manual
pre-up ethtool -K eth0 rx on
pre-up ethtool -K eth0 tx on
pre-up ethtool -K eth0 sg on
pre-up ethtool -K eth0 tso off
pre-up ethtool -K eth0 ufo off
pre-up ethtool -K eth0 gso off
pre-up ethtool -K eth0 gro off
pre-up ethtool -K eth0 lro off
pre-up ethtool -K eth0 ntuple off
pre-up ethtool -K eth0 rxhash off

Відредаговано 2016-11-10 16:40:50 betatest

[NiTr0 584]

 

 

Может проблема банальная - сбоит память ?

на 3.14+ при отключении шейпера в if-down (удаление qdisc на ppp) с интервалом раз в пару недель происходили краши (они остались и на 4.1.х - убирание прибивания шейпера из if-down в if-up существенно стаилизировало брас, на 3.14 не пробовал). в 3.19+ добавились грабли с race condition в pppoe session termination (когда и демон, и ядро пытались прибить туннель по PADT - раньше это было, но деинициализация не была асинхронной и race condition не случался), которые вроде как подчистили в 4.8 (сам еще не пробовал).

 

на 3.2, 3.4 и 3.10 брасы вполне стабильны.

 

ну и да, неплохо бы на стэктрейс паники посмотреть, иначе - гадание на кофейной жиже...

[xnet.com.ua 20]

став freebsd і не буде траблів

[prototip 284]

Йо дети с флажками подтянулись ...  И шо  на  фре все кошерней ? 

[prototip 284]

Загадочные грабли акселя это реально и по моему  с осью тут особо мудрить ни к чему . 

[KaYot 3 708]

 

 

на 3.2, 3.4 и 3.10 брасы вполне стабильны.

 

Не морочь человека. Сказал же что "поставил паследнии ядро и смисла ставить другое нет", пусть железо меняет.

[NiTr0 584]

 

 

Загадочные грабли акселя это реально и по моему с осью тут особо мудрить ни к чему .

тут скорее спящие баги ядра, которых имеется достаточно, и которые вылазят в процессе рефакторинга ядра (там сейчас все активно пилится в сторону асинхронности).

[KaYot 3 708]

 

 

Загадочные грабли акселя это реально и по моему  с осью тут особо мудрить ни к чему . 

 

Accel - вполне себе userspace приложение, и вешать сервер он не может. Все подобные темы заканчиваются заменой железа или обновлением/откатом ядра.

[outsourcing.you 0]

Железо менял уже 2 раза. Freebsd до етого и там те же проблеми. 
Попробую поигратся с ядрами. 
И другими советами. 
Спасибо за совети и отзиви.