Падает сервер

outsourcing.you · November 10, 2016 at 05:56 AM

Добрий день.

Столкнулись с проблемой не понятной, и хотелось би услишать какойта совет, с чем ето может бить связано.

Есть 2 сервера с едентичними системами linux (Debian 8), на обоих стоит accel-ppp для терминации pppoe.

В правилах firewall только нат и блокирования при негативном депозите.

Проблема:

1 сервер падает раз в неделю в 5 дней, перед етим он падал реже раз 1 месяц.

На обоих серверах стоят одинаковие сетевие intel et.

Что делалось:

На 1 сервере поменяли полностю железо 2 раза так как думали что причина в ньом.

В логе падения сначяла ничего небило.

Потом пару раз появлялось сообщение о проблемах IRQ.

Единственное отличие между серверами ето то что на 1 есть пользователи с реальними ip адресами.

Ситуация заводит в тупик из за того что машини идентични в настройках.

Если кто стикался или имеет идеи буду рад услишать.

Melanxolik · November 10, 2016 at 06:09 AM

Под словом падает может быть все что хочешь. Опишите детально как ведет себя система. Atop натравите на каждые 10 мин для начала. Чтобы видеть перед падением. Клава мыш работает?

outsourcing.you · November 10, 2016 at 06:20 AM

По поводу atop да идея хорошая не подумал. Поставим.
Зависает на гулхо. Только с кнопки помогает.

Ничего там в поведенни нету особого.
Падает когда есть нагрузка и когда нету.
Нагрузка всегда нулевая. Один раз заметил перед падением реский рост нагрузки, после чего все служби отпали и сам сервер завис через 10 - 15 минут.
В лог kernel panic пишет через раз, сегодня например он просто завис без единого слова в лог.
Грешил на nf_conntrack но там всьо розширено hash увеличен.

Посмотрю ищьо через atop что там в конце его жизни происходит.

outsourcing.you · November 10, 2016 at 06:23 AM

Под словом падает может быть все что хочешь

Согласен описано не сильно подробно. Извеняюсь по ходу того что буду споминать буду дописивать.

ValRevan · November 10, 2016 at 10:40 AM

хотелось би услишать какойта совет, с чем ето может бить связано

сначяла ничего небило.

идентични

стикался

буду споминать

ИМХО малограмотным в стиле одно слово 2 АШИБКИИ лучше идти в гопы - мотороллы, и забыть про IT как про страшный сон

Melanxolik · November 10, 2016 at 10:53 AM

В лог kernel panic пишет через раз

traceback?

KaYot · November 10, 2016 at 10:58 AM

Если падает линукс на терминаторе тоннелей - обновите ядро, это первое что нужно было сделать.

Disabled · November 10, 2016 at 11:13 AM

примерно похожая проблема , так и не победили.

betatest · November 10, 2016 at 11:23 AM

если на сервере есть accel-ppp, то покажите ядро, версию акселя, конфиг акселя и правила iptables

а заодно чипсет материнки

Edited November 10, 2016 at 11:24 AM by betatest

NiTr0 · November 10, 2016 at 11:27 AM

откатиться на ядро 3.4 или 3.10 для начала (не знаю какое там на дебиане стоит), либо - обновитесь на 4.8.х... потом - убрать деинициализацию шейпера, и убрать sfq.

outsourcing.you · November 10, 2016 at 11:58 AM

хотелось би услишать какойта совет, с чем ето может бить связано сначяла ничего небило. идентични стикался буду споминать ИМХО малограмотным в стиле одно слово 2 АШИБКИИ лучше идти в гопы - мотороллы, и забыть про IT как про страшный сон

Умники я смотрю уже пожаловали к нам.

В лог kernel panic пишет через раз

Да пишет через раз

Версия ядра:

Linux debian 3.16.0-4-amd64 #1 SMP Debian 3.16.36-1+deb8u2 (2016-10-19) x86_64 GNU/Linux

[modules]
#path=/usr/local/lib/accel-ppp
log_file
#log_tcp
#log_pgsql
pptp
pppoe
#l2tp
#auth_mschap_v2
#auth_mschap_v1
#auth_chap_md5
auth_pap
radius
#ippool
sigchld
pppd_compat
#shaper_tbf
#chap-secrets
shaper


[core]
log-error=/var/log/accel-ppp/core.log
thread-count=4

[ppp]
verbose=1
min-mtu=1000
mtu=1492
mru=1492
#ccp=0
#sid-case=upper
check-ip=1
single-session=deny
#mppe=require

[lcp]
echo-interval=30
echo-failure=3

[pptp]
echo-interval=30
verbose=1

[pppoe]
interface=re:eth2*
#interface=vlan2
#interface=vlan3
#interface=vlan4
#ac-name=xxx
#service-name=yyy
pado-delay=1,-1:850
#pado-delay=0,100:100,200:200,-1:500
#ifname-in-sid=called-sid
#tr101=1
verbose=1

#[l2tp]
#dictionary=/usr/local/share/accel-ppp/l2tp/dictionary
#hello-interval=60
#timeout=60
#rtimeout=5
#retransmit=5
#host-name=accel-ppp
#verbose=1

[dns]
dns1=******
dns2=*******

[radius]
dictionary=/usr/local/share/accel-ppp/radius/dictionary
nas-identifier=accel-ppp
nas-ip-address=******
gw-ip-address=*****
auth-server=****
acct-server=****
dae-server=****
verbose=1
#timeout=5
max-try=99
acct-timeout=0
acct-delay-time=0

#[client-ip-range]
#192.168.0.0/24 #

#[ip-pool]
#gw-ip-address=192.168.0.1
#192.168.0.2-255
#192.168.1.1-255
#192.168.2.1-255
#192.168.3.1-255
#192.168.4.0/24

[log]
log-file=/var/log/accel-ppp/accel-ppp.log
log-emerg=/var/log/accel-ppp/emerg.log
log-fail-file=/var/log/accel-ppp/auth-fail.log
#log-debug=/dev/stdout
#log-tcp=127.0.0.1:3000
copy=1
#color=1
#per-user-dir=per_user
#per-session-dir=per_session
#per-session=1
level=3
#log-tcp=127.0.0.1:3000

#[log-pgsql]
#conninfo=user=log
#log-table=log

[pppd-compat]
#ip-pre-up=/etc/ppp/ip-pre-up
ip-up=/etc/ppp/ip-up.local
ip-down=/etc/ppp/ip-down.local
#ip-change=/etc/ppp/ip-change
radattr-prefix=/var/run/radattr
verbose=1

#[chap-secrets]
#gw-ip-address=192.168.100.1
#chap-secrets=/etc/ppp/chap-secrets

[tbf]
#attr=Filter-Id
#down-burst-factor=0.1
#up-burst-factor=1.0
#latency=50
attr-down=PPPD-Downstream-Speed-Limit
attr-up=PPPD-Upstream-Speed-Limit

[shaper]
#attr=Filter-Id
#attr-down=PPPD-Downstream-Speed-Limit
#attr-up=PPPD-Upstream-Speed-Limit
attr-down=PPPD-Upstream-Speed-Limit
attr-up=PPPD-Downstream-Speed-Limit
down-burst-factor=0.01
#up-burst-factor=1.0
#up-burst-factor=0.5
latency=5
#mpu=0
#r2q=30
#quantum=5000
#cburst=10000
ifb=ifb0
mtu=100000
up-limiter=policy
down-limiter=tbf
#leaf-qdisc=sfq perturb 10
verbose=1


[cli]
telnet=127.0.0.1:2000
password=*********
tcp=127.0.0.1:2001

iptables

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         
ACCEPT     all  --  anywhere             *.*.*.*  match-set blacklist src
ACCEPT     all  --  anywhere             *.*.*.*  match-set blacklist src
ACCEPT     all  --  anywhere             10.10.10.1           match-set blacklist src
DROP       all  --  anywhere             anywhere             match-set blacklist src
ACCEPT     all  --  anywhere             anywhere             match-set allownet src
ACCEPT     all  --  anywhere             anywhere             match-set allownet dst
ACCEPT     all  --  anywhere             anywhere             match-set allowip src
ACCEPT     all  --  anywhere             anywhere             match-set allowip dst

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination         
DNAT       tcp  --  anywhere             snyatyn-14.dataline.net.ua  tcp dpt:8888 to:80.80.11.11:80
ACCEPT     all  --  anywhere             anywhere             match-set allownet src
ACCEPT     all  --  anywhere             anywhere             match-set allowip src

Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         

Chain POSTROUTING (policy ACCEPT)
target     prot opt source               destination         
SNAT       all  --  10.10.11.0/24        anywhere             to:*.*.*.*
SNAT       all  --  172.16.50.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.51.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.52.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.53.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.54.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.55.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.56.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.57.0/24       anywhere             to:*.*.*.*
SNAT       all  --  172.16.58.0/24       anywhere             to:*.*.*.*

Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро.
Мать такая ASUSTeK COMPUTER INC F2A85-V
Перед етим стояла MSI не помню какая.

outsourcing.you · November 10, 2016 at 12:00 PM

примерно похожая проблема , так и не победили.

B что дальше падает у вас сервер ?

NiTr0 · November 10, 2016 at 12:02 PM

Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро.

ну нет так нет, дело ваше, ищите волшебное решение...

outsourcing.you · November 10, 2016 at 12:04 PM

10 ноя 2016 - 1:58 PM outsourcing.you писал: Ядро обновил до последнего актуального что есть в DEbian смисла ставить другое так как на втором сервере стоит такое же ядро. ну нет так нет, дело ваше, ищите волшебное решение... 0 Ответить Цитата+ Пожаловаться

Да ето вариант.

Как идею тоже буду расматривать.

Ajar · November 10, 2016 at 12:43 PM

Может проблема банальная - сбоит память ?

outsourcing.you · November 10, 2016 at 12:49 PM

Била у меня такая проблема давно. Первим делом ейо проверял.
Потому поменял 3 раза оперативу сняв с рабочих компов.

betatest · November 10, 2016 at 04:38 PM

в accel-ppp.conf

[ppp]
verbose=1
min-mtu=1280
mtu=1420
mru=1420

в iptables

iptables -t mangle -A FORWARD -o ppp+ -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1360:65535 -j TCPMSS --clamp-mss-to-pmtu
iptables -t mangle -A FORWARD -i ppp+ -p tcp -m tcp --tcp-flags SYN,RST SYN -m tcpmss --mss 1360:65535 -j TCPMSS --clamp-mss-to-pmtu

на сетевых tso/gso выключены

/etc/network/interfaces

# The primary network interface
auto eth0
allow-hotplug eth0
iface eth0 inet manual
pre-up ethtool -K eth0 rx on
pre-up ethtool -K eth0 tx on
pre-up ethtool -K eth0 sg on
pre-up ethtool -K eth0 tso off
pre-up ethtool -K eth0 ufo off
pre-up ethtool -K eth0 gso off
pre-up ethtool -K eth0 gro off
pre-up ethtool -K eth0 lro off
pre-up ethtool -K eth0 ntuple off
pre-up ethtool -K eth0 rxhash off

Edited November 10, 2016 at 04:40 PM by betatest

NiTr0 · November 10, 2016 at 05:53 PM

Может проблема банальная - сбоит память ?

на 3.14+ при отключении шейпера в if-down (удаление qdisc на ppp) с интервалом раз в пару недель происходили краши (они остались и на 4.1.х - убирание прибивания шейпера из if-down в if-up существенно стаилизировало брас, на 3.14 не пробовал). в 3.19+ добавились грабли с race condition в pppoe session termination (когда и демон, и ядро пытались прибить туннель по PADT - раньше это было, но деинициализация не была асинхронной и race condition не случался), которые вроде как подчистили в 4.8 (сам еще не пробовал).

на 3.2, 3.4 и 3.10 брасы вполне стабильны.

ну и да, неплохо бы на стэктрейс паники посмотреть, иначе - гадание на кофейной жиже...

xnet.com.ua · November 10, 2016 at 06:01 PM

став freebsd і не буде траблів

prototip · November 10, 2016 at 06:07 PM

Йо дети с флажками подтянулись ... И шо на фре все кошерней ?

prototip · November 10, 2016 at 06:08 PM

Загадочные грабли акселя это реально и по моему с осью тут особо мудрить ни к чему .

KaYot · November 10, 2016 at 06:12 PM

на 3.2, 3.4 и 3.10 брасы вполне стабильны.

Не морочь человека. Сказал же что "поставил паследнии ядро и смисла ставить другое нет", пусть железо меняет.

NiTr0 · November 10, 2016 at 07:05 PM

Загадочные грабли акселя это реально и по моему с осью тут особо мудрить ни к чему .

тут скорее спящие баги ядра, которых имеется достаточно, и которые вылазят в процессе рефакторинга ядра (там сейчас все активно пилится в сторону асинхронности).

KaYot · November 10, 2016 at 07:39 PM

Загадочные грабли акселя это реально и по моему с осью тут особо мудрить ни к чему .

Accel - вполне себе userspace приложение, и вешать сервер он не может. Все подобные темы заканчиваются заменой железа или обновлением/откатом ядра.

outsourcing.you · November 11, 2016 at 08:45 AM

Железо менял уже 2 раза. Freebsd до етого и там те же проблеми.
Попробую поигратся с ядрами.
И другими советами.
Спасибо за совети и отзиви.

Sign In

Падает сервер

Recommended Posts

outsourcing.you

Melanxolik

outsourcing.you

outsourcing.you

ValRevan

Melanxolik

KaYot

Disabled

betatest

NiTr0

outsourcing.you

outsourcing.you

NiTr0

outsourcing.you

Ajar

outsourcing.you

betatest

NiTr0

xnet.com.ua

prototip

prototip

KaYot

NiTr0

KaYot

outsourcing.you

Create an account or sign in to comment

Create an account

Sign in

Recently Browsing 0 members

Similar Content

Продам сервера Dell

Продам Сервер HP Proliant DL360 Gen10 (G10)

vps Q-DC — аренда выделенных серверов от €85, VPS/VDS и NVMe-хостинг

Продам Сервер HP Proliant DL 560 G9 (8x2.5) SFF 4*4669V3 512GB NOSSD

Сервера HP DL560 DL360 DL380e DL380p Gen6 Gen8 SuperMicro 6017 r-wrf 6 000

Browse

Activity