Стал зависать Stargazer

jethash · 10 грудня, 2013

Добрый вечер форумчане!

С сегодняшнего утра сабж стал вести себя некорректно. Проработал без нареканий почти два месяца, я о нем и забыл уже

Сначала думал, что Ubilling после обновления как-то некорректно с ним работает - оказалось, что не в нем причина. Он просто перестает откликаться на запросы биллинга. При попытке корректно его заглушить в логах стопорится на "Module: 'CAP_NF v. 0.4'. Stop successfull." и остается висеть в процессах в состоянии 'nanslp'. После перезагрузки сервера проработал несколько часов в нормальном режиме, все работало как и должно быть, а потом снова завис. В остальном в логах все ОК, кроме записей о том, что не может записать статистику для юзера. Не знаю пока куда копать, может сталкивался кто-нибудь с такой проблемой?

madf · 11 грудня, 2013

"В остальном в логах все ОК, кроме записей о том, что не может записать статистику для юзера." — т.е. то что у вас навернулась БД это ОК?

jethash · 11 грудня, 2013

Конечно не ОК, но, скажу честно, я не обращал внимание на эту ошибку, думал разберусь после со статистикой (все тарифы анлимы), главное финансы. Финансовая часть и таривы работали, НАСы заводились, ANALYZE TABLE и CHECK TABLE не ругаются. Это-то меня и смутило. Спасибо, что подсказали куда копать. Буду бэкапить и дам старгейзеру возможность пересоздать свои таблицы самому.

jethash · 11 грудня, 2013

Вот сейчас сделал изменеия и получил:

2013-12-11 09:54:23 -- Admin 'admin', 127.0.0.1: User '00062': 'tariff' parameter changed from '5Unlim' to '2Unlim'. 
2013-12-11 09:54:33 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '0' to '1'. 
2013-12-11 09:54:39 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '1' to '0'. 
2013-12-11 09:55:10 -- Admin 'admin', 127.0.0.1: User '00062': 'tariff' parameter changed from '2Unlim' to '5Unlim'. 
2013-12-11 09:55:20 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '0' to '1'. 
2013-12-11 09:55:26 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '1' to '0'.

madf скажите, а ошибка со статистикой связана только с таблицей stat или цепляет и таблицу users? У меня дока 2011 года и там ERD схема только для firebird. На этом ресурсе http://stg.dp.ua/doc20/db_descr.html документ заканчивается загадочным словом "Если"

madf · 11 грудня, 2013

Вот сейчас сделал изменеия и получил:
2013-12-11 09:54:23 -- Admin 'admin', 127.0.0.1: User '00062': 'tariff' parameter changed from '5Unlim' to '2Unlim'. 
2013-12-11 09:54:33 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '0' to '1'. 
2013-12-11 09:54:39 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '1' to '0'. 
2013-12-11 09:55:10 -- Admin 'admin', 127.0.0.1: User '00062': 'tariff' parameter changed from '2Unlim' to '5Unlim'. 
2013-12-11 09:55:20 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '0' to '1'. 
2013-12-11 09:55:26 -- Admin 'admin', 127.0.0.1: User '00062': 'disabled' parameter changed from '1' to '0'.
madf скажите, а ошибка со статистикой связана только с таблицей stat или цепляет и таблицу users? У меня дока 2011 года и там ERD схема только для firebird. На этом ресурсе http://stg.dp.ua/doc20/db_descr.html документ заканчивается загадочным словом "Если"

Исходя из того что у вас Ubilling, используемая СУБД - MySQL. Она не имеет ничего общего с ERD для PostgreSQL. Там своя крышесносящая и мозговыносящая схема. Приведенная ссылка вообще относится к Stargazer версии 2.0, т.е. имеет разве что музейную ценность.

Если в сообщении об ошибке говорится о невозможности записать статистику то она относится только к таблицам со статистикой.

yKpon · 12 грудня, 2013

для чего дёргаете disabled? если чтобы тариф сразу вступил в силу есть опция ReconnectOnTariffChange = yes в конфиге stg

Відредаговано 12 грудня, 2013 yKpon

nightfly · 12 грудня, 2013

для чего дёргаете disabled? если чтобы тариф сразу вступил в силу есть опция ReconnectOnTariffChange = yes в конфиге stg

Эта опция покрывает только частные случаи, типа изменений тарифа "со следующего месяца".

Есть еще изменения айпишек, маков, сервисов, оверрайдов скоростей и прочих вещей которые возникают в процесе експлуатации. Для всех них дергается штатный $billing->reset() выполняющий таким незатейливым способом реинициализацию пользователя (есть еще опция заменяющая disabled на AlwaysOnline).

felixio_01 · 2 листопада, 2014

Доброе время суток!

Не стал открывать новую тему, пишу сюда.

С недавних пор стал вылетать процесс stargazer (в процессах остаются висеть stg-exec, самого процесса stargazer нет). Примерно раз в неделю. Раньше проблем таких не припоминаю - всё работало стабильно.

Стало это случаться после того как запустил удалённый NAS, - до этого всё крутилось на одном сервере.

В логах единственное что нашёл (на основном сервере, где крутиться stargazer):

Nov 2 18:00:10 gw1 kernel: [9340000.611965] stargazer[12820]: segfault at 8c ip b614eb59 sp b37fe990 error 4 in mod_remote_script.so[b6139000+2c000]

система Debian (да, да - эти наши линуксы)

Linux gw1 2.6.32-5-686-bigmem #1 SMP Sun May 6 04:39:05 UTC 2012 i686 GNU/Linux

на NAS

Linux gw3 3.2.0-4-amd64 #1 SMP Debian 3.2.51-1 x86_64 GNU/Linux

Помогите советом!

madf · 2 листопада, 2014

Что последнее в логе?

felixio_01 · 2 листопада, 2014

В логах stargazer ничего подозрительного нет. В логах сервера (/var/log/kern.log) единственное что нашёл в момент падения:

Nov 2 18:00:10 gw1 kernel: [9340000.611965] stargazer[12820]: segfault at 8c ip b614eb59 sp b37fe990 error 4 in mod_remote_script.so[b6139000+2c000]

Если нужно содержимое каких-либо конфигов и т.д. могу выложить.

Відредаговано 2 листопада, 2014 felixio_01

felixio_01 · 2 листопада, 2014

вот кусок лога (allconnect.log) в этот период

2014.11.02 17:55:02 DISCONNECT: ID-965;LOGIN-h40let21ap0_0152;IP-15.15.1.48;CASH-0.000000

2014.11.02 17:55:02 CONNECT: ID-965;LOGIN-h40let21ap0_0152;IP-15.15.1.48;CASH-0.000000;SPEED-8192;UPSPEED-8192,MAC-00:30:67:47:1d:46

2014.11.02 17:57:09 DISCONNECT: ID-962;LOGIN-hlen36ap1_9iiu;IP-15.15.0.3;CASH-0.000000

2014.11.02 18:11:38 CONNECT: ID-964;LOGIN-sovetskaya8_52;IP-10.255.2.2;CASH-55.000000;SPEED-20000;UPSPEED-20000,MAC-f4:6d:04:1d:35:a6 (это уже, получается, после перезапуска stargazer)

кусок лога stargazer.log

2014-11-02 17:55:49 -- Admin 'admin', 127.0.0.1: User 'h40let21ap0_0152': 'cash' parameter changed from '0.000000' to '100.000000'.

2014-11-02 17:57:09 -- Admin 'admin', 127.0.0.1: User 'hlen36ap1_9iiu' deleted.

2014-11-02 18:11:37 -- Stg v. 2.408

2014-11-02 18:11:37 -- Message queue created successfully. msgKey=5555 msgID=458752

2014-11-02 18:11:37 -- Timer thread started successfully.

2014-11-02 18:11:37 -- Storage plugin: mysql_store v.0.67. Loading successfull.

2014-11-02 18:11:37 -- Users started successfully.

2014-11-02 18:11:37 -- Traffcounter started successfully.

2014-11-02 18:11:37 -- Module: 'Pinger v.1.01'. Start successfull.

2014-11-02 18:11:37 -- Module: 'Remote script v 0.3'. Start successfull.

2014-11-02 18:11:37 -- Module: 'Stg configurator v.0.08'. Start successfull.

2014-11-02 18:11:38 -- Module: 'Always Online authorizator v.1.0'. Start successfull.

2014-11-02 18:11:38 -- Module: 'InetAccess authorization plugin v.1.4'. Start successfull.

2014-11-02 18:11:38 -- Module: 'CAP_NF v. 0.4'. Start successfull.

2014-11-02 18:11:38 -- Stg started successfully.

2014-11-02 18:11:38 -- +++++++++++++++++++++++++++++++++++++++++++++

Відредаговано 2 листопада, 2014 felixio_01

madf · 3 листопада, 2014

Значит надо собирать в отладочном режиме и запускать из-под gdb.

felixio_01 · 3 листопада, 2014

забыл указать версию stg-2.408

мне нужно будет пересобрать stargazer с ключиком debug?

это сервер с примерно 400 абонентами. В отладочном режиме stargazer работает также, только логов больше? т.е. как это отразиться на работе абонентов?

nightfly · 3 листопада, 2014

мне нужно будет пересобрать stargazer с ключиком debug?

да

+ не забудьте сделать предварительно cp -R /etc/stargazer /etc/stargazer_bak

В отладочном режиме stargazer работает также, только логов больше?

на таких объемах - приблизительно так же.

т.е. как это отразиться на работе абонентов?

В вашем случае - скорее всего никак. Энивей при такой абонбазе в случай чего можно в радиусе минуты откатиться на нормальную сборку (не забываем бекапить /etc/stargazer)

По идее install-bin должен все нормально ставить, но помниться с дебаг сборками там в свое время был какой-то ньюанс.

madf · 3 листопада, 2014

Да, вместо install-bin нужно руками раскидать: stargazer в /usr/sbin/stargazer, .so-файлы в /usr/lib/stg/

felixio_01 · 4 листопада, 2014

последовательность действий следующая:

делаем бекапчик

sudo cp -R /etc/stargazer /etc/stargazer_bak

собрать Stargazer в отладочном режиме (находимся в папке stg-2.408/projects/stargazer/):

sudo ./build debug

после этого собираем

sudo make install

копируем ручками файлики

sudo cp stargazer /usr/sbin/stargazer
sudo cp ../../lib/* /usr/lib/stg/
sudo cp modules/* /usr/lib/stg/

устанавливаем gdb, и потом из под него запускаем stargazer

sudo gdb /usr/sbin/stargazer

и ждать падения stargazer?

поправьте плиз, если что то упустил.

madf · 4 листопада, 2014

последовательность действий следующая:

делаем бекапчик

sudo cp -R /etc/stargazer /etc/stargazer_bak

собрать Stargazer в отладочном режиме (находимся в папке stg-2.408/[/size]projects/stargazer/[/size]):
sudo ./build debug

Можно без sudo.

после этого собираем
sudo make install

Без install, просто make. И можно без sudo.

копируем ручками файлики
sudo cp stargazer /usr/sbin/stargazer
sudo cp ../../lib/* /usr/lib/stg/
sudo cp modules/* /usr/lib/stg/

Библиотеки можно не копировать, cp ../../lib не нужно.

устанавливаем gdb, и потом из под него запускаем stargazer

sudo gdb /usr/sbin/stargazer

После этой команды откроется консоль gdb. Там надо выполнить:

r /etc/stargazer

и ждать падения stargazer?

поправьте плиз, если что то упустил.

После падения делаем thread apply all bt и выхлоп мне (сюда или на почту faust@stg.dp.ua).

felixio_01 · 10 листопада, 2014

ещё один нюанс, который заметил сегодня (опять упал stargazer). Падает stargazer когда удаляешь абонента через в Ubilling "Чёрная магия"->"Удаление пользователя"

P.S. stargazer пока не пересобрал, лень ночью выходить... днём абонентиГи скушают ))) Но на днях всё же решусь.

nightfly · 10 листопада, 2014

Две минуты на переборку там ;(

felixio_01 · 10 листопада, 2014

это то понятно... только абоненты у нас мотёрые, с вилами могут прийти ))) шучу шучу...

Вот сегодня: удалил абонента, пока возился в биллинге, случайно обнаружил что в процессах нет stargazer, прошло буквально несколько минут... уже несколько человек прозвонили в абонотдел. поэтому нужно выходить ночью - типа на выполнение профработ, типа когда они (абоненты) не бдят )))...

Увійти

Стал зависать Stargazer

Рекомендованные сообщения

jethash

madf

jethash

jethash

madf

yKpon

nightfly

felixio_01

madf

felixio_01

felixio_01

madf

felixio_01

nightfly

madf

felixio_01

madf

felixio_01

nightfly

felixio_01

Создайте аккаунт или войдите в него для комментирования

Создать аккаунт

Вхід

Зараз на сторінці 0 користувачів

Схожий контент

IP-адреса стали принадлежать временно оккупированному городу

Спільнота

Активність