Jump to content
Local
Sign in to follow this  
kvirtu

Abills - чистика и оптимизация базы

Recommended Posts

всем привет !

Сегодня глянул базу, и офигел от ее размеров.

Почти весь размер базы занимают две таблицы: dv_log & errors.log

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

Таблицы я почистил (очистил) вручную командой: truncate

Кто как оптимизирует размеры базы ?

 

Share this post


Link to post
Share on other sites

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

Share this post


Link to post
Share on other sites

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

понял, но все же почему не пашет ?

DV_LOG_CLEAN_PERIOD

Share this post


Link to post
Share on other sites

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

Share this post


Link to post
Share on other sites

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

тоже придется руцями:

таблицу errors можно под ноль командой truncate errors.log

dv_log (к примеру) : DELETE FROM dv_log WHERE start < '2013-01-01 00:00:00';

Share this post


Link to post
Share on other sites

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

Share this post


Link to post
Share on other sites

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

Я так понимаю все эти фичи в ком. версии ???

Share this post


Link to post
Share on other sites

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

Share this post


Link to post
Share on other sites

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

Share this post


Link to post
Share on other sites

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

стандартная отмашка...

Share this post


Link to post
Share on other sites

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

Edited by Kto To

Share this post


Link to post
Share on other sites

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

 

Ну у нас такое было и в коммерческой. или ты не помнишь как у меня база падала от того что раздел переполнен ?:)

Share this post


Link to post
Share on other sites

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

 

Блин в точку, прямь в очёчко попал :) .

на днях обновился до СТАБИЛЬНОЙ версии 0.55 и на тебе: функция кредита или обещанного платежа уже как надо не отрабатывает  :facepalm: .

При установке в ЛК пользователем кредита не происходит перевод из статуса "Слишком маленький депозит" в "активно".

Edited by kvirtu

Share this post


Link to post
Share on other sites

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Edited by dimka88

Share this post


Link to post
Share on other sites

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

Share this post


Link to post
Share on other sites

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

Share this post


Link to post
Share on other sites

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

Edited by wantmore

Share this post


Link to post
Share on other sites

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

Share this post


Link to post
Share on other sites

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

Share this post


Link to post
Share on other sites

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

 

1 а подробней можно какая база переполняется ? у Вас тоже версия 5 летней давности ?

2 етсь период бесплатного сопровождения если он истёк извольте платить за работы.

 

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

 

 

 

а можно конкретней какие таблицы ?

Share this post


Link to post
Share on other sites

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

Share this post


Link to post
Share on other sites

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

Edited by maxx

Share this post


Link to post
Share on other sites

 

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

 

 

чиститься этот лог и оптимищзируется автоматически

 

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

 

 

спасибо но это уже очень давно поправлено лет так 5 назад

Share this post


Link to post
Share on other sites

ну скриптик чистки то есть, но он как всегда не пашет :) ,

darnet# ./mysql_clean.sh
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
ls: *-bin.0*: No such file or directory

И чё ему надо :facepalm:

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By MorS
      Здравствуйте! 1-го числа каждого месяца, видимо, из-за процесса закрытия учетного периода "падает" радиус сервер:
       
      May  1 00:00:15 billing kernel: [466821.810836] freeradius[15947]: segfault at 2012 ip 00007f7a9586f5da sp 00007f7a427fac60 error 4
      May  1 00:00:15 billing kernel: [466821.810849] freeradius[15991]: segfault at 2012 ip 00007f7a9586f5da sp 00007f7a1a7f2c60 error 4 in rlm_perl-2.2.6.so[7f7a9586c000+6000]
      May  1 00:00:15 billing kernel: [466821.811111]  in rlm_perl-2.2.6.so[7f7a9586c000+6000]
      May  1 00:00:15 billing kernel: [466821.812848]  in rlm_perl-2.2.6.so[7f7a9586c000+6000] in rlm_perl-2.2.6.so[7f7a9586c000+6000]
       
      Информация о системе:
      -  OC Debian-7.11.0 Linux  2.6.32-3-amd64
      - Версия биллинга ABillS 0.56b/20140807
      - freeradius: FreeRADIUS Version 2.2.6
      - mysqld  Ver 5.1.47-1
      - сервера доступа Mikrotik (12 шт.)
      - абонентов on-line на 1.05.2019 00:00:00 - 5570
      Большинство тарифных планов с помесячной абонентской платой, с распределением абонплаты, макс. время сессии - 65535 сек.
       
      Перезапуск радиуса вручную толку дает мало,система "приходит в себя" через несколько часов. Помогут ли следующее варианты решения проблемы:
      1 вариант 
      - выставить в параметрах сервера доступа !Session-Timeout=0,  макс. время сессии - 0 сек, отключить  в crontab (1    0  *  *  *  root   /usr/abills/libexec/periodic daily
      1    1  *  *  *  root   /usr/abills/libexec/periodic monthly)
      - 1-го числа каждого месяца (или каждые сутки?) воспользоваться программой autozh.pl и по очереди по одному насу переинициализировать сессии для сбора статистики.
       
      2 вариант
      В дополнении к первому пересобрать радиус на более свежий из второй ветки - 2.2.10. Возможно. проблема в нем. Плюс доработать скрипт, что следит за состоянием радиус-сервера (типа if [ -z "$(ps x | grep free[rad])" ]; then date >> /root/die.log;rm -f /var/run/freeradius/freeradius.pid;/etc/init.d/freeradius stop;/etc/init.d/freeradius start; fi)
       
      3 вариант
      В тарифных планах отказаться от месячной абонплаты  и настроить дневную абонентскую плату. В crontab оставить только periodic daily. Возможно это сделает нагрузку на биллинг более равномерной.
       
      4 вариант 
      Апгрейд биллинга до последней версии  - возможно модуль rlm_perl будет работать стабильнее. Интересует целесообразность и цена обновления.
       
      Возможно, у есть другие варианты, с удовольствием с ними ознакомлюсь.
      P.S. Может у кого есть autozh.pl для 0.5x версии биллинга? Скиньте, пожалуйста!
    • By ~AsmodeuS~
      Релиз ABillS Infinity 0.80
       
      ABillS Infinity
       
      Долгожданная open source версия биллинга ABillS 0.80! 
      Новые возможности, дополнения, исправления и улучшения выполнены в частности в  модулях:
       
      Internet+
      Поддержка Huawei ME60 Поддержка ZTE M6000 Добавлена фильтрация по меткам в Internet мониторинге Переход на следующий тарифный план со статусом “Недостаточно средств” Параметр игнорирования MAC-авторизации Поиск сессий по CPE_MAC  
      Equipment
      Поиск дублирующихся серийных номеров ONU Просмотр количества свободных и занятых ONU Сбор прошивок с оборудования Интеграция с GPON Eltex и OLT V-Solution Графики скорости пользователя в реальном времени Быстрый отчет по оборудованию Paysys
      Новые платежные системы E-Pul, Payme, Concord  
      Iptv
      Новые модули Microimpuls, Omega TV  
      Msgs
      Добавлен чат, нотификация сообщений в чате, глобальные оповещения Добавлены новые отчеты по сообщениям  
      Crm
      Автоматизированный расчет выплаты зарплат Добавлены нормы рабочего времени Работа с лидами — визуальное отображение воронки продаж  
      Storage
      Добавлена возможность перемещения товара со склада на склад Добавлены печатные формы Приходной накладной, Расходной накладной Добавлен фильтр по партии на складе  
      Добавлен docker контейнер с базовой конфигурацией Abills, v.0.80
      Скачать: https://sourceforge.net/projects/abills/files/abills/0.8/
      Автоустановка: http://abills.net.ua:8090/pages/viewpage.action?pageId=1278106
       
    • By Sweduk
      Здравствуйте.
      Возможно кто то испытывал такие же проблемы как у меня на сервере. 
      Каждые пол часа у всех абонентов пропадает интернет, при этом в роутерах значение IP адреса вместо назначенного DHCP сервером становится 0.0.0.0
      Если статически задать IP адрес абоненту,интернет работает стабильно.
      На сколько я знаю (настраивал не я) у нас стоит такая связка - ISC DHCP для ABillS.
      По какой причине могут отваливаться IP адреса у абонентов а затем через 3-5 минут они снова их получают и интернет возобнавляется и так циклично?
      В настройках сервера срок аренды адреса указан был изначально 300 сек,поменял на 600,ничего не дало.
    • By masters
      Стоит Abills (0.59) на Centos 6, и несколько НАСов на FreeBSD 11, mpd5.
      Белые IP распределяются динамически по протоколу RIP (на фре - quagga).
       
      Проблема в том, что когда у пользователя некорректно завершается PPPoE сессия (обрыв, роутер перегрузили), маршрут по RIP не подымается, соответственно интернета нет.
       
      Есть подозрение - что это происходит из-за того, что биллинг разрешает клиенту вторую сессию параллельно. Когда пользователь поднимает 2ю сессию, первая рубится - и соответственно, с ней Quagga дропает и маршрут. Если потом завершить сессию корректно, то маршрут подымается и работает нормально.
       
      Есть ли возможность запретить поднимать вторую сессию? Пусть например пользователь ждет пока не выйдет таймаут, и первая не дропнется.
    • By inspire_871
      Здравствуйте. Столкнулись с проблемой создания списка  улиц по районам города. Имеется 4 района в городе, в каждом районе около 300 улиц. Может кто подскажет какой сервис или как вытянуть из гугл, яндекс карт улицы конкретного района. Уж больно не хочется каждую улицу прописывать ручками
×