Перейти к содержимому
Local
kvirtu

Abills - чистика и оптимизация базы

Рекомендованные сообщения

всем привет !

Сегодня глянул базу, и офигел от ее размеров.

Почти весь размер базы занимают две таблицы: dv_log & errors.log

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

Таблицы я почистил (очистил) вручную командой: truncate

Кто как оптимизирует размеры базы ?

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

понял, но все же почему не пашет ?

DV_LOG_CLEAN_PERIOD

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

тоже придется руцями:

таблицу errors можно под ноль командой truncate errors.log

dv_log (к примеру) : DELETE FROM dv_log WHERE start < '2013-01-01 00:00:00';

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

DELETE FROM `abills`.`errors_log`;

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

Я так понимаю все эти фичи в ком. версии ???

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

стандартная отмашка...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

Изменено пользователем Kto To

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

 

Ну у нас такое было и в коммерческой. или ты не помнишь как у меня база падала от того что раздел переполнен ?:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny :)

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить" :)

 

Блин в точку, прямь в очёчко попал :) .

на днях обновился до СТАБИЛЬНОЙ версии 0.55 и на тебе: функция кредита или обещанного платежа уже как надо не отрабатывает  :facepalm: .

При установке в ЛК пользователем кредита не происходит перевод из статуса "Слишком маленький депозит" в "активно".

Изменено пользователем kvirtu

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Изменено пользователем dimka88

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

Изменено пользователем wantmore

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

 

1 а подробней можно какая база переполняется ? у Вас тоже версия 5 летней давности ?

2 етсь период бесплатного сопровождения если он истёк извольте платить за работы.

 

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

 

 

 

а можно конкретней какие таблицы ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

Изменено пользователем maxx

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

 

 

чиститься этот лог и оптимищзируется автоматически

 

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

 

 

спасибо но это уже очень давно поправлено лет так 5 назад

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ну скриптик чистки то есть, но он как всегда не пашет :) ,

darnet# ./mysql_clean.sh
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
ls: *-bin.0*: No such file or directory

И чё ему надо :facepalm:

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.

Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу.

  • Похожие публикации

    • Автор: ~AsmodeuS~
      Релиз ABillS Infinity 0.80
       
      ABillS Infinity
       
      Долгожданная open source версия биллинга ABillS 0.80! 
      Новые возможности, дополнения, исправления и улучшения выполнены в частности в  модулях:
       
      Internet+
      Поддержка Huawei ME60 Поддержка ZTE M6000 Добавлена фильтрация по меткам в Internet мониторинге Переход на следующий тарифный план со статусом “Недостаточно средств” Параметр игнорирования MAC-авторизации Поиск сессий по CPE_MAC  
      Equipment
      Поиск дублирующихся серийных номеров ONU Просмотр количества свободных и занятых ONU Сбор прошивок с оборудования Интеграция с GPON Eltex и OLT V-Solution Графики скорости пользователя в реальном времени Быстрый отчет по оборудованию Paysys
      Новые платежные системы E-Pul, Payme, Concord  
      Iptv
      Новые модули Microimpuls, Omega TV  
      Msgs
      Добавлен чат, нотификация сообщений в чате, глобальные оповещения Добавлены новые отчеты по сообщениям  
      Crm
      Автоматизированный расчет выплаты зарплат Добавлены нормы рабочего времени Работа с лидами — визуальное отображение воронки продаж  
      Storage
      Добавлена возможность перемещения товара со склада на склад Добавлены печатные формы Приходной накладной, Расходной накладной Добавлен фильтр по партии на складе  
      Добавлен docker контейнер с базовой конфигурацией Abills, v.0.80
      Скачать: https://sourceforge.net/projects/abills/files/abills/0.8/
      Автоустановка: http://abills.net.ua:8090/pages/viewpage.action?pageId=1278106
       
    • Автор: Sweduk
      Здравствуйте.
      Возможно кто то испытывал такие же проблемы как у меня на сервере. 
      Каждые пол часа у всех абонентов пропадает интернет, при этом в роутерах значение IP адреса вместо назначенного DHCP сервером становится 0.0.0.0
      Если статически задать IP адрес абоненту,интернет работает стабильно.
      На сколько я знаю (настраивал не я) у нас стоит такая связка - ISC DHCP для ABillS.
      По какой причине могут отваливаться IP адреса у абонентов а затем через 3-5 минут они снова их получают и интернет возобнавляется и так циклично?
      В настройках сервера срок аренды адреса указан был изначально 300 сек,поменял на 600,ничего не дало.
    • Автор: masters
      Стоит Abills (0.59) на Centos 6, и несколько НАСов на FreeBSD 11, mpd5.
      Белые IP распределяются динамически по протоколу RIP (на фре - quagga).
       
      Проблема в том, что когда у пользователя некорректно завершается PPPoE сессия (обрыв, роутер перегрузили), маршрут по RIP не подымается, соответственно интернета нет.
       
      Есть подозрение - что это происходит из-за того, что биллинг разрешает клиенту вторую сессию параллельно. Когда пользователь поднимает 2ю сессию, первая рубится - и соответственно, с ней Quagga дропает и маршрут. Если потом завершить сессию корректно, то маршрут подымается и работает нормально.
       
      Есть ли возможность запретить поднимать вторую сессию? Пусть например пользователь ждет пока не выйдет таймаут, и первая не дропнется.
    • Автор: inspire_871
      Здравствуйте. Столкнулись с проблемой создания списка  улиц по районам города. Имеется 4 района в городе, в каждом районе около 300 улиц. Может кто подскажет какой сервис или как вытянуть из гугл, яндекс карт улицы конкретного района. Уж больно не хочется каждую улицу прописывать ручками
    • Автор: X_NU
      Добрый день.
      На нас сервер установил Freeradius 3.14 для модуля Freeradius-DHCP.
      Сделал автоконфигурацию:
      cd /usr/abills/misc/
      ./autoconf PROGRAMS=freeradius FREERADIUS=3
      Проверил данные в файле /usr/local/etc/raddb/mods-enabled/sql - все настройки из файла config.pl подтянулись.
      При запуске:
      radiusd -X 
      выдаёт ошибку:
      Could not link driver rlm_sql_mysql: Cannot open "/usr/local/lib/freeradius-3.0.14/rlm_sql_mysql.so" 
      Make sure it (and all its dependent libraries!) are in the search path of your system’s ld 
      /usr/local/etc/raddb/mods-enabled/sql[1]: Instantiation failed for module "sql"
      Что я делаю не так?
       
      В документации по настройке описана 2-я версия Freeradius:
      http://abills.net.ua/wiki/doku.php/abills:docs:modules:dhcphosts:freeradius_dhcp:ru?s[]=radius&s[]=dhcp
×