Abills - чистика и оптимизация базы

[kvirtu 315]

всем привет !

Сегодня глянул базу, и офигел от ее размеров.

Почти весь размер базы занимают две таблицы: dv_log & errors.log

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

Таблицы я почистил (очистил) вручную командой: truncate

Кто как оптимизирует размеры базы ?

 

[Abram 98]

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

[kvirtu 315]

Обычно никак. Пока измеряется гигабайтами (не десятками) - волноваться обычно не о чем.

понял, но все же почему не пашет ?

DV_LOG_CLEAN_PERIOD

[zulu_Radist 856]

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

[kvirtu 315]

наверное опция работает только в коммерческой версии, хз

у меня тоже не пашет, ручками чистим

тоже придется руцями:

таблицу errors можно под ноль командой truncate errors.log

dv_log (к примеру) : DELETE FROM dv_log WHERE start < '2013-01-01 00:00:00';

[Schultz 95]

DELETE FROM `abills`.`errors_log`;

[~AsmodeuS~ 34]

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

[kvirtu 315]

чиститься и оптимизируеться каждый день errors_log

раз в месяц бекапиться

 

остальніе таблиціможно почистить  утилитой clear_db.pl

Я так понимаю все эти фичи в ком. версии ???

[Kto To 602]

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

[~AsmodeuS~ 34]

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

дай бог догнать другим то что в бесплатной есть

[fastvd 62]

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

дай бог догнать другим то что в бесплатной есть

 

стандартная отмашка...

[Kto To 602]

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить"

Відредаговано 2014-06-04 18:47:19 Kto To

[maxx 202]

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить"

 

Ну у нас такое было и в коммерческой. или ты не помнишь как у меня база падала от того что раздел переполнен ?

[kvirtu 315]

 

 

Девиз абилса - "Это все в коммерческой версии"

 

Use nodeny

дай бог догнать другим то что в бесплатной есть

 

конечно - в бесплатной есть мелкие досадные глюки которых нет "в коммерческой версии" и которую "по счастливой случайности и всего за NNN$ сам АВТОР готов установить"

 

Блин в точку, прямь в очёчко попал .

на днях обновился до СТАБИЛЬНОЙ версии 0.55 и на тебе: функция кредита или обещанного платежа уже как надо не отрабатывает  .

При установке в ЛК пользователем кредита не происходит перевод из статуса "Слишком маленький депозит" в "активно".

Відредаговано 2014-06-04 18:56:45 kvirtu

[dimka88 19]

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Відредаговано 2014-06-04 18:57:25 dimka88

[kvirtu 315]

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

[maxx 202]

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

[wantmore 30]

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

Відредаговано 2014-06-04 20:07:03 wantmore

[Schultz 95]

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

[~AsmodeuS~ 34]

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

[~AsmodeuS~ 34]

Насчет того , что база не чистилась и логами все забивало, действительно такой баг есть коммерческой версии. Автор кстати взял деньги (!) за исправление бага(мол за поддержку). Ну и замечание о том , что все платно(исправление косяков коммерческой версии) это правда. 

 

1 а подробней можно какая база переполняется ? у Вас тоже версия 5 летней давности ?

2 етсь период бесплатного сопровождения если он истёк извольте платить за работы.

 

 

И в коммерческой есть много косоработающего непонятного. Но после реализации самостоятельно некоторых допилов, спасибо и на этом. В коммерческой версии 0.55 если не ошибаюсь - чистка логов не работает. Анализируя запросы к базе, немного прифигел. Долго я пытался побороть их, но до конца так и не поборол.

 

 

 

В конфиге прописано DV_LOG_CLEAN_PERIOD=32 - но как я понял он нифига не пашет. Версия 0.55 от 01.11.2013

 

Сделайте пару запросов к базе, и в крон добавьте, на любимом для вас языке (perl, python, php). Если нужна помощь, то завтра на стенде своем сделаю решение, там работы на 5 минут.

спс, у меня база не сильно большая - буду руцями периодически чистить

 

 

так само руцями помилкову таблицю занулюю... вже б міг автор автоматом покласти що такі-такі помилки витирати через день, і грубо раз в місяць дефолтити в нуль таблицю

 

 

 

а можно конкретней какие таблицы ?

[NiTr0 584]

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

[maxx 202]

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

Відредаговано 2014-06-07 10:07:20 maxx

[~AsmodeuS~ 34]

 

заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

2-3 сотни роутеров, долбящихся по причине окончания пакета каждую секунду авторизациями, могут базу очень быстро засрать...

 

 

чиститься этот лог и оптимищзируется автоматически

 

 

Монсер, я покупал абилс, сам пан асмодеус приезжал ко мне его инсталил, и через 4 месяца оно упало по причине того что лог файл забил раздел. Нет я все понимаю, но он установил мртгу, типо мониторить состояние системы, за 5 графиков взял 50 долларов, а обьем свободного места в граффики добавить забыл. Я не то что бы, краб, и понимаю что сам должен был следить за системой, потому все сервера что ставлю сам, мониторю забексом, но мне и в голову не могло придти что столь обыденная ситуация не проработанна в платном решении, которое должно работать из коробки. Нет абилс очень хороший биллинг, и в некоторых вопросах, он намного лучше чем нодени. Он очень грамотно реализован в техническом плане, но в нем есть такие занозы, которые лично мне говорят о том что, биллинг пишет программер, а не практикующий системный администратор. В общем мнение субьективное но имею его и хрен оспоришь.

 

 

1 странно чтото забольшая сума ив Вашем ТЗ написнаа другая. Ну и еще нужно учесть что єто біло 6 лет назад кто следит за продуктом знает сколько изменилось.

2 заполнение скорее всего было не из за базы, в среднем 2 провайдера с 10 тис абонентов база за 3 года набирает около 1.5 - 2 гб и чистка такой базы поточнаяи ли переодическая это уже привелегия админа когда ему это сделать.

для облегчения работы админа в билинге етсь десятки утилит среди которых утилита бекапа устаревших даных в архив. Поточну чистку логов система и так делает регулярно.

 

вы не слышите меня. Не база а лог файл с ошибками авторизации. txtшник. и я не настаиваю что в новом биллинге есть эта проблема. Я рассказал историю из своей практики. И мой пост без негатива, просто разумная критика по улучшению. 

 

 

спасибо но это уже очень давно поправлено лет так 5 назад

[kvirtu 315]

ну скриптик чистки то есть, но он как всегда не пашет ,

darnet# ./mysql_clean.sh
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
Warning: Using a password on the command line interface can be insecure.
ls: *-bin.0*: No such file or directory

И чё ему надо