Билинг для 300-500 абонентов.

NiTr0 · 2014-11-06 11:38:42

Ну я ж и грю - как минимум переписывать mysqlclient библиотеку...

Abram · 2014-11-06 12:21:22

Ну я ж и грю - как минимум переписывать mysqlclient библиотеку...

Существует асинхронный клиент. И есть обертки - например, twisted предлагает выносить mysql в отдельный поток (собственно, и выносит), где будет всё говно, а в основном потоке будет асинхронный код, который будет работать с асинхронным интерфейсом (оберткой) MySQL. Хрень, конечно, но всё равно получается на порядок шустрее, чем синхронный код.

~AsmodeuS~ · 2014-11-06 14:25:14

Мы пытались но список дистрибутивов не вели так как ситуация когда не стратует или после обновление все просто падает, а клиенты в большинстве случаев не разбераются в проблеме, а сразу наезд идёт что все плохо биллинг не работает и все и клиент звонит 10 раз в "час что всепропало" потом оказывается он просто переустановил биллинг или обновил его и не посмотрел как все собрано.
Так а что неправильно с точки зрения клиентов? Они заплатили деньги за то, что вы поставите им НОРМАЛЬНО сервак с биллингом. ВЫ им собрали с исходников, а далее они админят дистр по МАНУАЛУ от создателей дистра и попадают на проблемы с вашими собранными радиусами.
Так в чем они виноваты?

Повторюсь, вам нужно всего лишь выкатать инсталяху на 2 основных дистра и усё!

видите даже Вы не разобрались в ситуации а обвиняете, а если бы все таки собрали свой радиус с портов Вы бы опять потом обновили на стандарный и было бы обвинение что после обновления не работает. Хотя если честно не могу онять что у Вас с обновлением не работает, все должно чётко обновиться без проблем
при попытке обновить дистр - неразрешенные зависимости. и пробовать трогать это - страшно! (так же как и обновлять биллинг).

исходя из Вашей логики все прекомпилированные биллинговые системы зло потому что нельзя обновить систему

~AsmodeuS~ · 2014-11-06 14:38:15

А с чего вы взяли, что логика в СУБД?
Из этой темы и показанных костылей
Если нет логики в СУБД, то при нормальной работе в СУБД должны только сохраняться конфиг/пулы/изменения_в_пулах раз в сколько-то секунд и все.

Покажите статус процесса радиус сервера, на select/epoll/kqueue висит? Если да, то он асинхронный.

Ну и да, в той же гидре логика в СУБД вся. Из-за чего она и применяется при больших нагрузках...
Если у вас не упирается в СУБД, то это далеко не большие нагрузки Но речь сейчас не об этом, а о том, что неадекватно реализовано, из-за чего локи, пиление и прочие проблемы даже на микронагрузках.

мне одному кажется что это полная чушь не одно из Ваших высказываний не выдерживает и малешей критики.

Все уже давно услышали что Вы "круто разбираетесь" в программировании

но так никто и не увидел ни одного Вашего проекта и даже элементарную функцию написать не можете зато куча пафосных речей которые вообще не имеют никакого отношения к реальному программированию

~AsmodeuS~ · 2014-11-06 14:42:58

Ну и да, 2к онлайна без особого напряга тянет тазик 5-летней давности с 2-головым атлоном..

На 2к согласен, даже может на 3к, только последствия после лавинообразных авторизаций будут!

проверил у себя 25 независимых потоков в каждом по 100 000 запросов не одного дедлока, думаю проблема где то у Вас просьба выслать мне Auth.pm так будет легче найти ошибку

ttttt · 2014-11-06 14:46:24

Ну я ж и грю - как минимум переписывать mysqlclient библиотеку...

http://search.cpan.org/search?query=AnyEvent+mysql&mode=all

https://www.npmjs.org/search?q=mysql

http://twistedmatrix.com/documents/current/core/howto/rdbms.html

https://code.google.com/p/go-wiki/wiki/SQLDrivers

Все давно переписано.

Вообще разговор ни о чем уже. Вы с чего-то вдруг решили, что планировщик на sql костылях - это нормально. Пилите, имеете проблемы, но продолжаете жрать кактус. Ваше дело. Но это говнокод и ламерство.

и даже элементарную функцию написать не можете

Асмодеус, вы такой программист, как я балерина, молчали бы уже

Edited 2014-11-06 14:49:11 by ttttt

~AsmodeuS~ · 2014-11-06 15:06:12

Ну я ж и грю - как минимум переписывать mysqlclient библиотеку...
http://search.cpan.org/search?query=AnyEvent+mysql&mode=all
https://www.npmjs.org/search?q=mysql

http://twistedmatrix.com/documents/current/core/howto/rdbms.html

https://code.google.com/p/go-wiki/wiki/SQLDrivers

Все давно переписано.

Вообще разговор ни о чем уже. Вы с чего-то вдруг решили, что планировщик на sql костылях - это нормально. Пилите, имеете проблемы, но продолжаете жрать кактус. Ваше дело. Но это говнокод и ламерство.

и даже элементарную функцию написать не можете
Асмодеус, вы такой программист, как я балерина, молчали бы уже

Да уже заметили что программирование вы учили в балетной школе. Предполагаю что Вы где то хотели срубить бабок фокрнув абилс но Вас на этом сразу словили и денег не дали, вот Вы и беситесь.

ttttt · 2014-11-06 15:12:34

фокрнув абилс

Боже упаси

NiTr0 · 2014-11-06 18:09:02

Вы с чего-то вдруг решили, что планировщик на sql костылях - это нормально.

Сохранение статуса при каждом изменении объекта - да, это нормально. Для критичных данных. И получение статуса из базы каждый раз - это тоже нормально для критичных данных. Особенно - если планируется когда-нибудь строить отказоустойчивый кластер, или балансировать нагрузку.

А делать заведомо немасштабируемую систему, которая допускает возможность утери важных данных при краше - это ненормально.

проверил у себя 25 независимых потоков в каждом по 100 000 запросов не одного дедлока

Дедлок таки проскакивает в аккаунтинге, если радиус собран с поддержкой потоков (как в дебиане). Но откуда он вылазить может - я не представляю, негде ему там взяться вроде бы...

2014-10-23 16:12:44 LOG_ERR:  []
UPDATE dv_calls SET
         status='1',
         started=FROM_UNIXTIME(UNIX_TIMESTAMP()),
         lupdated=UNIX_TIMESTAMP(),
         nas_port_id='98903',
         acct_session_id='81c04921',
         CID='E8:94:F6:xx:xx:xx',
         CONNECT_INFO=''
         WHERE user_name='xxxx' AND nas_id='2' AND acct_session_id='IP' AND (framed_ip_address=INET_ATON('10.140.0.22') OR framed_ip_address=0)
         ORDER BY started
         LIMIT 1;
 --1213
 --AutoCommit: 1
--Deadlock found when trying to get lock; try restarting transaction at /usr/abills/libexec/../Abills/mysql/main.pm line 126
    main::query2('Acct=HASH(0x8e4c450)', 'UPDATE dv_calls SET\x{a}         status=\'1\',\x{a}         started=F...', 'do') called at /usr/abills/libexec/../Abills/mysql/Acct.pm line 121
    Acct::accounting('Acct=HASH(0x8e4c450)', 'HASH(0x6031348)', 'Nas=HASH(0x7ffdbc0af9f0)') called at /usr/abills/libexec/racct.pl line 372
    main::acct('DBI::db=HASH(0x64aa468)', 'HASH(0x6031348)', 'Nas=HASH(0x7ffdbc0af9f0)') called at /usr/abills/libexec/rlm_perl.pl line 132
    main::accounting called at /usr/abills/libexec/rlm_perl.pl line 0
    eval {...} called at /usr/abills/libexec/rlm_perl.pl line 0

Edited 2014-11-06 18:13:12 by NiTr0

ttttt · 2014-11-06 19:29:08

Сохранение статуса при каждом изменении объекта - да, это нормально. Для критичных данных. И получение статуса из базы каждый раз - это тоже нормально для критичных данных. Особенно - если планируется когда-нибудь строить отказоустойчивый кластер, или балансировать нагрузку.

Это все бурное воображение и в общем-то бред. Вы сильно переоцениваете возможности, надежность мускуля и критичность ваших данных. RPC сервис тут был бы гораздо лучшим решением, чем костыли на SQL.

NiTr0 · 2014-11-06 19:51:28

Ну мускул всяко надежнее для хранения, чем таблица в памяти, умирающая вместе с процессом. А критичность статуса ип адресов (свободен/занят) - вроде как и невысокая, но и не нулевая. Потому как если двум клиентам выдается один и тот же ип - начинаются проблемы у клиентов, и много возмущений.

dimka88 · 2014-11-07 06:16:02

проверил у себя 25 независимых потоков в каждом по 100 000 запросов не одного дедлока, думаю проблема где то у Вас просьба выслать мне Auth.pm так будет легче найти ошибку

Auth.pm из вашего cvs.

Дедлок таки проскакивает в аккаунтинге, если радиус собран с поддержкой потоков (как в дебиане)

То есть проблеме имеет место быть. Диадлок будет появляться и это очевидно, или я что то не так понимаю.

dimka88 · 2014-11-07 06:20:42

Предполагаю что Вы где то хотели срубить бабок фокрнув абилс но Вас на этом сразу словили и денег не дали, вот Вы и беситесь.

Что бы это реализовать, надо как минимум альтернативный opensource продукт с поддержкой и много времени. И самый главный нюанс, что бы разработчик не дорабатывал продукт, который хотят форкнуть. Так что Abills это не грозит. Надеемся только на улучшения продукта, безопасные обновления, высокую производительность.

sadmin · 2014-11-07 07:08:46

исходя из Вашей логики все прекомпилированные биллинговые системы зло потому что нельзя обновить систему

так ведь все пакеты в пакетных дистрах это скомпиленные проги. только вот они в пакетах, красиво завернутые и легко обновляемые.

а у вас не так. но сам биллинг - это не беда. но вот тот же радиус из исходников - уже проблема.

и еще: ваша привычка обновлять биллинг днем, в процессе работы тысяч клиентов, тоже напрягает. неужели нельзя было обновлять ночью его?

ответ от вас удивил: так вы не заказывали. так это не было нигде не написано, а очевидность обновления не в рабочее время оказывается для вас не очевидна. очевидно, что вам все равно, что юзеры уменьшат карму прову.

Edited 2014-11-07 07:09:59 by sadmin

~AsmodeuS~ · 2014-11-07 08:27:34

исходя из Вашей логики все прекомпилированные биллинговые системы зло потому что нельзя обновить систему
так ведь все пакеты в пакетных дистрах это скомпиленные проги. только вот они в пакетах, красиво завернутые и легко обновляемые.
а у вас не так. но сам биллинг - это не беда. но вот тот же радиус из исходников - уже проблема.

и еще: ваша привычка обновлять биллинг днем, в процессе работы тысяч клиентов, тоже напрягает. неужели нельзя было обновлять ночью его?

ответ от вас удивил: так вы не заказывали. так это не было нигде не написано, а очевидность обновления не в рабочее время оказывается для вас не очевидна. очевидно, что вам все равно, что юзеры уменьшат карму прову.

обновление радиуса 3 команды,

если бы дистрибутив был скомпилирован то Вы тоже бы говорили что опять что то не так опять не те зависимости или скомпилированы радиус дистрибутива не так обновляется

мы работаем в любое время только Вы ж не хотите платить за круглосуточную поддержку или за работы в нерабочее время, так что притенении нужно к себе предъявлять

~AsmodeuS~ · 2014-11-07 08:30:45

проверил у себя 25 независимых потоков в каждом по 100 000 запросов не одного дедлока, думаю проблема где то у Вас просьба выслать мне Auth.pm так будет легче найти ошибку

Auth.pm из вашего cvs.

только за этот год более 10 раз был изменён так что нужно конкретную дату

проверил у себя 25 независимых потоков в каждом по 100 000 запросов не одного дедлока, думаю проблема где то у Вас просьба выслать мне Auth.pm так будет легче найти ошибку

Auth.pm из вашего cvs.

Дедлок таки проскакивает в аккаунтинге, если радиус собран с поддержкой потоков (как в дебиане)

То есть проблеме имеет место быть. Диадлок будет появляться и это очевидно, или я что то не так понимаю.

да подтвердилось на старом опенсорсном дистрибутиве буду тестировать и отпишись по ситуации

sadmin · 2014-11-07 08:50:38

обновление радиуса 3 команды, если бы дистрибутив был скомпилирован то Вы тоже бы говорили что опять что то не так опять не те зависимости или скомпилированы радиус дистрибутива не так обновляется мы работаем в любое время только Вы ж не хотите платить за круглосуточную поддержку или за работы в нерабочее время, так что притенении нужно к себе предъявлять

ну то есть вы считаете, что проблем с вашей тех поддержкой и тех особенностями вести проект нет?

~AsmodeuS~ · 2014-11-07 09:15:26

обновление радиуса 3 команды, если бы дистрибутив был скомпилирован то Вы тоже бы говорили что опять что то не так опять не те зависимости или скомпилированы радиус дистрибутива не так обновляется мы работаем в любое время только Вы ж не хотите платить за круглосуточную поддержку или за работы в нерабочее время, так что притенении нужно к себе предъявлять
ну то есть вы считаете, что проблем с вашей тех поддержкой и тех особенностями вести проект нет?

тех поддержка полностью регламентирована, и учтены все возможные пожелания

NiTr0 · 2014-11-07 10:53:19

Диадлок будет появляться и это очевидно, или я что то не так понимаю.

Дедлок не должен появляться. Ибо лок вызывается только в auth.pm, в одном месте кода, и сразу на всю таблицу сессий. А дедлок вылезает в acct.pm - где нет ни локов, ни транзакций, ибо нет сложных операций.

~AsmodeuS~ · 2014-11-07 15:38:23

Диадлок будет появляться и это очевидно, или я что то не так понимаю.

Дедлок не должен появляться. Ибо лок вызывается только в auth.pm, в одном месте кода, и сразу на всю таблицу сессий. А дедлок вылезает в acct.pm - где нет ни локов, ни транзакций, ибо нет сложных операций.

проблема оказалась на много тривиальней и связана было с innodb уже поправлено

sadmin · 2014-11-07 15:55:24

проблема оказалась на много тривиальней и связана было с innodb уже поправлено

Вы забыли добавить "Обновите биллинг!".))))

и получить еще с десяток багов. и так до просветления.

Edited 2014-11-07 15:58:56 by sadmin

~AsmodeuS~ · 2014-11-07 15:57:56

проблема оказалась на много тривиальней и связана было с innodb уже поправлено
Вы забыли добавить "Обновите биллинг!".))))

можно просто проверить что изменилось если не хотите обновлять или патч загрузить с git

или просто помедитировать может само пофиксится

Edited 2014-11-07 17:06:51 by ~AsmodeuS~

~AsmodeuS~ · 2014-11-10 15:29:57

Предполагаю что Вы где то хотели срубить бабок фокрнув абилс но Вас на этом сразу словили и денег не дали, вот Вы и беситесь.

Что бы это реализовать, надо как минимум альтернативный opensource продукт с поддержкой и много времени. И самый главный нюанс, что бы разработчик не дорабатывал продукт, который хотят форкнуть. Так что Abills это не грозит. Надеемся только на улучшения продукта, безопасные обновления, высокую производительность.

ну как удалось еще что то найти ?

Edited 2014-11-10 15:30:24 by ~AsmodeuS~

dimka88 · 2014-11-10 16:54:29

проблема оказалась на много тривиальней и связана было с innodb уже поправлено

Это хорошо.

ну как удалось еще что то найти ?

У меня пока не совсем достаточно времени, для детальных тестов. По мере нахождения, я буду отписываться. Скорее всего ближе к концу ноября.

Sign In

Билинг для 300-500 абонентов.

Recommended Posts

NiTr0 585

Link to post

Share on other sites

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Posted Images

Abram 98

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

ttttt 195

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

ttttt 195

Link to post

Share on other sites

NiTr0 585

Link to post

Share on other sites

ttttt 195

Link to post

Share on other sites

NiTr0 585

Link to post

Share on other sites

dimka88 19

Link to post

Share on other sites

dimka88 19

Link to post

Share on other sites

sadmin 7

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

sadmin 7

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

NiTr0 585

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

sadmin 7

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

~AsmodeuS~ 34

Link to post

Share on other sites

dimka88 19

Link to post