детайл стат пользователей

[Ork Yason 8]

Готов сделать за $20

15 гигов - это уже база Firebird? Если не секрет, сколько пользователей и на каком железе это крутится?

да про ТГШевченко я в курсе

 

15гб - это за несколько месяцев, если парясятся логи фалов стг и все экспортируется в базу...

пенек 4, кореД 3,2

 

чуть более 300абонентов

 

анлимщиков-торентистов около трети

за день более 500тыщ записей

 

так что писать детайлстат - это дорогое удовольствие...

 

если база нае...ться то ее чинить - это даже не час, это часов 10 на гфикс...

[Alferov 0]

Имхо лучше пропатчить так, чтобы таблица детализации создавалась не раз в месяц, а раз в ХХХ дней (опционально - stargazer.conf) А отработанные таблицы упаковывать и переводить в read-only.

Не знаю правда, насколько в FB это возможно. (мыслю категориями mysql)

[Ork Yason 8]

детальная таблица, нужна каждый день... но только для пользователей которые на потраффиковке

 

отработанное - хранить места не хватит в любом случае

еси иметь 1000 пользователей, то я прогнозирую около 10гб в месяц, в лучшем случае

 

данная метода не использую в СУБД... храним или все или ничего

[madf 279]

Как альтернатива: чистить таблицы детальной статы от записей старше N дней. Триггерами, по крону или плагином

[Genius 0]

Если смотреть варианты решения этой проблемы в том же УТМе, то там есть возможность сжать детализацию до суточной. То есть аггрегировать все 10минутные данные, в набор IP адресов посещенный за сутки и суммарные объемы данных по адресам, проводить эту операцию например над записями старше 30 дней (опционально запуск SQL запроса по крону).

 

Ну и для еще более старых записей действительно упаковывать.

 

У нас на 300 юзерах данные растут на 300-500Мб в сутки, но без детализированных данных вообще обойтись нельзя, во первых есть органы, во вторых иногда сложно доказать абоненту откуда траффик.

[Max 0]

к слову: что касается закона "О Связи" РФ, то тама сказано что провайдер должен хранить инфу о трафике юзера аж 3 года....

[Ork Yason 8]

Как альтернатива: чистить таблицы детальной статы от записей старше N дней. Триггерами, по крону или плагином

да не вопрос

 

есть такая весч, как сборка мусора

 

так вот, если каждый день по полмлн строк убивать, то эту сборку нужно будет делать каждый день, или же она делается при бекапе, а это то же часы...

 

проще данные не вставлять, чем их потом искать на десятках млн строк и удалять...