интересный вылет стара+ небольшой вопрос

[lex.lviv 1]

случился интересный вылет стара.

те ничего не роботало (вообще бубен помог, таки перезапустил)

 

вот что писало в логах

2010-05-27 05:44:32 -- Stg v. 2.406

2010-05-27 05:44:32 -- Message queue created successfully. msgKey=5555 msgID=65536

2010-05-27 05:44:32 -- Timer thread started successfully.

2010-05-27 05:44:33 -- Storage plugin: mysql_store v.0.67. Loading successfull.

2010-05-27 05:44:33 -- Users started successfully.

2010-05-27 05:44:33 -- Traffcounter started successfully.

2010-05-27 05:44:33 -- Module: 'bpf_cap v.1.0'. Start successfull. 0

2010-05-27 05:44:33 -- Module: 'CAP_NF v. 0.3'. Start successfull. 0

2010-05-27 05:44:33 -- Module: 'InetAccess authorizator v.1.3'. Start successfull. 50

2010-05-27 05:58:50 -- Stg v. 2.406

2010-05-27 05:58:50 -- Message queue created successfully. msgKey=5555 msgID=65536

2010-05-27 05:58:50 -- Timer thread started successfully.

2010-05-27 05:58:50 -- Storage plugin: mysql_store v.0.67. Loading successfull.

2010-05-27 05:58:51 -- Users started successfully.

2010-05-27 05:58:51 -- Traffcounter started successfully.

2010-05-27 05:58:51 -- Module: 'CAP_NF v. 0.3'. Start successfull. 0

2010-05-27 05:58:51 -- Module: 'InetAccess authorizator v.1.3'. Start successfull. 50

2010-05-27 06:06:51 -- Stg v. 2.406

 

теперь после дропа базы и заливки бекапа вроде зароботало.

 

Вопрос: что может вызвать такой адский лаг

 

еще чуть вас потревожу. вот делал балансировку на 2 канала(руки вроде кривые я в курсе. изучаю сие добро из практического интереса.... так что сильно какометы не включайте). вроде роботает. НО. проблема что постоянно перебрасывает сессии на разные каналы. в результате лагают сайты с авторизациями ну и всеми любимый фконтакт

 

конфигурация фряха7+ипфв+натд

 

конфиг фаервола такой

/sbin/natd -u -p 8671 -a 192.168.0.127

/sbin/natd -u -p 8672 -a 192.168.1.127

FwCMD="/sbin/ipfw -q"

${FwCMD} -f flush

 

# Networks define

${FwCMD} table 2 add 172.16.0.0/24

${FwCMD} table 9 add 192.168.0.0/24

${FwCMD} table 9 add 192.168.1.0/24

#internet natting and preserving

${FwCMD} add 99 allow all from any to me 5555 via rl0

${FwCMD} add 100 allow all from any to me 22 via rl0

${FwCMD} add 101 allow all from 172.16.0.1 to any

${FwCMD} add 101 allow all from any to 172.168.0.1

 

${FwCMD} add 0500 check-state

${FwCMD} add 0900 prob 0.5 skipto 1100 tcp from table\(2\) to not table\(9\) setup keep-state

${FwCMD} add 1000 divert 8671 ip from table\(2\) to not table\(9\)

${FwCMD} add 1050 skipto 1200 ip from any to any

${FwCMD} add 1100 divert 8672 ip from table\(2\) to not table\(9\)

${FwCMD} add 1200 divert 8671 ip from any to 192.168.0.127 via ste0

${FwCMD} add 1300 divert 8672 ip from any to 192.168.1.127 via rl1

${FwCMD} add 1500 fwd 192.168.1.126 ip from 192.168.1.127 to any

 

${FwCMD} add 65533 deny all from table\(2\) to any

${FwCMD} add 65534 deny all from any to table\(2\)

 

 

 

Вопрос 2: Тыкните носом где можно поправить для устранения сего неудобства

[pavlabor 1 914]

А с чего ты взял что это лаг, да еще адский?

Все сообщения - "все окей!"

 

По поводу балансировки нечего на пробах не сделаеш,

там идет случайное распределение и естественно сесия идет от двух ИП.

Надеюсь дальше понятно что делать?

 

Или дроби на подсети пользователей(более надежней),

или предварительно адские сайты засовывай по разным каналам.

[lex.lviv 1]

А с чего ты взял что это лаг, да еще адский?

Все сообщения - "все окей!"

 

вот в том то и вся шутка.

авторизатор не соединял, конфигуратор тоже. всегда в онлайне тоже не поднимались(разве что одно - первое со списка)

ну и памяте сам стар не сидел. если ручками стартовать - висит в памяти но результат тот же...

 

созрело смутное сомнение - кидо по сети побежал. мог ли(хотя врядли) покоцать чтото в базе стара.

ибо помог только дроп базы и бекап со старой+руками пришлось докидывать нужные записи. вот только тогда все пошло дейвствительно ок

 

 

По поводу балансировки нечего на пробах не сделаеш,

там идет случайное распределение и естественно сесия идет от двух ИП.

Надеюсь дальше понятно что делать?

понял - буду експериментить

 

Или дроби на подсети пользователей(более надежней),

ну у меня пользователей всего то 20 штук

 

или предварительно адские сайты засовывай по разным каналам.

 

ну, тоже вариант, но тут изза угла показывается адский торрент изза чего и делал в 2 канала

[pavlabor 1 914]

Для 20 чел и наличии фри, поставь ограничения сесий на клиента в 100, и забудь про торент в принципе.

[madf 279]

Не стартовал видимо. Точнее при старте падал. Там в 2.406 был неприятный баг по поводу битых файлов базы. Если к4акой-то файл обрывается на знаке "=" Stargazer молча падает при попытке его чтения. В 2.407-rc1 оно пофикшено.

[lex.lviv 1]

делал блокировку на 100 сессий и получил подобную ситуацию как юлька говорила -"ПРОПАЛО ВСЕ"

адские лаги были....пришлось ету штуку убить

 

Не стартовал видимо. Точнее при старте падал. Там в 2.406 был неприятный баг по поводу битых файлов базы. Если к4акой-то файл обрывается на знаке "=" Stargazer молча падает при попытке его чтения. В 2.407-rc1 оно пофикшено.

тогда буду наверное поднять до рц1. а то пол дня убил

 

 

кстатии продоление багов...

1.начался новій месяц - и авторизатор не віводит статистику по принятому-переданому.

посмотрел в базе таблицу стат - вроде чегото там да написано..

2. также не пашит отображение последнего логина

3. ну и модуль пингер у меня никогда не пахал....(даже в ипфв прописывал правила - нулевой результат, так что для пингов и прочего юзаю пока прогу от микротика та что чуваком называется)

[egor2fsys 5]

1. Статистика 1 числа каждого месяца сбрасывается, это нормально. День сброса статистики настраивается в конф. файле.

2. Попробуйте на рц1 проверить это и на конфигураторе 1.91.9, если не заработает, отпишитесь.

3. Попробуйте в конфигураторе выставить коррекцию пинга 3600.

 

Что касается блокировки торрента - все не пропадает, неправильно юлька говорила. Поищите на www.opennet.ru блокировку uTP прокола, были примеры для линукса и фри. Т. е. заблокировав эти пакеты, торрент переходит на обычный протокол и нагрузка снижается, у нас сделано именно так.

[pavlabor 1 914]

делал блокировку на 100 сессий и получил подобную ситуацию как юлька говорила -"ПРОПАЛО ВСЕ"

адские лаги были....пришлось ету штуку убить

 

У кого начались лаги?

Если на серваке, значит крыво сделано, на 20 пользователях никаких лагов быть не может.

Если у пользователя, так и должно быть.

Нефиг торент юзать или пусть отключает и лаги пропадут или правильно настраивает, то есть ограничивает сесиии до ста при чем на компе а не на торенте.

 

Блокировать торент выборочно, дело не благодарное, те клоуны могут динамически менять сигнатуру.

И вообще "торентнах!", кто не согласен досить до корки.

Шоб ето гавно не распрастранялось в принципе.

 

Почему?

Потому что разработчики ТУПЫЕ УРОДЫ!

Неделю назад, помогал челу разгрузить сеть, уваливали торентом и наблюдал интереснцю картину.

По дефаулту торент поднял 600пиров,

естественно ушол в даун и пошол дос пакетами меньше 64 байт.

Их всраные протоколы понижение пакетов до 150 бвйт, касаются только транспорта,

а когда валится канал, то торент плюется приглашениями, пакеты меньше 64 байт,

они переполняют шейпы, наты и сеть начинает дико плужит при отсутствии трафика.

 

И как оказалось это не все грабли.

17-30, вечер.

При блокировке клиенту исходящего трафика, входящий продолжает молотить,

но входящий трафик не находит нат сесии и сервак отвечает в мир что сори нет такой сесии.

По истечению часа, запрсы с инета не прекращались(или ответы)

Зарубили клиенту порт, трафик с мира продолжал валить.

Проходит час, звонит клиент, "чо такое?", "да вот такое",

нет проблем я сейчас снесу торент, сносит.

Смотрим нет, открываем канал, 21-00,

а входящий трафик продолжает валить, роутер отлуп нет сесий.

22-00, клиент выключает комп, наверно лег спать, входящий трафик продолжает валить.

23-00, входящего трафика стало чуть меньше, разошлись по домам.

Утром трафика небыло.

 

Тем не менее.

При отключении клиента 17-30,

удаления торента в 21-00,

входящий трафик продолжал нагружать, канал минимум до 23-00.

[lex.lviv 1]

1. Статистика 1 числа каждого месяца сбрасывается, это нормально. День сброса статистики настраивается в конф. файле.

2. Попробуйте на рц1 проверить это и на конфигураторе 1.91.9, если не заработает, отпишитесь.

3. Попробуйте в конфигураторе выставить коррекцию пинга 3600.

 

Что касается блокировки торрента - все не пропадает, неправильно юлька говорила. Поищите на www.opennet.ru блокировку uTP прокола, были примеры для линукса и фри. Т. е. заблокировав эти пакеты, торрент переходит на обычный протокол и нагрузка снижается, у нас сделано именно так.

 

1.так было... у меня сброс стоит на 2 число. второго сбросило, сняло абонки и... больше статистику принятого-переданого не пишет

3.не помогло

 

2. на выходных поставлю и посмотрю результат

 

полез на опеннет... посмотрю что там да как

 

У кого начались лаги?

Если на серваке, значит крыво сделано, на 20 пользователях никаких лагов быть не может.

та сервак даже не напрягается. на ружу больше 2-3к сессий не валит... каменя и память тоже не напрягаются(и ето на двух натах)

 

Если у пользователя, так и должно быть.

Нефиг торент юзать или пусть отключает и лаги пропадут или правильно настраивает, то есть ограничивает сесиии до ста при чем на компе а не на торенте.

 

а вот клиенты умудрялись и фконтакте все поубиватся...

без торрента

 

 

сейчас наловили на порнушке кидошника и теперь - о великий - спасай, инета нету, порно не идеть

 

 

 

 

буду сюда отписывать о поступлении лагов и методов их устранения....

 

пока могу отписать как боролся с лагом в первом посте. мож кому пригодится

[egor2fsys 5]

буду сюда отписывать о поступлении лагов и методов их устранения....

 

пока могу отписать как боролся с лагом в первом посте. мож кому пригодится

 

 

Пишите, народу будет интересно, я думаю.

 

Что касается незаписи статистики после сброса, то тут виной может быть модуль mysql, который иногда не совсем корректно работает и давно рекомендован к полной переделке. После перезапуска демона статистика начала накапливаться ?

[lex.lviv 1]

Что касается незаписи статистики после сброса, то тут виной может быть модуль mysql, который иногда не совсем корректно работает и давно рекомендован к полной переделке. После перезапуска демона статистика начала накапливаться ?

перезапуск ничего особо не давал.

 

помогло

в стг в конфиге выключил модуль бфп_кап(казись так) - рестарт стара -поднялся роботает-стоп стара - включил модуль-старт стара - поднялся - все гуд

 

 

 

по первому посту вот что я делал. время от времени бекаплю базу

 

mysqldump stargazer_database_name > /vhere_to_place_stg_backup/stg_somevalue.sql

 

насобиралось у меня таких три бекапа, раз в 4 месяца по бекапу

 

дальше

mysql #-p some parametrs

use stargazer_database_name;

show tables #тута видим все таблички

drop table detailstat_month_year;

drop table logs_month_year;

 

не помогло

 

тогда

убил все таблицы

дальше залил бекап - таже жопа. опять очистил

 

далие

руками заливаем таблицы admins users с последней сохраненной перед дропом базы

далие

руками заливаем все остальне таблицы кроме логов

 

рестарт стара и все гуд

[madf 279]

Что касается незаписи статистики после сброса, то тут виной может быть модуль mysql, который иногда не совсем корректно работает и давно рекомендован к полной переделке. После перезапуска демона статистика начала накапливаться ?

перезапуск ничего особо не давал.

 

помогло

в стг в конфиге выключил модуль бфп_кап(казись так) - рестарт стара -поднялся роботает-стоп стара - включил модуль-старт стара - поднялся - все гуд

Шаманизьм чистой воды. Такого не может быть потому что не может быть никогда.

А как трафик собирается: через BPF или NetFlow?

Если первое - то зачем тогда cap_nf? Если второе - то проблема была вызвана NetFlow-сенсором.

 

по первому посту вот что я делал. время от времени бекаплю базу

 

mysqldump stargazer_database_name > /vhere_to_place_stg_backup/stg_somevalue.sql

 

насобиралось у меня таких три бекапа, раз в 4 месяца по бекапу

 

дальше

mysql #-p some parametrs

use stargazer_database_name;

show tables #тута видим все таблички

drop table detailstat_month_year;

drop table logs_month_year;

 

не помогло

 

тогда

убил все таблицы

дальше залил бекап - таже жопа. опять очистил

 

далие

руками заливаем таблицы admins users с последней сохраненной перед дропом базы

далие

руками заливаем все остальне таблицы кроме логов

 

рестарт стара и все гуд

Это то что я всегда имею в виду когда не советую использовать mod_store_mysql. Что-то было испорчено в таблице users, из-за чего плагин молча падал и тащил за собой весь Stargazer.

Этот странный разбекап тоже шаманизмом попахивает. Что-то тут не то.