Тормозит сервак FreebSD 7.2

[kvirtu 315]

Всем привет !

Помогите решить траблу:

Есть сервак: CPU: E2160, ОЗУ: 2+05 Гига, винт Сата, 4 сетевых age0, fxp0, fxp1, re0.

Свеже установленная с перкомипленным ядром система на Фре 7.2. , раздается инет посредством MPD5+kernel nat.

Вот прилагаю скрин ТОПа

Комп тормозит, по ssh работать невозможно, апач тоже тормозит.

Где искать затык ???

вот прилагаю sysctl.conf

# Uncomment this to prevent users from seeing information about processes that

# are being run under another UID.

#security.bsd.see_other_uids=0

kern.ipc.maxsockbuf=8388608

net.graph.recvspace=256000

net.graph.maxdgram=128000

 

# TCP bufer size

kern.ipc.maxsockbuf=8388608

net.inet.tcp.recvspace=65535

 

# incoming TCP queue size

#kern.ipc.somaxconn=1024

# incoming packets queue size

net.inet.ip.intr_queue_maxlen=2000

#

net.inet.ip.fastforwarding=1

net.inet.ip.portrange.randomized=0

net.inet.tcp.nolocaltimewait=1

kern.ipc.nmbclusters=65536

kern.ipc.maxsockets=204800

net.inet.ip.dummynet.hash_size=512

kern.ipc.somaxconn=4096

net.inet.tcp.maxtcptw=40960

 

loader.conf

ipfw_nat_load="YES"

geom_label_load="YES"

kern.geom.debugflags=16

[Kucher2 122]

Знакомый жаловался на такое тоже. Оказалось - банально ДОСили.

[fima1981 32]

Укртелеком наносит ответный удар

[jack 25]

настройки DNS проверьте... было такое, сервак днс упал... гуглевый поставил, все норм)

[kvirtu 315]

настройки DNS проверьте... было такое, сервак днс упал... гуглевый поставил, все норм)

ДНС пашет, BIND 9.7.0-P1

[kvirtu 315]

Знакомый жаловался на такое тоже. Оказалось - банально ДОСили.

Если ДДОС, тогда кто ????

кому нужно небольшой сервак досить ????

[Neelix 33]

top -SP покажи

[kvirtu 315]

top -SP покажи

[Neelix 33]

netstat -w1

tcpdump на интерфейсы

+ я бы советовал добавить net.inet.ip.dummynet.io_fast=1 и net.inet.ip.portrange.first=1024

iostat

vmstat

 

собери с поллингом ядро

нетграф если не нужен, убери

 

такие приколы на реалтеках могут быть

замени карточки на intel em

[kvirtu 315]

я бы советовал добавить net.inet.ip.dummynet.io_fast=1 и net.inet.ip.portrange.first=1024

добавил в sysctl.conf

 

собери с поллингом ядро

нетграф если не нужен, убери

ядро уже собрано с поллингом,добавил еще HZ=1000 , нетграф нужен для биллинга и в sysctl.conf добавил еще:

kern.polling.enable=1

kern.polling.user_frac=10

 

замени карточки на intel em

На провайдера и в локалку смотрят Intel fxp

Вот только уже сейчас сервак перезагружать не буду, клиентов уже много online

 

 

iostat

tty ad6 cpu

tin tout KB/t tps MB/s us ni sy in id

2 379 18.17 6 0.10 5 0 2 5 88

 

vmstat

procs memory page disk faults cpu

r b w avm fre flt re pi po fr sr ad6 in sy cs us sy id

0 1 0 244772 1641916 939 0 0 0 890 0 0 3533 1652 13885 5 7 88

[Neelix 33]

ядро уже собрано с поллингом,добавил еще HZ=1000 , нетграф нужен для биллинга и в sysctl.conf добавил еще:

kern.polling.enable=1

оно включается через ifconfig fxp0 polling и соответствующим образом выключается

 

нетстат показал ошибки на интерфейсе?

 

в логах ничего подозрительного?

типо неправильных дерганий прерываваний процессора итд

[kvirtu 315]

ядро уже собрано с поллингом,добавил еще HZ=1000 , нетграф нужен для биллинга и в sysctl.conf добавил еще:

kern.polling.enable=1

оно включается через ifconfig fxp0 polling и соответствующим образом выключается

 

нетстат показал ошибки на интерфейсе?

 

в логах ничего подозрительного?

типо неправильных дерганий прерываваний процессора итд

Спасибо за помощь,

поллинг включил , нетстат - ошибок не показывает.

На данный момент сервак работает без тормозов.

Подскажи пожалуйста, если ставил MPD5 pppoe: не присваивается у клиента внешний адрес, как адрес сервера, смотрящий на прова, а присвается адрес сетевухи - пиринга

вот сейчас так прописано :

set ipcp ranges Real_IP ippool/24 ippool1/24, где

Real_IP - мой реальный адрес, смотрящий на прова

[Neelix 33]

ну это нормально.

провайдер знает, что эту сеть обслуживает твой роутер, твой роутер знает что этот Ip доступен по интерфейсу туннеля такого то.

 

з.ы. возможно у тебя нехватало просто портов открытых или тупил dummynet

net.inet.ip.dummynet.io_fast=1 и net.inet.ip.portrange.first=1024

это помогло

[kvirtu 315]

ну это нормально.

провайдер знает, что эту сеть обслуживает твой роутер, твой роутер знает что этот Ip доступен по интерфейсу туннеля такого то.

 

з.ы. возможно у тебя нехватало просто портов открытых или тупил dummynet

net.inet.ip.dummynet.io_fast=1 и net.inet.ip.portrange.first=1024

это помогло

С этим вроде разобрались :-), еще добавлю пару строк от ДДОС-аттак,

А вот МПД пока победить не могу :-(

[assasinwar 7]

Адрес внешний клиенту выдается из пула средствами mpd или из базы вытягивается?

 

Вырезка из файла mpd.conf (в 1 случае)

 

set ippool add pool1 x.x.x.2 x.x.x.254

set ipcp ranges x.x.x.1 ippool pool1

 

Где x.x.x.x - пул внешних адресов, замаршрутизированых на Ваш сервер

[kvirtu 315]

Адрес внешний клиенту выдается из пула средствами mpd или из базы вытягивается?

 

Вырезка из файла mpd.conf (в 1 случае)

 

set ippool add pool1 x.x.x.2 x.x.x.254

set ipcp ranges x.x.x.1 ippool pool1

 

Где x.x.x.x - пул внешних адресов, замаршрутизированых на Ваш сервер

Есть внешний реальный IP 1.1.1.1 маска 255.255.255.240, смотрит на прова, юзверы подключаются по пппое, адреса получают из подсети 10.10.10.10/24

[kvirtu 315]

Блин, не могу сам победить никак МПД5, уже строку set ipcp ranges - вообще убрал, добавил set iface route default .

все равно присваивается адрес первого интерфейса на серваке, уже и отключил его ifconfig re0 down и все равно через него идет маршрутизация у клиента

В серваке есть 4 интерфейса: ifconfig

re0 - пиринг

age0 - пиринг

fxp0 - смотрит на прова

fxp1 - смотрит в локалку

клиенту присваивается "IP-адрес сервера" , адрес сетевой re0

[assasinwar 7]

cat rc.conf

cat /usr/local/etc/mpd.conf

 

и сюда запостить.

[kvirtu 315]

rc.conf

 

defaultrouter="194.79.22.33"

gateway_enable="YES"

hostname="ultranet.ks.ua"

#

ifconfig_fxp0="inet 194.79.22.36 netmask 255.255.255.240"

ifconfig_fxp1="inet 192.168.90.1 netmask 255.255.255.0"

ifconfig_age0="inet 10.244.1.1 netmask 255.255.255.0"

ifconfig_re0="inet 172.16.99.5 netmask 255.255.255.0"

#

#Static route ix.ks.ua

static_routes="next brokx status ozon usersnet joy online1 online2 rost"

route_next="-net 192.168.76.0/22 172.16.99.1"

route_brokx="-net 10.0.0.0/16 172.16.99.2"

route_online1="-net 192.168.68.0/22 172.16.99.3"

route_online2="-net 192.168.72.0/22 172.16.99.3"

route_status="-net 10.1.1.0/24 172.16.99.4"

route_ozon="-net 192.168.124.0/24 172.16.99.6"

route_usersnet="-net 192.168.10.0/24 172.16.99.7"

route_joy="-net 192.168.60.0/24 172.16.99.8"

route_rost="-net 192.168.0.0/22 172.16.99.9"

 

#

apache22_enable="YES"

sshd_enable="YES"

mysql_enable="YES"

mpd_enable="YES"

radiusd_enable="YES"

dummynet_load="YES"

#

firewall_enable="YES"

firewall_script="/etc/ultrafire.sh"

#ipguard

ipguard_enable="YES"

#

natd_enable="YES"

natd_interface="fxp0"

natd_flags=""

#

fsck_y_enable="YES"

#

named_enable="YES"

named="/usr/sbin/named"

#

tcp_extensions="NO"

tcp_drop_synfin="YES"

#Mail

sendmail_enable="NONE"

mta_start_script=""

sendmail_outbound_enable="NO"

sendmail_submit_enable="NO"

sendmail_msp_queue_enable="NO"

postfix_enable="YES"

saslauthd_enable="YES"

courier_authdaemond_enable="YES"

courier_imap_pop3_enable="YES"

 

/usr/local/etc/mpd5/mpd.conf

 

startup:

# enable TCP-Wrapper (hosts_access(5)) to block unfriendly clients

set global enable tcp-wrapper

# configure the console

set console self 127.0.0.1 хххх

set user хххх ххххх ххххх

set console open

#WEB managment

#set web self 0.0.0.0 5006

#set web open

#Netflow options

#set netflow peer %MPD_NETFLOW_IP% %MPD_NETFLOW_PORT%

#set netflow self %MPD_NETFLOW_SOURCE_IP% %MPD_NETFLOW_SOURCE_PORT%

#set netflow timeouts 15 15

#set netflow hook 9000

# Calling-Station-Id = "10.0.4.16 / 00:18:f3:5a:9f:6a / em0"

#set link enable report-mac

#set netflow node netflow

 

default:

load pppoe_server

 

pppoe_server:

create bundle template B

set iface idle 0

set iface enable tcpmssfix proxy-arp

set ipcp no vjcomp

set iface enable tcpmssfix

set iface up-script "/usr/abills/libexec/linkupdown mpd up"

set iface down-script "/usr/abills/libexec/linkupdown mpd down"

## set iface up-script "/usr/local/etc/mpd5/up.pl"

## set iface down-script "/usr/local/etc/mpd5/down.pl"

#set iface route 194.79.22.36/32

set ipcp ranges 10.10.10.0/24 10.10.11.0/24 10.10.12.0/24 10.10.13.0/24 10.10.14.0/24

set ipcp dns 192.168.90.1

 

create link template L pppoe

set link enable peer-as-calling

set link action bundle B

set pppoe acname "bras1"

set pppoe iface fxp1

set pppoe service "*"

load server_common

 

 

server_common:

set link no pap eap

set link yes chap-md5

set link keep-alive 20 60

set link enable incoming

set link no acfcomp protocomp

load radius

 

radius:

#IP, пароль и порты RADIUS-сервера

#set radius server 127.0.0.1 ххххх хххх хххх

set radius config /etc/radius.conf

set radius retries 3

set radius timeout 10

set auth acct-update 300

set auth enable radius-auth

set auth enable radius-acct

set auth disable internal

 

 

С конфигом МПД пробывал по разному и строку set ipcp ranges коментил, и строку set iface route 194.79.22.36/32 добавлял с маской и без и 192.168.90.1 прописывал пофиг.

А перезагружать каждый раз мпд не могу все уже стоит на рабочем серваке .......

[assasinwar 7]

в mpd.conf

set ippool add pppoe 10.15.15.1 10.15.16.255

set ipcp ranges 194.79.22.36/32 ippool pppoe

 

 

Сдесь ты указываешь из какого виртуального(не маршрутизируемого) пула выдавать адреса.

А дальше натить

 

Теперь касательно архитектуры сети. Для инкапсуляции pppoe необходимо нахождение концентратора и клиента в одном бродкаст домене.

[kvirtu 315]

в mpd.conf

set ippool add pppoe 10.15.15.1 10.15.16.255

set ipcp ranges 194.79.22.36/32 ippool pppoe

 

 

Сдесь ты указываешь из какого виртуального(не маршрутизируемого) пула выдавать адреса.

А дальше натить

 

Теперь касательно архитектуры сети. Для инкапсуляции pppoe необходимо нахождение концентратора и клиента в одном бродкаст домене.

Спасибо, добрый человек !!! , заработало.

А как со вторым каналом в инет ???

ifconfig_age0="inet 10.244.1.1, и виртуальная подсеть 10.10.20.0/24 - как завернуть эту подсеть на интерфейс age0

пробывал так:

set ippool1 add pppoe 10.10.20.1 10.10.20.255

set ipcp ranges 10.244.1.1/32 ippool1 pppoe

не работает

[assasinwar 7]

Тут все зависит от того, чем ты NATить будешь.

На мой взгляд, у тебя есть 2 варианта.

К примеру:

1) У тебя 2 апстрима, следовательно можно "раздать" клиентам 2 виртуальных пула(10.15.15.0/23 и 10.16.16.0/23). Средствами pf ты натишь обе сети таким образом:

 

ext_if1="fx0"

ext_if2="age0"

net1="10.15.15.0/23"

net2="10.16.16.0/23"

 

# Нат для сети 10.15.15.0.23

nat on $ext_if1 from $net1 to any -> ($ext_if1)

 

# Нат для сети 10.16.16.0/23

nat on $ext_if2 from $net2 to any -> ($ext_if2)

 

Но тут загвоздка, трафик по апстримам будет распределятся в хаотическом порядке. Также надо будет следить за пропорцией выдачи из этих пулов адресов.

Этот вариант предусматривает мало крови, как и менеджмента клиентским трафом.

Также можно почитать о pf round-robin balancing, но там есть свои ньюансы в плане агрегации несимметрических каналов.

 

2) Писать скрипт для ipfw (который будет kernel натить) где в зависимости от нагрузки клиенты будут перемещатся между таблицами.

Немножко крови в плане написания и дебаггинга, но трафик клиентский через апстримов будет рулится в любой выбраной вами пропорции.

 

Стоит также подчеркнуть, что все вышеизложеные факты являются "сферическими в вакууме" ввиду того что тобой небыло сказано название биллинговой системы.

[kvirtu 315]

NAT происходит посредством kernel nat , таким образом:

 

${ipfw} nat 1515 config ip 194.79.22.36

${ipfw} nat 102 config ip 10.244.1.1

#

${ipfw} add 65020 nat 1515 ip from 10.10.10.0/24 to any

${ipfw} add 65021 nat 1515 ip from 10.10.11.0/24 to any

${ipfw} add 65022 nat 1515 ip from 10.10.12.0/24 to any

${ipfw} add 65023 nat 102 ip from 10.10.13.0/24 to any

${ipfw} add 65024 nat 102 ip from 10.10.14.0/24 to any

#

${ipfw} add 65030 nat 1515 ip from any to 194.79.22.36

${ipfw} add 65034 nat 102 ip from any to 10.244.1.1

#

${ipfw} add 65535 deny ip from any to any

 

Подскажи можно ли сделать что бы все виртуальные сети шли через fxp1 (192.168.90.1) - тогда бы и предыдущий вопрос отпал ...

[assasinwar 7]

Сделай по аналогии с двумя предидущими аплинками, только адресс сети будет не 10.10.10.0 - 14.0, а 10.15.15.0/23 (23 или сколько тебе надо) как я выше описал.

[kvirtu 315]

опять начались тормоза, в логах ничего нет подозрительного.

 

iostat

tty ad6 cpu

tin tout KB/t tps MB/s us ni sy in id

1 65 13.58 2 0.03 1 0 1 1 96

wmstat

procs memory page disk faults cpu

r b w avm fre flt re pi po fr sr ad6 in sy cs us sy id

0 2 0 256012 1767212 301 0 0 0 269 0 0 350 681 9864 1 3 96

 

netstat -w1 - err - 0

 

top

last pid: 26141; load averages: 0.02, 0.04, 0.07 up 3+04:35:06 16:19:39

55 processes: 2 running, 52 sleeping, 1 zombie

 

Mem: 42M Active, 569M Inact, 136M Wired, 296K Cache, 112M Buf, 1756M Free

Swap: 2048M Total, 2048M Free

 

Уже отключал апач и бинд - не помогает