Какой поток потянет такая конфигурация?

[Kucher2 122]

Машинка 2,66 Celeron, RAM 512 DDR2.

Мать поддерживает Core 2 DUO и максимум 2ГГБ RAM - в двухканальном режиме (по 1ГГБ на канал).

Стоит FreeBSD 6.2.

Биллинг - Stargazer последней версии.

 

Вопрос:

1. Какой максимальный поток потянет такая железка, если пытаться учитывать весь проходящий через неё трафик?

2. Какой максимальный поток потянет такая железка, если считать только 20-30% проходящего трафика (остальное в NULL, в /etc/stargazer/stargazer.conf)?

 

Стоит ли добавить памяти по максимуму и сменить проц на двухядерник (это ж по идее ядро придётся пересобрать, если 6.2 вообще поддерживает эту функцию)?

[911 140]

Машинка 2,66 Celeron, RAM 512 DDR2.

Мать поддерживает Core 2 DUO и максимум 2ГГБ RAM - в двухканальном режиме (по 1ГГБ на канал).

Стоит FreeBSD 6.2.

Биллинг - Stargazer последней версии.

 

Вопрос:

1. Какой максимальный поток потянет такая железка, если пытаться учитывать весь проходящий через неё трафик?

2. Какой максимальный поток потянет такая железка, если считать только 20-30% проходящего трафика (остальное в NULL, в /etc/stargazer/stargazer.conf)?

 

Стоит ли добавить памяти по максимуму и сменить проц на двухядерник (это ж по идее ядро придётся пересобрать, если 6.2 вообще поддерживает эту функцию)?

мм.. а сетевые на каком чипе?

 

p.s. 6.2 поддерживает SMP

[Kucher2 122]

Сетевые простенькие - 100Мбит, 8029D - Реалтек. Но тоже можно поменять.

[maxx 202]

Сетевые простенькие - 100Мбит, 8029D - Реалтек. Но тоже можно поменять.

 

Коре два квад. Гиговые сетевухи.7.2 фриха, последний мпд, нжикар на нарезке.

[turbonet 0]

Сетевые простенькие - 100Мбит, 8029D - Реалтек. Но тоже можно поменять.

 

Коре два квад. Гиговые сетевухи.7.2 фриха, последний мпд, нжикар на нарезке.

 

 

поточнее можно конфиг системы? CPU, мать...

[kaylas 0]

Такая же ситуация и у меня. Очень нужно знать потянет ли такая конфигурация поток в 120-150 мегабит в Инет??? Если нет то какая потянет???

[pavlabor 1 939]

http://forum.nag.ru/forum/index.php?showtopic=47174&st=100&p=379843entry379843

 

От себя добавлю,

там есть тесты

netstat -w 1

много ошибок.

Заметил что полинг формирует много ошибок, при отключении нагрузка увеличивается, но ошибки исчезают.

[blackjack 250]

ось така наша конфігурація

система

FreeBSD 7.2-RELEASE-p6

процесор

CPU: Intel(R) Pentium(R)  CPU       E5400  @ 2.70GHz (2700.01-MHz 686-class CPU)

карта в інтернет з трьома вланами

vendor     = 'Intel Corporation'
device     = 'PRO/1000 PT'

карта в локалку

vendor     = 'Intel Corporation'
device     = '82540EM Gigabit Ethernet Controller'

тюнінг сісктл

kern.ipc.somaxconn=4096
kern.maxvnodes=100000
kern.ipc.nmbclusters=32768
kern.ipc.maxsockets=204800

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
net.inet.ip.redirect=0
net.inet6.ip6.redirect=0
net.inet.tcp.maxtcptw=40960
net.inet.tcp.sendspace=65536
net.inet.tcp.recvspace=65536
net.inet.ip.rtexpire=2
net.inet.ip.rtminexpire=2
net.inet.icmp.icmplim=100
net.inet.ip.dummynet.hash_size=1024
net.inet.ip.fastforwarding=1
net.inet.ip.fw.one_pass=0
net.inet.ip.dummynet.io_fast=1

net.inet.ip.fw.dyn_buckets=2048

net.isr.direct=0

dev.em.0.rx_int_delay=250
dev.em.0.tx_int_delay=250
dev.em.0.rx_abs_int_delay=250
dev.em.0.tx_abs_int_delay=250
dev.em.0.rx_processing_limit=4000

net.inet.ip.intr_queue_maxlen=4096

dev.em.1.rx_int_delay=250
dev.em.1.tx_int_delay=250
dev.em.1.rx_abs_int_delay=250
dev.em.1.tx_abs_int_delay=250
dev.em.1.rx_processing_limit=4000

 

фаєрвол з кернел натом

[root@gw /home/admin]# ipfw list | wc -l
     40

 

думмінет

[root@gw /home/admin]# ipfw pipe show | grep ^0.*: | wc -l
   1036

 

 

три фула

ASXXXXX# sh ip bgp summary 
BGP router identifier XX.XX.XX.XX, local AS number XXXXX
RIB entries 582970, using 36 MiB of memory
Peers 3, using 7560 bytes of memory
Dampening enabled.

Neighbor        V    AS MsgRcvd MsgSent   TblVer  InQ OutQ Up/Down  State/PfxRcd
1.1.1.1  4 abcd1 1206332   30474        0    0    0 01w0d01h   311363
2.2.2.2  4 abcd2  770651   30474        0    0    0 01w0d01h   312395
3.3.3.3  4 abcd3  770279   30473        0    0    0 01w0d01h   312395

Total number of neighbors 3

 

 

 

ось така картина, на днях маємо винести функції BGP на інший сервер.

[Dimension 37]

blackjack

я так понимаю на машине биллинга и подсчета трафика нет ?

[blackjack 250]

білінга нема, в фаєрволі траф завертає в ng_ipacct, а білінг з іншого сервера забирає статистику по трафіку.

[kaktatak 0]

1.Пограничный роутер. i5/2gb/mikrotik v5/intel pro dual port PT (82571EB)

2.NAS (VPN) : железо тоже, только сетевые обычные гигабитные

Шейпер simple queue на каждого абонента. До этого стоял вместо и5 коре Е8400 - работал лучше.

 

PS До 200 тунелей абоненты не испытывают никаких проблем. свыше начинается падение скорости.

[KaYot 3 708]

Очень смешной трафик для такого железа.. На 100мбитах i5 умирает??

[Kto To 602]

Некропостинг детектед!

[Stimels7 10]

Сетевые простенькие - 100Мбит, 8029D - Реалтек. Но тоже можно поменять.

 

Коре два квад. Гиговые сетевухи.7.2 фриха, последний мпд, нжикар на нарезке.

Чем снимаете статистику, графики? Спасибо.

[rsst 406]

 

PS До 200 тунелей абоненты не испытывают никаких проблем. свыше начинается падение скорости.

 

ROS 5.0rc11, i5-650, сетевая Intel ET на 82576. до 500 pptp, половина из которых с шифрованием, 150мбит интернета через них, до 400мбит локального трафика. Шейпер тут же, NAT на другой машине. Видел максимум 65% загрузки на одном из ядер. Типично до 60% в ЧНН на самом загруженном ядре. Conntrack выключен.

[kaktatak 0]

Чем снимаете статистику, графики? Спасибо.

Такие графики рисует MRTG

 

ROS 5.0rc11, i5-650, сетевая Intel ET на 82576. до 500 pptp, половина из которых с шифрованием, 150мбит интернета через них, до 400мбит локального трафика. Шейпер тут же, NAT на другой машине. Видел максимум 65% загрузки на одном из ядер. Типично до 60% в ЧНН на самом загруженном ядре. Conntrack выключен.

Ставил Intel ET сильно изменений не заметили. Попробуем вынести шейпинг на другую машину, может что-то изменится.

PS ушел читать про Conntrack ))

[pavlabor 1 939]

1.Пограничный роутер. i5/2gb/mikrotik v5/intel pro dual port PT (82571EB)

2.NAS (VPN) : железо тоже, только сетевые обычные гигабитные

Шейпер simple queue на каждого абонента. До этого стоял вместо и5 коре Е8400 - работал лучше.

 

PS До 200 тунелей абоненты не испытывают никаких проблем. свыше начинается падение скорости.

 

Коре, море, i5, i7, adm - все это условности, чтобы было проще торговать и охмуривать.

Есть две ситуации,

- первая, тупой роут,

- вторая, реально работающая тачка.

 

Чел покупает сервер, а ему тут пришут, того нельзя, сего нельзя..., нафига тогда покупать сервер?

У меня все очень просто, берем тачку, ставим на стандартную задачу, без оптимизации и смотрим что получается,

результат такой.

- одно ядро, частота около 3 гигагерц(меньше себе дороже)

трафика больше 130-150 метров не получиш(3000 фаервольных правил), если вылизать и оптимизировать 300метров, дальше начинает проседать(100 правил)

- два ядра, 250-300, оптимизированый под 500-600,

- четыре ядра, 500-600, оптимизированый под гиг,

- 6 ядер, гигабит, оптимизированый потянет и больше, только на...

 

Выводы очень простые, если вы используете гигабитные карты, нужно не менее 6 ядер, от 3.3 гигагерца.

Для двух гиговых интерфейсов, больше не нужно, катры от нагрузки РТ или ЕТ.

Скажем так - сегодня это стандарт.

 

Разницы между интелом и амд, существенно не увидел, берем что подешевле.

 

То с чего начинался пост, будет проседать на ста метрах трафика.

[KaYot 3 708]

Ваши выводы - абсолютный бред. Впрочем как и весь пост..

Коре, море, i5, i7, adm - все это условности, чтобы было проще торговать и охмуривать.

Грусть. Попробуйте собрать пару серверов, первый на паре pentium4 3.8Ггц, второй на i5 3.1Ггц. Какой из них пропустит раз в 5 раз больше трафика?

Есть две ситуации,

- первая, тупой роут,

- вторая, реально работающая тачка.

Лихо. А может ситуаций все же чуть больше?

Например, чистый роутинг или терминация тоннелей в нагрузку, есть или нет NAT(соответственно нужен conntrack или нет), используются ли развесистые правила фаервола, есть ли тут же шейпинг/аккаунтинг и т.д. и т.п.

Для чистого роутинга современные системы пропускают 2+ Гбит дуплекса на ядро, в случае же напичканного сервера доступа вообще какие-либо цифры называть бессмысленно, все зависит от задач.

У нас сейчас на NASах(старые core duo/ core quad) используется по 2 ядра, максимальный трафик примерно 600 вход / 600 исход. Итого 600 на ядро, загрузка максимальная 50%, задачи - совсем немного НАТа, шейпинг HTB, фаервол(доступ/блокировка клиентов), учет трафика. Теоретически влезет до гига, посмотрим в будущем

Конечно, если сделать максимально криво "3000 фаервольных правил" можно и на 100мбитах любую топовую железку уложить.

Выводы очень простые, если вы используете гигабитные карты, нужно не менее 6 ядер, от 3.3 гигагерца.

Для двух гиговых интерфейсов, больше не нужно, катры от нагрузки РТ или ЕТ.

Странные выводы, взятые с потолка.

Скажем так - сегодня это стандарт.

Не, 6 ядер на машину рулящую гигабитом это не стандарт, а извращение.

[KaYot 3 708]

Уточнил загрузку только что на одном из NASов:

#cat /proc/net/pppoe | wc -l: 527

(527 pppoe сессий)

#ifstat -i eth0.2 -b:

367110.1 388456.5

(367Мбит вход / 390 исход)

#cat /proc/sys/net/netfilter/nf_conntrack_count: 18366

(немного клиентов с НАТом + редирект должников на сайт с надписью "заплати срочно")

#top
top - 12:59:28 up 43 days, 23:37,  1 user,  load average: 0.00, 0.01, 0.00
Tasks: 640 total,   1 running, 639 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.0%sy,  0.0%ni, 99.0%id,  0.0%wa,  0.0%hi,  1.0%si,  0.0%st
Cpu1  :  0.8%us,  1.7%sy,  0.0%ni, 97.5%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
Cpu2  :  0.0%us,  0.0%sy,  0.0%ni, 91.3%id,  0.0%wa,  0.0%hi,  8.7%si,  0.0%st
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni, 90.3%id,  0.0%wa,  0.0%hi,  9.7%si,  0.0%st
Mem:   4055140k total,  1612072k used,  2443068k free,   267176k buffers
Swap:  2771172k total,        0k used,  2771172k free,   666128k cached

10% при чуть больше 300мбит трафика. Думайте что у вас не так с кухней)

[pavlabor 1 939]

KaYot, то что у тебя писька больше я даже не собираюсь спорить.

 

Инфу ту которую я выложил, удовлетворит 90% текущих админов,

не понятно зачем твоя вода на киселе... абслолютно нет комплектации по железу... - просто набор непонятно к чему написаных буков.

 

Если кто не понял.

Любую тачку так можно оттюнить...,

...вопрос не дешевле ли преплатить за два лишних ядра,

чем связыватся с админами могущее это сделать?

Практика показывает что у них и времени нет, и цены они себе не сложат.

 

Данные получены в результате продолжительных експерементов,

задача не тюнить, а продавить лбом, ну и кошельком, в пределах разумного.

Выводы - подчеркиваю, дешевле переплатить за два ядра, чем нанять админа для тюнинга.

В связи с этим, если вы купите тачку согласно моим рекомендациям, а ума у вас как у KaYot-а,

то вы будете приятно удивлены.

Если вы ленивый как я, то тачка - просто будет работать.

А если вы послушаете KaYot-а и купите core duo/ core quad,

но вы не достаточно грамотный для тюнингования, да и нагрузки постоянно ростут,

то я думаю что вы просто зря выбросите деньги.

 

3000 правил, это 750 пользователей по 4 правила на каждого, два на локальный трафик, два на внешний.

===========8<-----------

add 4002 count ip from 10.180.242.2 to any in via vlan242

add 4002 count ip from any to 10.180.242.2 out via vlan242

add 41002 allow ip from 10.180.242.2 to any in via vlan242

add 41002 allow ip from any to 10.180.242.2 out via vlan242

 

pipe 40093 config bw 512Kbit/s

pipe 40094 config bw 512Kbit/s

add 4009 count ip from 10.180.242.9 to any in via vlan242

add 4009 count ip from any to 10.180.242.9 out via vlan242

add 41009 pipe 40093 ip from 10.180.242.9 to any in via vlan242

add 41009 pipe 40094 ip from any to 10.180.242.9 out via vlan242

===========8<-----------

10.180.242.2 - клиент без ограничений,

10.180.242.9 - клиент с ограничениями,

count, allow и pipe выступают в роли счетчиков для сбора сатистики

 

Еще меня смешит, тупая вера в то, что у тебя KaYot оптимизированый роутер!!!

Если бы ты занялся програмированием не фаервола, а железа, то был бы разочарован, что на системном уровне, на каждое событие отводится даже не один индентификатор. И то что ты визуально не видиш правил в своем фаерволе, абсолютно не означает что сервак не формирует и х на самом деле. Просто для упрощения настроек, используется обектное структурирование, скажет "таблица", "группа".

Разница нагрузки есть только в момент старта, в момент перевода человекопонятного кода настроек, в машинный код. Все, дальше нагрузка абсолютно одинакова.

И если есть 750 пользователей и стоит задача получение 4 отчетов по каждому пользователю, то не важно как написаны правила в итоге, в системе будет 3000 счетчиков.

[KaYot 3 708]

KaYot, то что у тебя писька больше я даже не собираюсь спорить.

 

Инфу ту которую я выложил, удовлетворит 90% текущих админов,

не понятно зачем твоя вода на киселе... абслолютно нет комплектации по железу... - просто набор непонятно к чему написаных буков.

 

Если кто не понял.

Любую тачку так можно оттюнить...,

...вопрос не дешевле ли преплатить за два лишних ядра,

чем связыватся с админами могущее это сделать?

Практика показывает что у них и времени нет, и цены они себе не сложат.

Ну это уже совсем ни в какие ворота.. Дешевле апгрейдить железо чем настроить софт??

Или купить сервер с 3ех кратным запасом но съекономить на админе?

 

Я и пытался донести что любую машину можно оттюнить чтоб тянула гиг трафика на простом двухядернике и двухголовой PT а не покупать 6ти ядерное чудо и уверенно заявлять что для гига всегла нужно ровно 6 ядер и не меньше.

3000 правил, это 750 пользователей по 4 правила на каждого, два на локальный трафик, два на внешний.

Опять же, машина с которой я приводил данные выше обслуживает >5k пользователей, и в фаерволе там те же 5к правил, одно на клиента.. Но все раскидано по хешированным ipset'ам и совершенно не грузит железо. Пример полезной оптимизации..

Еще меня смешит, тупая вера в то, что у тебя KaYot оптимизированый роутер!!!

Если бы ты занялся програмированием не фаервола, а железа, то был бы разочарован, что на системном уровне, на каждое событие отводится даже не один индентификатор. И то что ты визуально не видиш правил в своем фаерволе, абсолютно не означает что сервак не формирует и х на самом деле. Просто для упрощения настроек, используется обектное структурирование, скажет "таблица".

Уважаемый, вы зря так свято верите в свою уникальность. Я больше 10 лет зарабатывал на жизнь системным программированием, от разработки устройств с нуля на PIC'aх и построение CAN сети из них до написания dos/win драйверов под все это.

Это не вера, не понимаю чего вы так злитесь и шумите. Это просто опыт..

[KaYot 3 708]

И если есть 750 пользователей и стоит задача получение 4 отчетов по каждому пользователю, то не важно как написаны правила а итоге их в системе будет 3000.

Вот-вот, именно из-за такого подхода у нас и работает по-разному.

[0:0] -N world-host
[0:0] -A world-host     -m set --set nas2-block-1-world-host dst        -j REJECT
[0:0] -A world-host     -d 172.20.0.0/18                        -j ACCOUNT --addr 172.20.0.0/18         --tname nas2-world-host-1
[0:0] -A world-host     -d xxx.0/22                             -j ACCOUNT --addr xxx.0/22       --tname nas2-world-host-2
[0:0] -A world-host     -d yyy.0/20                             -j ACCOUNT --addr yyy.0/20        --tname nas2-world-host-3
[0:0] -A FORWARD        -i eth0+ -o ppp+                        -j world-host
[0:0] -A FORWARD        -i eth0+ -o eth1+                       -j world-host

[0:0] -N host-world
[0:0] -A host-world     -m set --set nas2-block-1-host-world src        -j REJECT
[0:0] -A host-world     -s 172.20.0.0/18                        -j ACCOUNT --addr 172.20.0.0/18         --tname nas2-host-world-1
[0:0] -A host-world     -s xxx.0/22                             -j ACCOUNT --addr yyy.0/22       --tname nas2-host-world-2
[0:0] -A host-world     -s yyy.0/20                             -j ACCOUNT --addr yyy.0/20        --tname nas2-host-world-3
[0:0] -A FORWARD        -i ppp+ -o eth0+                        -j host-world
[0:0] -A FORWARD        -i eth1+ -o eth0+                       -j host-world

Вот мой учет трафика для 5к юзеров / 3 подсетей / 2 направлений. Неправда ли, правил чуть меньше 20 тысяч?

[KaYot 3 708]

не понятно зачем твоя вода на киселе... абслолютно нет комплектации по железу... - просто набор непонятно к чему написаных буков.

Давай распишу если уж так хочется сильно.

CPU: Intel Core2 Quad Q9450 2.66GHz

RAM: DDR2 4Gb

NET: Intel PT board dual 82571EB Gigabit Ethernet Controller

 

Рядом такой же NAS, но во много раз слабее

CPU: Pentium® Dual-Core CPU E5400 2.70GHz

RAM: DDR2 2Gb

NET: Intel PT board dual 82571EB Gigabit Ethernet Controller

Вот топ с него, текущий трафик 260/350мбит, юзеров онлайн 481.

$ top
top - 14:35:01 up 76 days,  1:32,  1 user,  load average: 0.00, 0.02, 0.00
Tasks: 566 total,   1 running, 565 sleeping,   0 stopped,   0 zombie
Cpu0  :  0.0%us,  0.9%sy,  0.0%ni, 80.2%id,  0.0%wa,  0.9%hi, 17.9%si,  0.0%st
Cpu1  :  0.0%us,  1.9%sy,  0.0%ni, 85.7%id,  0.0%wa,  0.0%hi, 12.4%si,  0.0%st
Mem:   2023040k total,  1512844k used,   510196k free,   278192k buffers
Swap:  2771172k total,      508k used,  2770664k free,   621724k cached

Загрузка выше и трафика/сессий поменьше т.к. CPU вообще копеечный стоит, но ведь работает и запас огромный

[pavlabor 1 939]

Пики это круто, тогда мы друг друга поймем.

 

Если нужно иметь 3000 независимых счетчика,

а это означает что, например счетчик "адын", туда будет складыватся статистика по обему "полученого" трафика на пользавателя "адын".

Это в свое время означае что должен существовать, регистр, контенер, переменная или прочая приблуда именно для этой инфы,

и туда невозможно положить больше нечего, например отправленый трафик туда положить нельзя, потому как нереально потом разделить сколько передано, а сколько принято инфы.

А с этого следует, что если нам нужно 4 счетчика на клиента, то должно быть физически 4 счетчика!!!

Отсюда следует, что система должна сниверить поток, на предмет четырех значений,

отсюда должно быть 4 условия, при совпадении с которыми данные будут раскладыватся именно в эти счетчики, или пропускатся/дропится.

И тут уже не сложно понять, что при отсутствии четырех условий, система не в состоянии разложить трафик по счетчикам.

И как не крути, не зависимо, как написаны правила, если там есть пользователь, система при компиляции конфига, организует 4 правила на клиента, с 4 счетчиками соответственно.

 

Отсюда.... повторяю, не нужно себя тешить тем что если конфиг вот такой маленький, то в системе он аналогичный.

просто это конфиг.

На самом деле, в системе счетчиков еще больше.

 

А то почему оно меньше грузит тачку, это отдельная тема,

и это другая история, по крайней мере не уровень тестирования железа,

по крайней мере уровень тестирования софта, что в даном посте не ставилось за задачу.

 

И еще раз повторю, если есть необходимость снимать статистику на 750 пользователях, по 4 параметрах, минимум будет задействовано, только под эту процедуру 12тыс дескрипторов.

Что позволяет накапливать и считывать "ПЕРСОНАЛЬНУЮ" статистику в любом разрезе.

Другого метода, пока просто не существует.

[pavlabor 1 939]

Мы говорим об одном и том же

 

> CPU: Intel Core2 Quad Q9450 2.66GHz

> RAM: DDR2 4Gb

> NET: Intel PT board dual 82571EB Gigabit Ethernet Controller

 

Это категория

> - четыре ядра, 500-600, оптимизированый под гиг