pashaumka 33 Опубликовано: 2013-12-11 19:05:21 Share Опубликовано: 2013-12-11 19:05:21 (відредаговано) Доброго времени суток Гуру FreeBSD - спасите от убийства чертей на серверах!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! это пипец -- или я заколдован или сервера... вроде как 15 лет с фряхой ( с 3.2 начинал) поставил на сервер 11.0-current от 05-дек-2013 залил конфиг Pf, фаервола, mpd5 железо - supermicro mbd-x9dri-f-0 проц Intel® Xeon® CPU E5-2650 0 @ 2.00GHz (2000.04-MHz K8-class CPU) - 8 ядерный. гипертрединг отключен. VT-d туда-же 16 гигов памяти ОС: фря 11-0 current ( head-05-12 ) установлена пока БРАСом стоит квагга ( OSPFом ) проблема - пакетный фильтр не пропускает нат - всё подвисает в нем..... не долго говоря... вот конфиги.. loader.conf ------------------------------------ hw.igb.rxd=4096hw.igb.txd=4096hw.igb.max_interrupt_rate=32000hw.igb.rx_process_limit=2048hw.igb.num_queues=2hw.igb.lro=0hw.igb.fc_setting=0## https://calomel.org/network_performance.htmlautoboot_delay="10" # reduce boot menu delay from 10 to 3 seconds#if_mxge_load="YES" # load the Myri10GE kernel module on boot#loader_logo="beastie" # old FreeBSD logo menunet.isr.dispatch="deffered" # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context switch.net.inet.ip.fastforwarding="0" # packets are forwarded directly to the appropriate network interface with a min validity checking, which greatly improves the throughput# syncache Hash table tuningnet.inet.tcp.syncache.hashsize=1024 # syncache hash sizenet.inet.tcp.syncache.bucketlimit=512 # syncache bucket limitnet.inet.tcp.syncache.cachelimit=65536net.inet.tcp.tcbhashsize=32768 # tcb hash sizenet.isr.bindthreads=0 # do not bind threads to CPUsnet.isr.direct=0 # interrupt handling via multiple CPUnet.isr.direct_force=0 # "net.isr.maxthreads=2 # Max number of threads for NIC IRQ balancing (4 cores in box)net.isr.defaultqlimit=4096net.isr.maxqlimit="2048"net.link.ifqmaxlen=1024#vm.kmem_size=214748364 # 2 gbyte # physical memory available for kernel (320Mb by default)kern.maxusers=2048#accf_data_load="YES" # built in kernel#accf_http_load="YES" # built in kernelnet.isr.defaultqlimit="4096"net.link.ifqmaxlen="10240"# netgraph queue sizes tuning, see vmstat -z|egrep 'ITEM|NetGraph'# http://sourceforge.net/p/mpd/discussion/44692/thread/de6a8876net.graph.maxdata=32768 # 15120net.graph.maxalloc=32768 # 12048kern.random.sys.harvest.ethernet=0 #�� ������������ ������ � ���������kern.random.sys.harvest.interrupt=0 #��� �������� �������� ��� randomkern.random.sys.harvest.point_to_point=0# Interrupt handling via multiple CPU, but with context switch.# direct / hybrid / defferednet.isr.dispatch=deffered# packets are forwarded directly to the appropriate network interface with a min validity checking, which greatly improves the throughputnet.inet.ip.fastforwarding=1kern.ipc.nmbclusters=262144kern.ipc.maxsockets=16384kern.maxusers=2048kern.ipc.maxpipekva=320000kern.maxfiles=204800kern.maxfilesperproc=200000net.inet.tcp.syncache.hashsize=1024net.inet.tcp.syncache.bucketlimit=100net.inet.tcp.tcbhashsize=4096kern.ipc.nsfbufs=10240vm.kmem_size=2Gnet.inet.raw.maxdgram=16384net.inet.raw.recvspace=16384# for other protocols (IP & PPPoE?)net.isr.defaultqlimit=4096net.link.ifqmaxlen=10240kern.ipc.nmbclusters=400000kern.ipc.maxsockbuf=83886080net.inet.ip.dummynet.pipe_slot_limit=1000net.inet.ip.dummynet.io_fast=1vm.pmap.pg_ps_enabled=1# Incresed hostcachenet.inet.tcp.hostcache.hashsize="16384"net.inet.tcp.hostcache.bucketlimit="100"# TCP control-block Hash table tuningnet.inet.tcp.tcbhashsize=4096kern.ipc.shmmax=67108864 #����. ������ �������� �����net.inet.ip.intr_queue_maxlen=8192 #������ ������� ip-������net.inet.ip.fw.one_pass=0 #������, ��������� ����� �� �������� �� ��������, � ������ ���� �� ���dev.igb.0.enable_lro=0 #���������� large receive offloadingdev.igb.1.enable_lro=0dev.igb.0.enable_aim=0 #��� ��� �������� � ������� ��������dev.igb.1.enable_aim=0dev.igb.0.rx_processing_limit=2048 #���������� polling, ��������� ���������� � �������� ��� ���������� �������dev.igb.0.flow_control=0 #���������� �������� �����dev.igb.1.rx_processing_limit=2048dev.igb.1.flow_control=0hw.igb.num_queues=8 device.hints ========================================= # POWER SAVING: https://wiki.freebsd.org/TuningPowerConsumptionhint.p4tcc.0.disabled="1" # Disable CPU Frequency Thermal Controlhint.acpi_throttle.0.disabled="1" # Disable CPU throtlinghint.hpet.0.legacy_route="1" # HPET will steal IRQ0 of i8254 timer and IRQ8 of RTChint.apic.0.clock="0" # Disable local APIC timershint.atrtc.0.clock="0" # Disable RTC timerhint.attimer.0.clock=0 # Disable AT timer rc.conf ============================================== ifconfig_igb1="inet 10.c.ccc.vvv/26 descr iface_ibg1_2_noc -rxcsum -txcsum -lro -tso -vlanhwtso up"ifconfig_igb0="inet 10.b.bbb.bbb32 descr iface_igb0_2_users -rxcsum -txcsum -lro -tso -vlanhwtso up" sysctl.conf =============================================== net.inet.udp.recvspace=262144net.inet.tcp.blackhole=1net.inet.udp.blackhole=1kern.ipc.somaxconn=4096kern.maxfiles=204800kern.maxfilesperproc=200000net.inet.ip.portrange.first=1024net.inet.ip.portrange.last=65535net.inet.ip.portrange.randomized=0net.inet.tcp.maxtcptw=40960net.inet.tcp.msl=30000net.inet.tcp.syncookies=1net.inet.tcp.nolocaltimewait=1net.inet.tcp.fast_finwait2_recycle=1net.inet.raw.maxdgram=16384net.inet.raw.recvspace=16384net.inet.ip.redirect=0kern.ipc.maxsockbuf=2621440net.graph.recvspace=1024000net.graph.maxdgram=1024000net.inet.ip.forwarding=1net.inet.ip.fastforwarding=0 # ����� �� netisr ��������net.inet.ip.redirect=0net.inet.tcp.delayed_ack=0net.inet.tcp.sendspace=3217968net.inet.tcp.recvspace=3217968net.inet.tcp.blackhole=2net.inet.tcp.drop_synfin=1net.inet.udp.recvspace=65535net.inet.udp.maxdgram=57344net.inet.udp.blackhole=1net.inet.icmp.drop_redirect=1kern.ipc.nmbclusters=400000kern.ipc.somaxconn=8192kern.ipc.maxsockbuf=83886080#kern.ipc.maxsockets=204800net.local.stream.recvspace=65535net.local.stream.sendspace=65535net.link.ether.inet.proxyall=0net.link.ifqmaxlen=10240net.graph.maxdgram=8388608net.graph.recvspace=8388608net.inet.tcp.tso=0net.inet.icmp.icmplim=2000net.graph.maxdgram=8388608net.graph.recvspace=8388608kern.ipc.maxsockbuf=83886080dev.igb.0.rx_processing_limit=4096dev.igb.1.rx_processing_limit=4096net.inet.ip.dummynet.hash_size=16384### http://abills.net.ua/forum/viewtopic.php?f=1&t=4873kern.eventtimer.timer=HPET pf.conf ====================================================== ext_if="vlan372"int_if="vlan372"ext_ip="91.219.168.36"int_net="10.36.0.0/21"set optimization normal#set loginterface vlan372set limit states 800000000set limit src-nodes 10000000set limit frags 64000#set limit tables 2000set limit table-entries 10000set skip on lo0scrub inscrub out all max-mss 1400#http://prefetch.net/articles/monitoringpf.htmlnat on vlan372 from 10.36.0.0/21 to 91.219.168.0/26 -> 91.219.168.36nat on vlan372 from 10.36.0.0/21 to any -> 91.219.169.64/27 source-hash #�������� ����� ������pass on 'tun*'pass on 'ng*'pass on lo0pass on $int_ifpass on $int_if proto ipv6antispoof quick for $ext_if mpd5 set ippool add gray_pool 10.36.0.0 10.36.7.255 ipfw - только таблицы шейперов pf.conf - чисто нат ================================ ext_if="vlan372"int_if="vlan372"ext_ip="91.219.168.36"int_net="10.36.0.0/21"set optimization normal#set loginterface vlan372set limit states 800000000set limit src-nodes 10000000set limit frags 64000#set limit tables 2000set limit table-entries 10000set skip on lo0scrub inscrub out all max-mss 1400#http://prefetch.net/articles/monitoringpf.htmlnat on vlan372 from 10.36.0.0/21 to 91.219.168.0/26 -> 91.219.168.36nat on vlan372 from 10.36.0.0/21 to any -> 91.219.169.64/27 source-hash #натируем пулом адресовpass on 'tun*'pass on 'ng*'pass on lo0pass on $int_ifpass on $int_if proto ipv6antispoof quick for $ext_if в ядре. amd64 INET6 - мы раздаем ipv6 FLOWTABLE удален RUTERTABLES=1 trafshow -ing5 ================= 10.36.0.5,58397 224.0.0.252,5355 17 10410.36.0.5,53905 224.0.0.252,5355 17 10410.36.0.5,49197 77.234.40.86,443 6 5210.36.0.5,49196 173.194.39.180,443 6 5210.36.0.5,49193 173.194.39.128,443 6 5210.36.0.5,49198 87.240.143.244,80 6 5210.36.0.5,49194 173.194.39.180,443 6 5210.36.0.5,49195 173.194.39.128,443 6 52 и кипящий телефон в офисе..... ================================================================== ГДЕ КОПАТЬ, ГДЕ ЭТА С...КА ЗАРЫЛАСЬ?????????? возможно - перемудрил... Відредаговано 2013-12-11 21:21:38 pashaumka Ссылка на сообщение Поделиться на других сайтах
Mechanik 49 Опубліковано: 2013-12-11 19:34:25 Share Опубліковано: 2013-12-11 19:34:25 pf ?! что мешает на ipfw nat сделать? Ссылка на сообщение Поделиться на других сайтах
pashaumka 33 Опубліковано: 2013-12-11 20:48:05 Автор Share Опубліковано: 2013-12-11 20:48:05 в 10.0 уже smp-pf Ссылка на сообщение Поделиться на других сайтах
adeep 212 Опубліковано: 2013-12-11 20:48:11 Share Опубліковано: 2013-12-11 20:48:11 где прописаны 91.219.169.64/27? Ссылка на сообщение Поделиться на других сайтах
pashaumka 33 Опубліковано: 2013-12-11 21:15:54 Автор Share Опубліковано: 2013-12-11 21:15:54 (відредаговано) на брасе в квагге zebra.conf ip route 91.219.169.64/27 Null0 254в маршрутах 91.219.169.64/27 127.0.0.1 U1B 0 21918 lo0 на БГП в zebra.conf ip route 10.36.0.0/16 91.219.168.36ip route 91.219.169.64/27 91.219.168.36 root@bgp:/home/admin# netstat -rn | grep 91.219.168.3610.36.0.0/16 91.219.168.36 UG1 0 3560033 vlan3791.219.169.64/27 91.219.168.36 UG1 0 778032821 vlan37 тут всё пучком... Відредаговано 2013-12-11 21:16:53 pashaumka Ссылка на сообщение Поделиться на других сайтах
mlevel 52 Опубліковано: 2013-12-11 23:48:37 Share Опубліковано: 2013-12-11 23:48:37 (відредаговано) 1. А зачем: vm.kmem_size=2G если у Вас amd64? 2. Flow controll выключаеться так через sysctl : dev.igb.X.fc=0 dev.em.X.fc=0 dev.ix.X.fc=0 3. Попробуйте выключить: scrub in scrub out all max-mss 1400 4. Не: RUTERTABLES=1 а наверное: options ROUTETABLES=1 но зачем ето, если по умолчанию и так одна таблица? 5. На роутере в продакшене 11.0-current? Поставьте хотя бы 10.0-RC1. 6. У Вас слишком много тюнинга скорее для веб-сервера, чем для роутера. И много опций дублируються в sysctl.conf и loader.conf. Там вообще путаница. 7. Почему бы не поставить hw.igb.num_queues=8 если у Вас 8 ядер? 8. net.isr.dispatch="deffered"? а чем плох net.isr.dispatch="direct" ? 9. Почему выключен net.inet.ip.fastforwarding? И сделайте net.isr.bindthreads=1 и net.isr.direct=1 Почитайте: https://wiki.freebsd.org/NetworkPerformanceTuning Відредаговано 2013-12-11 23:51:33 mlevel Ссылка на сообщение Поделиться на других сайтах
pashaumka 33 Опубліковано: 2013-12-12 07:30:18 Автор Share Опубліковано: 2013-12-12 07:30:18 писал просто сокращенно, поздно вечером... 4 - так оно и есть. 5 - это не продакшн... это пока тестовый тазик... готовящийся на БГП с ixgbe карточками 6 - заметил... вычищаю Ссылка на сообщение Поделиться на других сайтах
pashaumka 33 Опубліковано: 2013-12-15 07:02:46 Автор Share Опубліковано: 2013-12-15 07:02:46 Всем спасибо, кто помог. Тема писалась в шоковом состоянии, т.к. всё дохло. Вопрос решился. Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВхід
Уже зарегистрированы? Войдите здесь.
Войти сейчас