nicknamer

Так же ipfw таблица 101, 102 in and out pipe таблица 2 пулы серых ипов без пайпа таблица 127 без шейпа остальное думаю понятно 00050 662969 106357410 deny ip from any to table(66) 00140 11167841 987420053 allow ip from any to table(17) 00140 20035026 21227801264 allow ip from table(17) to any 00210 5396 219240 allow ip from any to any via lo0 00220 124055 15559895 skipto 1000 ip from me to any 00230 9931 770192 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17 00260 6277066 465429961 skipto 2000 ip from any to me 00300 1751766678 1648665160749 allow ip from any to any via vlan24 00310 1753492176 1649513428595 skipto 3000 ip from any to any 01000 0 0 allow udp from any 53 to any 01010 989 998881 allow tcp from any to any setup keep-state :default 01020 2190 166440 allow udp from any to any keep-state :default 01100 122608 15457714 allow ip from any to any 02000 0 0 check-state :default 02013 60424 10949470 allow ip from 172.16.0.0/24 to any 22 02019 182 8500 deny ip from any to any 22 02050 9584 622305 allow icmp from any to any 02051 228 10652 allow tcp from any to any 80,443,1281,1896,5101 02100 6204916 452775894 deny ip from any to any via vlan24 02150 0 0 allow udp from any to any 53 02200 0 0 deny ip from any to any 03000 0 0 skipto 3100 ip from table(25) to any 25 03010 1120 64758 deny ip from any to any 25 07500 342680 91043934 allow ip from table(127) to any 07600 906952 1041210265 allow ip from any to table(127) 09100 486 38254 allow ip from table(2) to table(101) 09110 486834 26758187 allow ip from table(101) to table(2) 09120 959710919 1206033340176 pipe tablearg ip from any to table(101) 09121 474861120 129162206287 pipe tablearg ip from table(102) to any 64001 451104 339078668 fwd 127.0.0.1,80 tcp from any to any 80 64002 287690 28705043 allow tcp from any 80 to any 64003 403889 30835406 fwd 127.0.0.1,443 tcp from any to any 443 64004 32207 5199882 allow tcp from any 443 to any 65000 355194 102415340 deny ip from any to any

ifconfig_ix0="up" ifconfig_ix1="up" cloned_interfaces="vlan7 vlan24" ifconfig_vlan24="inet 1.1.1.2 netmask 255.255.255.240 vlan 24 vlandev ix1" ifconfig_vlan24_alias0="inet 1.1.1.3 netmask 255.255.255.240" ifconfig_vlan24_alias1="inet 1.1.1.4 netmask 255.255.255.240" ifconfig_vlan24_alias2="inet 1.1.1.5 netmask 255.255.255.240" ifconfig_vlan24_alias3="inet 1.1.1.6 netmask 255.255.255.240" ifconfig_vlan24_alias4="inet 1.1.1.7 netmask 255.255.255.240" ifconfig_vlan24_alias5="inet 1.1.1.8 netmask 255.255.255.240" ifconfig_vlan7="inet 172.16.0.16 netmask 255.255.255.0 vlan 7 vlandev ix0" defaultrouter="1.1.1.1" static_routes="net1 net2 net3" route_net1="-net 10.100.0.0/16 172.16.0.253" route_net2="-net 2.2.2.0/22 172.16.0.253" route_net3="-net 3.3.3.0/22 172.16.0.253" sshd_enable="YES" ntpd_enable="YES" ntpdate_enable="YES" # Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable dumpdev="AUTO" zfs_enable="YES" zabbix_agentd_enable="YES" nginx_enable="YES" snmpd_enable="YES" gateway_enable="YES" firewall_enable="YES" pf_enable="YES" pflog_enable="YES" pf_rules="/etc/pf.conf" # netstat -nr Routing tables Internet: Destination Gateway Flags Netif Expire default 1.1.1.1 UGS vlan24 10.100.0.0/16 172.16.0.253 UGS vlan7 2.2.2.0/22 172.16.0.253 UGS vlan7 3.333.3.0/22 172.16.0.253 UGS vlan7 127.0.0.1 link#7 UH lo0 172.16.0.0/24 link#10 U vlan7 172.16.0.16 link#10 UHS lo0 1.1.1.0/28 link#11 U vlan24 1.1.1.2 link#11 UHS lo0 1.1.1.3 link#11 UHS lo0 1.1.1.4 link#11 UHS lo0 1.1.1.5 link#11 UHS lo0 1.1.1.6 link#11 UHS lo0 1.1.1.7 link#11 UHS lo0 1.1.1.8 link#11 UHS lo0

Доброго времени суток! Когда-то поднимал эту же тему по поводу NAT + шейп на freebsd 10g Все советы принял и использовал, получилось пройти полку 4G, но после этого некоторые абоненты жалуются на скорость, хотя потерь нет. Но есть одно отличие это было не массово всего пару абонентов, тестил пару дней, возможно просто совпадение и проблема где-то локально у абонента. Использую в качестве шейпа dummynet, в качестве ната pf Не какого pppoe или dhcp на сервере нет Сетевая карта intel x520-da2 # uname -a FreeBSD R16 11.4-RELEASE-p9 FreeBSD 11.4-RELEASE-p9 #3: Tue May 4 21:21:11 EEST 2021 root@R16:/usr/obj/usr/src/sys/GATE amd64 hw.model: Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz hw.ncpu: 20 # vmstat -i interrupt total rate irq1: atkbd0 6 0 irq20: ehci1 7786 3 irq21: ehci0 4667 2 cpu0:timer 3128716 1012 cpu1:timer 3428076 1109 cpu2:timer 3412147 1104 cpu3:timer 3430284 1110 cpu4:timer 3417359 1106 cpu5:timer 3396721 1099 cpu6:timer 3416714 1106 cpu7:timer 3428465 1109 cpu8:timer 3347696 1083 cpu9:timer 3363427 1088 cpu10:timer 3344093 1082 cpu11:timer 3360024 1087 cpu12:timer 3350830 1084 cpu13:timer 3324734 1076 cpu14:timer 3357825 1087 cpu15:timer 3362823 1088 cpu16:timer 3350687 1084 cpu17:timer 63572 21 cpu18:timer 66008 21 cpu19:timer 67536 22 irq264: ix0:q0 18975268 6141 irq265: ix0:q1 16632201 5382 irq266: ix0:q2 18659926 6038 irq267: ix0:q3 17284044 5593 irq268: ix0:q4 16380946 5301 irq269: ix0:q5 18725708 6060 irq270: ix0:q6 18228845 5899 irq271: ix0:q7 17149241 5550 irq272: ix0:link 1 0 irq273: ix1:q0 28765702 9309 irq274: ix1:q1 22434914 7260 irq275: ix1:q2 23281556 7534 irq276: ix1:q3 23077926 7468 irq277: ix1:q4 22338383 7229 irq278: ix1:q5 27636996 8944 irq279: ix1:q6 26828088 8682 irq280: ix1:q7 26300314 8511 irq281: ix1:link 1 0 irq286: ciss0 22089 7 Total 400152345 129492 # cat /boot/loader.conf hint.p4tcc.0.disabled=1 hint.acpi_throttle.0.disabled=1 zfs_load="YES" dev.igb.0.rx_processing_limit="4096" # (default 100) dev.igb.1.rx_processing_limit="4096" # (default 100) hw.ix.tx_process_limit=512 hw.ix.rx_process_limit=512 hw.ix.rxd=4096 hw.ix.txd=4096 cc_htcp_load="YES" net.link.ifqmaxlen="8192" net.isr.defaultqlimit="4096" hw.igb.max_interrupt_rate="32000" hw.igb.rx_process_limit="-1" hw.igb.rxd="4096" # (default 1024) hw.igb.txd="4096" # (default 1024) kern.ipc.nmbclusters="5242880" kern.ipc.nmbjumbop="2621440" hw.intr_storm_threshold="9000" net.inet.tcp.syncache.hashsize="1024" net.inet.tcp.syncache.bucketlimit="100" cat /etc/sysctl.conf # $FreeBSD: releng/11.4/etc/sysctl.conf 112200 2003-03-13 18:43:50Z mux $ # # This file is read when going to multi-user and its contents piped thru # ``sysctl'' to adjust kernel values. ``man 5 sysctl.conf'' for details. # # Uncomment this to prevent users from seeing information about processes that # are being run under another UID. #security.bsd.see_other_uids=0 vfs.zfs.min_auto_ashift=12 kern.random.sys.harvest.ethernet=0 kern.random.sys.harvest.point_to_point=0 kern.random.sys.harvest.interrupt=0 kern.ipc.maxsockbuf=33554432 net.inet.tcp.sendbuf_max=33554432 net.inet.tcp.recvbuf_max=33554432 net.inet.tcp.mssdflt=1460 net.inet.tcp.minmss=1300 net.inet.tcp.cc.htcp.adaptive_backoff=1 net.inet.tcp.cc.htcp.rtt_scaling=1 net.inet.tcp.syncache.rexmtlimit=0 net.inet.ip.rtexpire=10 net.inet.tcp.syncookies=0 net.inet.tcp.tso=0 net.inet.ip.check_interface=1 net.inet.ip.dummynet.io_fast=1 net.inet.ip.dummynet.hash_size=65536 net.inet.ip.dummynet.pipe_slot_limit=65536 net.inet.ip.fw.dyn_buckets=4096 net.inet.ip.process_options=0 net.inet.ip.random_id=1 net.inet.ip.redirect=0 net.inet.icmp.drop_redirect=1 net.inet.tcp.always_keepalive=0 net.inet.tcp.drop_synfin=1 net.inet.tcp.ecn.enable=1 net.inet.tcp.fast_finwait2_recycle=1 net.inet.tcp.icmp_may_rst=0 net.inet.tcp.msl=5000 net.inet.tcp.path_mtu_discovery=0 net.inet.udp.blackhole=1 net.inet.tcp.blackhole=2 Так же был вопрос почему использую скрипт на бинд процессора к прерываниям и то что freebsd нормально распределяет нагрузку. - Если не распределяю прерывание то начинается хаос, ядра простаивают а некоторые нагружены на 100% - примерно 50 на 50 А так же делаю для того что бы убрать прерывание с 0 ядра так как даминет работает с него Так же был совет отключить Hyper Threading, отключен для этого и взяли новый сервер с 10 физическими ядрами 2x Тем не менее нагрузка трафика плавает между 3.99 и 4.6 G - 600 разрыв трафика и в основном держится на 3.99 G Пока нужно еще наблюдать, смотреть как работает, но тут появилась проблема когда включил шейп, 0 ядро просто унесло в потолок при трафике 4.6, нормально себя чувствует при 3G, хотя есть другие роутера на Freebsd на 11.0, там слабее процы и используется Hyper Threading, которые не могут преодолеть полку 4G но при нагрузке 3.5G, процы нагружены примерно в 70 % те процессоры что немного по лучше в 50-60 % и тюнинг у них не отличается. Все актуальные форумы я уже просмотрел и использовал к конфигурации разные тюнинги. Да и если будет вопрос почему не использую freebsd выше 11, то в freebsd 12 уже используется iflib и как бы я не старался убрать прерывания с 0 ядра, эфекта не дало, может у вас буду замечания по этому поводу, а так оно паралелится. И в заключение вопрос, это дело в железе текущем или конфигурации ? Так как я перепробовал уже массу вариаций то может вы вновь поможете куда стоит посмотреть, может где-то была допущена ошибка.

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

/interrupts Такого файла у меня нет Ядра распределены с помощью скрипта for l in `cat ${basedir}/ix_cpu_16core_2nic`; do if [ -n "$l" ]; then iface=`echo $l | cut -f 1 -d ":"` queue=`echo $l | cut -f 2 -d ":"` cpu=`echo $l | cut -f 3 -d ":"` irq=`vmstat -i | grep "${iface}:q${queue}" | cut -f 1 -d ":" | sed "s/irq//g"` echo "Binding ${iface} queue #${queue} (irq ${irq}) -> CPU${cpu}" cpuset -l $cpu -x $irq fi done ix0:0:1 ix0:1:2 ix0:2:3 ix0:3:4 ix0:4:5 ix0:5:6 ix0:6:7 ix0:7:8 ix1:0:9 ix1:1:10 ix1:2:11 ix1:3:12 ix1:4:13 ix1:5:14 ix1:6:15 ix1:7:16 Всего 8 прерываний, на каждое ядро по одному прерыванию, 0 ядро для думинета И проц не в полке когда доходит до 4G

Доброго времени суток! Имеется роутер, нат и шейп на Freebsd 11 hw.machine: amd64 hw.model: Intel(R) Xeon(R) CPU X5690 @ 3.47GHz hw.ncpu: 24 Сетевая карта: Intel X520 10g sfp Недавно он уперся в полку 4G, дальше трафик не поднимался выше и начал деградировать Почитав на эту тему нужно было тюнить конфиг, но все попытки были четны Подскажите может кто сталкивался с этим или может что-то посоветовать, буду очень благодарен так как у самого варианты закончились Вот мой конфиг на данном этапе: sysctl.conf net.inet.tcp.blackhole=2 net.inet.udp.blackhole=1 net.inet.ip.intr_queue_maxlen=4096 net.graph.recvspace=8388608 net.graph.maxdgram=8388608 net.route.netisr_maxqlen=4096 kern.ipc.nmbclusters=400000 kern.ipc.maxsockbuf=83886080 kern.maxfiles=204800 kern.maxfilesperproc=200000 kern.ipc.maxsockets=204800 net.inet.ip.intr_queue_maxlen=10240 net.inet.tcp.sendbuf_max=4194304 net.inet.tcp.recvbuf_max=4194304 dev.ix.0.rx_processing_limit=4096 dev.ix.1.rx_processing_limit=4096 net.inet.ip.dummynet.io_fast=1 loader.conf hw.ix.rxd=4096 hw.ix.txd=4096 hw.ix.max_interrupt_rate=32000

И нам в любом случае нужна прошивка 1.2.5 так как на прошивке 1.2.3 нет понятия как GTGH ZXAN(config)#add-card slotno 4 ? CICG Common Interface Card CICK Common Interface Card CTBB 32 ports E1 balance interface card CTEUA Type A 32 ports E1 un-balance interface card CTLA 2 STM-1 ports CES interface card CTTB 32 ports T1 interface card CTUB 32 ports E1 unbalance interface card ETGH 16-port EPON PON card ETGO 8-port EPON OLT line card ETTD 2-port 10G EPON symmetry PON card ETTQ 10G EPON PON card ETTS 2-port 10G EPON PCM PON card ETXD 2-port 10G EPON unsymmetry PON card FTGH Type A 16 ports GE PTP Ethernet interface card FTGHA Type A 16 ports GE PTP Ethernet interface card FTGK 48-ports PTP Ethernet interface card FUFQ 4FE Fiber Uplink Card GDFO 8-ports GE PTP Ethernet interface card GTGO 8-port GPON OLT line card GTGQ 4-port GPON OLT line card GTXD XG-GPON OLT line card GTXQ XG-GPON OLT line card GUFQ 4GE Fiber Uplink Card GUSQ 2GE Fiber & 2GE Electrical Uplink Card GUTQ 4-port Electrical Uplink Card HDTT 2-ports 10GE and 8-ports GE PTP Ethernet interface card HUGQ 2-port GE and 2-port FE optical Ethernet interface card HULQ 2-port 10GE and 2-port FE optical Ethernet interface card HUTQ 2-port 10GE and 2-port GE optical Ethernet interface card HUWQ 2-port 10GE and 2-port GE optical Ethernet interface card supporting SyncE OMFT OMFT OLT line card for test OMOA OMOA card OMQA OMQA card PRWG General Power Card RTDMRG Multiple Service Card VSWEC VSWEC card WTBS 2-port 10G EPON WDM PON card XDTD 2-port 10GE optical Ethernet interface card XDTS 1-port 10GE optical Ethernet interface card XUTQ 4-port 10GE optical Ethernet interface card XUXQ 4-port 10GE optical Ethernet interface card

Эта та на которой проблемы при прошивке 1.2.5 Rack Shelf Slot CfgType RealType Port HardVer SoftVer Status ------------------------------------------------------------------------------- 1 1 0 PRWG PRWG 0 INSERVICE 1 1 1 PRWG PRWG 0 INSERVICE 1 1 2 ETGO ETGOD 8 091201 V1.2.3P3 INSERVICE 1 1 3 ETGO ETGOD 8 091201 V1.2.3P3 INSERVICE 1 1 10 SCXM SCXM 0 090700 V1.2.3P3 INSERVICE 1 1 11 SCXM 0 OFFLINE 1 1 19 GUFQ GUFQ 4 090200 V1.2.3P3 INSERVICE 1 1 20 HUTQ HUTQ 4 100101 V1.2.3P3 INSERVICE Эта на которой работает с зоопарком, при чем со всеми RealType И синхронизировали карту управления с нее. Но по непонятным причинам все ровно не работает Rack Shelf Slot CfgType RealType Port HardVer SoftVer Status ------------------------------------------------------------------------------- 1 1 0 PRWG PRWG N/A 140400 INSERVICE 1 1 1 PRWG PRWG N/A 140400 INSERVICE 1 1 2 ETGO ETGOD 8 091201 V1.2.5P3 INSERVICE 1 1 3 ETGO ETGOD 8 091201 V1.2.5P3 INSERVICE 1 1 6 ETGH ETGHK 16 151202 V1.2.5P3 INSERVICE 1 1 10 SCXM SCXM N/A 090700 V1.2.5P3 INSERVICE 1 1 11 SCXM SCXM N/A 090700 V1.2.5P3 STANDBY 1 1 12 GTGH GTGHG 16 140901 V1.2.5P3 INSERVICE 1 1 13 GTGH GTGHK 16 151202 V1.2.5P3 INSERVICE 1 1 19 GUFQ GUFQ 4 090200 V1.2.5P3 INSERVICE 1 1 20 HUVQ HUVQ 4 120300 V1.2.5P3 INSERVICE

Доброго времени суток! Появилась задача поставить карту GTGH на ZTE C300 При установке карты она не отображалась, почитав про это нужна была прошивка V1.2.5P3 При обновлении прошивки на двух картах ETGO начали отваливатся зоопарк ону (stels,foxgate и тд). Они разрегиваются и заного регаются, в интервале 30 секунд Причину так и установить не удалось почему так происходило, в логах кроме того как что ону уходили в Deregister и Register,ничего не было. Вернулись обратно на прошивку V1.2.3P3 Есть другая ZTE C300 у которой была прошивка V1.2.5P3 там работает как и ETGO так и GTGH и они работают с зоопарком ону. Была вторая попытка принята сделать синхронизацию карт управления с другой ZTE. Вытащили резервную карту с первой ZTE и вставили в другую ZTE там где все работает, карты синхронизировались без проблем. Далее возвращаемся к первой ZTE, вытащили основную карту управления дабы не было синхронизации, вставили, она запустилась, залили бэкап, проверили что версия V1.2.5P3. Но такая же проблема как и в первый раз. Хотя все идентично как и на второй ZTE там где все работает. Может кто-то сталкивался с такой проблемой ? Так же прилагаю логи по ону Onu interface: epon-onu_1/2/4:2 AdminState: enable Physical State: online Online State: authentication pass OnuType: ZTE-F420 SN: MAC: 1c87.7913.a65f LOID: NAME: GeneralDescription: SplitterNo: 1 FiberNo: 1 UserInfo: Register time: 2020/06/17 16:12:53 Authpass time: 2020/06/17 16:12:53 Deregister time: 2020/06/17 16:12:50 FecMode: disable FecAbility: unkown LoopbackStatus: noLoopback OamLoopbacIgnoreRx: ignore MAC bind mode: disable Onu Bind Mac: 0000.0000.0000 LOID bind mode: disable Offline cause: TimestampDrift 1PPS status: disable ----------------------------------------------------------------------- Onu interface: epon-onu_1/2/4:2 AdminState: enable Physical State: online Online State: authentication pass OnuType: ZTE-F420 SN: MAC: 1c87.7913.a65f LOID: NAME: GeneralDescription: SplitterNo: 1 FiberNo: 1 UserInfo: Register time: 2020/06/17 16:14:26 Authpass time: 2020/06/17 16:14:26 Deregister time: 2020/06/17 16:14:24 FecMode: disable FecAbility: unkown LoopbackStatus: noLoopback OamLoopbacIgnoreRx: ignore MAC bind mode: disable Onu Bind Mac: 0000.0000.0000 LOID bind mode: disable Offline cause: TimestampDrift 1PPS status: disable ---------------------------------------------------------------------- Onu interface: epon-onu_1/2/4:2 AdminState: enable Physical State: online Online State: authentication pass OnuType: ZTE-F420 SN: MAC: 1c87.7913.a65f LOID: NAME: GeneralDescription: SplitterNo: 1 FiberNo: 1 UserInfo: Register time: 2020/06/17 16:14:17 Authpass time: 2020/06/17 16:14:17 Deregister time: 2020/06/17 16:14:14 FecMode: disable FecAbility: unkown LoopbackStatus: noLoopback OamLoopbacIgnoreRx: ignore MAC bind mode: disable Onu Bind Mac: 0000.0000.0000 LOID bind mode: disable Offline cause: TimestampDrift 1PPS status: disable --------------------------------------------------------------------- Onu interface: epon-onu_1/2/4:2 AdminState: enable Physical State: offline Online State: not register OnuType: ZTE-F420 SN: MAC: 1c87.7913.a65f LOID: NAME: GeneralDescription: SplitterNo: 1 FiberNo: 1 UserInfo: Register time: 2020/06/17 16:12:58 Authpass time: 2020/06/17 16:12:58 Deregister time: 2020/06/17 16:13:01 FecMode: disable FecAbility: unkown LoopbackStatus: noLoopback OamLoopbacIgnoreRx: ignore MAC bind mode: disable Onu Bind Mac: 0000.0000.0000 LOID bind mode: disable Offline cause: TimestampDrift 1PPS status: disable