freebsd gateway 10g + NAT + SHAPE

[nicknamer]

Доброго времени суток!
Когда-то поднимал эту же тему по поводу NAT + шейп на freebsd 10g

Все советы принял и использовал, получилось пройти полку 4G, но после этого некоторые абоненты жалуются на скорость, хотя потерь нет. Но есть одно отличие это было не массово всего пару абонентов, тестил пару дней, возможно просто совпадение и проблема где-то локально у абонента.

 

Использую в качестве шейпа dummynet, в качестве ната pf

Не какого pppoe или dhcp на сервере нет

 

Сетевая карта intel x520-da2

 

# uname -a
FreeBSD R16 11.4-RELEASE-p9 FreeBSD 11.4-RELEASE-p9 #3: Tue May  4 21:21:11 EEST 2021     root@R16:/usr/obj/usr/src/sys/GATE  amd64

 

hw.model: Intel(R) Xeon(R) CPU E5-2680 v2 @ 2.80GHz
hw.ncpu: 20

 

# vmstat -i
interrupt                          total       rate
irq1: atkbd0                           6          0
irq20: ehci1                        7786          3
irq21: ehci0                        4667          2
cpu0:timer                       3128716       1012
cpu1:timer                       3428076       1109
cpu2:timer                       3412147       1104
cpu3:timer                       3430284       1110
cpu4:timer                       3417359       1106
cpu5:timer                       3396721       1099
cpu6:timer                       3416714       1106
cpu7:timer                       3428465       1109
cpu8:timer                       3347696       1083
cpu9:timer                       3363427       1088
cpu10:timer                      3344093       1082
cpu11:timer                      3360024       1087
cpu12:timer                      3350830       1084
cpu13:timer                      3324734       1076
cpu14:timer                      3357825       1087
cpu15:timer                      3362823       1088
cpu16:timer                      3350687       1084
cpu17:timer                        63572         21
cpu18:timer                        66008         21
cpu19:timer                        67536         22
irq264: ix0:q0                  18975268       6141
irq265: ix0:q1                  16632201       5382
irq266: ix0:q2                  18659926       6038
irq267: ix0:q3                  17284044       5593
irq268: ix0:q4                  16380946       5301
irq269: ix0:q5                  18725708       6060
irq270: ix0:q6                  18228845       5899
irq271: ix0:q7                  17149241       5550
irq272: ix0:link                       1          0
irq273: ix1:q0                  28765702       9309
irq274: ix1:q1                  22434914       7260
irq275: ix1:q2                  23281556       7534
irq276: ix1:q3                  23077926       7468
irq277: ix1:q4                  22338383       7229
irq278: ix1:q5                  27636996       8944
irq279: ix1:q6                  26828088       8682
irq280: ix1:q7                  26300314       8511
irq281: ix1:link                       1          0
irq286: ciss0                      22089          7
Total                          400152345     129492
 

# cat /boot/loader.conf
hint.p4tcc.0.disabled=1
hint.acpi_throttle.0.disabled=1

zfs_load="YES"

dev.igb.0.rx_processing_limit="4096"  # (default 100)
dev.igb.1.rx_processing_limit="4096"  # (default 100)
hw.ix.tx_process_limit=512
hw.ix.rx_process_limit=512
hw.ix.rxd=4096
hw.ix.txd=4096
cc_htcp_load="YES"
net.link.ifqmaxlen="8192"
net.isr.defaultqlimit="4096"
hw.igb.max_interrupt_rate="32000"
hw.igb.rx_process_limit="-1"
hw.igb.rxd="4096"  # (default 1024)
hw.igb.txd="4096"  # (default 1024)
kern.ipc.nmbclusters="5242880"
kern.ipc.nmbjumbop="2621440"
hw.intr_storm_threshold="9000"
net.inet.tcp.syncache.hashsize="1024"
net.inet.tcp.syncache.bucketlimit="100"
 

 cat /etc/sysctl.conf
# $FreeBSD: releng/11.4/etc/sysctl.conf 112200 2003-03-13 18:43:50Z mux $
#
#  This file is read when going to multi-user and its contents piped thru
#  ``sysctl'' to adjust kernel values.  ``man 5 sysctl.conf'' for details.
#

# Uncomment this to prevent users from seeing information about processes that
# are being run under another UID.
#security.bsd.see_other_uids=0
vfs.zfs.min_auto_ashift=12
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0
kern.ipc.maxsockbuf=33554432
net.inet.tcp.sendbuf_max=33554432
net.inet.tcp.recvbuf_max=33554432
net.inet.tcp.mssdflt=1460
net.inet.tcp.minmss=1300
net.inet.tcp.cc.htcp.adaptive_backoff=1
net.inet.tcp.cc.htcp.rtt_scaling=1
net.inet.tcp.syncache.rexmtlimit=0
net.inet.ip.rtexpire=10
net.inet.tcp.syncookies=0
net.inet.tcp.tso=0
net.inet.ip.check_interface=1
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=65536
net.inet.ip.dummynet.pipe_slot_limit=65536
net.inet.ip.fw.dyn_buckets=4096
net.inet.ip.process_options=0
net.inet.ip.random_id=1
net.inet.ip.redirect=0
net.inet.icmp.drop_redirect=1
net.inet.tcp.always_keepalive=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.ecn.enable=1
net.inet.tcp.fast_finwait2_recycle=1
net.inet.tcp.icmp_may_rst=0
net.inet.tcp.msl=5000
net.inet.tcp.path_mtu_discovery=0
net.inet.udp.blackhole=1
net.inet.tcp.blackhole=2
 

Так же был вопрос почему использую скрипт на бинд процессора к прерываниям и то что freebsd нормально распределяет нагрузку. - Если не распределяю прерывание то начинается хаос, ядра простаивают а некоторые нагружены на 100% - примерно 50 на 50

А так же делаю для того что бы убрать прерывание с 0 ядра так как даминет работает с него

 

Так же был совет отключить Hyper Threading, отключен для этого и взяли новый сервер с 10 физическими ядрами 2x

 

Тем не менее нагрузка трафика плавает между 3.99 и 4.6 G - 600 разрыв трафика и в основном держится на 3.99 G

 

Пока нужно еще наблюдать, смотреть как работает, но тут появилась проблема когда включил шейп, 0 ядро просто унесло в потолок при трафике 4.6, нормально себя чувствует при 3G, хотя есть другие роутера на Freebsd на 11.0, там слабее процы и используется Hyper Threading, которые не могут преодолеть полку 4G но при нагрузке 3.5G, процы нагружены примерно в 70 % те процессоры что немного по лучше в 50-60 % и тюнинг у них не отличается.

 

Все актуальные форумы я уже просмотрел и использовал к конфигурации разные тюнинги.

Да и если будет вопрос почему не использую freebsd выше 11, то в freebsd 12 уже используется iflib и как бы я не старался убрать прерывания с 0 ядра, эфекта не дало, может у вас буду замечания по этому поводу, а так оно паралелится.

 

И в заключение вопрос, это дело в железе текущем или конфигурации ? Так как я перепробовал уже массу вариаций то может вы вновь поможете куда стоит посмотреть, может где-то была допущена ошибка.

 

 

 

 

[Бульба]

Главный совет не использовать freebdsm

[a_n_h]

2 часа назад, nicknamer сказал:

Когда-то поднимал эту же тему по поводу NAT + шейп на freebsd 10g

дай содержимое rc.conf, vlan, bridge и т.д..

[nicknamer]

1 час назад, a_n_h сказал:

дай содержимое rc.conf, vlan, bridge и т.д..

ifconfig_ix0="up"
ifconfig_ix1="up"
cloned_interfaces="vlan7 vlan24"
ifconfig_vlan24="inet 1.1.1.2 netmask 255.255.255.240 vlan 24 vlandev ix1"
ifconfig_vlan24_alias0="inet 1.1.1.3 netmask 255.255.255.240"
ifconfig_vlan24_alias1="inet 1.1.1.4 netmask 255.255.255.240"
ifconfig_vlan24_alias2="inet 1.1.1.5 netmask 255.255.255.240"
ifconfig_vlan24_alias3="inet 1.1.1.6 netmask 255.255.255.240"
ifconfig_vlan24_alias4="inet 1.1.1.7 netmask 255.255.255.240"
ifconfig_vlan24_alias5="inet 1.1.1.8 netmask 255.255.255.240"
ifconfig_vlan7="inet 172.16.0.16 netmask 255.255.255.0 vlan 7 vlandev ix0"
defaultrouter="1.1.1.1"
static_routes="net1 net2 net3"
route_net1="-net 10.100.0.0/16 172.16.0.253"
route_net2="-net 2.2.2.0/22 172.16.0.253"
route_net3="-net 3.3.3.0/22 172.16.0.253"
sshd_enable="YES"
ntpd_enable="YES"
ntpdate_enable="YES"
# Set dumpdev to "AUTO" to enable crash dumps, "NO" to disable
dumpdev="AUTO"
zfs_enable="YES"
zabbix_agentd_enable="YES"
nginx_enable="YES"
snmpd_enable="YES"
gateway_enable="YES"
firewall_enable="YES"
pf_enable="YES"
pflog_enable="YES"
pf_rules="/etc/pf.conf"

1 час назад, a_n_h сказал:

дай содержимое rc.conf, vlan, bridge и т.д..

# netstat -nr
Routing tables

Internet:
Destination        Gateway            Flags     Netif Expire
default            1.1.1.1    UGS      vlan24
10.100.0.0/16      172.16.0.253       UGS       vlan7
2.2.2.0/22    172.16.0.253       UGS       vlan7
3.333.3.0/22     172.16.0.253       UGS       vlan7
127.0.0.1          link#7             UH          lo0
172.16.0.0/24      link#10            U         vlan7
172.16.0.16        link#10            UHS         lo0
1.1.1.0/28 link#11            U        vlan24
1.1.1.2    link#11            UHS         lo0
1.1.1.3    link#11            UHS         lo0
1.1.1.4    link#11            UHS         lo0
1.1.1.5    link#11            UHS         lo0
1.1.1.6    link#11            UHS         lo0
1.1.1.7    link#11            UHS         lo0
1.1.1.8    link#11            UHS         lo0
 

[nicknamer]

Так же ipfw

 

таблица 101, 102 in and out pipe

таблица 2 пулы серых ипов без пайпа

таблица 127 без шейпа

остальное думаю понятно

 

00050     662969     106357410 deny ip from any to table(66)
00140   11167841     987420053 allow ip from any to table(17)
00140   20035026   21227801264 allow ip from table(17) to any
00210       5396        219240 allow ip from any to any via lo0
00220     124055      15559895 skipto 1000 ip from me to any
00230       9931        770192 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00260    6277066     465429961 skipto 2000 ip from any to me
00300 1751766678 1648665160749 allow ip from any to any via vlan24
00310 1753492176 1649513428595 skipto 3000 ip from any to any
01000          0             0 allow udp from any 53 to any
01010        989        998881 allow tcp from any to any setup keep-state :default
01020       2190        166440 allow udp from any to any keep-state :default
01100     122608      15457714 allow ip from any to any
02000          0             0 check-state :default
02013      60424      10949470 allow ip from 172.16.0.0/24 to any 22
02019        182          8500 deny ip from any to any 22
02050       9584        622305 allow icmp from any to any
02051        228         10652 allow tcp from any to any 80,443,1281,1896,5101
02100    6204916     452775894 deny ip from any to any via vlan24
02150          0             0 allow udp from any to any 53
02200          0             0 deny ip from any to any
03000          0             0 skipto 3100 ip from table(25) to any 25
03010       1120         64758 deny ip from any to any 25
07500     342680      91043934 allow ip from table(127) to any
07600     906952    1041210265 allow ip from any to table(127)
09100        486         38254 allow ip from table(2) to table(101)
09110     486834      26758187 allow ip from table(101) to table(2)
09120  959710919 1206033340176 pipe tablearg ip from any to table(101)
09121  474861120  129162206287 pipe tablearg ip from table(102) to any
64001     451104     339078668 fwd 127.0.0.1,80 tcp from any to any 80
64002     287690      28705043 allow tcp from any 80 to any
64003     403889      30835406 fwd 127.0.0.1,443 tcp from any to any 443
64004      32207       5199882 allow tcp from any 443 to any
65000     355194     102415340 deny ip from any to any
 

[vovchokig]

Могу сказать только одно - dummynet. У меня простенький сервер с хорошей сетевой пропускает 5.5G (может и больше, это в работе) , но он работает только на маршрутизацию. И то, будем менять на железное решение. А сервера доступа примерно по 1000 клиентов на сервер, с трафиком до 1.5-2 гига , и тем же pf и шейпером. Процессор по возможности быстрый и с небольшим количеством ядер, что бы тот же dummynet прибить на одно ядро.  

[l1ght]

7 часов назад, nicknamer сказал:

но тут появилась проблема когда включил шейп, 0 ядро просто унесло в потолок при трафике 4.6

могло и раньше появится, у dummynet щас дефолтное поведение которое раньше требовало включения отдельной опции io_fast

суть в том, что дамминет вообще ничем не занимается пока не надо ограничить полосу по конкретной трубе, но как только труба достигла предела и надо реально выполнять работу то тут он начинает кушать ресурсы

 

P.S я тебе ещё в Одессе говорил что херня это всё  

[bit]

6 часов назад, nicknamer сказав:

Так же ipfw

 

таблица 101, 102 in and out pipe

таблица 2 пулы серых ипов без пайпа

таблица 127 без шейпа

остальное думаю понятно

 

00050     662969     106357410 deny ip from any to table(66)
00140   11167841     987420053 allow ip from any to table(17)
00140   20035026   21227801264 allow ip from table(17) to any
00210       5396        219240 allow ip from any to any via lo0
00220     124055      15559895 skipto 1000 ip from me to any
00230       9931        770192 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00260    6277066     465429961 skipto 2000 ip from any to me
00300 1751766678 1648665160749 allow ip from any to any via vlan24
00310 1753492176 1649513428595 skipto 3000 ip from any to any
01000          0             0 allow udp from any 53 to any
01010        989        998881 allow tcp from any to any setup keep-state :default
01020       2190        166440 allow udp from any to any keep-state :default
01100     122608      15457714 allow ip from any to any
02000          0             0 check-state :default
02013      60424      10949470 allow ip from 172.16.0.0/24 to any 22
02019        182          8500 deny ip from any to any 22
02050       9584        622305 allow icmp from any to any
02051        228         10652 allow tcp from any to any 80,443,1281,1896,5101
02100    6204916     452775894 deny ip from any to any via vlan24
02150          0             0 allow udp from any to any 53
02200          0             0 deny ip from any to any
03000          0             0 skipto 3100 ip from table(25) to any 25
03010       1120         64758 deny ip from any to any 25
07500     342680      91043934 allow ip from table(127) to any
07600     906952    1041210265 allow ip from any to table(127)
09100        486         38254 allow ip from table(2) to table(101)
09110     486834      26758187 allow ip from table(101) to table(2)
09120  959710919 1206033340176 pipe tablearg ip from any to table(101)
09121  474861120  129162206287 pipe tablearg ip from table(102) to any
64001     451104     339078668 fwd 127.0.0.1,80 tcp from any to any 80
64002     287690      28705043 allow tcp from any 80 to any
64003     403889      30835406 fwd 127.0.0.1,443 tcp from any to any 443
64004      32207       5199882 allow tcp from any 443 to any
65000     355194     102415340 deny ip from any to any
 

 

Важнейшая рекомендация пропущена

"Драться за каждое правило." 

Уложитесь хотя-бы в 6-8 строчек.

 

[Missterk]

Моя вам порада краще поставте мікротіковську ОС на х86 або візьміть Роутербоард 1036 або йому подібний 

[logic]

20 минут назад, Missterk сказав:

Моя вам порада краще поставте мікротіковську ОС на х86 або візьміть Роутербоард 1036 або йому подібний 

краще жуй

[NightNET]

21 минуту назад, logic сказал:

краще жуй

А конкретнее чем плох ROS на  нормальном x86  серверном тазе ?

 

На счет CCR1036  , то тоже вполне живой  и надежный  вариант , но пик 6ГБит/с , больше вряд ли прожует , так же могут за ддосить , если  хорошо захотят .

[vlin]

[admin@MikroTik] > system resource pr            
             uptime: 25w1d20h4m12s
            version: 6.47.7 (stable)
         build-time: Oct/27/2020 13:27:21
   factory-software: 6.38.5
        free-memory: 2887.4MiB
       total-memory: 3968.0MiB
                cpu: tilegx
          cpu-count: 36
      cpu-frequency: 1200MHz
           cpu-load: 40%
     free-hdd-space: 859.1MiB
    total-hdd-space: 1024.0MiB
  architecture-name: tile
         board-name: CCR1036-8G-2S+
           platform: MikroTik
[admin@MikroTik] > queue simple print count-only 
3188

ipoe, nat, shape. Каждому клиенту свой шейп. Сейчас трафика 2.9Гб, максимум было 3.6
 

 

[Бульба]

33 minutes ago, vlin said:

[admin@MikroTik] > system resource pr            
             uptime: 25w1d20h4m12s
            version: 6.47.7 (stable)
         build-time: Oct/27/2020 13:27:21
   factory-software: 6.38.5
        free-memory: 2887.4MiB
       total-memory: 3968.0MiB
                cpu: tilegx
          cpu-count: 36
      cpu-frequency: 1200MHz
           cpu-load: 40%
     free-hdd-space: 859.1MiB
    total-hdd-space: 1024.0MiB
  architecture-name: tile
         board-name: CCR1036-8G-2S+
           platform: MikroTik
[admin@MikroTik] > queue simple print count-only 
3188

ipoe, nat, shape. Каждому клиенту свой шейп. Сейчас трафика 2.9Гб, максимум было 3.6
 

 

Сочувствую 

[NightNET]

50 минут назад, vlin сказал:

[admin@MikroTik] > system resource pr            
             uptime: 25w1d20h4m12s
            version: 6.47.7 (stable)
         build-time: Oct/27/2020 13:27:21
   factory-software: 6.38.5
        free-memory: 2887.4MiB
       total-memory: 3968.0MiB
                cpu: tilegx
          cpu-count: 36
      cpu-frequency: 1200MHz
           cpu-load: 40%
     free-hdd-space: 859.1MiB
    total-hdd-space: 1024.0MiB
  architecture-name: tile
         board-name: CCR1036-8G-2S+
           platform: MikroTik
[admin@MikroTik] > queue simple print count-only 
3188

ipoe, nat, shape. Каждому клиенту свой шейп. Сейчас трафика 2.9Гб, максимум было 3.6
 

 

Круто ! Отличные показатели !  А чего не поставите последнюю лонг терм 6.47.9 ? 

 

Микротикофобы сейчас начнут слюной брызгать от зависти ярости))

[Туйон]

3 минуты назад, NightNET сказал:

Круто ! Отличные показатели !  А чего не поставите последнюю лонг терм 6.47.9 ? 

 

Видимо чтобы не ребутить.

Аптайм то приличный.

[911]

попробовать убрать второй проц

[FTTH_VN]

Уберите  шейпа dummynet и будет еб#ш@ть как конь ваш сервер . ipfw add 1 allow ip from any to any и смотрите как стает все хорошо, потом ipfw delete 1 , принимаете звонки от абонов что тупит. 

Если хотите шейпить делайте как вам писали выше установите  микротик х86 64.

[Baneff]

11.4 ? А почему-бы не обновить? До 13.0 или хотя бы до 12.2p7 ? Там есть уже поддержка netmap в драйвере сетевухи, это хорошо поднимает скорострельность.

И зачем там pf ? Штатный ipfw всё, что надо делает. Зачем множить сущности?

[Чучундра]

Вы вкурсе что такое netmap ? Как он поможет при форвардинге и шейпинге трафика ? У ipfw nat по сравнению с pf есть один недостаток, он неуправляем, от слова совсем. Нельзя ограничить число трансляций на хост, нельзя посмотреть таблицу трансляций.

[Baneff]

Думал, что в курсе. Вы мою уверенность поколебали. Смотрим man netmap.

NETMAP(4) FreeBSD Kernel Interfaces Manual NETMAP(4)

NAME  netmap – a framework for fast packet I/O

SYNOPSIS  device netmap

DESCRIPTION   netmap is a framework for extremely fast and efficient packet I/O for userspace and kernel clients, and for Virtual Machines...

 

Ну и так далее. Лично я ещё не перешёл на новую версию, проверить не могу дало оно прирост по скорости или нет. Так вы утверждаете, что быстрее не будет?

 

И по поводу ipfw nat . Много лет успешно пользуюсь и ни разу не возникло желание чем-то там управлять. Зачем? Молотит без проблем. У меня 32 серых адреса на 1 внешний белый.

Хотя спорить с вами не буду, надо вам pf - пользуйтесь, конечно, У каждого свой привычный инструментарий.

[Чучундра]

Как только у вас в сети заведется сканер портов или сканер ip адресов или прочая вздрочь плодящая потоки и забивающая таблицу трансляций, сразу возникает желание  поуправлять NATом. У меня такое возникало раз-два на пол года. Вариантов решения было два, либо pf либо FWSM модуль для Cat6500/C7600. В результате выбрал второй вариант, благо цены на них на ebay ниже плинтуса. 

[Baneff]

12 минут назад, Чучундра сказав:

Как только у вас в сети заведется сканер портов или сканер ip адресов или прочая вздрочь плодящая потоки и забивающая таблицу трансляций, сразу возникает желание  поуправлять NATом. У меня такое возникало раз-два на пол года. Вариантов решения было два, либо pf либо FWSM модуль для Cat6500/C7600. В результате выбрал второй вариант, благо цены на них на ebay ниже плинтуса. 

Ни разу за 20лет не было никаких проблем из-за каких-то сканеров. Флуд бывает, разной природы, но редко и решается просто отключением флудящего. Вот что-что, но ipfw nat работает железобетонно без всяких настроек и регулировок. Кстати, кол-во сессий на один IP адрес хоть белый хоть серый прекрасно ограничивается динамическими правилами ipfw. Когда-то давно мы пробовали ограничивать сессии, но потом пришли к выводу, что это не имеет смысла, отключили нафиг и забыли.

Ладно, у каждого свои взгляды и привычки, спорить не вижу смысла. Вам нравится pf - пользуйтесь, я оспаривать не буду.

 

Вы лучше скажите насчёт netmap . Почему это он не даст ускорения?

[Чучундра]

Вот только флудящего надо для начала вычислить, а если учесть что трафика при этом генерится немного то без просмотра таблицы соединений nat-a это малость проблематично.

Касательно второго вопроса,  netmap это фреймворк для быстрого обмена сетевыми данных между адаптером в  kernel space и ПРИЛОЖЕНИЕМ в user space. Форвардинг пакетов и шейпинг и так происходят в kernel space и netmap тут мало чем поможет. 

[KaYot]

1 час назад, Чучундра сказал:

netmap это фреймворк для быстрого обмена сетевыми данных между адаптером в  kernel space и ПРИЛОЖЕНИЕМ в user space. Форвардинг пакетов и шейпинг и так происходят в kernel space и netmap тут мало чем поможет. 

Внезапно. Всякие netmap и dpdk как раз и используют что б вынести ядерный функционал в userspace приложение. Да, НАТ и маршрутизация работает в userspace.

[Чучундра]

Неправда. Маршрутизация пакетов (не путать с программами заполняющими таблицы маршрутизации типа ospfd, bgpd,...) всегда работала в kernel space, как и шейпинг, как и nat-ы ipfw_nat/pf_nat/ng_nat. В userspace работал только natd, жутко функциональный и  жутко тормозной.