Периодически лагает интернет. Проседает скорость.

[NETOS 129]

Все привет! 

Есть система:

FreeBSD 10.1-RELEASE FreeBSD 10.1-RELEASE #0 r274401: Tue Nov 11 22:51:51 UTC 2014     root@releng1.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  i386

Сетевые карты Intel. Объем трафика до 140 Мбит/сек. Как бы немного. Периодически появляется проблема, рвет связь в skype, speedtest набирает скорость и потом останавливается с ошибкой, торрент качает и постоянно скорость проваливается. Не могу разобраться в чем проблема, помогает перезагрузка сервака. Потом может через пару дней, а может через неделю проблема повторяется. Во время провалов скорости пинг стабильный, без потерь. Добавил два скрина atop.  Что подскажите? 

 

[_ivan_ 25]

что говорит mtr?

[loki 86]

ipfw show, sysctl.conf, pf.conf  покажите. ну и как предыдущий оратор покажите mtr ya.ru в момент проблемы и netstat -w1 -h.

[muff 114]

НАТ есть? Чем НАТишь?

[Sоrk 47]

наблюдал что-то похоже с pfnat, независимо от нагрузки начинало тормозить.

перешли на ipfw nat - больше такого не повторялось.

[FonOdinus 92]

Добрый вечер.

 

Наблюдаем подобную проблему.

Грешим на pf

 

# top -aSCHIP

 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME     CPU COMMAND

   12 root       -72    -     0K   384K RUN     2 116:36  89.79% [intr{swi1: netisr 0}]

   11 root       155 ki31     0K    64K RUN     3 7139.2  54.98% [idle{idle: cpu3}]

   11 root       155 ki31     0K    64K RUN     1 7135.5  53.76% [idle{idle: cpu1}]

   11 root       155 ki31     0K    64K RUN     2 7140.7  53.17% [idle{idle: cpu2}]

   11 root       155 ki31     0K    64K RUN     0 4908.1  47.85% [idle{idle: cpu0}]

 

 

Потери начинаются когда этот  процесс упирается в полку, появляются idrops на внешнем физическом интерфейсе.

 

Есть ли возможность заставить pf работать на нескольких ядрах?

[bos 39]

бытует мнение что ПФ стал многоядерным в 10ке)

[Ромка 565]

Ох сколько ж этих НАТов то во ФРЕ?

Відредаговано 2016-01-22 23:03:07 Ромка

[loki 86]

 

Добрый вечер.

 

Наблюдаем подобную проблему.

Грешим на pf

 

# top -aSCHIP

 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME     CPU COMMAND

   12 root       -72    -     0K   384K RUN     2 116:36  89.79% [intr{swi1: netisr 0}]

   11 root       155 ki31     0K    64K RUN     3 7139.2  54.98% [idle{idle: cpu3}]

   11 root       155 ki31     0K    64K RUN     1 7135.5  53.76% [idle{idle: cpu1}]

   11 root       155 ki31     0K    64K RUN     2 7140.7  53.17% [idle{idle: cpu2}]

   11 root       155 ki31     0K    64K RUN     0 4908.1  47.85% [idle{idle: cpu0}]

 

 

Потери начинаются когда этот  процесс упирается в полку, появляются idrops на внешнем физическом интерфейсе.

 

Есть ли возможность заставить pf работать на нескольких ядрах?

 

 

Вы уперлись в ограничения по колличеству очередей в потоках. При каком pps у вас такая картина ?

The netisr    kernel interface suite allows device drivers (and other    packet
sources) to direct    packets    to protocols for directly dispatched or
deferred processing.

PF-ом натят и больше 500К . Переходите на 10.2.

 

П.С 

 

Кстати,  не понятно какие у вас карты ?

 

Если трафика до 500Мбит и 50K pps  включите net.inet.ip.fastforwarding=1  и выключите  netisr

Відредаговано 2016-01-22 23:21:50 loki

[l1ght 377]

netisr полезен при PPP* типе трафика, который ещё не инкаспулировался в IP.

поэтому смело можно забыть и про него и про поллинг

ну если там не тонели конечно

а так да, фастфорвардинг

указать что за проц стоит и какие конкретно сетевки

[loki 86]

ИМХО про PPP и PPoE вообще давно забыть нужно было.

[cobalt 1]

ось i386? сетевые em(82571)? еще и mpd... поищите, в сети хороший мануал как правильно настраивать em0 и однозначно надо ставить amd64

 

говорите пинг стабилен... а в днс форвардер какой стоит, верхнего провайдера или гугль.паблик?

 

у меня на freebsd9.2 pf лопатит 1Гбит/с в ЧНН с mpd и шейпингом и норм. lagg 2х82576 и lagg 2хi350

[NETOS 129]

Только появилась проблема. Показываю результаты.

 

 

ipfw show

00050     117774      12347631 allow tcp from any to me dst-port 22
00051     104725      24364718 allow tcp from me 22 to any
00052       4108        356771 allow tcp from any to 188.239.111.xxx dst-port 1723 in
00053       3080        236760 allow tcp from 188.239.111.xxx 1723 to any out
00054          0             0 allow ip from 172.16.2.201 to any
00055          0             0 allow ip from any to 172.16.2.201
00056          0             0 allow ip from 172.16.2.202 to any
00057          0             0 allow ip from any to 172.16.2.202
00058    1020229     539341370 allow gre from any to any
00110      12945       1986436 allow ip from any to any via lo0
00120   11044691    2293314779 skipto 1000 ip from me to any
00130       2387        133760 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00160   45949574   15589789250 skipto 2000 ip from any to me
00200 2029002349 1704688034646 skipto 500 ip from any to any via ng0
00300  796159905  132300930907 skipto 4500 ip from any to any in
00400 1222610905 1556880250775 skipto 450 ip from any to any recv ng0
00490 1222618495 1556902775652 allow ip from any to any
00500 1233787726 1572635111977 skipto 32500 ip from any to any in
00540  795442671  132188589525 allow ip from any to any
01000    2734372     932989100 allow udp from any 53,7723 to any
01010    7654205    5727625645 allow tcp from any to any setup keep-state
01020    3954811     901282024 allow udp from any to any keep-state
01100    3054650     189055942 allow ip from any to any
02000          0             0 check-state
02010     146672      12889302 allow icmp from any to any
02020       9300        485852 allow tcp from any to any dst-port 22,80,443,5006
02030    5339537    7422050752 allow ip from table(101) to any
02050   31120916    2488117779 deny ip from any to any via ng0
02060    2788595     174741329 allow udp from any to any dst-port 53,7723
02100     195078      33799379 deny ip from any to any
04500     130583       8042685 allow ip from any to table(100)
05000  776414706  130187064725 skipto 18501 ip from table(21) to table(11)
05001   19242893    2074385750 allow ip from table(41) to table(11)
18500     369520      31280399 deny ip from any to any
18501  776414699  130187062830 pipe tablearg ip from table(21) to any
32000          0             0 deny ip from any to any
32490       2207        157717 deny ip from any to any
32500     118061      11038991 allow ip from table(100) to any
33000 1190259816 1514175061812 skipto 46501 ip from table(11) to table(31)
33001   43405592   58447641642 allow ip from table(11) to table(41)
46500       4257       1369532 deny ip from any to any
46501 1190259816 1514175061812 pipe tablearg ip from any to table(31)
60000          0             0 deny ip from any to any
65535          0             0 deny ip from any to any

/etc/sysctl.conf

# $FreeBSD: releng/10.1/etc/sysctl.conf 112200 2003-03-13 18:43:50Z mux $
#
#  This file is read when going to multi-user and its contents piped thru
#  ``sysctl'' to adjust kernel values.  ``man 5 sysctl.conf'' for details.
#
# Uncomment this to prevent users from seeing information about processes that
# are being run under another UID.
#security.bsd.see_other_uids=0

 cat /etc/pf.conf

ext_if = "ng0"

set limit states 128000
set optimization aggressive

nat pass on $ext_if from 172.16.2.0/24 to any -> ($ext_if)
nat pass on $ext_if from 172.16.20.0/24 to any -> ($ext_if)
nat pass on $ext_if from 172.16.21.0/24 to any -> ($ext_if)

 netstat -w1 -h

            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      7.3K     0     0       6.9M       6.3K     0       3.9M     0
      6.5K     0     0       6.5M       5.2K     0       3.6M     0
      5.8K     0     0       5.9M       4.7K     0       3.3M     0
      4.7K     0     0       4.5M       3.9K     0       2.6M     0
      5.6K     0     0       5.0M       4.9K     0       2.9M     0
      3.6K     0     0       2.7M       3.3K     0       1.7M     0
      5.7K     0     0       5.4M       4.8K     0       3.0M     0
      7.0K     0     0       6.3M       6.3K     0       3.4M     0
      5.7K     0     0       4.7M       5.2K     0       2.7M     0
      5.1K     0     0       4.1M       4.6K     0       2.4M     0
      7.9K     0     0       7.4M       6.8K     0       4.1M     0
      5.2K     0     0       4.5M       4.5K     0       2.6M     0
      7.7K     0     0       7.7M       6.4K     0       4.1M     0
      4.4K     0     0       3.5M       3.9K     0       2.1M     0
      2.4K     0     0       1.5M       2.2K     0       1.2M     0
      2.2K     0     0       1.2M       2.0K     0       1.0M     0
      4.6K     0     0       3.7M       4.3K     0       2.3M     0
      5.8K     0     0       5.2M       5.3K     0       3.2M     0
      4.9K     0     0       3.9M       4.4K     0       2.5M     0
      5.3K     0     0       4.3M       4.6K     0       2.6M     0
      4.2K     0     0       3.3M       3.7K     0       2.1M     0
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      4.0K     0     0       3.0M       3.5K     0       2.0M     0
      4.7K     0     0       3.9M       4.0K     0       2.3M     0
      5.1K     0     0       3.7M       4.5K     0       2.3M     0
      4.0K     0     0       2.8M       3.7K     0       2.1M     0
      5.0K     0     0       3.9M       4.4K     0       2.4M     0
      8.3K     0     0       7.7M       7.0K     0       4.4M     0
      5.0K     0     0       4.3M       4.4K     0       2.5M     0
      4.6K     0     0       3.9M       3.8K     0       2.4M     0
      3.7K     0     0       2.7M       3.5K     0       1.7M     0
      5.7K     0     0       5.4M       4.8K     0       3.0M     0
      5.2K     0     0       4.8M       4.5K     0       2.8M     0
      4.6K     0     0       4.2M       3.7K     0       2.1M     0
      2.4K     0     0       1.4M       2.3K     0       1.1M     0
      5.7K     0     0       5.2M       4.8K     0       2.9M     0
      5.9K     0     0       5.6M       4.8K     0       3.2M     0
      8.1K     0     0       8.2M       6.5K     0       4.5M     0
       16K     0     0        17M        13K     0       9.3M     0
       17K     0     0        18M        14K     0       9.8M     0
      7.5K     0     0       7.6M       6.0K     0       4.2M     0
      7.1K     0     0       7.1M       5.8K     0       4.0M     0
      6.7K     0     0       6.4M       5.8K     0       3.7M     0
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      3.8K     0     0       3.1M       3.3K     0       2.0M     0
      5.9K     0     0       5.4M       5.0K     0       3.2M     0
      4.4K     0     0       3.9M       3.7K     0       2.1M     0
      6.1K     0     0       5.6M       5.3K     0       3.3M     0
      6.5K     0     0       5.7M       5.8K     0       3.4M     0
      6.7K     0     0       6.2M       5.9K     0       3.6M     0
      4.1K     0     0       3.5M       3.6K     0       2.2M     0
      3.9K     0     0       3.0M       3.5K     0       2.0M     0
      5.1K     0     0       4.0M       4.5K     0       2.5M     0
      4.3K     0     0       3.7M       3.6K     0       2.3M     0
      5.3K     0     0       5.0M       4.2K     0       2.8M     0
      3.1K     0     0       2.1M       2.8K     0       1.7M     0
      3.9K     0     0       3.0M       3.5K     0       2.1M     0
      4.2K     0     0       3.4M       3.7K     0       2.1M     0
      7.4K     0     0       6.6M       6.5K     0       3.7M     0
      5.1K     0     0       4.1M       4.6K     0       2.4M     0
      5.9K     0     0       5.3M       4.9K     0       3.2M     0

Відредаговано 2016-01-25 15:43:10 NETOS

[mt6561 63]

Что-то пропустил чтоли, а проц, чипсет и память какие?
Карта Интел какая именно?

Вот прямо сейчас у себя наблюдаю 1,5 мегапакета, 10 гиг трафика и загрузка каждого ядра не более 50%. Но предполагаю, что железо малость другое

[loki 86]

При такой нагрузке как у топикстартера неважно какая карта и проц, главное чтоб они  не глючили ))
 
Покажите netstat -m, в ЧНН и в момент "проблемы"
 
Попробуйте:
 
set limit states 12800000
#set optimization aggressive
 
 
в /boot/loader.conf
 
net.pf.source_nodes_hashsize=81920
net.pf.states_hashsize=327680

 

 

Есть подозрение на pf-nat, на нехватку mbufs, и какой-то косяк в вашем интерфейсе ng

 

 

немного невредящего тюна в sysctl.conf

 

 

  

 

# TCP/IP

net.inet.ip.forwarding=1

net.inet.ip.fastforwarding=1

net.inet.tcp.blackhole=2

net.inet.udp.blackhole=0

net.inet.ip.redirect=0

net.inet.tcp.delayed_ack=0

net.inet.tcp.recvbuf_max=4194304

net.inet.tcp.sendbuf_max=4194304

net.inet.tcp.sack.enable=0

net.inet.tcp.drop_synfin=1

net.inet.tcp.nolocaltimewait=1

net.inet.ip.sourceroute=0

net.inet.ip.accept_sourceroute=0

net.inet.udp.recvspace=64080

net.inet.ip.rtmaxcache=1024

net.inet.ip.intr_queue_maxlen=5120

kern.ipc.nmbclusters=824288

kern.ipc.maxsockbuf=83886080

net.inet.tcp.recvspace=95536

net.inet.tcp.sendspace=95536

net.local.stream.recvspace=32768

net.local.stream.sendspace=32768

kern.ipc.somaxconn=32768

net.inet.tcp.maxtcptw=65535

 

# IPFW

net.inet.ip.fw.one_pass=1

net.inet.ip.fw.dyn_max=65535

net.inet.ip.fw.dyn_buckets=2048

net.inet.ip.fw.dyn_syn_lifetime=10

net.inet.ip.fw.dyn_ack_lifetime=120

net.inet.ip.fw.verbose=0

 

# Dummynet

net.inet.ip.dummynet.io_fast=1

net.inet.ip.dummynet.hash_size=65536

net.inet.ip.dummynet.pipe_slot_limit=1000

 

# ICMP

net.inet.icmp.icmplim=3000

net.inet.icmp.drop_redirect=1

net.inet.icmp.log_redirect=0

net.inet.icmp.bmcastecho=0

net.inet.icmp.maskrepl=0

 

#Disable IPv6 addres on iface

net.inet6.ip6.auto_linklocal=0

net.inet6.ip6.fw.enable=0

net.inet6.ip6.redirect=0

 

 

#Lagg correct balance

net.link.lagg.0.use_flowid=0

net.link.lagg.25.use_flowid=0

 

 

#

kern.random.sys.harvest.ethernet=0

kern.random.sys.harvest.point_to_point=0

kern.random.sys.harvest.interrupt=0

 

net.inet.raw.maxdgram=65534

net.inet.raw.recvspace=65534

net.raw.recvspace=65534

net.raw.sendspace=65534

 

net.route.netisr_maxqlen=8192

net.inet.ip.intr_queue_maxlen=10240

net.inet.ip.portrange.first=1024

 

Відредаговано 2016-01-26 02:23:10 loki