Jump to content

Периодически лагает интернет. Проседает скорость.

NETOS

By NETOS,
in Hardware

 Share Followers 4

Recommended Posts

NETOS

NETOS 137

Posted
Posted

Все привет! 

Есть система:

FreeBSD 10.1-RELEASE FreeBSD 10.1-RELEASE #0 r274401: Tue Nov 11 22:51:51 UTC 2014     root@releng1.nyi.freebsd.org:/usr/obj/usr/src/sys/GENERIC  i386

Сетевые карты Intel. Объем трафика до 140 Мбит/сек. Как бы немного. Периодически появляется проблема, рвет связь в skype, speedtest набирает скорость и потом останавливается с ошибкой, торрент качает и постоянно скорость проваливается. Не могу разобраться в чем проблема, помогает перезагрузка сервака. Потом может через пару дней, а может через неделю проблема повторяется. Во время провалов скорости пинг стабильный, без потерь. Добавил два скрина atop.  Что подскажите? 

 

post-17499-0-17490900-1453292194_thumb.jpg

post-17499-0-08820300-1453292195_thumb.jpg

Link to post
Share on other sites
Sоrk

Sоrk 48

Posted
Posted

наблюдал что-то похоже с pfnat, независимо от нагрузки начинало тормозить.

перешли на ipfw nat - больше такого не повторялось.

Link to post
Share on other sites
FonOdinus

FonOdinus 92

Posted
Posted

Добрый вечер.

 

Наблюдаем подобную проблему.

Грешим на pf

 

# top -aSCHIP

 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME     CPU COMMAND
   12 root       -72    -     0K   384K RUN     2 116:36  89.79% [intr{swi1: netisr 0}]
   11 root       155 ki31     0K    64K RUN     3 7139.2  54.98% [idle{idle: cpu3}]
   11 root       155 ki31     0K    64K RUN     1 7135.5  53.76% [idle{idle: cpu1}]
   11 root       155 ki31     0K    64K RUN     2 7140.7  53.17% [idle{idle: cpu2}]
   11 root       155 ki31     0K    64K RUN     0 4908.1  47.85% [idle{idle: cpu0}]
 
 
Потери начинаются когда этот  процесс упирается в полку, появляются idrops на внешнем физическом интерфейсе.
 
Есть ли возможность заставить pf работать на нескольких ядрах?
Link to post
Share on other sites
loki

loki 86

Posted
Posted (edited)

 

Добрый вечер.

 

Наблюдаем подобную проблему.

Грешим на pf

 

# top -aSCHIP

 

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME     CPU COMMAND
   12 root       -72    -     0K   384K RUN     2 116:36  89.79% [intr{swi1: netisr 0}]
   11 root       155 ki31     0K    64K RUN     3 7139.2  54.98% [idle{idle: cpu3}]
   11 root       155 ki31     0K    64K RUN     1 7135.5  53.76% [idle{idle: cpu1}]
   11 root       155 ki31     0K    64K RUN     2 7140.7  53.17% [idle{idle: cpu2}]
   11 root       155 ki31     0K    64K RUN     0 4908.1  47.85% [idle{idle: cpu0}]
 
 
Потери начинаются когда этот  процесс упирается в полку, появляются idrops на внешнем физическом интерфейсе.
 
Есть ли возможность заставить pf работать на нескольких ядрах?

 

 

Вы уперлись в ограничения по колличеству очередей в потоках. При каком pps у вас такая картина ?

The netisr    kernel interface suite allows device drivers (and other    packet
sources) to direct    packets    to protocols for directly dispatched or
deferred processing.

PF-ом натят и больше 500К :). Переходите на 10.2.

 

П.С 

 

Кстати,  не понятно какие у вас карты ?

 

Если трафика до 500Мбит и 50K pps  включите net.inet.ip.fastforwarding=1  и выключите  netisr

Edited by loki
Link to post
Share on other sites
l1ght

l1ght 377

Posted
Posted

netisr полезен при PPP* типе трафика, который ещё не инкаспулировался в IP.

поэтому смело можно забыть и про него и про поллинг

ну если там не тонели конечно

а так да, фастфорвардинг

указать что за проц стоит и какие конкретно сетевки

Link to post
Share on other sites
cobalt

cobalt 1

Posted
Posted

ось i386? сетевые em(82571)? еще и mpd... поищите, в сети хороший мануал как правильно настраивать em0 и однозначно надо ставить amd64

 

говорите пинг стабилен... а в днс форвардер какой стоит, верхнего провайдера или гугль.паблик?

 

у меня на freebsd9.2 pf лопатит 1Гбит/с в ЧНН с mpd и шейпингом и норм. lagg 2х82576 и lagg 2хi350

Link to post
Share on other sites
NETOS

NETOS 137

Posted
  • Author
Posted (edited)

Только появилась проблема. Показываю результаты.

 

 

ipfw show

00050     117774      12347631 allow tcp from any to me dst-port 22
00051     104725      24364718 allow tcp from me 22 to any
00052       4108        356771 allow tcp from any to 188.239.111.xxx dst-port 1723 in
00053       3080        236760 allow tcp from 188.239.111.xxx 1723 to any out
00054          0             0 allow ip from 172.16.2.201 to any
00055          0             0 allow ip from any to 172.16.2.201
00056          0             0 allow ip from 172.16.2.202 to any
00057          0             0 allow ip from any to 172.16.2.202
00058    1020229     539341370 allow gre from any to any
00110      12945       1986436 allow ip from any to any via lo0
00120   11044691    2293314779 skipto 1000 ip from me to any
00130       2387        133760 deny icmp from any to any in icmptypes 5,9,13,14,15,16,17
00160   45949574   15589789250 skipto 2000 ip from any to me
00200 2029002349 1704688034646 skipto 500 ip from any to any via ng0
00300  796159905  132300930907 skipto 4500 ip from any to any in
00400 1222610905 1556880250775 skipto 450 ip from any to any recv ng0
00490 1222618495 1556902775652 allow ip from any to any
00500 1233787726 1572635111977 skipto 32500 ip from any to any in
00540  795442671  132188589525 allow ip from any to any
01000    2734372     932989100 allow udp from any 53,7723 to any
01010    7654205    5727625645 allow tcp from any to any setup keep-state
01020    3954811     901282024 allow udp from any to any keep-state
01100    3054650     189055942 allow ip from any to any
02000          0             0 check-state
02010     146672      12889302 allow icmp from any to any
02020       9300        485852 allow tcp from any to any dst-port 22,80,443,5006
02030    5339537    7422050752 allow ip from table(101) to any
02050   31120916    2488117779 deny ip from any to any via ng0
02060    2788595     174741329 allow udp from any to any dst-port 53,7723
02100     195078      33799379 deny ip from any to any
04500     130583       8042685 allow ip from any to table(100)
05000  776414706  130187064725 skipto 18501 ip from table(21) to table(11)
05001   19242893    2074385750 allow ip from table(41) to table(11)
18500     369520      31280399 deny ip from any to any
18501  776414699  130187062830 pipe tablearg ip from table(21) to any
32000          0             0 deny ip from any to any
32490       2207        157717 deny ip from any to any
32500     118061      11038991 allow ip from table(100) to any
33000 1190259816 1514175061812 skipto 46501 ip from table(11) to table(31)
33001   43405592   58447641642 allow ip from table(11) to table(41)
46500       4257       1369532 deny ip from any to any
46501 1190259816 1514175061812 pipe tablearg ip from any to table(31)
60000          0             0 deny ip from any to any
65535          0             0 deny ip from any to any
/etc/sysctl.conf
# $FreeBSD: releng/10.1/etc/sysctl.conf 112200 2003-03-13 18:43:50Z mux $
#
#  This file is read when going to multi-user and its contents piped thru
#  ``sysctl'' to adjust kernel values.  ``man 5 sysctl.conf'' for details.
#
# Uncomment this to prevent users from seeing information about processes that
# are being run under another UID.
#security.bsd.see_other_uids=0
 cat /etc/pf.conf
ext_if = "ng0"

set limit states 128000
set optimization aggressive

nat pass on $ext_if from 172.16.2.0/24 to any -> ($ext_if)
nat pass on $ext_if from 172.16.20.0/24 to any -> ($ext_if)
nat pass on $ext_if from 172.16.21.0/24 to any -> ($ext_if)
 netstat -w1 -h
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      7.3K     0     0       6.9M       6.3K     0       3.9M     0
      6.5K     0     0       6.5M       5.2K     0       3.6M     0
      5.8K     0     0       5.9M       4.7K     0       3.3M     0
      4.7K     0     0       4.5M       3.9K     0       2.6M     0
      5.6K     0     0       5.0M       4.9K     0       2.9M     0
      3.6K     0     0       2.7M       3.3K     0       1.7M     0
      5.7K     0     0       5.4M       4.8K     0       3.0M     0
      7.0K     0     0       6.3M       6.3K     0       3.4M     0
      5.7K     0     0       4.7M       5.2K     0       2.7M     0
      5.1K     0     0       4.1M       4.6K     0       2.4M     0
      7.9K     0     0       7.4M       6.8K     0       4.1M     0
      5.2K     0     0       4.5M       4.5K     0       2.6M     0
      7.7K     0     0       7.7M       6.4K     0       4.1M     0
      4.4K     0     0       3.5M       3.9K     0       2.1M     0
      2.4K     0     0       1.5M       2.2K     0       1.2M     0
      2.2K     0     0       1.2M       2.0K     0       1.0M     0
      4.6K     0     0       3.7M       4.3K     0       2.3M     0
      5.8K     0     0       5.2M       5.3K     0       3.2M     0
      4.9K     0     0       3.9M       4.4K     0       2.5M     0
      5.3K     0     0       4.3M       4.6K     0       2.6M     0
      4.2K     0     0       3.3M       3.7K     0       2.1M     0
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      4.0K     0     0       3.0M       3.5K     0       2.0M     0
      4.7K     0     0       3.9M       4.0K     0       2.3M     0
      5.1K     0     0       3.7M       4.5K     0       2.3M     0
      4.0K     0     0       2.8M       3.7K     0       2.1M     0
      5.0K     0     0       3.9M       4.4K     0       2.4M     0
      8.3K     0     0       7.7M       7.0K     0       4.4M     0
      5.0K     0     0       4.3M       4.4K     0       2.5M     0
      4.6K     0     0       3.9M       3.8K     0       2.4M     0
      3.7K     0     0       2.7M       3.5K     0       1.7M     0
      5.7K     0     0       5.4M       4.8K     0       3.0M     0
      5.2K     0     0       4.8M       4.5K     0       2.8M     0
      4.6K     0     0       4.2M       3.7K     0       2.1M     0
      2.4K     0     0       1.4M       2.3K     0       1.1M     0
      5.7K     0     0       5.2M       4.8K     0       2.9M     0
      5.9K     0     0       5.6M       4.8K     0       3.2M     0
      8.1K     0     0       8.2M       6.5K     0       4.5M     0
       16K     0     0        17M        13K     0       9.3M     0
       17K     0     0        18M        14K     0       9.8M     0
      7.5K     0     0       7.6M       6.0K     0       4.2M     0
      7.1K     0     0       7.1M       5.8K     0       4.0M     0
      6.7K     0     0       6.4M       5.8K     0       3.7M     0
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      3.8K     0     0       3.1M       3.3K     0       2.0M     0
      5.9K     0     0       5.4M       5.0K     0       3.2M     0
      4.4K     0     0       3.9M       3.7K     0       2.1M     0
      6.1K     0     0       5.6M       5.3K     0       3.3M     0
      6.5K     0     0       5.7M       5.8K     0       3.4M     0
      6.7K     0     0       6.2M       5.9K     0       3.6M     0
      4.1K     0     0       3.5M       3.6K     0       2.2M     0
      3.9K     0     0       3.0M       3.5K     0       2.0M     0
      5.1K     0     0       4.0M       4.5K     0       2.5M     0
      4.3K     0     0       3.7M       3.6K     0       2.3M     0
      5.3K     0     0       5.0M       4.2K     0       2.8M     0
      3.1K     0     0       2.1M       2.8K     0       1.7M     0
      3.9K     0     0       3.0M       3.5K     0       2.1M     0
      4.2K     0     0       3.4M       3.7K     0       2.1M     0
      7.4K     0     0       6.6M       6.5K     0       3.7M     0
      5.1K     0     0       4.1M       4.6K     0       2.4M     0
      5.9K     0     0       5.3M       4.9K     0       3.2M     0

post-17499-0-61896400-1453735843_thumb.jpg

Edited by NETOS
Link to post
Share on other sites
mt6561

mt6561 63

Posted
Posted

Что-то пропустил чтоли, а проц, чипсет и память какие?
Карта Интел какая именно?

Вот прямо сейчас у себя наблюдаю 1,5 мегапакета, 10 гиг трафика и загрузка каждого ядра не более 50%. Но предполагаю, что железо малость другое ;)

Link to post
Share on other sites
loki

loki 86

Posted
Posted (edited)

При такой нагрузке как у топикстартера неважно какая карта и проц, главное чтоб они  не глючили ))
 
Покажите netstat -m, в ЧНН и в момент "проблемы"
 
Попробуйте:
 
set limit states 12800000
#set optimization aggressive
 
 
в /boot/loader.conf
 
net.pf.source_nodes_hashsize=81920
net.pf.states_hashsize=327680

 

 

Есть подозрение на pf-nat, на нехватку mbufs, и какой-то косяк в вашем интерфейсе ng :)

 

 

немного невредящего тюна в sysctl.conf

 

 

  

 

# TCP/IP
net.inet.ip.forwarding=1
net.inet.ip.fastforwarding=1
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=0
net.inet.ip.redirect=0
net.inet.tcp.delayed_ack=0
net.inet.tcp.recvbuf_max=4194304
net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.sack.enable=0
net.inet.tcp.drop_synfin=1
net.inet.tcp.nolocaltimewait=1
net.inet.ip.sourceroute=0
net.inet.ip.accept_sourceroute=0
net.inet.udp.recvspace=64080
net.inet.ip.rtmaxcache=1024
net.inet.ip.intr_queue_maxlen=5120
kern.ipc.nmbclusters=824288
kern.ipc.maxsockbuf=83886080
net.inet.tcp.recvspace=95536
net.inet.tcp.sendspace=95536
net.local.stream.recvspace=32768
net.local.stream.sendspace=32768
kern.ipc.somaxconn=32768
net.inet.tcp.maxtcptw=65535
 
# IPFW
net.inet.ip.fw.one_pass=1
net.inet.ip.fw.dyn_max=65535
net.inet.ip.fw.dyn_buckets=2048
net.inet.ip.fw.dyn_syn_lifetime=10
net.inet.ip.fw.dyn_ack_lifetime=120
net.inet.ip.fw.verbose=0
 
# Dummynet
net.inet.ip.dummynet.io_fast=1
net.inet.ip.dummynet.hash_size=65536
net.inet.ip.dummynet.pipe_slot_limit=1000
 
# ICMP
net.inet.icmp.icmplim=3000
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=0
net.inet.icmp.bmcastecho=0
net.inet.icmp.maskrepl=0
 
#Disable IPv6 addres on iface
net.inet6.ip6.auto_linklocal=0
net.inet6.ip6.fw.enable=0
net.inet6.ip6.redirect=0
 
 
#Lagg correct balance
net.link.lagg.0.use_flowid=0
net.link.lagg.25.use_flowid=0
 
 
#
kern.random.sys.harvest.ethernet=0
kern.random.sys.harvest.point_to_point=0
kern.random.sys.harvest.interrupt=0
 
net.inet.raw.maxdgram=65534
net.inet.raw.recvspace=65534
net.raw.recvspace=65534
net.raw.sendspace=65534
 
net.route.netisr_maxqlen=8192
net.inet.ip.intr_queue_maxlen=10240
net.inet.ip.portrange.first=1024
 

Edited by loki
Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
 Share
Followers 4
Go to topic listing

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • serKrusH
      Виснет роутер
      By serKrusH
      Суть проблемы:
      есть роутер TP-LINK TL-WR841N. Несколько лет работал с ним и не знал проблем. Подключения:
      1 - через кабель стационарный компьютер
      2 - Телевизор(smart tv)
      3 - ноутбук(леново)
      4 - 2 телефона
       
      Недавно выдали рабочий ноутбук DELL. И тут начались проблемы. При попытке работы с данного ноутбука через время пропадает интернет. Показывает, что wifi есть но интернета нет. Перезагрузка роутера восстанавливает все. Причем пропасть интернет может через 5 минут работы, через час (т.е. закономерностей нет). На работе(что тут за роутер - не знаю, но что-то очень дорогое и мощное) таких проблем нет. Чтобы не мешать семье - приходится через мобильный интернет работать(на телефоне включаю точку доступа).
       
      И в августе планирую сменить место жительства и буду покупать новый роутер. Рекламируют TP-Link TL-WR940N или Mikrotik hAP. Т.к. я юзер без специальных навыков - склоняюсь к TP-Link, но боюсь, чтобы не было такой же проблемы.

      1. Почему роутер так реагирует на второй ноутбук?
      2. Что думаете о предложенных моделях роутеров?
       
×
×
  • Create New...