Помогите найти проблему

[kvirtu 315]

Начните с sysctl dev.igb.N, особо внимательно смотрите на mac_stats, но там все MIBы несут полезную для вас информацию.

dev.igb.0.mac_stats.recv_jabber: 209

dev.igb.0.mac_stats.recv_errs: 7618

dev.igb.0.mac_stats.crc_errs: 9052

 

[chilly86 2]

Ну crc это обычно физика (кабель, коннектор,сетевая)

[kvirtu 315]

Ну crc это обычно физика (кабель, коннектор,сетевая)

кабель, джеки - менялись. Сетевуха 2-х головая, igb1 - все чисто, ошибок нет

Відредаговано 2017-01-01 08:42:07 kvirtu

[kostikbel 0]

 

Начните с sysctl dev.igb.N, особо внимательно смотрите на mac_stats, но там все MIBы несут полезную для вас информацию.

dev.igb.0.mac_stats.recv_jabber: 209

dev.igb.0.mac_stats.recv_errs: 7618

dev.igb.0.mac_stats.crc_errs: 9052

 

 

По хорошему, нужно смотреть на динамику счетчиков.  crc в самом деле физика.

 

Пробовали воткнуть в другой порт на другом конце кабеля ?  Пробовали другую такую же карточку, или, если нет, то поменять порты на этой ?

[kvirtu 315]

 

 

Начните с sysctl dev.igb.N, особо внимательно смотрите на mac_stats, но там все MIBы несут полезную для вас информацию.

dev.igb.0.mac_stats.recv_jabber: 209

dev.igb.0.mac_stats.recv_errs: 7618

dev.igb.0.mac_stats.crc_errs: 9052

 

 

По хорошему, нужно смотреть на динамику счетчиков.  crc в самом деле физика.

 

Пробовали воткнуть в другой порт на другом конце кабеля ?  Пробовали другую такую же карточку, или, если нет, то поменять порты на этой ?

 

Другой такой карточки нет, остается только менять порты, что   крайне б не хотелось, т.к. это  рабочий сервак.

[chilly86 2]

Поставил наконец двухголовую Интеловскую сетевуху
смущает два момента:
- разница по трафику между интерфейсами igb0 и igb1 почти в два раза:

# netstat -w 1 -I igb0
            input         (igb0)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
     12174     0     0   14126233       8697     0    4590515     0
     13716     0     0   15880886       9983     0    5585274     0
     13290     0     0   15012517       9691     0    5885688     0
     12895     0     0   14546025       9440     0    5724768     0
     12045     0     0   13362026       9263     0    5312597     0
     13631     0     0   15623507       9863     0    5018626     0
     13638     0     0   15904222       9771     0    5377121     0

 

# netstat -w 1 -I igb1
            input         (igb1)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      9777     0     0    2617821      13314     0   32120945     0
     10610     0     0    2931178      13677     0   32373369     0
      9612     0     0    2513438      12981     0   30099494     0
     10224     0     0    2596312      13718     0   32313366     0
     10205     0     0    2760453      13548     0   32205664     0
     10402     0     0    2374550      14137     0   34056781     0
     10889     0     0    2744589      15082     0   35775143     0
     10096     0     0    2776627      13536     0   32260027     0


Device igb0 [xxx.xxx.xxx.xxx] (1/18):
================================================================================================================================================
Incoming:                                                               Outgoing:
Curr: 117.99 MBit/s                                                     Curr: 41.41 MBit/s
Avg: 109.82 MBit/s                                                      Avg: 40.32 MBit/s
Min: 98.55 MBit/s                                                       Min: 34.65 MBit/s
Max: 119.94 MBit/s                                                      Max: 45.98 MBit/s
Ttl: 110.92 GByte                                                       Ttl: 30.47 GByte

Device igb1 [10.13.0.254] (2/18):
================================================================================================================================================
Incoming:                                                               Outgoing:
Curr: 21.14 MBit/s                                                      Curr: 229.49 MBit/s
Avg: 20.49 MBit/s                                                       Avg: 213.37 MBit/s
Min: 17.75 MBit/s                                                       Min: 191.91 MBit/s
Max: 23.12 MBit/s                                                       Max: 235.36 MBit/s
Ttl: 15.40 GByte                                                        Ttl: 213.37 GByte


хотя трафика на igb0 должно быть больше максимум на 2-3%
какти соответственно тоже рисует не правильно

на другом конце кабеля от интерфейса igb1 какти рисует уже "правильный" график

еще смущает, что pciconf -lv показывает минимальную инфу о сетевухе:
igb0@pci0:4:0:0:    class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet
igb1@pci0:4:0:1:    class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet

драйвера никакие не ставил, определилась автоматически
таки дрова нужно крутить?

Відредаговано 2017-01-25 11:06:07 chilly86

[pashaumka 33]

cat /proc/interrupts | grep eth  ( igb )

[chilly86 2]

cat /proc/interrupts | grep eth  ( igb )

Это ж вроде из линухов, разве нет?

[Ajar 92]

 

 

 

Начните с sysctl dev.igb.N, особо внимательно смотрите на mac_stats, но там все MIBы несут полезную для вас информацию.

dev.igb.0.mac_stats.recv_jabber: 209

dev.igb.0.mac_stats.recv_errs: 7618

dev.igb.0.mac_stats.crc_errs: 9052

 

 

По хорошему, нужно смотреть на динамику счетчиков.  crc в самом деле физика.

 

Пробовали воткнуть в другой порт на другом конце кабеля ?  Пробовали другую такую же карточку, или, если нет, то поменять порты на этой ?

 

Другой такой карточки нет, остается только менять порты, что   крайне б не хотелось, т.к. это  рабочий сервак.

 

Попробуйте поставить более длинный патчкорд, у нас по crc падали ошибки на 0.5 патчкордах, поставили минималку 2м  и все стало работать без потерь.

[pashaumka 33]

 

cat /proc/interrupts | grep eth  ( igb )

Это ж вроде из линухов, разве нет?

 

ну у меня в конфигах фри было

в loader.conf

#http://pipekva.blogspot.com/2010/09/freebsd-8-igb.html
#http://yandex.ua/yandsearch?rdrnd=822528&text=freebsd%20igb%20tuning&clid=1909644&lr=145&redircnt=1386319483.1
hw.igb.rxd=4096
hw.igb.txd=4096
hw.igb.max_interrupt_rate=32000
hw.igb.rx_process_limit=2048
hw.igb.num_queues=2
hw.igb.lro=0
hw.igb.fc_setting=0
 
net.isr.dispatch="deffered"        # direct / hybrid / deffered // Interrupt handling via multiple CPU, but with context s
net.inet.ip.fastforwarding="0"        # packets are forwarded directly to the appropriate network interface with a min validi
 
net.inet.tcp.tcbhashsize=32768        # tcb hash size
net.isr.bindthreads=0            # do not bind threads to CPUs
net.isr.direct=0               # interrupt handling via multiple CPU
net.isr.direct_force=0            # "
net.isr.maxthreads=2                    # Max number of threads for NIC IRQ balancing (4 cores in box)
net.isr.defaultqlimit=4096
net.isr.maxqlimit="2048"

зашел по ссылке - http://dadv.livejournal.com/139170.html- очень рекоммендую зайти

Відредаговано 2017-01-25 15:16:13 pashaumka

[chilly86 2]

чудеса продолжаются:
поменял сетевушку на двухголовую Intel PCI-E
заработала без каких либо плясок с драйверами, да вот только определяется она не полноценно:
 

igb0@pci0:4:0:0:    class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet
igb1@pci0:4:0:1:    class=0x020000 card=0xa03c8086 chip=0x10c98086 rev=0x01 hdr=0x00
    vendor     = 'Intel Corporation'
    class      = network
    subclass   = ethernet

смущает также вывод top -HIS

last pid: 16005;  load averages:  0.70,  0.74,  0.75                                                                   up 20+23:41:07  09:26:43
176 processes: 4 running, 152 sleeping, 20 waiting
CPU:  0.0% user,  0.0% nice,  1.3% system, 32.0% interrupt, 66.7% idle
Mem: 305M Active, 508M Inact, 337M Wired, 148K Cache, 212M Buf, 809M Free
Swap: 924M Total, 924M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
   11 root       171 ki31     0K    32K RUN     0 313.4H 67.97% idle{idle: cpu0}
   11 root       171 ki31     0K    32K RUN     1 313.4H 63.77% idle{idle: cpu1}
   12 root       -44    -     0K   336K CPU0    0 187.1H 33.79% intr{swi1: netisr 0}
   12 root       -68    -     0K   336K WAIT    1  61.4H 19.29% intr{irq260: igb1:que}
   12 root       -68    -     0K   336K WAIT    0  60.9H 13.38% intr{irq259: igb1:que}
   12 root       -68    -     0K   336K WAIT    0 366:40  1.76% intr{irq256: igb0:que}
   12 root       -68    -     0K   336K WAIT    1 324:27  0.88% intr{irq257: igb0:que}
    0 root       -68    0     0K   240K -       1 203:37  0.39% kernel{igb0 que}

а именно нагрузка прерываниями


# vmstat -i
 

interrupt                          total       rate
irq18: ohci0 ohci1*                    6          0
irq19: atapci0                   4147218          2
cpu0: timer                   3626463895       1999
irq256: igb0:que 0            8052005238       4440
irq257: igb0:que 1            8065625128       4447
irq258: igb0:link                      6          0
irq259: igb1:que 0            7624418681       4204
irq260: igb1:que 1            7653385179       4220
irq261: igb1:link                     24          0
cpu1: timer                   3626463413       1999
Total                        38652508788      21315

и это в 9ть утра, когда трафика всего 130 мегабит

вечером в пик (21 час) трафик опять таки упирается в 220-230 мегабит, падает до 170 и снова поднимается
при этом в top interrupr жрет до 50% проца

убирал полностью шейп - трафик не поднимается, нагрузка на проц естественно падает без шейпинга
паралельно запускал wget (вечером), качал образ с зеркала воли (10 гигов) - максимум 1-2 мегабайта в секунду

запустил утром wget - 6-7 мегабайт и выше 190 не поднимается

проверяли iperf'om ранее на ближайший сервер провайдера - с 5ой попытки выдавило 300 (ёмкость нашего канала)

копать в сторону драйверов? тюнинга sysctl?

 

 

[chilly86 2]

с сетевушкой прояснил, она в pciconf так и должна отображаться
а вообще ET 82576

версия драйверов:

# sysctl -a | grep igb | grep vers

dev.igb.0.%desc: Intel(R) PRO/1000 Network Connection version - 2.3.9 - 8

сегодня поотключал rxcsum txcsum tso - результат тот же
я вот думаю, может я банально упираюсь в производительность медика?
у него же тоже есть планка по pps?
медик tp-link MC220L
кто то использовал его у себя при pps 20k?
 

[Ромка 567]

Ух, ребята, жестяк... 17 год...

MC220L повыкидывали везде, есть у них несростуха по медным портам.

Ну и железку, можно хоть баксов за 200-300 купить динозавра на этом форуме, даже с блэкджеком и шлюхами нормальными бортовыми нормальными сетевухами ...

Ну про ось промолчу, иначе щас заплюют...

[passer 67]

MC220L до сих пор стоят, и гораздо по-более 20kpps пропускают. Но да, вылазят у них прелестные тараканы, когда они умирают.