Перейти до

Freebsd 9. LACP. Периодически недоступны интерфейсы lagg

ApmeM

Автор: ApmeM,
в Софт

 Share Подписчики 0

Рекомендованные сообщения

ApmeM

ApmeM 0

Опубликовано:
Опубликовано:

День добрый.

В данный момент имеются два сервера доступа под управлении freebsd9.

[root@nas-1 /]# uname -a
FreeBSD nas-1.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64

и

[root@nas-4 /]# uname -a
FreeBSD nas-4.sunline.com.ua 9.0-RELEASE FreeBSD 9.0-RELEASE #5: Wed Dec 26 04:26:09 EET 2012 root@nas-4:/usr/obj/usr/src/sys/NAS amd64

на обоих серверах установлены сетевые интел, на сетевых два порта связаны через lacp и включены в агрегацию.

еще два порта, также связаны в lacp, и включены в корень сети.

Две недели оба сервера проработали нормально. после чего, с разницей в сутки, перестали отвечать на внешние разражители (ping, ssh и т.д.)

включившись в сервер напрямую увидел, что сервера живу, но пинг на адреса соседних серверов не проходит. зато есть ответ от самого себя.

вот интерфейсы одного из серверов

 

[root@nas-4 /]# ifconfig lagg1
lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
ether 90:e2:ba:08:90:00
inet 10.100.100.64 netmask 0xffffff00 broadcast 10.100.100.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb1 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb0 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
[root@nas-4 /]# ifconfig lagg0
lagg0: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=400a8<VLAN_MTU,JUMBO_MTU,VLAN_HWCSUM,VLAN_HWTSO>
ether 90:e2:ba:08:8f:a0
inet 10.100.110.64 netmask 0xffffff00 broadcast 10.100.110.255
media: Ethernet autoselect
status: active
laggproto lacp
laggport: igb3 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>
laggport: igb2 flags=1c<ACTIVE,COLLECTING,DISTRIBUTING>

Через несколько дней ожидаю подобного поведения.

Собственно вопрос - на что обратить внимание при вознокновении проблемы? Игде можно поискать проблему до падения интерфейсов?

в догонку некоторая информация

 

 

[root@nas-1 /]# cat /boot/loader.conf
hw.igb.rxd=2048
hw.igb.txd=2048
hw.igb.max_interrupt_rate=32000

net.graph.maxdata=65536
net.graph.maxalloc=65536

#net.link.ether.inet.log_arp_permanent_modify=0
#net.link.ether.inet.log_arp_movements=0
#net.link.ether.inet.log_arp_wrong_iface=0
#net.link.log_link_state_change=0
#net.link.ether.inet.max_age=60

kern.maxfiles=50000
net.inet.tcp.tcbhashsize=4096
## DADV TUNING
# for other protocols (IP & PPPoE?)
net.isr.defaultqlimit=4096

# default outgoing interface queue length
# used by lagg etc.
net.link.ifqmaxlen=10240

 

root@nas-1 /]# cat /etc/sysctl.conf | grep -v '#'

kern.ipc.somaxconn=1024
kern.ipc.maxsockbuf=83886080
kern.ipc.maxsockets=131072
net.inet.ip.intr_queue_maxlen=5000
net.inet.ip.intr_queue_drops=0
net.inet.ip.redirect=0
net.inet.ip.fw.one_pass=0
net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1
net.inet.icmp.bmcastecho=1
net.inet.icmp.drop_redirect=1
net.inet.icmp.log_redirect=1
kern.ipc.nmbclusters=131072
net.link.ether.inet.log_arp_permanent_modify=0
net.link.ether.inet.log_arp_movements=0
net.link.ether.inet.log_arp_wrong_iface=0
net.link.log_link_state_change=0

net.inet.ip.dummynet.hash_size=512

dev.igb.0.rx_processing_limit=4096
dev.igb.1.rx_processing_limit=4096
dev.igb.2.rx_processing_limit=4096
dev.igb.3.rx_processing_limit=4096
[root@nas-1 /]#

/etc/sysctl.conf и /boot/loader.conf одинаковы на обоих серверах.

Ссылка на сообщение
Поделиться на других сайтах
ApmeM

ApmeM 0

Опубліковано:
  • Автор
Опубліковано:

в данный момент имеем такую картину. На какой параметр обратить самое пристальное внимание?

last pid: 59963;  load averages:  3.03,  3.03,  2.86												 up 1+21:57:59  17:01:07
113 processes: 10 running, 74 sleeping, 29 waiting
CPU 0:  0.4% user,  0.0% nice,  3.5% system, 61.8% interrupt, 34.3% idle
CPU 1:  1.2% user,  0.0% nice,  3.1% system, 57.9% interrupt, 37.8% idle
CPU 2:  1.2% user,  0.0% nice,  3.5% system, 33.1% interrupt, 62.2% idle
CPU 3:  2.0% user,  0.0% nice,  6.7% system, 24.8% interrupt, 66.5% idle
Mem: 42M Active, 2159M Inact, 1478M Wired, 413M Buf, 216M Free
Swap: 4096M Total, 4096M Free
 PID USERNAME  PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
  11 root	  155 ki31	 0K    64K RUN	 3  37.4H 74.12% idle{idle: cpu3}
  11 root	  155 ki31	 0K    64K RUN	 2  36.9H 58.20% idle{idle: cpu2}
  12 root	  -92    -	 0K   544K WAIT    0 625:46 44.68% intr{irq266: igb2:que}
  11 root	  155 ki31	 0K    64K RUN	 1  32.9H 39.16% idle{idle: cpu1}
  12 root	  -92    -	 0K   544K RUN	 1 618:32 37.65% intr{irq271: igb3:que}
  11 root	  155 ki31	 0K    64K RUN	 0  22.4H 36.67% idle{idle: cpu0}
  12 root	  -92    -	 0K   544K WAIT    2 214:26 15.67% intr{irq258: igb0:que}
  12 root	  -92    -	 0K   544K WAIT    2 214:42 13.38% intr{irq263: igb1:que}
  12 root	  -92    -	 0K   544K WAIT    3 209:08 13.28% intr{irq259: igb0:que}
  12 root	  -92    -	 0K   544K CPU1    1 209:23 12.35% intr{irq257: igb0:que}
  12 root	  -92    -	 0K   544K WAIT    3 214:19 11.67% intr{irq264: igb1:que}
  12 root	  -92    -	 0K   544K CPU0    0 217:09 11.52% intr{irq256: igb0:que}
  12 root	  -92    -	 0K   544K RUN	 1 204:35 11.38% intr{irq262: igb1:que}
  12 root	  -92    -	 0K   544K RUN	 0 194:15 10.25% intr{irq261: igb1:que}
41785 root	   24    0   286M   155M select  3 154:56  7.23% mpd5{mpd5}
   0 root	  -92    0	 0K   416K -	   3  35:45  2.54% kernel{igb2 que}
   0 root	  -92    0	 0K   416K -	   3  35:33  2.10% kernel{igb3 que}
   2 root	  -16    -	 0K    16K pftm    0  29:42  1.03% pfpurge
42091 root	   21    0 22928K  6164K select  2  20:07  0.93% zebra
   0 root	  -92    0	 0K   416K -	   2  14:05  0.54% kernel{igb0 que}
  12 root	  -60    -	 0K   544K WAIT    1  13:59  0.00% intr{swi4: clock}
   0 root	  -92    0	 0K   416K -	   2  10:28  0.00% kernel{dummynet}
41665 root	   20    0 12184K  1644K select  2   3:07  0.00% syslogd
  15 root	  -16    -	 0K    16K -	   0   2:44  0.00% yarrow
42341 root	   20    0 29736K  9900K select  2   1:58  0.00% ospfd
  13 root	  -16    -	 0K    64K sleep   3   1:14  0.00% ng_queue{ng_queue1}
  13 root	  -16    -	 0K    64K sleep   3   1:12  0.00% ng_queue{ng_queue3}
  13 root	  -16    -	 0K    64K sleep   2   1:12  0.00% ng_queue{ng_queue0}
  13 root	  -16    -	 0K    64K sleep   3   1:12  0.00% ng_queue{ng_queue2}

 

root@nas-4 /]# vmstat -i
interrupt						  total	   rate
irq1: atkbd0						   5		  0
irq19: atapci0+				   268242		  1
cpu0:timer					 682887799	   4125
irq256: igb0:que 0		    1356654144	   8196
irq257: igb0:que 1			 733963724	   4434
irq258: igb0:que 2			 738492205	   4461
irq259: igb0:que 3			 715963827	   4325
irq260: igb0:link					  5		  0
irq261: igb1:que 0			 652965725	   3945
irq262: igb1:que 1			 720284849	   4351
irq263: igb1:que 2			 743332012	   4491
irq264: igb1:que 3			 729005282	   4404
irq265: igb1:link					  6		  0
irq266: igb2:que 0		    1080964924	   6531
irq267: igb2:que 1			    694314		  4
irq268: igb2:que 2			   2485210		 15
irq269: igb2:que 3			    752871		  4
irq270: igb2:link					  5		  0
irq271: igb3:que 0		    1074474003	   6491
irq272: igb3:que 1			   2658713		 16
irq273: igb3:que 2			    682522		  4
irq274: igb3:que 3			   2608000		 15
irq275: igb3:link					  6		  0
cpu2:timer					 682560824	   4124
cpu1:timer					 682549559	   4123
cpu3:timer					 680047764	   4108
Total					    11284296540	  68179


41628/8172/49800 mbufs in use (current/cache/total)
33446/5728/39174/131072 mbuf clusters in use (current/cache/total/max)
33446/5210 mbuf+clusters out of packet secondary zone in use (current/cache)
0/0/0/12800 4k (page size) jumbo clusters in use (current/cache/total/max)
0/0/0/6400 9k jumbo clusters in use (current/cache/total/max)
0/0/0/3200 16k jumbo clusters in use (current/cache/total/max)
77303K/13499K/90802K bytes allocated to network (current/cache/total)
0/0/0 requests for mbufs denied (mbufs/clusters/mbuf+clusters)
0/0/0 requests for jumbo clusters denied (4k/9k/16k)
0/0/0 sfbufs in use (current/peak/max)
0 requests for sfbufs denied
0 requests for sfbufs delayed
0 requests for I/O initiated by sendfile
0 calls to protocol drain routines

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
 Share
Подписчики 0
Перейти до переліку тем

  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

×
×
  • Створити нове...