Сisco 7604 high cpu

[SanMiron 0]

Здравствуйте!

 

Помогите решить траблу с нагрузкой CPU на Cisco 7604:

 

ROM: System Bootstrap, Version 12.2(17r)S6, RELEASE SOFTWARE (fc1)
BOOTLDR: Cisco IOS Software, c7600s3223_rp Software (c7600s3223_rp-ADVENTERPRISEK9-M), Version 15.2(2)S2, RELEASE SOFTWARE (fc1)

 

cisco CISCO7604 (R7000) processor (revision 2.0) with 983040K/65536K bytes of memory.
Processor board ID FOX1340GBV1
R7000 CPU at 300MHz, Implementation 39, Rev 3.3, 256KB L2, 1024KB L3 Cache
Last reset from power-on
1 SIP-400 controller (4 GigabitEthernet).
1 Virtual Ethernet interface
5 Gigabit Ethernet interfaces
2 Ten Gigabit Ethernet interfaces
1915K bytes of non-volatile configuration memory

 

 

 

**************************************************************************************************************

 

666666666666666666666666666666666666666666666667777777777666
225555500000444442222266666555555555599999555553333322222888
100
90
80
70 ***** ************************************
60 **********************************************************
50 **********************************************************
40 **********************************************************
30 **********************************************************
20 **********************************************************
10 **********************************************************
0....5....1....1....2....2....3....3....4....4....5....5....6
0 5 0 5 0 5 0 5 0 5 0
CPU% per second (last 60 seconds)



1
778888898777777767887889888876899888099999999899889988999999
594663805286695824517659304562083752099999993099952114999999
100 * * *#*##### ** *###
90 ** *** * *** * #*** ######### ****** *###
80 **#**##** ****** ***###**##* *###**#########*######*#####
70 ########**#####* ############ ############################
60 ################*#########################################
50 ##########################################################
40 ##########################################################
30 ##########################################################
20 ##########################################################
10 ##########################################################
0....5....1....1....2....2....3....3....4....4....5....5....6
0 5 0 5 0 5 0 5 0 5 0
CPU% per minute (last 60 minutes)
* = maximum CPU% # = average CPU%



1 1
099999889889978899909333787989989889899778877779983638233413343333343364
018553445659997011809845638902336987520361650379957846958195629445915220
100 * *** * ** *** * * * **
90 ****** ***** * ***** * ** ******* * *** *
80 #****************##** *************** **** **** *
70 ########**#*#****##** ******#*###*************** * *
60 ####################* *#*#*##########*###**#**#* * *
50 ####################* *########################* * *
40 #####################* *##########################** * *** **** ****
30 #####################***##########################******** ***#*******
20 #####################################################**#****#########*
10 ######################################################################
0....5....1....1....2....2....3....3....4....4....5....5....6....6....7..
0 5 0 5 0 5 0 5 0 5 0 5 0
CPU% per hour (last 72 hours)
* = maximum CPU% # = average CPU%

 

**************************************************************************************************************

 

 

CPU  utilization for five seconds: 89%/83%; one minute: 87%; five minutes: 83%
PID Runtime(ms) Invoked uSecs 5Sec 1Min 5Min TTY Process
9 134949076 7255455 18599 1.75% 0.88% 0.71% 0 Check heaps
172 16612432 667068 24903 1.03% 0.12% 0.07% 0 Per-minute Jobs
237 188725876 634290549 297 0.71% 1.38% 1.30% 0 IP Input
171 181090104 6185168 29278 0.47% 0.49% 0.48% 0 Compute load avg
348 20806188 25949834 801 0.39% 0.19% 0.18% 0 CEF: IPv4 proces
432 32495804 8286728 3921 0.23% 0.16% 0.16% 0 HIDDEN VLAN Proc
619 24563176 66190876 371 0.15% 0.11% 0.10% 0 RADIUS
621 8900616 739704008 12 0.15% 0.08% 0.08% 0 OSPF-1 Hello
615 44430692 577592712 76 0.15% 0.13% 0.13% 0 PPP Events
14 47678224 46961293 1015 0.15% 0.15% 0.17% 0 ARP Input
173 2682548 16634121 161 0.07% 0.05% 0.03% 0 Per-Second Jobs
277 5463168 2029092900 2 0.07% 0.10% 0.07% 0 Ethernet Msec Ti
224 6610784 24850742 266 0.07% 0.04% 0.05% 0 AAA ACCT Proc
324 37078500 22336821 1659 0.07% 0.12% 0.13% 0 XDR receive
225 10986588 24637504 445 0.07% 0.11% 0.11% 0 ACCT Periodic Pr

 

 

И это при 500 примерно подключеных клиентов:

TOTAL 452 451 0 1
GigabitEthernet3/1/0 51 51 0 0
GigabitEthernet3/1/1 137 136 0 1
GigabitEthernet3/3/0 61 61 0 0
GigabitEthernet3/3/1 203 203 0 0

 

Дебыжить не пробовал, так как нужно скорее всего дебажить ip пакеты, не хочется ее потерять...

 

 

[Sоrk 48]

show processes cpu sorted

при этом почти наверняка в ТОПе будет что-то типа "ARP Input"

 

если это реально "ARP Input" то находим SVI где большое количество ARP (show int vlan1 acc) или заводим все svi на cacti и видим график где их больше 5-7 тыс/с

 

потом включаемся в этот VLAN ноутбуком с Wireshark и находим виновника по Source MAC.

[Den_LocalNet 1 474]

тут как бы очевидно что уваливают её интерапты

смотрите, явно какой-то левый трафик летит напроц, нужно натянуть хотя бы джентльменский набор пилиси-мапов на контрол-плейн

[SanMiron 0]

show processes cpu sorted

при этом почти наверняка в ТОПе будет что-то типа "ARP Input"

 

если это реально "ARP Input" то находим SVI где большое количество ARP (show int vlan1 acc) или заводим все svi на cacti и видим график где их больше 5-7 тыс/с

 

потом включаемся в этот VLAN ноутбуком с Wireshark и находим виновника по Source MAC.

 

 

"14   47678224   46961293   1015   0.15%   0.15%   0.17%   0   ARP Input"

Если явный арп-флуд то нагрузка как минимум 15-20% именно на ARP Input должна быть, там дебагом на 3-5 секунд можно выцепить подозрительный мак, а тут непонятно что, самый большой процес 1,3-1,7% IP Input