ZTE C320 высокая нагрузка на ЦПУ

[andrew_fobos 0]

Добрый день, Коллеги! Подскажите пожалуйста, куда копать в случае следующего кейса:

Есть несколько OLT ZTE ZXA C320 (1.2.5P2 прошивка) с картами GTGO (где то одна, где то две). На стенде работали нормально, в боевых условиях, до какого то момента, тоже нормально. Но с недавнего времени началось следующее явление:

 При попытке выполнения более или менее весомых команд в cli (show pon power-attenuation или show gpon onu state), или опроса по SNMP некоторого количество OID - на девайсах подскакивает CPU load на SMXA до 100%, начинается тупка CLI, snmp, теряются пакеты летящие сквозь олт к абонентам. Пришлось поотключать весь возможный мониторинг, чтобы оно не помирало раз в поллинг-интервал. 

При этом если не трогать SNMP и telnet - абоненты работают хорошо, нагрузка на цпу 1-2%. 

Сломал голову, подскажите куда копать, пожалуйста.

[Dimkers 1,615]

GTGH V1.2.5P3, около 500 онушек:

 

Что олт делает? Только переливает трафик абонов по вланам в аплинк? Или може еще какие функции?

[andrew_fobos 0]

  On 2/28/2018 at 11:07 AM, Dimkers said:

GTGH V1.2.5P3, около 500 онушек:

 

Что олт делает? Только переливает трафик абонов по вланам в аплинк? Или може еще какие функции?

Expand  

 

Ну, в stand-by, только на обслуживании абонентов, нагрузки то тоже как таковой нет.

 

А вот если сделать snmpwalk на него то картина такая:

И начинаются потери до абонентов.

 

Из функционала на олте - терминятся 8 штук абонентских вланов в SVI и отдаются в один дефолтный маршрут. Никаких PBR, ACL или чего то, что может трафик в ЦПУ переливать.

[Ромка 567]

  On 2/28/2018 at 11:17 AM, andrew_fobos said:

 

Ну, в stand-by, только на обслуживании абонентов, нагрузки то тоже как таковой нет.

 

А вот если сделать snmpwalk на него то картина такая:

И начинаются потери до абонентов.

 

Из функционала на олте - терминятся 8 штук абонентских вланов в SVI и отдаются в один дефолтный маршрут. Никаких PBR, ACL или чего то, что может трафик в ЦПУ переливать.

Expand  

Патчи какие-то установлены?

На 1.2.5Р2 были какие-то косяки с SNMP. Как раз решалось установкой каких то патчей.

Прикрепил чейнджлог к патчам на Р2, почитайте.

ZXA10 C300 V1.2.5P2 Patch Release Specification 20140311.doc

[andrew_fobos 0]

  On 2/28/2018 at 12:45 PM, Ромка said:

Патчи какие-то установлены?

На 1.2.5Р2 были какие-то косяки с SNMP. Как раз решалось установкой каких то патчей.

Прикрепил чейнджлог к патчам на Р2, почитайте.

ZXA10 C300 V1.2.5P2 Patch Release Specification 20140311.docFetching info...

Expand  

Спасибо! В ближайшее время ознакомлюсь!

Патчи какие то стоят что были из коробки, железка быстро встала в продакшн поэтому в патчи вкурить не успел, очень уж у ZTE сложная схема жизненного цикла софта.

[Ромка 567]

  On 2/28/2018 at 1:13 PM, andrew_fobos said:

очень уж у ZTE сложная схема жизненного цикла софта.

Expand  

Как и у всех китайцев.

То вы наверное еще с huawei не сталкивались)))

 

А вообще, я бы советовал обновиться до 1.2.5Р3. У меня на Р2 были траблы с q-in-q.

[andrew_fobos 0]

  On 2/28/2018 at 1:20 PM, Ромка said:

Как и у всех китайцев.

То вы наверное еще с huawei не сталкивались)))

 

А вообще, я бы советовал обновиться до 1.2.5Р3. У меня на Р2 были траблы с q-in-q.

Expand  

Как раз с Huawei сталкивался, но с Ethernet решениями типа Quidway S2300 серии. Там фирмварь + 1 патч, если мне память не изменяет, и всё =) 

На 1.2.5P3 тут была инфа у форумчан про циклический sync-mib вроде на не-ZTE онушках, победили уже это явление, не подскажете? А то пока зоопарк не ставим массово, но хотелось бы себе оставить возможность для манёвра повтыкать какие нибудь Huawei.

[Ромка 567]

  On 2/28/2018 at 1:27 PM, andrew_fobos said:

На 1.2.5P3 тут была инфа у форумчан про циклический sync-mib вроде на не-ZTE онушках, победили уже это явление, не подскажете? А то пока зоопарк не ставим массово, но хотелось бы себе оставить возможность для манёвра повтыкать какие нибудь Huawei.

Expand  

В 1.2.5Р3 какой-то патч вызывает  зависимость от родных ОНУ. При этом в логе появляются записи типа "faked SN". Откат того патча решает вопрос. Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации. Только не шейте ОЛТ 2.0.Х прошивкой, на этой прошивке появляется зависимость от родных ОНУ, и даже после отката до 1.2.5Р3 зависимость сохранится, придется форматировать SMXA и переливать софт с рабочей SMXA.

  On 2/28/2018 at 1:27 PM, andrew_fobos said:

Как раз с Huawei сталкивался, но с Ethernet решениями типа Quidway S2300 серии. Там фирмварь + 1 патч, если мне память не изменяет, и всё =) 

Expand  

Имелось ввиду ОЛТы от huawei.

[magamel 3]

Такаж проблема як і в топікастера, при snmp  запитах  процесор 99%

#show processor  
Rack   Shelf    Slot   CPU(5s)   CPU(1m)    CPU(5m)   PhyMem(MB)  Memory     
-------------------------------------------------------------------------------
1       1       1       11%       14%       12%       256         58%
1       1       4       99%       25%       7%        1024        45%

#show card
Rack Shelf Slot CfgType RealType Port    HardVer SoftVer         Status
-------------------------------------------------------------------------------
1    1     1    ETGO    ETGOD    8       091201  V1.2.5P2        INSERVICE     
1    1     3    PRAM    PRAM     N/A             V1.01           INSERVICE     
1    1     4    SMXA    SMXA     N/A     110702  V1.2.5P2        INSERVICE    
 

На прошивці V1.2.5P3 відвалюються онушки, тому прийшлось шити V1.2.5P2.

#show patch-running  
Loc    FileName                       PatchTag   OperateTime         PatchState
-------------------------------------------------------------------------------
1/1/4 smxav125p2t6_r1.pat            2.0        2017-12-15 14:52:23 ACTIVE     
1/1/4 smxav125p2t6_r2.pat            2.0        2017-12-15 14:52:23 ACTIVE     
1/1/4 smxav125p2t6_r3.pat            2.0        2017-12-15 14:52:23 ACTIVE    

Edited 2018-02-28 13:42:11 by magamel

[LV10 281]

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

[andrew_fobos 0]

  On 2/28/2018 at 2:01 PM, LV10 said:

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

Expand  

Нету скайпа, да и, наверное, если есть опыт - тут, последующим страдальцам, тоже будет интересно почитать. =) 

В чем проблема оказалась в итоге, поделитесь?

Edited 2018-02-28 14:12:28 by andrew_fobos

[LV10 281]

тут долго писать

[andrew_fobos 0]

  On 2/28/2018 at 2:10 PM, LV10 said:

тут долго писать

Expand  

В скайпе на связь смогу выйти не раньше 10 марта, к сожалению, я сейчас нахожусь в условиях очень плохой связи, если до этого момента ничего не прояснится, тогда напишу, спасибо! 

[mch412 2]

  On 2/28/2018 at 2:01 PM, LV10 said:

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

Expand  

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

[andrew_fobos 0]

  On 2/28/2018 at 3:56 PM, mch412 said:

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

Expand  

У Вас на 1.2.5Р3 тоже такое наблюдается?

[Ромка 567]

  On 2/28/2018 at 3:56 PM, mch412 said:

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

Expand  

Интересно, ответит кому либо, или нет?

[mch412 2]

  On 2/28/2018 at 4:30 PM, andrew_fobos said:

У Вас на 1.2.5Р3 тоже такое наблюдается?

Expand  

Нет, не наблюдается.

Но нужно быть готовым ко всему.

Я не нашел в инструкции на ZTE C300 Troobleshoting раздела, а иногда очень надо!? 

 

P.S. У нас щас другая проблемка нарисовалась: https://local.com.ua/forum/topic/101440-проблема-с-отвалом-карты-на-zte-c300/

 

Edited 2018-03-01 07:11:50 by mch412

[Ромка 567]

  On 3/1/2018 at 7:09 AM, mch412 said:

P.S. У нас щас другая проблемка нарисовалась: https://local.com.ua/forum/topic/101440-проблема-с-отвалом-карты-на-zte-c300/

 

Expand  

Если Р3, то я выше проблему с отвалом линейных карт описал для с320, как с с300 будет хз... 

[mch412 2]

  On 3/1/2018 at 7:20 AM, Ромка said:

Если Р3, то я выше проблему с отвалом линейных карт описал для с320, как с с300 будет хз... 

Expand  

Выше Вы писали: "...Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации..."

 

Так как таки Вы боролись с отвалом линейных карт? перепрошивкой в 1.2.5Р2? или применяли какие-то патчи?

Edited 2018-03-06 13:36:42 by mch412

[andrew_fobos 0]

  On 2/28/2018 at 1:37 PM, Ромка said:

В 1.2.5Р3 какой-то патч вызывает  зависимость от родных ОНУ. При этом в логе появляются записи типа "faked SN". Откат того патча решает вопрос. Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации. Только не шейте ОЛТ 2.0.Х прошивкой, на этой прошивке появляется зависимость от родных ОНУ, и даже после отката до 1.2.5Р3 зависимость сохранится, придется форматировать SMXA и переливать софт с рабочей SMXA.

Имелось ввиду ОЛТы от huawei.

Expand  

 

Онушки Huawei что то не заводятся, даже без каких либо патчей на 1.2.5P3. Записей про faked sn нету, но онушки ходят по кругу logging→syncmib→working→LOS

[Dimkers 1,615]

  On 3/12/2018 at 1:22 PM, andrew_fobos said:

Онушки Huawei что то не заводятся

Expand  

И слава богу. Имели партию однопортовых(8010) - бида через неделю\месяц - горит тока повер. Штук 20 уже на сервис выслали.

Кстати уже пару партий Сидаты взяли - полет норм.

Edited 2018-03-12 15:48:11 by Dimkers

[andrew_fobos 0]

  On 3/12/2018 at 3:46 PM, Dimkers said:

И слава богу. Имели партию однопортовых(8010) - бида через неделю\месяц - горит тока повер. Штук 20 уже на сервис выслали.

Кстати уже пару партий Сидаты взяли - полет норм.

Expand  

Ну у нас HG8245/HG8245H. Вроде неплохие, как мне показалось. И не подверженые ZTEшной пандемии при работе роутером с внешним айпишником (когда онушка кирпичится оставляя гореть только лампочку "WPS")

Edited 2018-03-12 15:52:44 by andrew_fobos

[mch412 2]

У нас голова ZTE C300 и ону Huawei 8310 - работают норм, только из той партии что на депсе брали уже штук 25 сдохли (только power горит) . 

Еще ону Alcatel  есть - тоже норм, только более критичны к вх затуханию на линии (чуствительность прийомника на ону -27дБ по сравнению с -30дБ на Huawei)  и перегружать нужно  после каждого изменеия.

Вопрос: "Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации." очень актуален! Может кто знает что делать с данной проблемой?