ZTE C320 высокая нагрузка на ЦПУ

[andrew_fobos 0]

Добрый день, Коллеги! Подскажите пожалуйста, куда копать в случае следующего кейса:

Есть несколько OLT ZTE ZXA C320 (1.2.5P2 прошивка) с картами GTGO (где то одна, где то две). На стенде работали нормально, в боевых условиях, до какого то момента, тоже нормально. Но с недавнего времени началось следующее явление:

 При попытке выполнения более или менее весомых команд в cli (show pon power-attenuation или show gpon onu state), или опроса по SNMP некоторого количество OID - на девайсах подскакивает CPU load на SMXA до 100%, начинается тупка CLI, snmp, теряются пакеты летящие сквозь олт к абонентам. Пришлось поотключать весь возможный мониторинг, чтобы оно не помирало раз в поллинг-интервал. 

При этом если не трогать SNMP и telnet - абоненты работают хорошо, нагрузка на цпу 1-2%. 

Сломал голову, подскажите куда копать, пожалуйста.

[Dimkers 1 598]

GTGH V1.2.5P3, около 500 онушек:

 

Что олт делает? Только переливает трафик абонов по вланам в аплинк? Или може еще какие функции?

[andrew_fobos 0]

2 минуты назад, Dimkers сказал:

GTGH V1.2.5P3, около 500 онушек:

 

Что олт делает? Только переливает трафик абонов по вланам в аплинк? Или може еще какие функции?

 

Ну, в stand-by, только на обслуживании абонентов, нагрузки то тоже как таковой нет.

 

А вот если сделать snmpwalk на него то картина такая:

И начинаются потери до абонентов.

 

Из функционала на олте - терминятся 8 штук абонентских вланов в SVI и отдаются в один дефолтный маршрут. Никаких PBR, ACL или чего то, что может трафик в ЦПУ переливать.

[Ромка 567]

1 час назад, andrew_fobos сказал:

 

Ну, в stand-by, только на обслуживании абонентов, нагрузки то тоже как таковой нет.

 

А вот если сделать snmpwalk на него то картина такая:

И начинаются потери до абонентов.

 

Из функционала на олте - терминятся 8 штук абонентских вланов в SVI и отдаются в один дефолтный маршрут. Никаких PBR, ACL или чего то, что может трафик в ЦПУ переливать.

Патчи какие-то установлены?

На 1.2.5Р2 были какие-то косяки с SNMP. Как раз решалось установкой каких то патчей.

Прикрепил чейнджлог к патчам на Р2, почитайте.

ZXA10 C300 V1.2.5P2 Patch Release Specification 20140311.doc

[andrew_fobos 0]

24 минуты назад, Ромка сказал:

Патчи какие-то установлены?

На 1.2.5Р2 были какие-то косяки с SNMP. Как раз решалось установкой каких то патчей.

Прикрепил чейнджлог к патчам на Р2, почитайте.

ZXA10 C300 V1.2.5P2 Patch Release Specification 20140311.doc

Спасибо! В ближайшее время ознакомлюсь!

Патчи какие то стоят что были из коробки, железка быстро встала в продакшн поэтому в патчи вкурить не успел, очень уж у ZTE сложная схема жизненного цикла софта.

[Ромка 567]

5 минут назад, andrew_fobos сказал:

очень уж у ZTE сложная схема жизненного цикла софта.

Как и у всех китайцев.

То вы наверное еще с huawei не сталкивались)))

 

А вообще, я бы советовал обновиться до 1.2.5Р3. У меня на Р2 были траблы с q-in-q.

[andrew_fobos 0]

1 минуту назад, Ромка сказал:

Как и у всех китайцев.

То вы наверное еще с huawei не сталкивались)))

 

А вообще, я бы советовал обновиться до 1.2.5Р3. У меня на Р2 были траблы с q-in-q.

Как раз с Huawei сталкивался, но с Ethernet решениями типа Quidway S2300 серии. Там фирмварь + 1 патч, если мне память не изменяет, и всё =) 

На 1.2.5P3 тут была инфа у форумчан про циклический sync-mib вроде на не-ZTE онушках, победили уже это явление, не подскажете? А то пока зоопарк не ставим массово, но хотелось бы себе оставить возможность для манёвра повтыкать какие нибудь Huawei.

[Ромка 567]

1 минуту назад, andrew_fobos сказал:

На 1.2.5P3 тут была инфа у форумчан про циклический sync-mib вроде на не-ZTE онушках, победили уже это явление, не подскажете? А то пока зоопарк не ставим массово, но хотелось бы себе оставить возможность для манёвра повтыкать какие нибудь Huawei.

В 1.2.5Р3 какой-то патч вызывает  зависимость от родных ОНУ. При этом в логе появляются записи типа "faked SN". Откат того патча решает вопрос. Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации. Только не шейте ОЛТ 2.0.Х прошивкой, на этой прошивке появляется зависимость от родных ОНУ, и даже после отката до 1.2.5Р3 зависимость сохранится, придется форматировать SMXA и переливать софт с рабочей SMXA.

9 минут назад, andrew_fobos сказал:

Как раз с Huawei сталкивался, но с Ethernet решениями типа Quidway S2300 серии. Там фирмварь + 1 патч, если мне память не изменяет, и всё =) 

Имелось ввиду ОЛТы от huawei.

[magamel 3]

Такаж проблема як і в топікастера, при snmp  запитах  процесор 99%

#show processor  
Rack   Shelf    Slot   CPU(5s)   CPU(1m)    CPU(5m)   PhyMem(MB)  Memory     
-------------------------------------------------------------------------------
1       1       1       11%       14%       12%       256         58%
1       1       4       99%       25%       7%        1024        45%

#show card
Rack Shelf Slot CfgType RealType Port    HardVer SoftVer         Status
-------------------------------------------------------------------------------
1    1     1    ETGO    ETGOD    8       091201  V1.2.5P2        INSERVICE     
1    1     3    PRAM    PRAM     N/A             V1.01           INSERVICE     
1    1     4    SMXA    SMXA     N/A     110702  V1.2.5P2        INSERVICE    
 

На прошивці V1.2.5P3 відвалюються онушки, тому прийшлось шити V1.2.5P2.

#show patch-running  
Loc    FileName                       PatchTag   OperateTime         PatchState
-------------------------------------------------------------------------------
1/1/4 smxav125p2t6_r1.pat            2.0        2017-12-15 14:52:23 ACTIVE     
1/1/4 smxav125p2t6_r2.pat            2.0        2017-12-15 14:52:23 ACTIVE     
1/1/4 smxav125p2t6_r3.pat            2.0        2017-12-15 14:52:23 ACTIVE    

Відредаговано 2018-02-28 13:42:11 magamel

[LV10 281]

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

[andrew_fobos 0]

10 минут назад, LV10 сказал:

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

Нету скайпа, да и, наверное, если есть опыт - тут, последующим страдальцам, тоже будет интересно почитать. =) 

В чем проблема оказалась в итоге, поделитесь?

Відредаговано 2018-02-28 14:12:28 andrew_fobos

[LV10 281]

тут долго писать

[andrew_fobos 0]

18 минут назад, LV10 сказал:

тут долго писать

В скайпе на связь смогу выйти не раньше 10 марта, к сожалению, я сейчас нахожусь в условиях очень плохой связи, если до этого момента ничего не прояснится, тогда напишу, спасибо! 

[mch412 2]

1 час назад, LV10 сказал:

 пиши в личку скайп

боролся с ц300 и нагрузкой на cpu целый год

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

[andrew_fobos 0]

33 минуты назад, mch412 сказал:

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

У Вас на 1.2.5Р3 тоже такое наблюдается?

[Ромка 567]

4 часа назад, mch412 сказал:

Добрый день!

У нас тоже несколько ZTE C300 c прошивкой 1.2.5Р3. Интересуют причины по которой у Вас наблюдалась данная проблема?!

Интересно, ответит кому либо, или нет?

[mch412 2]

14 часов назад, andrew_fobos сказал:

У Вас на 1.2.5Р3 тоже такое наблюдается?

Нет, не наблюдается.

Но нужно быть готовым ко всему.

Я не нашел в инструкции на ZTE C300 Troobleshoting раздела, а иногда очень надо!? 

 

P.S. У нас щас другая проблемка нарисовалась: https://local.com.ua/forum/topic/101440-проблема-с-отвалом-карты-на-zte-c300/

 

Відредаговано 2018-03-01 07:11:50 mch412

[Ромка 567]

10 минут назад, mch412 сказал:

P.S. У нас щас другая проблемка нарисовалась: https://local.com.ua/forum/topic/101440-проблема-с-отвалом-карты-на-zte-c300/

 

Если Р3, то я выше проблему с отвалом линейных карт описал для с320, как с с300 будет хз... 

[mch412 2]

В 01.03.2018 в 09:20, Ромка сказал:

Если Р3, то я выше проблему с отвалом линейных карт описал для с320, как с с300 будет хз... 

Выше Вы писали: "...Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации..."

 

Так как таки Вы боролись с отвалом линейных карт? перепрошивкой в 1.2.5Р2? или применяли какие-то патчи?

Відредаговано 2018-03-06 13:36:42 mch412

[andrew_fobos 0]

В 2/28/2018 в 16:37, Ромка сказал:

В 1.2.5Р3 какой-то патч вызывает  зависимость от родных ОНУ. При этом в логе появляются записи типа "faked SN". Откат того патча решает вопрос. Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации. Только не шейте ОЛТ 2.0.Х прошивкой, на этой прошивке появляется зависимость от родных ОНУ, и даже после отката до 1.2.5Р3 зависимость сохранится, придется форматировать SMXA и переливать софт с рабочей SMXA.

Имелось ввиду ОЛТы от huawei.

 

Онушки Huawei что то не заводятся, даже без каких либо патчей на 1.2.5P3. Записей про faked sn нету, но онушки ходят по кругу logging→syncmib→working→LOS

[Dimkers 1 598]

2 часа назад, andrew_fobos сказал:

Онушки Huawei что то не заводятся

И слава богу. Имели партию однопортовых(8010) - бида через неделю\месяц - горит тока повер. Штук 20 уже на сервис выслали.

Кстати уже пару партий Сидаты взяли - полет норм.

Відредаговано 2018-03-12 15:48:11 Dimkers

[andrew_fobos 0]

6 минут назад, Dimkers сказал:

И слава богу. Имели партию однопортовых(8010) - бида через неделю\месяц - горит тока повер. Штук 20 уже на сервис выслали.

Кстати уже пару партий Сидаты взяли - полет норм.

Ну у нас HG8245/HG8245H. Вроде неплохие, как мне показалось. И не подверженые ZTEшной пандемии при работе роутером с внешним айпишником (когда онушка кирпичится оставляя гореть только лампочку "WPS")

Відредаговано 2018-03-12 15:52:44 andrew_fobos

[mch412 2]

У нас голова ZTE C300 и ону Huawei 8310 - работают норм, только из той партии что на депсе брали уже штук 25 сдохли (только power горит) . 

Еще ону Alcatel  есть - тоже норм, только более критичны к вх затуханию на линии (чуствительность прийомника на ону -27дБ по сравнению с -30дБ на Huawei)  и перегружать нужно  после каждого изменеия.

Вопрос: "Если 1.2.5Р3 использовать без патчей, то будут ребутиться линейные карты если на них много ОНУх, при массовой авторизации." очень актуален! Может кто знает что делать с данной проблемой?