ePMP Cambium

[Constantine.Kazakoff 26]

Этим прекрасным субботним вечером ничто не предвещало беды. И тут внезапно падает упомянутый чуть выше линк на Force200.

Звонок на удалённую точку - всё светится, моргает.

Заходим на веб-морду АР - линк есть, кагбэ и не падал. Сигнал отличный. Толку ноль.

Ребут АР и линк поднимается.

Прошивка 3.0.1.

[Alver 335]

Этим прекрасным субботним вечером ничто не предвещало беды. И тут внезапно падает упомянутый чуть выше линк на Force200.

Звонок на удалённую точку - всё светится, моргает.

Заходим на веб-морду АР - линк есть, кагбэ и не падал. Сигнал отличный. Толку ноль.

Ребут АР и линк поднимается.

Прошивка 3.0.1.

В режиме ePTP на более ранних прошивках линк  ( независимо от типа устройства) иногда  замерзал( freeze). С какой то версии прошивки ( не помню с какой)  это пофиксили, поэтому ставьте 3.2.

Відредаговано 2017-01-14 18:48:42 Alver

[Constantine.Kazakoff 26]

 

Этим прекрасным субботним вечером ничто не предвещало беды. И тут внезапно падает упомянутый чуть выше линк на Force200.

Звонок на удалённую точку - всё светится, моргает.

Заходим на веб-морду АР - линк есть, кагбэ и не падал. Сигнал отличный. Толку ноль.

Ребут АР и линк поднимается.

Прошивка 3.0.1.

В режиме ePTP на более ранних прошивках линк  ( независимо от типа устройства) иногда  замерзал( freeze). С какой то версии прошивки ( не помню с какой)  это пофиксили, поэтому ставьте 3.2.

 

Да вроде ж потеплело. При морозах хорошо работало.

И отстаньте от моего Рокета, пожалуйста. Он старается, как может.

Изначально я задал вопрос по теме, конкретно по Force200. Однако упоминание Рокета спровоцировало Вас, как красная тряпка.

Вопрос к общественности: у кого какие аптаймы линков на Force200? Как насчёт "замерзаний" при плюсовой температуре? На каких прошивках?

[zulu_Radist 856]

Я выхватывал фризы

но это было давно, уже очень давно

тогда обновился на 2.4.3, отпустило

и больше не трогаю, работает - кушать не просит

больше обновлять нет желания

[Alver 335]

Да вроде ж потеплело. При морозах хорошо работало.

Морозы тут не причем.  Freeze - это термин такой  зависания линка, когда линка нет, а система работает - есть к ней доступ и управление.

Это был баг режима ePTP  точка-точка на всех устройствах ePMP. Но сейчас исправили.

Відредаговано 2017-01-14 19:12:16 Alver

[WIFINS 42]

Форс 200      Прошивка 2.6.1   72 дня 12 часов.  Уже не помню, почему перегружали, но точно не из за "замерзания".  

На другом линке, где стоят 110 недавно была аналогичная ситуация: сигналы точки видят, трафик не бежит. Перезагрузка помогла.  Уже несколько недель проблем не наблюдаем.  

[Alver 335]

Однако упоминание Рокета спровоцировало Вас, как красная тряпка.

Заинтересовало  меня ваше упоминание про тариф 10/20 mbps на рокете с 36 клиентами и вроде как  высокой ( на первый взгляд на картинке ) утилизацией сектора. Это нетипично для рокета, и вы говорите, что рокет уже плохо справляется с нагрузкой, -  вот и захотелось разобраться  в чем там дело.  Мне это интересно в связи с применением для ubnt софта  ePMP Elevate.  Теперь все стало понятно, что такая картинка  возможна на ubnt в канале 40 Мгц  при аномально низкой активности клиентов , а для перегруза сектора достаточно временной высокой активности всего  лишь нескольких клиентов.   

Відредаговано 2017-01-14 19:32:46 Alver

[Constantine.Kazakoff 26]

Freeze - это термин такой  зависания линка, когда линка нет, а система работает

Спасибо. Это был сарказм, если что. Кстати, слегка наоборот - линк был, а ничего не работало.

 

был баг режима ePTP  точка-точка на всех устройствах ePMP. Но сейчас исправили

Напомню, у меня прошивка 3.0.1. Общественность утверждает, что баг устранили на 2.4.3 и хорошо работает на 2.6.1.

Может, откатиться? 

[Constantine.Kazakoff 26]

в связи с применением для ubnt софта  ePMP Elevate

Ваш чудесный софт был бы полезен, если бы был бесплатен.

Может, тогда лучше пошли бы продажи Ваших волшебных секторов? Я бы взял на пробу. Даже есть, куда поставить.

 

при аномально низкой активности клиентов

Активность вполне себе нормальная. На клиента в среднем по больнице приходится около мегабита, где-то чуть больше, где-то чуть меньше. И не все клиенты всегда онлайн. До 60 мегабит - вполне нормальная утилизация Рокета в данных конкретных условиях. Ясно, что он не справляется с количеством запросов, но этого никто и не ждал.

[Alver 335]

Напомню, у меня прошивка 3.0.1. Общественность утверждает, что баг устранили на 2.4.3 и хорошо работает на 2.6.1. Может, откатиться? 

Там  было несколько ( как минимум  две) попыток вылечить баг. В 2.4.3 что то сделали, но на некоторых линках при определенном стечении обстоятельств баг  все равно редко, но появлялся (  может в 1 случае из 10). Потом уже баг вылечили в какой то очередной прошивке , надеюсь, окончательно. И многое, после 2.4.3   улучшили в  ePTP , типа стабильней джиттер  и др.   Лучше сейчас использовать 3.2.

Відредаговано 2017-01-14 22:13:58 Alver

[Alver 335]

Активность вполне себе нормальная. На клиента в среднем по больнице приходится около мегабита, где-то чуть больше, где-то чуть меньше

Я прекрасно вижу активность клиентов.

 

До 60 мегабит - вполне нормальная утилизация Рокета в данных конкретных условиях. Ясно, что он не справляется с количеством запросов, но этого никто и не ждал.

В 20 МГц - 35 Mbps на  30+клиентах -это максимальная утилизация сектора ubnt. В 40 Мгц -на 15-20% больше ( если нет помех, а если есть то может быть даже хуже).  Ваши пики до 55-60М в 40 МГц , это, судя по графику,  единичные вплески  активности двух-трех   клиентов, когда остальные клиенты молчат ( или их вытесняют ).  Это работает как точка-точка (а  в 40 Мгц точка-точка ubnt  может  и 120-130 М пропустить) . Если в малтипойнт будут активны 8+, то пик выше 40-45 Mbps  в 40МГц не поднимется.

 Если бы не было шейпа на 10/20Mbps, я бы сказал  что это работает один клиент на полную загрузку и кладет (тормозит) всех остальных . Но шейп 10/20М задан для всех клиентов , не так ли ?  Или есть такие, что  работают без шейпа? Что заставляет ваших двух-трех  клиентов  почти синхронно  одновременно  периодически загружать  канал  до 50+  Mbps  в течении небольшого интервала времени для меня остается загадкой.

Відредаговано 2017-01-14 22:31:55 Alver

[Alver 335]

Ваш чудесный софт был бы полезен, если бы был бесплатен. Может, тогда лучше пошли бы продажи Ваших волшебных секторов? Я бы взял на пробу. Даже есть, куда поставить.

Продажи только начались, и они будут хорошие. ubnt нечего предложить для повышения емкости сектора   по пропускной способности и количеству клиентов. База АС с клиентами N ничего не дает.   

Elevate же  в разы улучшает все параметры сети ( см профильную тему ePMP Elevate)  Но апгрейд  стоит денег.  Стоит ли улучшение параметров  сети этих денег, надо решать в каждом конкретном случае. В глухом селе , если вы один провайдер и можете ставить хоть 10 секторов  на рокетах по $200-300 ( c антеннами) и по 30 клиентов на сектор, и никто вам не мешает и не спросит за занимаемые частоты-то такой экстенсивный путь может быть оправдан.  Но в других  местах может быть лучше  4  сектора  20Мгц  Камбиум  с 60-80 клиентами  на сектор и сервис тарифом 20 Mbps ( что займет 40 МГц с Frequency Reuse) , чем 8-10 секторов 20 Мгц на  рокетах с 25-30 клиентами на сектор, тарифами 5 Mbps  и потребным частотным ресурсом 300 МГц,которых нет ни у кого.  Стоит ли это $31.5 на одного клиента?. Найдется много мест , где это будет рентабельно и эффективно.

 $31.5 -это разница между самым дешевым ubnt СПЕ и самым дешевым родным СПЕ Force 180. Это сделано так, чтобы не было выгодно покупать новые дешевые СПЕ ubnt для подключения к базам Камбиум. Возможно эта цена со временем уменьшиться.

Відредаговано 2017-01-14 22:59:26 Alver

[Constantine.Kazakoff 26]

Всё. Я забухал.

[Alver 335]

Ржунимагу. Вы предлагаете вывалить...

 

Это Вы так про форс  спросили ?  

А я считал, что Вы поумней будете то. Можно нормально разговаривать. Ошибся. "Бухай" дальше.

Відредаговано 2017-01-15 09:11:37 Alver

[SXM.U 11]

Cambium.jpeg

Всё. Я забухал.

5. Твёрдая 5.

[CiTiZeNn 2]

 

UL 8mbps.

 

Это у вас на 8 Mbps  аж 6500 пакетов секунду? 170 байт -средняя длина пакета ?  Как такое может быть? Смотрите что у вас из сети прется в радиоканал .

 

Что тут необычного? Это обычный абонентский трафик, серфинг + торренты. Всего более 3000 тысяч сессий. Процентов 70 трафика это TCP, 30%  udp трафик. Аплоад небольшой, т.к. канал полудуплексный и основную емкость канала съедает DL.

 

P.S.: Я написал конкретную проблему вполне доходчиво и грамотно... Ответа пока не получил.

 

P.P.S.: Кто-то еще в реальность так это железо нагружал?

[Alver 335]

 

 

 

Есть линк на ePMP force 110 с интерфейсами 1Гбит. Полоса используется 40МГц, режим ePTPmaster/slave. Без нагрузки встроенным тестом микротика вижу скорость в UDP 197 Мбит/с (что заявлено) в tcp 110 мбит/с. Под нагрузкой 7500 p/s туда и 6500 p/s назад образуется потолок скорости в 75 мбит/с полудуплекс. Заявлено, что железо переваривает 25000 p/s. Вопроc... Это такая "хваленая" железяка или я не умею ее готовить?

 Как это при 6500 p/s обратном трафике  UL вы получаете 75 mbps в одном направлении DL ? Откуда берутся эти 6.5K UL ? Сколько у вас сидит юзеров   в канале ?  Есть ли трафик малтикаст?

 

75mbps это усредненная сумма DL 67mbps и UL 8mbps. Мультикаста нет. Кол-во юзеров не имеет никакого значения, параметр, который в данном случае имеет значение это pps. При моем pps даже веб морда ближнего ко мне устройства тормозит и это при том, что иду я на него через порт 1гбит). Такое впечатление что процессор загружен под завязку. Данная ситуация, что на прошивке 2.6.1, что на 3.2, что на 3.2.1, разницы никакой...

 

 

 

UL 8mbps.

 

Это у вас на 8 Mbps  аж 6500 пакетов секунду? 170 байт -средняя длина пакета ?  Как такое может быть? Смотрите что у вас из сети прется в радиоканал .

 

Что тут необычного? Это обычный абонентский трафик, серфинг + торренты. Всего более 3000 тысяч сессий. Процентов 70 трафика это TCP, 30%  udp трафик. Аплоад небольшой, т.к. канал полудуплексный и основную емкость канала съедает DL.

 

P.S.: Я написал конкретную проблему вполне доходчиво и грамотно... Ответа пока не получил.

 

P.P.S.: Кто-то еще в реальность так это железо нагружал?

 

Ответ Вам будет тоже доходчиво и грамотно :-)

ППС гигабитных железок ePMP 25K. Реально , исходя из практики, начинает тормозить при >23K.  У вас начинаются тормоза якобы раньше при 14K.  И вопрос именно в этом, почему так  рано идет перегруз?  Я думаю что  роутер показывает не все пакеты , возможно только unicast.  Я неправильно спросил у вас ранее  насчет малтикаст. Точнее, есть ли у вас пакеты броадкаст? Эти пакеты могут сьедать до 80% емкости канала.  Может быть также битые пакеты откуда то  прутся, их вообще просто так на интерфейсе не увидеть.  У вас радиоканал в отдельной  IP подсети? 

170  байт среднего пакета быть не может, у вас в канале точно  есть еще пакетная нагрузка, которую не видно.

И у вас  в радиоканале  3 тыс сессий? Сколько  же хомячков сидит за каналом ? 

Відредаговано 2017-01-19 16:30:11 Alver

[Alver 335]

Результаты испытаний  Elevate, полученные другим провайдером.

Коммерческие сети, реальные клиенты. База Камбиум и база UBNT находятся рядом на одной крыше, секторные антенны имеют одинаковый азимут, частотные каналы разнесены.

Задача - перевести клиентов с сектора ubnt на сектор Камбиум и оценить параметры предоставляемого сервиса клиентам до модернизации сети и после. 

Сеть UBNT

База - Rocket M5 Titanium, антенна секторная Titanium 17 dBi. Частота 5300 Мгц, канал 20 Мгц. Клиенты Nanobridge, Nanobeam, Powerbeam в количестве 44 штук, расположены на дальности от 2 км до 7 км. Сервисные ( тарифные) планы: 2 Mbps ( 6% клиентов), 4 Mbps ( 74%), 8 Mbps( 20%). С тестируемого клиента "TEST" MAC ***95:C9 снят шейп скорости.

Сигналы RSSI на всех клиентах хорошие, ниже -70 dBm -единицы, модуляции высокие, data rate в основном 130/130, 130/117. На скрине на тестовом клиенте ( самый дальний клиент) "TEST" MAC ***95:C9 в момент снятия скрина видны низкие сигналы и модуляции. Но он в это время еще только монтировался ( без трафика), и после его юстировки сигналы стали в норме - порядка -70 dBm ( ниже это будет видно на скринах).

Загрузка сектора ( максимальная утилизация канала) Rocket M5 Ti в 20 Мгц составляет в час пик 32.65 Mbps. 

Во вложении также скрины пинга 64 байт и 1500 байт на СПЕ "TEST" и скрин OOKLA speedtest c СПЕ "TEST" MAC ***95:C9 в часы пик ( в момент максимальной загрузки сектора в вечернее время). Как мы видим самый дальний клиент ( работающий на достаточно высокой модуляции data rate 104/117 Mbps) в часы пик практически получает тариф 4 Mbps, а вот тариф 8 Mbps -нет. 

Выводы по работе сектора UBNT:

- уже не в первый раз наблюдается близость теоретических и практических цифр максимальной утилизации UBNT сектора ( Airtime Capacity ) - 32.5 Mbps в 20 МГц

- Rocket M5 Titanium не имеет преимуществ по сравнению с обычным Rocket M5 по максимальной утилизации сектора

- максимальное количество клиентов в малтипойнт на сектор UBNT Rocket M5 Титаниум ограничено 40-45 клиентами. После 40 ( возможно и раньше, после 35) наблюдается заметная деградация сервиса под нагрузкой : - рост задержки и джиттера выше неприемлемых величин. На скрине на пингах пакетами 1500 байт средняя задержка под нагрузкой оставляет 82 ms, макcимальная -231 ms, - клиенты в час пик не получают скорость согласно тарифу выше 4 Mbps.

- UBNT в малтипойнт имеет отображаемую низкую задержку только при измерении утилитой ping c коротким длиной пакета 32/64 байт и/или на пустом канале. При увеличении длины пакета ping 1500 байт и загрузке канала, измеренная утилитой время приема-передачи более точно отображает величину задержки latency или RTT -round trip time. 

Тем самым развеян миф о том, что якобы ubnt в малтипойнт имеет более низкую задержку , по сравнению с системами TDMA c фиксированной длиной фрейма, в частности Cambium ePMP. Как мы увидим ниже средняя задержка ePMP c 84 клиентами под полной нагрузкой значительно меньше средней задержки UBNT c 44 клиентами также под полной нагрузкой.

Показания низкого времени приема-передачи на секторе ubnt утилитой пинг на коротком пакете 64 байт на пустом канале ( без нагрузки) или на длинном пакете ( но тоже без нагрузки трафиком) нельзя считать адекватным измерением задержки в канале ( latency, two way delay). Такие измерения - фейк.

Відредаговано 2017-01-22 15:02:17 Alver

[Alver 335]

Сеть Камбиум.

База ePMP GPS Sync, 50 лицензий Elevate. Tx 20 dBm.  Частота 5330 МГц, канал 20 МГц.

В начале к базе подключены только родные клиенты - ePMP Integrated и Force 180, в количестве 23 шт на дальности 2-4 км.

Во вложение- макс. суточная загрузка сектора- 63 Mbps, пинги короткие и длинные с одного из клиентов в часы пик. Тарифы такие же 2/4/8 Mbps. Скрин  спидтеста  с одного  из клиентов. Download  шейп на этого клиента снят.

Следует обратить внимание на задержку , она практически одинаковая на коротком и длинном пинге ( в отличие от ubnt), Average - 27-28 ms. max 41/62max. Джиттер в норме . В целом задержка для малтипойнт 23 клиентов - отличная

Відредаговано 2017-01-22 15:38:30 Alver

[Alver 335]

Далее на базу Камбиум подключили клиентов с сектора UBNT. Всего стало клиентов 82 шт.

На скринах клиент *** 2A:11 -это тот самый тестовый клиент NB M5 с дальности 7 км. Ему поменяли облучатель ( голову), тарелка осталась та же, и он получил новый адрес 2A:11. Поменяли голову,что то не так пошло с перепрошивкой бима Elevate, поменяли устройство, но дело оказалось не голове, но в конце оставили биму новую голову. 

На тестовом устройстве снят шейп по Download.

Красным помечены устройства , которые аналогично отмечены на скринах ubnt. Можно сравнить сигналы. Также как и в других инсталляциях после апгрейда сети и замены базы Рокета на Камбиум наблюдаем значительное на 8-12 дБ увеличение Uplink сигналов, причем следует учесть что антенна у Камбиум родная (старая) 15 Дби.

Максимальная утилизация сектора 20 Мгц на 80+ клиентах - 60 Mbps Download. Тарифы клиентов 2/4/8 Mbps в пропорции соответственно 8/67/25%.

Представлены короткий и длинные пинги 1500 байт до тестового клиента в часы пик, в канале  20 и 40 Мгц. 

Задержка в секторе при полной нагрузке на 82 клиентах в 40 Мгц  average 33/38 ms, max 102/68 ms.  Джиттер  в норме, если канал не перегрузить. Это основное требование. А теперь сравните эту задержку со средней задержкой 82 мс и джиттером - max 231 ms в секторе ubnt c 44 клиентами и в два раза меньшей утилизацией сектора. Очевидно сектор ubnt перегружен, раз такая задержка. 44 клиента для него много, как и тариф 8 Mbps.

Задержка  в канале 20 Мгц -уже выше чем, в 40 Мгц. Это свидетельствует о перегрузе в часы пик сектора Камбиум  в 20 Мгц с 82 клиентами  и утилизацией сектора 60Mbps Download . Об этом свидетельствует и спидтест с тестового клиента ( 7 км Nanobeam M5  перепошитый Elevate) в 20 Мгц. Как мы видим тариф 8 Mbps в часы пик для такого клиента недоступен. Спидтест с этого же клиента в канале 40 Мгц в часы пик дает скорость аж 30 Mbps Download.

 

На тестовом клиенте NB M5  DL RSSI -68 dBm ( антенна базы 17 дби). На прошитом Elevate NM M5 ТЕСТ - -72 dBm (антенна базы 15 Дби). Разница в пределах нормы, но RSSI на СПЕ опять занижен 8-10 дБ. Расчетное значение на Камбиум -63 dBm. Камбиум база показывает UL RSSI -64 dBm. Тем самым опять мы видим что на ubnt занижается DL RSSI, -такая вот калибровка приемного усилителя. Но поскольку модуляция на ubnt выставляется не по  RSSI, а по SNR, то на модуляцию эта особенность не влияет.  Как это сказывается на рабочую модуляцию при помехах- вопрос адресуется  ubnt.

Камбиум выставляет модуляцию даже не по SNR , а по CINR ( c учетом интерференции  с измерением ошибок в канале BER/PER). Поэтому занижение RSSI hardware UBNT  на рабочую модуляцию устройств UBNT, прошитых Elevate, в чистом эфире и при помехах,   не влияет. 

 На данный момент можно сделать выводы.

Апгрейд сети Elevate позволил увеличить количество клиентов на секторе 20 Мгц примерно в два раза при сохранении тарифов. При этом 80+ клиентов для сектора 20 Мгц Камбиум - многовато, наблюдается перегруз ( растет задержка и клиенты не получают в часы пик тариф 8 Mbps). Видимо, в 20 Мгц при тарифах до 8 Mbps следует ограничиваться количеством клиентов до 70+ на сектор.

В 40 МГц 80+ клиентов на секторе чувствуют себя отлично, задержка в норме, доступная скорость в часы пик - аж 30 Mbps. Тем самым в 40 МГц есть еще ресурс для увеличения количества клиентов на сектор и повышения тарифов.

В целом клиенты UBNT, перепрошитые Elevate работают точно также как родные клиенты ePMP. При этом на устройствах UBNT наблюдается значительное занижение показаний сигналов DL RSSI, но ни на модуляцию, ни на скорость, на на другие параметры работы сети это не влияет.

Відредаговано 2017-01-22 15:37:21 Alver

[sergepo 12]

В отчете нет производительности сектора в полосе 40 МГц.

По графику прокачки видно загрузку сектора до 45 МБит./сек. в вечернее время.

Пики до 60 МБит./сек. в утреннее время ни о чем не говорят - так-же ведет себя и UBNT при малом количестве активных клиентов.

[Alver 335]

В отчете нет производительности сектора в полосе 40 МГц.

По графику прокачки видно загрузку сектора до 45 МБит./сек. в вечернее время.

Пики до 60 МБит./сек. в утреннее время ни о чем не говорят - так-же ведет себя и UBNT при малом количестве активных клиентов.

Будет скрин утилизации сектора в 40 Мгц.Позже. Испытания данного сектора продолжаются. Відредаговано 2017-01-22 21:24:54 Alver

[Alver 335]

 

В отчете нет производительности сектора в полосе 40 МГц.

По графику прокачки видно загрузку сектора до 45 МБит./сек. в вечернее время.

Пики до 60 МБит./сек. в утреннее время ни о чем не говорят - так-же ведет себя и UBNT при малом количестве активных клиентов.

Будет скрин утилизации сектора в 40 Мгц.Позже. Испытания данного сектора продолжаются.

 

Выложен скрин загрузки сектора в 40 Мгц и спидтест тестового клиента в часы пик здесь в профильной теме Elevate https://local.com.ua/forum/topic/92306-%D1%81%D0%BE%D1%84%D1%82-epmp-elevate-%D0%BF%D0%B5%D1%80%D0%B5%D0%BF%D1%80%D0%BE%D1%88%D0%B8%D0%B2%D0%BA%D0%B8-ubnt-%D1%81%D0%BF%D0%B5-%D0%B4%D0%BB%D1%8F-%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D1%8B-%D1%81-%D0%B1%D1%81-epmp-10002000/page-9?&

База работает с делением фрейма 74/25, синхронизирована с соседним сектором. Поэтому в тестах оказался относительно низкий Upload, да и upload 60 Mbps в 20 Мгц - это 75 5 от емкости сектора. 

Відредаговано 2017-01-23 09:45:06 Alver

[olsasha 25]

Можна ли в оборудовании Cambium ePMP 1000 включить функцию watchdog по пингу?

[Alver 335]

Можна ли в оборудовании Cambium ePMP 1000 включить функцию watchdog по пингу?

Нет, а что в этом есть необходимость ? Что беспокоит?