Ядро сети на 2500+ абонентов

[sanyadnepr 305]

6 минут назад, melvin сказал:

Максимально комфортно работают 1100 абонентов NAT

Что то у Вас с руками.

[Nightly Wanderer 589]

В 25.12.2018 в 00:55, LENS сказал:

У Cisco ASR 1001, 1002, 1004 и так далее в режиме BRAS существуют проблемы спонтанной перезагрузки всего устройства и не понятно почему.

На наге было много бесед насчет этого + по опыту коллег все хотят уйти от данного железа в сторону MX80 и выше

 

А если по теме, то скажу свое мнение.

Если у вас все получается на серверах и не сложно их сопровождать, то расширяйтесь на серверах.

Если с серверами не удобно и бывают проблемы (не важно какого характера) - покупайте один Juniper MX80 + MS-MIC-NAT и терминируйте клиентов на нем.
Для резерва можете не сворачивать серверную ферму, а держать ее в холодном резерве - ляжет джунипер, включите сервера.

 

 

Ну -ну. От так взяв і включив і воно працює 
Як нема грошей на нормальний резерв, то нічого купувати те, що тобі не по кишені.

[Kiano 616]

1 минуту назад, sanyadnepr сказал:

Что то у Вас с руками.

 

2к легко

[sanyadnepr 305]

8 минут назад, melvin сказал:

CCR1009-8G-1S-1S+ (Тарифный план 90% - 100 Мбит/с ), IPoE.

250 - на реальниках, 250 - Нат.

Один микрот держал спокойно 1,2 - 1,3 Г трафика.

1,2-1,3 для CCR1009 это очень хорошо. Шейпы на нем же были ?

В среднем, один абон около мегабита, что то тут не сходится.

[Nightly Wanderer 589]

3 часа назад, boroda сказал:

Мой админ не стал отрицать такую схему, но он больше в сторону MX, хотя понимает что это не дешево. МХ выходит около 10$ с натом.

 

І тепер це множимо на 2. і виходить 20 штук баксів. А можна обійтися 1500 баксами разом з резервом. І працювати буде нормально, якщо адмін пряморукий. А за 18500 баксів покрити нові райони і підключити ще + 500-1000 абонентів.
Купувати ж в одному екземплярі дорогу і дефіцитну фігню - ідіотизм вищої категорії. Як воно здохне, то посивієш як взнаєш, що треба 2 тижні чекати поки приїде на заміну, бо нема в наявності на складах. Це ніяка не надійність. а рак мозку.

[Nightly Wanderer 589]

3 часа назад, NightNET сказал:

Чем он так херов? Есть реальные ситуации отказа , выхода из строя , нестабильной работы правильно настроенного MT CCR ? 

 

Є. Але вийти з ладу може будь яке обладнання. А замінити CCR, якщо є на складі запасний, раз плюнути.

[melvin 66]

27 минут назад, sanyadnepr сказал:

Шейпы на нем же были ?

Были

31 минуту назад, sanyadnepr сказал:

Что то у Вас с руками.

А Вас был опыт работы с указанным сервером?

[Nightly Wanderer 589]

38 минут назад, melvin сказал:

Я попробую описать, если чего-то упущу, было это года 3 назад - задавайте вопросы.

CCR1009-8G-1S-1S+ (Тарифный план 90% - 100 Мбит/с ), IPoE.

250 - на реальниках, 250 - Нат.

Один микрот держал спокойно 1,2 - 1,3 Г трафика.

Добавляешь больше - абоненты начинают жаловаться, что фризы в играх и увеличивается пинг. Вечерами, когда загрузка проца микрота возрастает в районе 38% и больше.

Добавили второй.

Выросла хочучка и необходимость сегментации трафика по вланам. Поделили, настроили.

Если оставить в одном влане - минимально получаем флаппинг между портами на коммутаторе, в которые воткнуты микроты.

Выросли запросы на увеличение абонов по NAT.

Возникла задача натить по 64 абонента через 1 белый IP - вырос список правил, стало тяжелее микротам.

Кол-во оборудования растет.

Под это оборудование начинаешь держать "теплый" запасной микрот.

Под теплый микрот начинаешь держать уже 2 теплых конфига.

Задолбались.

Взяли сервер:

Manufacturer:HP

Model:ProLiant DL360 G6

Processors:8 CPU x 3,066 GHz

Processor Type:Intel(R) Xeon(R) CPU X5667 @ 3.07GHz

 

Накатали на него Vmware ESXI.

Создали виртуалку без ограничений на ресурсы. Накатали RouterOS. Подключили на ней x86_64, Вкарячили драйвера VMXNET 3 (драйвер позволяет видеть и работать с сетевками 10G, практически напрямую, в отличии от эмуляторов E1000), чтобы работала и видела сетевку (10G),

Поделали "export file=" на микротах, с 2-х конфигов начали лепить один на RouterOS. Слепили, начали кормить комманды в терминал в RouterOS.

Синтаксис немного отличается железячный и RouterOS (Понятно, что название интерфейсов отличаются, но отличаются еще некоторые комманды.)

Начали кормить конфиг целиком - беда, RouterOS офигивает от большего кол-ва текста и ребутится.

Начали кормить конфиги по чуть-чуть. Скормили.

Задолбались.

Максимально комфортно работают 1100 абонентов NAT . c 10 вланов, куча правил по нату. Подсаживаем абонентов дальше. начались затыки, затупы после физической загрузки сервера в 70%. Не проработала схема и недели. 

Задолбались.

Создали 3 виртуалки, в каждую усадили 512 абонов нат со своими правилами и вланами.

Гемор уменьшился, заработало стабильно. Остановились на том, что одна виртуалка с RouterOS на 512 абонов ната.

Виртуалки растут. Больше 3-х на этом железе не получается - все те же 70% CPU

Под сервак держим еще один теплый сервак с виртуализацией и виртуальными машинами. Следим, чтобы каждая виртуалка с одного сервака распаковывалась на такую же виртуалку другого сервака. Переодически сверяем маки, которые выделены под сетевые интерфейсы в Vmware и маки, которые назначены в RouterOS, чтобы они совпадали.

Держим отдельную машину под Veeam Backup & Replication.

Отдельно сливаем бэкапы в облако и на внешний HDD.

Задолбались.

Много чего упустил в тексте.

Перешли на Juniper серии MX.

И да, сейчас звучит достаточно развлекающе, но каждый прикол занимает время и заставляет иногда танцевать с бубном.

Задавайте вопросы.

 

Загрузка 4%. В час пік загрузка 5-6%. 3 000 абонентів на цьому сервері. Тазік на Коре 7 сьомого покоління.

[sanyadnepr 305]

2 минуты назад, melvin сказал:

А Вас был опыт работы с указанным сервером?

С подобным железом и ROS, да. Зачем использовать виртуалки ?

[melvin 66]

1 минуту назад, Nightly Wanderer сказал:

Загрузка 4%. В час пік загрузка 5-6%. 3 000 абонентів на цьому сервері. Тазік на Коре 7 сьомого покоління.

Шейпер на микроте или средствами L2 оборудования?

Нат или реальники?

Сколько серых ip на 1 белый IP?

Сколько правил?

сколько правил с reject'om или дропом ?

Для себя.

[boroda 14]

5 минут назад, Nightly Wanderer сказал:

 

Загрузка 4%. В час пік загрузка 5-6%. 3 000 абонентів на цьому сервері. Тазік на Коре 7 сьомого покоління.

Это сервер доступа у вас? С натом и шейпом?

[Kiano 616]

без ната

или совсем мало правил

[sanyadnepr 305]

1 минуту назад, boroda сказал:

Это сервер доступа у вас? С натом и шейпом?

C натом и шейпами, наргузка по ядрам будет другой.

[melvin 66]

5 минут назад, sanyadnepr сказал:

С подобным железом и ROS, да. Зачем использовать виртуалки ?

Коллега, ну подобное железо и такое же - это разные вещи.

Вопрос зачем использовать виртуалки вводит меня в ступор.

Ну наверное же для того, чтобы сократить на начальном этапе расходы на оборудование, получить гибкость и оперативность в реанимации сервиса в разрезе виртуалки.

Ведь не для кого не секрет, что виртуалку распкаовать и запустить на другом сервере с такой же системой виртуализации в разы быстрее, чем сделать зеркальную копию сервера.

[Nightly Wanderer 589]

1 минуту назад, melvin сказал:

Шейпер на микроте или средствами L2 оборудования?

Нат или реальники?

Сколько серых ip на 1 белый IP?

Сколько правил?

сколько правил с reject'om или дропом ?

Для себя.

 

1. Шейпер на МТ.

2. І те і друге, але значна частина Нату на іншому сервері
3. Ну це вже не актуально, бо натяться вони не тут.
3. Яких конкретно правил? В наті?
4. 27 Правил в Filter Rules і 18 в наті. Правила шейпера груповані і їх 12 штук.

[melvin 66]

3 минуты назад, boroda сказал:

Это сервер доступа у вас? С натом и шейпом?

С натом, шейпом, с фильтрами под тарифные планы, в нате под каждый тарифный план прописана своя сеть со своим вланам и белым айпи:

т.е. есть тариф 100 и 4 сетки по /25, значит 4 правила, в каждом правиле своя сеть, к примеру 100 мбит с сетью 10.10.10.0/25 натим через влан 2 в белый ip 1.1.1.1

и т.д.

с маркировкой пакетов и адрес листом.

[sanyadnepr 305]

7 минут назад, melvin сказал:

Коллега, ну подобное железо и такое же - это разные вещи.

Вопрос зачем использовать виртуалки вводит меня в ступор.

Ну наверное же для того, чтобы сократить на начальном этапе расходы на оборудование, получить гибкость и оперативность в реанимации сервиса в разрезе виртуалки.

Ведь не для кого не секрет, что виртуалку распкаовать и запустить на другом сервере с такой же системой виртуализации в разы быстрее, чем сделать зеркальную копию сервера.

Коллега, вероятней всего затык у Вас был именно в виртуалках. 

8 ядер, для ROS фиолетово, какое железо, ядра есть ядра.

С моей точки зрения, правильней держать в горячем/холодном резерве, еще один "микротик" сервер, конфиг вливается очень быстро.

А не держать/поднимать виртуалки а потом разворачивать в них копии. 

Замечу, в данном случае не за и не против, микротик. 

Відредаговано 2018-12-26 15:55:54 sanyadnepr

[melvin 66]

2 минуты назад, sanyadnepr сказал:

С моей точки зрения, правильней держать в горячем/холодном резерве

Соглашусь с Вами, но при условии, что этих микротиков не очень много.

4 минуты назад, sanyadnepr сказал:

8 ядер, для ROS фиолетово, какое железо, ядра есть ядра

Ну не совсем так. Виртуалка без ограничений выжирает весь ресурс (ну почти весь) железа. Соответственно кол-во и частота (и многие другие параметры) тут имеют значении.

[melvin 66]

13 минут назад, Nightly Wanderer сказал:

І те і друге, але значна частина Нату на іншому сервері

Будьте внимательнее, я написал, что 1100 ната.

[sanyadnepr 305]

3 минуты назад, melvin сказал:

6 минут назад, sanyadnepr сказал:

8 ядер, для ROS фиолетово, какое железо, ядра есть ядра

Ну не совсем так. Виртуалка без ограничений выжирает весь ресурс (ну почти весь) железа. Соответственно кол-во и частота (и многие другие параметры) тут имеют значении.

Какая разница между Processors:8 CPU x 3,066 GHz и Processors:8 CPU x 3,066 GHz ? Никакой.

Без виртуалки - ROS фиолетово !

[melvin 66]

2 минуты назад, sanyadnepr сказал:

Без виртуалки - ROS фиолетово !

Не могу оспорить.

Такие манипуляции не проводил.

Вспомнил, на тот момент RouterOS была 6,31

[sanyadnepr 305]

4 минуты назад, melvin сказал:

Не могу оспорить.

Такие манипуляции не проводил.

Вспомнил, на тот момент RouterOS была 6,31

Даже на 5.26 отлично сейчас работает, на высоконагруженных серверах, нат, шейпы, 50+ правил фаервола, нагрузка ЦП ~50%.

Где то на 450-500Килопакетах, начинает расти задержка.

Відредаговано 2018-12-26 16:11:00 sanyadnepr

[Nightly Wanderer 589]

17 минут назад, melvin сказал:

Будьте внимательнее, я написал, что 1100 ната.

 

Раніше 2500 абонентів з натом на Коре 7 другого покоління з загрузкою 30-40% працювало.

[melvin 66]

Судя по сказанному виновник торжества - виртуализация.

Ну или кривые руки, как выражаются коллеги.

Відредаговано 2018-12-26 17:19:27 melvin

[melvin 66]

1 час назад, sanyadnepr сказал:

450-500Килопакетах

Это в районе 7-8 к +- абонов?