PPPoE: MPD+FreeBSD vs ACCEL-PPP+ubuntu

[VitalyMoiseev]

День добрый!

 

Хочу посоветоваться:

 

Есть средняя сеть, в которой и фттх, и пон, и умные свитчи (разные), и местами тупарики остаются, работает на PPPoE (в общем - нормально работает). PPPoE приниматеся на тазиках с фрей и МПД. Биллинг самописный.

 

Есть желание хотя-бы часть сети перевести на IPoE (vlan-per-user + IP Unnumbered), через ACCEL-PPP.

 

В связи с этим встал вопрос: есть ли смысл (и стоит ли вообще) менять НАСы с MPD+FreeBSD на ACCEL-PPP+ubuntu? Так как, с одной стороны, хочется единообразия на серверах, а с другой стороны - "работает - не трожь!"

Сервера: интел И7 с сетевухами ЕТ, на каждый сервер попадает по 600-700 клиентов с 600-800 Мбит/с трафика.

[fet4]

А почему бы и нет? Accel-ppp хорошая и надежная штука и по-моему единственная в своем роде имеющая ipoe как таковую и прочие протоколы.

[KaYot]

Нельзя нарушать главную заповедь "работает - не трогай".

У меня pppoe сервера стоят 2009ого года сборки, работают, кушать не просят. Обновлять даже мысли нет, со временем все на ipoe переедет да поразбираю старичков.

[Lynx100]

А почему бы и нет? Accel-ppp хорошая и надежная штука и по-моему единственная в своем роде имеющая ipoe как таковую и прочие протоколы.

хорошая - да

можна даже сказать единственная - да

но надежная .... тут я бы с этим поаккуратней.... да надежная при определенном количестве абонентов и при определенных условиях задачи....

Edited February 4, 2016 by Lynx100

[veca16]

 

А почему бы и нет? Accel-ppp хорошая и надежная штука и по-моему единственная в своем роде имеющая ipoe как таковую и прочие протоколы.

хорошая - да

можна даже сказать единственная - да

но надежная .... тут я бы с этим поаккуратней.... да надежная при определенном количестве абонентов и при определенных условиях задачи....

 

Accel штука хорошая, но при больших нагрузках прийдется колдовать, на фре с распределением на ядра лучше работает, а для ацела нужна не убунта а хотябы дебиан с пересобраным ядром чтобы большие нагрузки пережевать и для распределения по ядрам прерывания прийдется поиграться так как линуха сама с сетевух не умеет корректно распределять прерывания. Просто пробовали ацелом заменить PPPoE всплыло много проблем, хотя у ацела производительность намного выше в будущем тоже хотел бы перевести сетку на ацел!

[KaYot]

Accel штука хорошая, но при больших нагрузках прийдется колдовать, на фре с распределением на ядра лучше работает, а для ацела нужна не убунта а хотябы дебиан с пересобраным ядром чтобы большие нагрузки пережевать и для распределения по ядрам прерывания прийдется поиграться так как линуха сама с сетевух не умеет корректно распределять прерывания. Просто пробовали ацелом заменить PPPoE всплыло много проблем, хотя у ацела производительность намного выше в будущем тоже хотел бы перевести сетку на ацел!

Чушь какая-то.

Намешали в кучу Фрю, Линукс, дистрибутивы, ядра, прерывания. Никакой связи между этими словами в данном контексте нет, получился просто сумбурный поток мыслей.

[veca16]

 

Accel штука хорошая, но при больших нагрузках прийдется колдовать, на фре с распределением на ядра лучше работает, а для ацела нужна не убунта а хотябы дебиан с пересобраным ядром чтобы большие нагрузки пережевать и для распределения по ядрам прерывания прийдется поиграться так как линуха сама с сетевух не умеет корректно распределять прерывания. Просто пробовали ацелом заменить PPPoE всплыло много проблем, хотя у ацела производительность намного выше в будущем тоже хотел бы перевести сетку на ацел!

Чушь какая-то.

Намешали в кучу Фрю, Линукс, дистрибутивы, ядра, прерывания. Никакой связи между этими словами в данном контексте нет, получился просто сумбурный поток мыслей.

 

согласен что с разгона намешал все в кучу =)  единственное что хотел сказать что у меня долгое время все под Фрей работает, как только на брас поставил дебиан с ацелом начались проблемы с балансировкой по ядрам процессора - одно ядро нагружено под 100% а остальные три по 20% и пришлось играться чтобы как-то их уровнять, может конечно это еще побочный ефект агрегации (трафик 1.6 Г). Но пока остаюсь на Фре руки не доходят разобраться до конца в чем дело, но аццел это вещь он более производителен!

[KaYot]

Что значит более производителен?

PPPoE, если что, в linux терминируется ядром уже лет 5 как. Accel не более чем управляюшая обертка, userspace приложение.

И на производительность сервера он оказывается абсолютно минимальное влияние..

[veca16]

Что значит более производителен?

PPPoE, если что, в linux терминируется ядром уже лет 5 как. Accel не более чем управляюшая обертка, userspace приложение.

И на производительность сервера он оказывается абсолютно минимальное влияние..

Тогда возможно я ошибаюсь или что то не дочитал! Вам спасибо что разьяснили!

[adeep]

 

Что значит более производителен?

PPPoE, если что, в linux терминируется ядром уже лет 5 как. Accel не более чем управляюшая обертка, userspace приложение.

И на производительность сервера он оказывается абсолютно минимальное влияние..

Тогда возможно я ошибаюсь или что то не дочитал! Вам спасибо что разьяснили!

 

Что accel, что mpd являются всего лишь софт-обертками над обработкой всего в ядре.

В линуксе модули ядра занимаются pppoe/pptp/etc, во фре подсистема NETGRAPH.

И там, и там есть баги, мешающие плодотворно эксплуатировать софт-решения на высоких нагрузках. О чем уже много страниц исписано на различных форумах.

 

Поэтому независимо от того, что вы выберете, вы получите высокопроизводительный брас, но с растущей вероятностью падения при увеличении нагрузки.

В FreeBSD ошибки в большей части в районе шейпера и ната (на стыке с dummynet), в линуксе последние проблемы были найдены в обработке pppoe пакетов.

Edited February 5, 2016 by adeep

[KaYot]

высокопроизводительный брас, но с растущей вероятностью падения при увеличении нагрузки.

Чисто поржать, самосборный нормально нагруженный сервер(до 1.5к онлайна)

[kayot@nas3 ~]$ uptime
 15:37:12 up 587 days, 11:15,  1 user,  load average: 0.00, 0.01, 0.00
[kayot@nas3 ~]$ cat /proc/net/pppoe | wc -l
1115

[NiTr0]

 

 

Сервера: интел И7 с сетевухами ЕТ, на каждый сервер попадает по 600-700 клиентов с 600-800 Мбит/с трафика.

линь с accel-ppp такой трафик на целероне легко прожует в общем-то.

 

 

 

в линуксе последние проблемы были найдены в обработке pppoe пакетов.

это вылезло в последних ядрах (эдак 3.19, в 4.1 точно есть, в 3.10 точно нет), и в основном в связи с 1) внедрением асинхронной обработки событий типа дисконнекта и 2) тем, что accel-ppp пытается сам обрабатывать pppoe дисконнекты, в то время как rp-pppoe, которым пользуется основная масса, этого не умеет (этим занимается ядро, итог - race condition на accel-ppp).

[paradox404]

 

высокопроизводительный брас, но с растущей вероятностью падения при увеличении нагрузки.

Чисто поржать, самосборный нормально нагруженный сервер(до 1.5к онлайна)

[kayot@nas3 ~]$ uptime
 15:37:12 up 587 days, 11:15,  1 user,  load average: 0.00, 0.01, 0.00
[kayot@nas3 ~]$ cat /proc/net/pppoe | wc -l
1115

1115 терминаций с LA=0? Это как так?

[KaYot]

Это linux, нормальное железо и вылизанный софт. Никакой магии.

[adeep]

 

высокопроизводительный брас, но с растущей вероятностью падения при увеличении нагрузки.

Чисто поржать, самосборный нормально нагруженный сервер(до 1.5к онлайна)

[kayot@nas3 ~]$ uptime
 15:37:12 up 587 days, 11:15,  1 user,  load average: 0.00, 0.01, 0.00
[kayot@nas3 ~]$ cat /proc/net/pppoe | wc -l
1115

Я кажется видел вас в теме нага про аццель

Мы тоже ржали, пока до 2к+ на хост не добрались...

[masters]

Это linux, нормальное железо и вылизанный софт. Никакой магии.

Не верю!

Хотя-бы сетевуха немного дала на LA. Разве что из всех подключенных никто интернетом не пользуется ))

[KaYot]

 

 

высокопроизводительный брас, но с растущей вероятностью падения при увеличении нагрузки.

Чисто поржать, самосборный нормально нагруженный сервер(до 1.5к онлайна)

[kayot@nas3 ~]$ uptime
 15:37:12 up 587 days, 11:15,  1 user,  load average: 0.00, 0.01, 0.00
[kayot@nas3 ~]$ cat /proc/net/pppoe | wc -l
1115

 

Я кажется видел вас в теме нага про аццель

Мы тоже ржали, пока до 2к+ на хост не добрались...

 

Год назад на этих же серверах было по 1.5-2к онлайна, потихоньку юзеры на IPoE переезжают.

 

Вот вам с accel-машины, 3к онлайн пиковый. Еще и IPoE, оно побольше кушает чем PPPoE.

[root@IPoE1 ~]# accel-cmd show stat
sessions:
  starting: 0
  active: 2634
  finishing: 0
ipoe:
  starting: 0
  active: 2634
  delayed: 0

Тут конечно LA не 0, но тоже далеко не предел для недорогого сервера.

[root@IPoE1 ~]# uptime
 17:07:40 up 64 days,  4:43,  2 users,  load average: 0.39, 0.58, 0.74

Edited February 9, 2016 by KaYot

[KaYot]

 

Это linux, нормальное железо и вылизанный софт. Никакой магии.

Не верю!

Хотя-бы сетевуха немного дала на LA. Разве что из всех подключенных никто интернетом не пользуется ))

 

Я ж не заставляю верить, и в свою секту никого не зову. Трафика бегает гиг, самый обычный BRAS.

Если будем спорить на пиво - дам ssh доступ самому поглядеть

[korvin2000]

можно деталей

 

конфиг и версию ядра 

sysctl

настройки сетевых

 

Спасибо

 

 

 

Это linux, нормальное железо и вылизанный софт. Никакой магии.

Не верю!
Хотя-бы сетевуха немного дала на LA. Разве что из всех подключенных никто интернетом не пользуется ))

 

Я ж не заставляю верить, и в свою секту никого не зову. Трафика бегает гиг, самый обычный BRAS.
Если будем спорить на пиво - дам ssh доступ самому поглядеть

 

[KaYot]

можно деталей

Ядро древнее, 2.6.32 вроде бы

Конфиг ядра дефолтный "все галочки включить" + патчи на добавление IMQ/ipset.

В sysctl увеличение ARP-таблицы.

у сетевых увеличен ring buffer.

Считай обычная линукс-машина.

[pashaumka]

если нет OSPF - не парься...

[korvin2000]

а acel какой для pptp и какой для ipoe? 

 

Благодарю

 

 

можно деталей

Ядро древнее, 2.6.32 вроде бы
Конфиг ядра дефолтный "все галочки включить" + патчи на добавление IMQ/ipset.
В sysctl увеличение ARP-таблицы.
у сетевых увеличен ring buffer.
Считай обычная линукс-машина.