100 МБт и более на freebsd pipe

[a_n_h 589]

Продолжение темы:

магистрала "допинал" к аплинку претензий нет. 

 

  Выяснилась другая проблема: собрано "все в одном" Ubilling+NAS на одном сервере. До 100 МБт скорости выделяются нормально, но при установке 150 и более резко падает, при чем чем больше задаю - тем меньше в итоге получаю. При установке скорости в "0", т.е. без ограничений, получаю 500 МБт и более.

  Подскажите особенности настройки для скоростей 100 МБт и более.

 

[l1ght 377]

Всю дорогу не было проблем ни с 200 ни 500 ни с гигабитными тарифами.

Что-то мне подсказывает: либо в sysclt нахуеверчено, либо железо говно.

Ну и аплинк возможно м@д#к и всё плохо в один тцп поток.

Відредаговано 2018-10-11 08:08:39 l1ght

[a_n_h 589]

30 минут назад, l1ght сказал:

в sysclt нахуеверчено

все "по умолчанию"

30 минут назад, l1ght сказал:

железо говно

железо:

 

HP DL360 G6
Процесори: 2x Intel Xeon E5540 2.53 GHz
RAM: 16GB DDR3
Raid Controller: HP Smart Array P410i 
HDD: 2x 146GB

Блок живлення - 460 Вт 2шт

 

начал экспереметировать, при установке в pipe:

queue 1024Kbytes

начало прокачивать более 500 МБт.

[l1ght 377]

Очередь сильно большая. Сетевухи то какие?

Очевидно нужен определенный тюнинг буферов.

[a_n_h 589]

12 минут назад, l1ght сказал:

Очередь сильно большая

знаю, чем это угрожает?

12 минут назад, l1ght сказал:

Сетевухи то какие?

забыл указать, "название" не помню, но из серии Intel 82576EB, драйвер igb.

[l1ght 377]

11 минут назад, a_n_h сказал:

знаю, чем это угрожает?

Это буферизация, со всеми вытекающими.

13 минут назад, a_n_h сказал:

но из серии Intel 82576EB, драйвер igb

Значит тюненговать буфера ОС.

[pavlabor 1 939]

1 час назад, a_n_h сказал:

все "по умолчанию"

железо:

 

HP DL360 G6
Процесори: 2x Intel Xeon E5540 2.53 GHz
RAM: 16GB DDR3
Raid Controller: HP Smart Array P410i 
HDD: 2x 146GB

Блок живлення - 460 Вт 2шт

 

начал экспереметировать, при установке в pipe:

queue 1024Kbytes

начало прокачивать более 500 МБт.

В этой задаче важен проц и сетевуха.

Остальное вторично.

500, это максимум что ты сможешь выжать на 2x Intel Xeon E5540 2.53 GHz, ну может еще пукнуть чуток.

Подумай почему у микрота 36, 72 проца....

[a_n_h 589]

21 минуту назад, l1ght сказал:

Значит тюненговать буфера ОС.

как? можно ссылку в нете?

[pavlabor 1 939]

2 минуты назад, a_n_h сказал:

как? можно ссылку в нете?

Никак.

После фри 9.0, там все вылизано до дыр.

В линухе и подавно.

[l1ght 377]

26 минут назад, pavlabor сказал:

В этой задаче важен проц и сетевуха.

Остальное вторично.

500, это максимум что ты сможешь выжать на 2x Intel Xeon E5540 2.53 GHz, ну может еще пукнуть чуток.

Подумай почему у микрота 36, 72 проца....

Ну да, то-то я смотрю на тазик с 4г перфоманса (нат\полисер\фаервол) с двумя L5520, а оказывается 500 - потолок.

Тюнингованая 10.3

24 минуты назад, a_n_h сказал:

как? можно ссылку в нете?

Я когда-то давно вывел себе эталонный sysctl.conf и успешно его применяю.

В гугле находится всё, но далеко не всё нужно и не все полезно.

Тестировать на себе только.

30 минут назад, pavlabor сказал:

Подумай почему у микрота 36, 72 проца....

И вот этот бред пожалуйста не нужно.

У микрота столько ядер потому что маркетинг и потому что мипс.

х86 с меньшим кол-вом ядер могут куда успешнее справлятся, ибо не так количество, сколько качество каждого отдельно взятого ядра важно

[a_n_h 589]

1 минуту назад, l1ght сказал:

когда-то давно вывел себе эталонный sysctl.conf

поделишься?

[pavlabor 1 939]

2 часа назад, l1ght сказал:

 

3 часа назад, pavlabor сказал:

Подумай почему у микрота 36, 72 проца....

И вот этот бред пожалуйста не нужно.

У микрота столько ядер потому что маркетинг и потому что мипс.

х86 с меньшим кол-вом ядер могут куда успешнее справлятся, ибо не так количество, сколько качество каждого отдельно взятого ядра важно

Тестил в свое время 2,4,6,8, с частотами от 2 до 4,7.

Результат такой.

Чем выше частота, тем быстрее пинг.

Чем больше суммарной расчетной мощности, тем больше можно разогнать трафик.

От 8/4,7 отказался, прожорливые, капризные и не стабильные.

Пока остановился на АМД, 8 ядер, 4 гигагерца.

Потолок все равно 500 мегабит.

Если не обвешиваться ipfw, пайпом, нетфлоу, то есть BGP и чистая коммутация, то на "2x Intel Xeon E5540 2.53 GHz" можно вытянуть полтора гига, с обвязкой при всем уважении к интелу 400-500..

Вывод простой, чем больше сумарная расчетная производительность, тем больше перелопачивается трафика,

чем мощнее ядро проца, тем меньше пинг.

По тюнингу, давно перестал заморачиваться. все с коробки.

 

Кстати десять гиг гонят на видеокартах, где побольше процов.

[a_n_h 589]

3 часа назад, pavlabor сказал:

Подумай почему у микрота 36, 72 проца....

насколько я понял там не физические ядра.

19 минут назад, pavlabor сказал:

обвязкой при всем уважении к интелу 400-500..

на данный момент без тюнинга суммарного трафика прожевывает более 700 МБт, проблемы выяснились после того как решили запустить тарифы 100 МБт и более.

[KaYot 3 708]

1 час назад, pavlabor сказал:

Чем выше частота, тем быстрее пинг.

Чем больше суммарной расчетной мощности, тем больше можно разогнать трафик.

От 8/4,7 отказался, прожорливые, капризные и не стабильные.

Пока остановился на АМД, 8 ядер, 4 гигагерца.

Потолок все равно 500 мегабит.

Если не обвешиваться ipfw, пайпом, нетфлоу, то есть BGP и чистая коммутация, то на "2x Intel Xeon E5540 2.53 GHz" можно вытянуть полтора гига, с обвязкой при всем уважении к интелу 400-500..

Вывод простой, чем больше сумарная расчетная производительность, тем больше перелопачивается трафика,

чем мощнее ядро проца, тем меньше пинг.

По тюнингу, давно перестал заморачиваться. все с коробки.

Даже комментировать не буду, просто напишу - БРЕД.

Потому и "не тянет", что "все с коробки".

[Dimkers 1 600]

Что за.....

Прямо ща в проде стоит нас на i5 3Ггц 4 честных ядра.

Качает 3 гига. Тарифы 10, 20, 50, 100.

Сетевка 10Г от интела с последними ixgbe 5.5.1.

Дебиан 9 с ядром 4.9.0.

Нат, фаервол, ибгп.

Softirq в чнн 60.

Кстати этот нас пришел на смену 2-м микротам. Один сср36 ядер, другой: х86 на Ксеоне е3 1275 v3 3Ггц. Им плохело при кппс выше 220-250к( дррпы на интерфейсах). А этот И5 просто жужжит.

Посему сказки о профите и про дохуяядерность Павлобора оставлю ему. их бестолковость у микротиков я проверил лично, даже меняя квинсы, нтв и прочую хуятень по советам сааба и интернетов.

 

А тут 2-х нодный пролиант....

У меня подобный бордюром(2*e5649 2,53Ггц) жуёт 4г с натом и парой аплинков.. при софтирку около 30%

Відредаговано 2018-10-11 16:24:25 Dimkers

[l1ght 377]

30 минут назад, Dimkers сказал:

А тут 2-х нодный пролиант....

Там с NUMA могут быть заморочки.

2 часа назад, pavlabor сказал:

Чем выше частота, тем быстрее пинг.

Не сам пинг, а скорость обработки пакетов зависит от латенси кешей, а частота проца - это то, сколько операций он сможет прожевать в секунду.

2 часа назад, pavlabor сказал:

Кстати десять гиг гонят на видеокартах, где побольше процов.

Все софт роутеры цпу зависимые. Никаких ГПУ ускорителей там не бывает.

Есть специальные оффлоады на внешних платах, но тот же НАТ - исключительно ЦПУ зависимая штука.

Обычный роутинг\свичинг делается либо, опять же процом, либо асиками (fpga).

Поэтому (почти) любой свич может утилизировать все порты на полной скорости при минимальном размере пакета.

[Dimkers 1 600]

1 минуту назад, l1ght сказал:

Там с NUMA могут быть заморочки

Нет там заморочек. Есть тока руки из жопы и непонимание того, что делается.

Какие заморочки? Вы послушайте - 2 нодный пролиант в сумме жуёт 700М и есть проблемы. Да 700М продует тухлый и древний феном 925 или ксеон х3130 например....

[l1ght 377]

3 минуты назад, Dimkers сказал:

Нет там заморочек. Есть тока руки из жопы и непонимание того, что делается.

Какие заморочки? Вы послушайте - 2 нодный пролиант в сумме жуёт 700М и есть проблемы. Да 700М продует тухлый и древний феном 925 или ксеон х3130 например....

С NUMA всегда есть заморочки, которых никогда нет на однопроцессорных системах.

Как минимум когда данные с которыми работает цпу1 лежат в памяти цпу2, ага, нет заморочек.

[a_n_h 589]

6 минут назад, Dimkers сказал:

сумме жуёт 700М и есть проблемы.

уточню, прожует  в общей сумме гораздо больше, проблема с нарезкой скорости абонам более 100МБт не зависимо от общей загрузки.

[Dimkers 1 600]

Вы лезите оч. глубоко. Но это не суть. У ТСа данная платформа жуёт около 700м и он уже косяки ловит... 700м, Карл.

[pavlabor 1 939]

1 час назад, KaYot сказал:

Даже комментировать не буду, просто напишу - БРЕД.

Потому и "не тянет", что "все с коробки".

До freebsd 9.x да, были хитрые яндекс драйвера, конфиги...

после 9.х уже нечего тюнить, открываешь sysctl, все выставлено по самым крутым рекомендациям и яндекс драйвер и на не на.

 

В линухе, спорить не буду производительность больше.

Не маловажным фактором является связка сетевая от индела на проце от интела.

На проце от АМД не тот колинкор, лицензии открыты не все.

Поэтому на сетевых потоках, сервак на АМД может делать 50% от сервака на Интеле.

2 минуты назад, a_n_h сказал:

уточню, прожует  в общей сумме гораздо больше, проблема с нарезкой скорости абонам более 100МБт не зависимо от общей загрузки.

Когда то делал тесты на задержку.

Делаю 1 секунду, 2,3,4... абсолютно никаких проблем.

Делаю задержку на 0,9 или 1,1 секунды, у проца сносит крышу.

 

Возможно сотка это какаято аппаратная поддержка, то что выше переваливается на проц и он буксует.

[a_n_h 589]

2 минуты назад, Dimkers сказал:

700м и он уже косяки ловит... 700м, Карл.

косяки не зависят от общей загрузки! при тарифах до 50МБт проблем нет! ночью, при общем трафике менее 50 МБт, более 100МБт получить не получается! @l1ght подсказал направление, этой ночью буду тюнинговать.

3 минуты назад, pavlabor сказал:

Делаю 1 секунду, 2,3,4... абсолютно никаких проблем.

Делаю задержку на 0,9 или 1,1 секунды, у проца сносит крышу.

это где?

[pavlabor 1 939]

5 минут назад, a_n_h сказал:

 

7 минут назад, pavlabor сказал:

Делаю 1 секунду, 2,3,4... абсолютно никаких проблем.

Делаю задержку на 0,9 или 1,1 секунды, у проца сносит крышу.

это где?

На фре, только решались не сетевые задачи.

Списали на то что обработка с целыми числами и с плавающей запятой, это разные уровни задач.

 

Відредаговано 2018-10-11 16:55:25 pavlabor

[KaYot 3 708]

7 минут назад, pavlabor сказал:

Не маловажным фактором является связка сетевая от индела на проце от интела.

На проце от АМД не тот колинкор, лицензии открыты не все.

Поэтому на сетевых потоках, сервак на АМД может делать 50% от сервака на Интеле.

Тут уже даже не бред, а ЧУШЬ.

Дядя Вова, у вас митинги под Радой явно лучше получаются чем администрирование серверов))

[pavlabor 1 939]

Только что, KaYot сказал:

Тут уже даже не бред, а ЧУШЬ.

Дядя Вова, у вас митинги под Радой явно лучше получаются чем администрирование серверов))

Ты завидуешь или есть что сказать по сути?