DUMMYNET и все-все-все

[skreep]

1 час назад, Baneff сказал:

Дякую, ви наштовхнули мене на рішення цієї тяжкої арифметичної задачі. Виявилося, що кількість пакетів, що проходять через фізичні інтерфейси, тобто які фізично влітають і вилітають в/з бокса - це з точки зору netstat не є загальна сума пакетів, що проходить через систему. Насправді netstat рахує всі пакети по всіх інтерфейсах, як фізичних, так і віртуальних. Тобто, якщо в системі є lagg, bridge, vlan і таке інше віртуальні інтерфейси, то netstat порахує і пакети, що проходять крізь ці інтерфейси теж, хоча фактично ці пакети вже пораховані на фізичних інтерфейсах. Виходить подвійна, потрійна і так далі арифметика і тому власне в мене і виходили такі дивні результати при підрахунках.

 

Хоча це і не по темі топіка, проте мене тепер зацікавило додатково ще одне питання. Якщо netstat враховує однаково пакети на реальних і віртуальних інтерфейсах, то що це? Помилка автора програми netstat чи то так і має бути? І якщо останнє вірно, то що, віртуальні інтерфейси навантажують систему так само як і реальні фізичні? Що, додавання кожного vlan-ну в систему реально піднімає загальний PPS і реальне навантаження на CPU ?

 

На мою думку немає ніякого сенсу дивитись nentstat без вказання інтерфейсу.

і ще мені сильно допомагало прибивання процесу dummynet до 0-го ядра.

у мене було так 0,1 ядра то мережева яка дивилась вверх, і на якій був нат PF, і  dummynet до 0-го ядра, а 3,4 ядро то мережева на яку прилітав PPPoE від клієнтів

процесор був Е3-1240v2, трафіку до 2Г,  dummynet був в тор до 10% рідко.

dummynet різко піднімався в тор коли на клієнта була дос дрібними пакетами, або у клієнта були віруси, глюки, поломаний відеореєстратор

[Baneff]

1 час назад, skreep сказал:

На мою думку немає ніякого сенсу дивитись nentstat без вказання інтерфейсу.

 

Я теж надіюся, що це так. Я контролюю тільки рух пакетів через фізичні інтерфейси. Поки що так.

 

1 час назад, skreep сказал:

і ще мені сильно допомагало прибивання процесу dummynet до 0-го ядра.

у мене було так 0,1 ядра то мережева яка дивилась вверх, і на якій був нат PF, і  dummynet до 0-го ядра, а 3,4 ядро то мережева на яку прилітав PPPoE від клієнтів

Так, був період в історії FreeBSD, коли щось десь поламали і даммінет без прив'язки до одного ядра постійно давав 100% завантаженості. Але ту помилку давно виправили і зараз планувальник процесів добре працює без ручного керування, тобто саме так, як він і мав би працювати. Я перевіряв, робив всякі прив'язки, краще від цього не стає, хоча в інеті повно рекомендацій по ручній прив'язці, бо люди памятають в основному погане.

 

1 час назад, skreep сказал:

dummynet різко піднімався в тор коли на клієнта була дос дрібними пакетами, або у клієнта були віруси, глюки, поломаний відеореєстратор

 

Ну це екстремальні ситуації, вони відслідковуються і нейтралізуються так чи інакше. Ми тут говоримо про стабільну усереднену ситуацію.

[l1ght]

Я вам расскажу страшную тайну.

dummynet_io_fast который с какой-то версии фри по дефолту = 1

Dummynet начинает работать только когда надо действительно резать скорость.

Пока абоны не выедают полосу тарифа - он вообще проц не будет нагружать.

[sanyadnepr]

16 часов назад, skreep сказал:

 

якщо дивитись netstat -w1 -h то тут сумарна кількість пакетів що бігають в системі

якщо дивитись netstat -w1 -h -I igb0 тут кількість пакетів на конкретному інтерфейсі

а далі калькулятор по інтерфейсам  має дати сумарне значення в системі

netstat -hw1   
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      443k     0     0       334M       493k     0       451M     0
      421k     0     0       316M       463k     0       419M     0

netstat -hw1 -I ix0 
            input            ix0           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      199k     0     0       167M       199k     0       167M     0
      193k     0     0       165M       193k     0       163M     0

netstat -hw1 -I vlan75
            input          vlan75           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      121k     0     0       142M        71k     0        16M     0
      115k     0     0       131M        67k     0        15M     0

Объясните, почему такая ситуация c pps и трафиком ? Кроме ix0 больше нет сетевых интерфейсов. 

Не стал показывать netstat еще 2000 ng интерфейсов.

Если влан75 умножить на два, потому что вход влан75, исход всех ng интерфейсов, исход соответственно вход.

Не получится 440Кпакетов и 330/450 мегабайт в системе. Еще и перекос получается.

По ix0 примерно как должно быть, трафика и пакетов.

 

 

[Baneff]

18 минут назад, l1ght сказал:

Я вам расскажу страшную тайну.

dummynet_io_fast который с какой-то версии фри по дефолту = 1

Dummynet начинает работать только когда надо действительно резать скорость.

Пока абоны не выедают полосу тарифа - он вообще проц не будет нагружать.

Сия тайна велика есть, но нам она ведома..

 

> sysctl net.inet.ip.dummynet.io_fast
net.inet.ip.dummynet.io_fast: 1

 

Но спасибо.

[l1ght]

2 минуты назад, Baneff сказал:

Сия тайна велика есть, но нам она ведома..

 

> sysctl net.inet.ip.dummynet.io_fast
net.inet.ip.dummynet.io_fast: 1

 

Но спасибо.

я это к тому, что когда много мелких тарифов < 10mbit то дамминет будет нагружен стабильно

5 минут назад, sanyadnepr сказал:

netstat -hw1   
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      443k     0     0       334M       493k     0       451M     0
      421k     0     0       316M       463k     0       419M     0

netstat -hw1 -I ix0 
            input            ix0           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      199k     0     0       167M       199k     0       167M     0
      193k     0     0       165M       193k     0       163M     0

netstat -hw1 -I vlan75
            input          vlan75           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      121k     0     0       142M        71k     0        16M     0
      115k     0     0       131M        67k     0        15M     0

Объясните, почему такая ситуация c pps и трафиком ? Кроме ix0 больше нет сетевых интерфейсов. 

Не стал показывать netstat еще 2000 ng интерфейсов.

Если влан75 умножить на два, потому что вход влан75, исход всех ng интерфейсов, исход соответственно вход.

Не получится 440Кпакетов и 330/450 мегабайт в системе. Еще и перекос получается.

По ix0 примерно как должно быть, трафика и пакетов.

 

 

фигня всё это

мерять pps стоит только на интересующем тебя интерфейсе а не всей системе в целом

ибо считать одни и те же пакеты по 2-4 раза вряд ли правильно

[Baneff]

1 минуту назад, l1ght сказал:

я это к тому, что когда много мелких тарифов < 10mbit то дамминет будет нагружен стабильно

Да, наверное, но мелких тарифов сейчас осталось несколько десятков, в основном 100мбит/с и это странно тогда, видимо что-то таки у меня в консерватории не так, надо разбираться. С другой стороны это хорошо, значит что-то можно исправить/улучшить и проблема снимется сама собой. Буду ковырятся дальше...

[Baneff]

15 минут назад, sanyadnepr сказал:

netstat -hw1   
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      443k     0     0       334M       493k     0       451M     0
      421k     0     0       316M       463k     0       419M     0

netstat -hw1 -I ix0 
            input            ix0           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      199k     0     0       167M       199k     0       167M     0
      193k     0     0       165M       193k     0       163M     0

netstat -hw1 -I vlan75
            input          vlan75           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      121k     0     0       142M        71k     0        16M     0
      115k     0     0       131M        67k     0        15M     0

Объясните, почему такая ситуация c pps и трафиком ? Кроме ix0 больше нет сетевых интерфейсов. 

Не стал показывать netstat еще 2000 ng интерфейсов.

Если влан75 умножить на два, потому что вход влан75, исход всех ng интерфейсов, исход соответственно вход.

Не получится 440Кпакетов и 330/450 мегабайт в системе. Еще и перекос получается.

По ix0 примерно как должно быть, трафика и пакетов.

 

Еще раз. Как я уже писал выше, выяснилось, что netstat -hw1 считает пакеты суммарно по абсолютно всем интерфейсам, в том числе, видимо и по вашим 2000 ng. Раз так, то всё сходится у вас, недостающие 121к пакетов как раз и проходят через ваши ng, я так думаю. В любом случае, использование netstat -hw1 теряет на практике смысл, считать PPS нужно скриптом, суммируя пакеты по всем физическим интерфейсам, тогда не будет учёта одного и того-же пакета несколько раз.

Відредаговано 18 лютого, 2019 Baneff

[sanyadnepr]

skreep написал, "якщо дивитись netstat -w1 -h то тут сумарна кількість пакетів що бігають в системі"

и "а далі калькулятор по інтерфейсам  має дати сумарне значення в системі"

Показал, что это не всегда так.

 

Не фигня.

При определенных условиях, можно упереться в pps в системе.

Не помню точных цифр но где то около 1.5-2 миллионов пакетов на системном, начинались input ошибки и дропы.

В обоих случаях роутинг.

Но ниже перекосов нет.

netstat -hw1  
            input        (Total)           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      615k     0     0       521M       615k     0       521M     0
      703k     0     0       610M       703k     0       610M     0
netstat -hw1 -I vlan75
            input          vlan75           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      113k     0     0        34M       199k     0       232M     0
      113k     0     0        35M       199k     0       227M     0
netstat -hw1 -I vlan76
            input          vlan76           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      225k     0     0       261M       127k     0        36M     0
      221k     0     0       258M       122k     0        33M     0
netstat -hw1 -I ix0  
            input            ix0           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      214k     0     0       251M       118k     0        33M     0
      219k     0     0       259M       123k     0        35M     0
netstat -hw1 -I ix1
            input            ix1           output
   packets  errs idrops      bytes    packets  errs      bytes colls
      128k     0     0        38M       224k     0       263M     0
      116k     0     0        35M       208k     0       244M     0

 

 

 

[sanyadnepr]

3 минуты назад, Baneff сказал:

Раз так, то всё сходится у вас, недостающие 121к пакетов как раз и проходят через ваши ng, я так думаю.

Приведите расчет ?

120К in +70K out = 190K

190К in+out vlan75 это in+out 2000 ng интерфейсов. Что по трафику что по пакетам.

Т.е. 199/199К, 167/167 что мы видим по ix0.

Но никак не сходится с системным 440К/490К   

 

10 минут назад, Baneff сказал:

тогда не будет учёта одного и того-же пакета несколько раз.

Если пакет посчитан в системе несколько раз, значит на этот пакет затрачены ресурсы CPU.

Это не ошибка в подсчете.

[l1ght]

9 минут назад, sanyadnepr сказал:

Если пакет посчитан в системе несколько раз, значит на этот пакет затрачены ресурсы CPU.

ну вот цена ваших PPPoE

пришел PPP инкапсулированый пакет на влан интефрейс, потом нужно передать его логическому ng интерфейсу, снять инкапсуляцию и передать в роутинг

вот и получается что вместо двух раз (IPoE) будет три раза на PPP

[Baneff]

8 минут назад, sanyadnepr сказал:

Приведите расчет ?

120К in +70K out = 190K

190К in+out vlan75 это in+out 2000 ng интерфейсов. Что по трафику что по пакетам.

Т.е. 199/199К, 167/167 что мы видим по ix0.

Но никак не сходится с системным 440К/490К  

Я имел в виду следующее. Берём, к примеру входной трафик. Суммарно у вас 443k показывается, ну так это и соответствует примерно 199k через ix0 плюс 121k через vlan75 и плюс приблизительно тех же самых, что и через vlan75, 121k через не показанные там ng*. Сходится?

[sanyadnepr]

6 минут назад, l1ght сказал:

ну вот цена ваших PPPoE

Многие готовы платить и платят эту невысокую цену.

IPoE на доступе стоит гораздо дороже ! 

Стоимость одного PPPoE сервера соизмерима со стоимостью нескольких коммутаторов доступа, для IPoE. 

 

[l1ght]

1 минуту назад, sanyadnepr сказал:

Многие готовы платить и платят эту невысокую цену.

IPoE на доступе стоит гораздо дороже ! 

Стоимость одного PPPoE сервера соизмерима со стоимостью нескольких коммутаторов доступа, для IPoE. 

 

juniper что для PPP что для IPoE стоит одинаково ???

 

а вообще неконтролируемый PPPoE ничем не отличается от такого же DHCP

вот сколько видел дизайнов по авторизации по МАК.

и ничо, не тратят кучу денег на "правильный" IPoE

Відредаговано 18 лютого, 2019 l1ght

[Baneff]

17 минут назад, sanyadnepr сказал:

Если пакет посчитан в системе несколько раз, значит на этот пакет затрачены ресурсы CPU.

Это не ошибка в подсчете.

Да, конечно, согласен, что наверняка есть накладные расходы при прохождении пакета через виртуальные интерфейсы, вопрос только в том, правильно ли их учитывать простым суммированием с расходами на физический ввод-вывод где расходы действительно большие. Наверняка такой подсчёт некорректен, расходы на виртуальные интерфейсы наверняка сильно меньше.

3 минуты назад, sanyadnepr сказал:

Многие готовы платить и платят эту невысокую цену.

IPoE на доступе стоит гораздо дороже ! 

Стоимость одного PPPoE сервера соизмерима со стоимостью нескольких коммутаторов доступа, для IPoE. 

 

Народ! Я сильно извиняюсь, но я, как топикстартер, не хотел бы, чтобы тут происходили религиозные войны между сторонниками и противниками PPPoE и IPoE. Тут совсем другая тема, нет разве? Хотя тема интересная, может новый топик создать?

[sanyadnepr]

 

5 минут назад, Baneff сказал:

Суммарно у вас 443k показывается, ну так это и соответствует примерно 199k через ix0 плюс 121k через vlan75 и плюс приблизительно тех же самых, что и через vlan75, 121k через не показанные там ng*. Сходится?

Вы считаете суммарно пакеты in ix0+in vlan75+out ng. 199+121+121=441

Если посчитать out ix0+out vlan75+in ng. Тоже цифры не сходятся. 199+70+70=339

 

[sanyadnepr]

16 минут назад, l1ght сказал:

а вообще неконтролируемый PPPoE ничем не отличается от такого же DHCP

вот сколько видел дизайнов по авторизации по МАК.

и ничо, не тратят кучу денег на "правильный" IPoE

Точно так же похер, в тупом свиче, если кто то роутер не тем концом в сеть подключит ?

PPPoE фиолетово.

[l1ght]

4 минуты назад, sanyadnepr сказал:

Точно так же похер, в тупом свиче, если кто то роутер не тем концом в сеть подключит ?

PPPoE фиолетово.

ну нет, там надо ДОРОГУЩИЙ коммутатор с изоляцией портов

умный доступ уже давно не роскош, как по мне

[sanyadnepr]

В текущее непростое время еще какая роскошь ! 

Там где нет высокой плотности клиентов.

Сам конечно тоже за умный доступ.

Но не всем это доступно.

[Baneff]

У меня нет PPPoE! Вместо этого есть высокая загрузка dummynet. И вот это проблема...

[sanyadnepr]

Ответ был дан еще на первой странице !

Но Вы упорно не желаете двигаться в правильном направлении.

И вот это Ваша проблема...

[Baneff]

6 минут назад, sanyadnepr сказал:

Ответ был дан еще на первой странице !

Но Вы упорно не желаете двигаться в правильном направлении.

И вот это Ваша проблема...

 

19 часов назад, sanyadnepr сказал:

Три в одном ?

Так у Вас пакеты "кругами" ходят.

Масштабируйтесь по горизонтали.

Это был он, совет то есть? Из него я ничего не понял, слишком специфичный сленг. Поэтому я так и не понял в каком правильном направлении следует двигаться, вот и не двигаюсь соответственно. Я там просил на первой странице пояснить что вы имели в виду, однако ответа не получил. Что такое "три в одном", какими кругами ходят у меня пакеты и что такое масштабируемость по горизонтали? Мы люди тёмные таких наворотов не знаем, вот и. Впрочем ладно, разберёмся сами как-нибудь, спасибо за внимание.

[l1ght]

14 минут назад, Baneff сказал:

 

Это был он, совет то есть? Из него я ничего не понял, слишком специфичный сленг. Поэтому я так и не понял в каком правильном направлении следует двигаться, вот и не двигаюсь соответственно. Я там просил на первой странице пояснить что вы имели в виду, однако ответа не получил. Что такое "три в одном", какими кругами ходят у меня пакеты и что такое масштабируемость по горизонтали? Мы люди тёмные таких наворотов не знаем, вот и. Впрочем ладно, разберёмся сами как-нибудь, спасибо за внимание.

масштабировать системы по горизонтали значит добавлять сервера и раскидывать нагрузку между ними

ну очевидные же вещи

[Baneff]

2 минуты назад, l1ght сказал:

масштабировать системы по горизонтали значит добавлять сервера и раскидывать нагрузку между ними

ну очевидные же вещи

Это как в анекдоте? Извините, неприличный, но тут дам вроде нет.

Подходит к тётеньке мальчик и говорит: "Тётенька, я очень еба**ся хочу, вы мне не поможете?". Тётенька посмотрела направо и налево и говорит: "Нет, но могу в рот взять". На что мальчик заливаясь слезами отвечает: "В рот я и сам могу, а еба**ся хочу!".

Так и тут. Понятно, что добавить и расширить, но нет возможности пока. Вопрос был как уменьшить нагрузку от дамминета, но видно задача не имеет решения в поставленных рамках. Спасибо всем, кто старался помочь.

[l1ght]

5 минут назад, Baneff сказал:

Это как в анекдоте? Извините, неприличный, но тут дам вроде нет.

Подходит к тётеньке мальчик и говорит: "Тётенька, я очень еба**ся хочу, вы мне не поможете?". Тётенька посмотрела направо и налево и говорит: "Нет, но могу в рот взять". На что мальчик заливаясь слезами отвечает: "В рот я и сам могу, а еба**ся хочу!".

Так и тут. Понятно, что добавить и расширить, но нет возможности пока. Вопрос был как уменьшить нагрузку от дамминета, но видно задача не имеет решения в поставленных рамках. Спасибо всем, кто старался помочь.

ну я уже сказал в какую сторону

берите процы с большей тактовой на ядро, пересмотрите тарифы

но это всё только отсрочит от неизбежного масштабирования