100 МБт и более на freebsd pipe

[pavlabor 1 939]

В 15.10.2018 в 10:21, a_n_h сказал:

к чему это?

К тому что сравнивать 1G Intel 82576EB с 10G,

это даже не идет в сравнение 1G Intel c 1G Realtek.

 

15 часов назад, Dimkers сказал:

Примерно к тому же, что и многоядерность микротиков и  максимум 1,5Г на 2-х нодном пролианте.

Но пробовать разогнать 82576EB до 1,5Г конечно стоит.

[a_n_h 589]

2 минуты назад, pavlabor сказал:

Но пробовать разогнать 82576EB до 1,5Г конечно стоит.

за агрегацию ничего не слышал? 

[pavlabor 1 939]

23 минуты назад, a_n_h сказал:

за агрегацию ничего не слышал? 

Нет.

дай отчет в двух режимах
top -SHan 50

[a_n_h 589]

19 минут назад, pavlabor сказал:

Нет.

дай отчет в двух режимах
top -SHan 50

на:

Скрытый текст

# top -SHan 50
last pid: 68754;  load averages:  0.64,  0.63,  0.58  up 4+07:43:38    12:39:38
210 processes: 9 running, 152 sleeping, 4 zombie, 45 waiting

Mem: 110M Active, 3602M Inact, 1532M Wired, 1645M Buf, 10G Free
Swap: 3787M Total, 3787M Free

  PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
   11 root       155 ki31     0K   128K CPU7    7  95.6H 100.00% [idle{idle: cpu7}]
   11 root       155 ki31     0K   128K CPU1    1  95.6H 100.00% [idle{idle: cpu1}]
   11 root       155 ki31     0K   128K CPU3    3  95.6H 100.00% [idle{idle: cpu3}]
   11 root       155 ki31     0K   128K CPU2    2  95.5H 100.00% [idle{idle: cpu2}]
   11 root       155 ki31     0K   128K CPU5    5  95.5H  99.41% [idle{idle: cpu5}]
   11 root       155 ki31     0K   128K RUN     0  86.9H  99.37% [idle{idle: cpu0}]
   11 root       155 ki31     0K   128K CPU6    6  95.6H  99.07% [idle{idle: cpu6}]
   11 root       155 ki31     0K   128K CPU4    4  95.5H  97.36% [idle{idle: cpu4}]
  709 nobody      21    0 22936K  7036K select  5 350:42   1.90% /usr/local/sbin/softflowd -i igb1 -n 127.0.0.1:42111 -m 16000 -p /var/run/softflowd.igb1.pid -c /var/run/softflowd.igb1.ctl -t
   12 root       -92    -     0K   720K WAIT    0 153:47   1.27% [intr{irq257: igb0:que 0}]
  934 root        20    0 95940K 35816K nanslp  3 116:48   1.07% /usr/sbin/stargazer{stargazer}
   12 root       -92    -     0K   720K WAIT    6 154:00   0.98% [intr{irq263: igb0:que 6}]
   12 root       -92    -     0K   720K WAIT    3 145:03   0.83% [intr{irq260: igb0:que 3}]
   12 root       -92    -     0K   720K WAIT    5 154:57   0.68% [intr{irq262: igb0:que 5}]
  948 root        20    0 80464K 30748K bpf     1 131:46   0.68% /usr/local/bandwidthd/bandwidthd
   12 root       -92    -     0K   720K WAIT    4 115:00   0.63% [intr{irq270: igb1:que 4}]
   12 root       -92    -     0K   720K WAIT    2 109:47   0.63% [intr{irq268: igb1:que 2}]
   12 root       -92    -     0K   720K WAIT    4 157:15   0.59% [intr{irq261: igb0:que 4}]
   12 root       -92    -     0K   720K WAIT    2 146:40   0.49% [intr{irq259: igb0:que 2}]
   12 root       -92    -     0K   720K WAIT    5 116:13   0.49% [intr{irq271: igb1:que 5}]
   12 root       -92    -     0K   720K WAIT    3 108:55   0.39% [intr{irq269: igb1:que 3}]
  947 root        20    0   143M   101M bpf     5  98:56   0.39% /usr/local/bandwidthd/bandwidthd
   12 root       -92    -     0K   720K WAIT    6 116:25   0.29% [intr{irq272: igb1:que 6}]
  946 root        20    0   175M   132M bpf     6  85:08   0.29% /usr/local/bandwidthd/bandwidthd
   12 root       -92    -     0K   720K WAIT    7 115:26   0.24% [intr{irq273: igb1:que 7}]
   12 root       -92    -     0K   720K WAIT    7 149:24   0.20% [intr{irq264: igb0:que 7}]
   12 root       -92    -     0K   720K WAIT    1 140:15   0.20% [intr{irq258: igb0:que 1}]
   12 root       -92    -     0K   720K WAIT    1 109:46   0.20% [intr{irq267: igb1:que 1}]
  945 root        20    0   131M 92040K bpf     4  81:16   0.20% /usr/local/bandwidthd/bandwidthd
   12 root       -92    -     0K   720K WAIT    0 112:00   0.10% [intr{irq266: igb1:que 0}]
  934 root        20    0 95940K 35816K nanslp  1  28:29   0.10% /usr/sbin/stargazer{stargazer}
  934 root        20    0 95940K 35816K select  6  26:13   0.10% /usr/sbin/stargazer{stargazer}
68753 www         20    0 38396K 10052K select  6   0:00   0.10% /usr/local/bin/nmap -sP -n 172.25.1.0/24
    0 root       -92    -     0K   416K -       0 580:58   0.00% [kernel{dummynet}]
  477 unbound     20    0 51708K 23800K select  4  17:44   0.00% /usr/sbin/unbound -c /var/unbound/unbound.conf
   18 root        16    -     0K    16K syncer  5   7:16   0.00% [syncer]
   12 root       -60    -     0K   720K WAIT    1   4:34   0.00% [intr{swi4: clock}]
    0 root       -16    -     0K   416K swapin  7   2:21   0.00% [kernel{swapper}]
    0 root       -92    -     0K   416K -       7   1:24   0.00% [kernel{igb1 que}]
    0 root       -92    -     0K   416K -       6   1:24   0.00% [kernel{igb1 que}]
    0 root       -92    -     0K   416K -       7   1:22   0.00% [kernel{igb1 que}]
    0 root       -92    -     0K   416K -       4   1:20   0.00% [kernel{igb1 que}]
    2 root       -16    -     0K    48K -       0   1:18   0.00% [cam{doneq0}]
  842 mysql       20    0   745M   503M select  6   1:04   0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
  842 mysql       20    0   745M   503M uwait   0   0:59   0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
  842 mysql       20    0   745M   503M uwait   4   0:58   0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
  842 mysql       20    0   745M   503M uwait   4   0:57   0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
  842 mysql       20    0   745M   503M uwait   2   0:56   0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
   14 root       -16    -     0K    16K -       3   0:43   0.00% [rand_harvestq]
   12 root       -72    -     0K   720K WAIT    3   0:41   0.00% [intr{swi1: netisr 3}]
 

 

[Dimkers 1 600]

1 час назад, pavlabor сказал:

тому что сравнивать 1G Intel 82576EB с 10G, 

И что тут страшного на 700М? А если бондинг?

[pavlabor 1 939]

3 часа назад, a_n_h сказал:

 

Тут у тебя порожняк

last pid: 68754;  load averages:  0.64,  0.63,  0.58

Mem: 110M Active, 3602M Inact, 1532M Wired, 1645M Buf, 10G Free

PID USERNAME   PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND

   12 root       -92    -     0K   720K WAIT    0 153:47   1.27% [intr{irq257: igb0:que 0}]
   12 root       -92    -     0K   720K WAIT    6 154:00   0.98% [intr{irq263: igb0:que 6}]
   12 root       -92    -     0K   720K WAIT    3 145:03   0.83% [intr{irq260: igb0:que 3}]
   12 root       -92    -     0K   720K WAIT    5 154:57   0.68% [intr{irq262: igb0:que 5}]
   12 root       -92    -     0K   720K WAIT    4 115:00   0.63% [intr{irq270: igb1:que 4}]
   12 root       -92    -     0K   720K WAIT    2 109:47   0.63% [intr{irq268: igb1:que 2}]
   12 root       -92    -     0K   720K WAIT    4 157:15   0.59% [intr{irq261: igb0:que 4}]
   12 root       -92    -     0K   720K WAIT    2 146:40   0.49% [intr{irq259: igb0:que 2}]
   12 root       -92    -     0K   720K WAIT    5 116:13   0.49% [intr{irq271: igb1:que 5}]
   12 root       -92    -     0K   720K WAIT    3 108:55   0.39% [intr{irq269: igb1:que 3}]
   12 root       -92    -     0K   720K WAIT    6 116:25   0.29% [intr{irq272: igb1:que 6}]
   12 root       -92    -     0K   720K WAIT    7 115:26   0.24% [intr{irq273: igb1:que 7}]
   12 root       -92    -     0K   720K WAIT    7 149:24   0.20% [intr{irq264: igb0:que 7}]
   12 root       -92    -     0K   720K WAIT    1 140:15   0.20% [intr{irq258: igb0:que 1}]
   12 root       -92    -     0K   720K WAIT    1 109:46   0.20% [intr{irq267: igb1:que 1}]

     0 root       -92    -     0K   416K -       0 580:58   0.00% [kernel{dummynet}]

 

Хотелось бы взглянуть когда начинает упираться в планку.

Ресурсов достаточно чтобы по увеличивать стандартные буферы

Відредаговано 2018-10-16 12:41:35 pavlabor

[pavlabor 1 939]

12 минут назад, Dimkers сказал:

И что тут страшного на 700М? А если бондинг?

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Поэтому стебатся с тюнинга a_n_h-ом запорожца, выставляя показатели на ферари, как то не совсем корректно.

 

[l1ght 377]

1 час назад, pavlabor сказал:

Тут у тебя порожняк

LA - попугаи, чуть меньше абстрактная величина чем в линухе, но всё равно попугаи

Память не занята потому что её много и чую аптаймы невелики, ибо никсы любят кушать память в порожняк, всё равно есть свободна, че б не использовать.

То что не занят проц - тоже не показатель. У него в не 100+ мегабит плохо резало, а был бы пипец полный с форвардингом.

Там же проблема вообще в другом. В том что конкретно пайпы вместо нарезки скорости режут шляпу какую-то.

[KaYot 3 708]

1 час назад, pavlabor сказал:

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Все тот же цирк.

Лично у меня в серверах везде 6x1G или 8x1G, удобно мне так по портам. Все сервера упираются в порты, а не в CPU или "узость архитектуры".

Карты есть броадкомы бортовые, интела 82576, 82580, местами даже 82573(та что PT) - работает все одинаково, какой-либо разницы по загрузке или ходимому трафику не вижу.

 

Надо бы переходить на 10ки, но тут я на 100% согласен с заповедью - работает, не трогай. Как станет тесно в очередной раз будем менять, а пока пусть гудит.

[pavlabor 1 939]

38 минут назад, l1ght сказал:

LA - попугаи, чуть меньше абстрактная величина чем в линухе, но всё равно попугаи

Память не занята потому что её много и чую аптаймы невелики, ибо никсы любят кушать память в порожняк, всё равно есть свободна, че б не использовать.

То что не занят проц - тоже не показатель. У него в не 100+ мегабит плохо резало, а был бы пипец полный с форвардингом.

Там же проблема вообще в другом. В том что конкретно пайпы вместо нарезки скорости режут шляпу какую-то.

добавил

0 root       -92    -     0K   416K -       0 580:58   0.00% [kernel{dummynet}]

 

Если нагрузка не изменится в пиковое время, то значит железо "позволяет", нужно копать в сторону доступных квот.

 

Відредаговано 2018-10-16 12:46:46 pavlabor

[l1ght 377]

8 минут назад, pavlabor сказал:

Если нагрузка не изменится в пиковое время, то значит железо "позволяет", нужно копать в сторону доступных квот.

Ну на дамминет стоит смотреть, тут 100% согласен.

Но опять же io_fast и нагрузки от него на порядок меньше.

Что мы и наблюдаем - трафик есть а дамминет не грузит.

Відредаговано 2018-10-16 12:50:40 l1ght

[Baneff 149]

Народ, вставлю свои 5 копеек, может кому пригодится. Так вот, определяющим параметром является pps, то есть кол-во пакетов в секунду, которые способен прокачать софтроутер, а не скорость в мегабитах/с. Мелкие пакеты нагружают сильнее при той-же скорости и это надо учитывать. В своё время был момент, когда автор известного торрент клиента решил, что мелкими пакетами качать сподручнее и сразу у всех провайдеров случились проблемы, потребовалась замена оборудования на более мощное. Далее, больший pps можно получить на тазике с большей скоростью процессора и с большим кол-вом физических ядер при условии использования правильных сетевых карт, поддерживающих многопоточность/многобуферность. Дополнительно очень помогает объединение нескольких портов таких сетевых карт в параллель. Ну и тюнинг, он тоже важен. Размер памяти, дисков, размеры, вес и мощность блоков питания не влияет :). Дамминет даёт минимальную нагрузку по сравнению с перемалыванием очередей сетевух, можно не учитывать вообще. Да, всё это про FreeBSD, чем сам пользуюсь, о том и говорю. Короче, например какое нибудь старьё при 8 физических ядрах 3GHz и четырёх портах Intel 82580 в параллель с соответствующим тюнингом легко прокачают 2Gbit/s современного интернет трафика с средним размером пакета около 800 байт, при этом поддерживая и очереди и файерволл и NAT и BGP фулл вью на пару-тройку каналов. Ну а железо помощнее, и до 10 прокачает. Где-то так.

[l1ght 377]

5 часов назад, Baneff сказал:

Народ, вставлю свои 5 копеек, может кому пригодится. Так вот, определяющим параметром является pps, то есть кол-во пакетов в секунду, которые способен прокачать софтроутер, а не скорость в мегабитах/с. Мелкие пакеты нагружают сильнее при той-же скорости и это надо учитывать. В своё время был момент, когда автор известного торрент клиента решил, что мелкими пакетами качать сподручнее и сразу у всех провайдеров случились проблемы, потребовалась замена оборудования на более мощное. Далее, больший pps можно получить на тазике с большей скоростью процессора и с большим кол-вом физических ядер при условии использования правильных сетевых карт, поддерживающих многопоточность/многобуферность. Дополнительно очень помогает объединение нескольких портов таких сетевых карт в параллель. Ну и тюнинг, он тоже важен. Размер памяти, дисков, размеры, вес и мощность блоков питания не влияет :). Дамминет даёт минимальную нагрузку по сравнению с перемалыванием очередей сетевух, можно не учитывать вообще. Да, всё это про FreeBSD, чем сам пользуюсь, о том и говорю. Короче, например какое нибудь старьё при 8 физических ядрах 3GHz и четырёх портах Intel 82580 в параллель с соответствующим тюнингом легко прокачают 2Gbit/s современного интернет трафика с средним размером пакета около 800 байт, при этом поддерживая и очереди и файерволл и NAT и BGP фулл вью на пару-тройку каналов. Ну а железо помощнее, и до 10 прокачает. Где-то так.

Лагги дают оверхед по процу ибо тоже в софте.

Разница между нагруженными двумя линками и эти же линки только в лагге будет видна на нагрузке проца.

 

Я б на софтроутерах по возможности вообще лаггов избегал, но иногда это вполне хорошее решение.

Если тупой роутинг, который почти не грузит проц - вполне себе можно применять. А в других кейсах надо очень хорошо думать а не вылезет ли боком.

[Baneff 149]

2 часа назад, l1ght сказал:

Лагги дают оверхед по процу ибо тоже в софте.

Разница между нагруженными двумя линками и эти же линки только в лагге будет видна на нагрузке проца.

 

Я б на софтроутерах по возможности вообще лаггов избегал, но иногда это вполне хорошее решение.

Если тупой роутинг, который почти не грузит проц - вполне себе можно применять. А в других кейсах надо очень хорошо думать а не вылезет ли боком.

Ну да, за всё надо платить, однако в данном случае цена не выглядит заметной на общем фоне. Загнать всё в один лагг и напихать туда потом виланов - я считаю хорошее решение с точки зрения общей балансировки и вообще концепции распараллеливания. Пускай у компа голова болит что куда раскидывать, это всяко лучше чем самому думать. Только надо не забыть озаботится правильной балансировкой лагга, с хешированием не только и даже не столько по макам, сколько по ИП адресам пакетов, иначе ничего хорошего не выйдет. И не каждый свич поддерживает правильное хеширование пакетов в лагге, тоже надо учитывать.

[Dimkers 1 600]

19 часов назад, pavlabor сказал:

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Поэтому стебатся с тюнинга a_n_h-ом запорожца, выставляя показатели на ферари, как то не совсем корректно.

Ок.

 

Phenom II 955, 4GB RAM, MSI 760GM-E51,  i82576(driver: igb, version: 5.3.3.2), ацель.

 

 

Что-то еще посравниваем?

 

Відредаговано 2018-10-17 05:52:39 Dimkers

[WideAreaNetwork 222]

спрошу здесь, надеюсь не запинают в традиционном стиле

Цитата

CPU: 1.0% user, 0.0% nice, 8.7% system, 4.1% interrupt, 86.2% idle

 

PID USERNAME THR PRI NICE SIZE     RES    STATE C TIME   WCPU  COMMAND
2260 root             4      20   -15   47140K 33180K nanslp 4 362.0H 53.82% ipcad

WCPU доходит до 60-65%, не очень понимаю что это такое, стоит ли начинать беспокоиться? или пока все нормально?

нагрузка около 700Мбит, pps около 200К, сервер HP Proliant 360G5 два проца, 8 ядер по 2500MHz, озу 14Gb, FreeBSD 11.0-RELEASE-p12

[Dimkers 1 600]

Я не по фряхам, но чет мне кажется, что одно из ядер в попке. Очереди раскидывали?

[WideAreaNetwork 222]

41 минуту назад, Dimkers сказал:

Очереди раскидывали?

на данный момент даже не знаю как это делать так как не приходилось

Цитата

WCPU
Колонка WCPU (использование CPU) выдает взвешенные показатели использования CPU, а именно процентное отношение времени CPU, которое процесс использует согласно своему приоритету и значению nice.

может кто -о объяснить как 2 летнему?

[Dimkers 1 600]

1 час назад, WideAreaNetwork сказал:

на данный момент даже не знаю как это делать так как не приходилось

для начала почитать тут

и тут

https://habr.com/company/odnoklassniki/blog/266005/

 

1 час назад, WideAreaNetwork сказал:

может кто -о объяснить как 2 летнему?

среднее значение юзанья ЦПУ процессом вроде как. Но могу и ошибиться.

 

 

ЗЫ. У меня другой вопрос - ipcad это типа нетфлоу?

Відредаговано 2018-10-17 10:02:10 Dimkers

[WideAreaNetwork 222]

13 минут назад, Dimkers сказал:

У меня другой вопрос - ipcad это типа нетфлоу?

да

[Dimkers 1 600]

прибей и погляди на нагрузку

[WideAreaNetwork 222]

11 минут назад, Dimkers сказал:

прибей и погляди на нагрузку

вечером еще гляну по ядрам

# top -SHPI

 

стоит биллинг Nodeny+

ipcad рисует графики со срезом в 5мин, детализации нету, вообще думал вынести в отдельный нас это дело но с детализацией

Відредаговано 2018-10-17 10:45:44 WideAreaNetwork

[Dimkers 1 600]

стоп-стоп-стоп. Биллинг, нас, коллектор на одном серваке?

[WideAreaNetwork 222]

27 минут назад, Dimkers сказал:

стоп-стоп-стоп. Биллинг, нас, коллектор на одном серваке?

да. сори, забыл написать) коллектор вроде как не должен много есть ресурсов без детализации

[Dimkers 1 600]

Бгп тоже тут?