100 МБт и более на freebsd pipe

pavlabor · 2018-10-16 08:51:24

В 15.10.2018 в 10:21, a_n_h сказал:

к чему это?

К тому что сравнивать 1G Intel 82576EB с 10G,

это даже не идет в сравнение 1G Intel c 1G Realtek.

15 часов назад, Dimkers сказал:

Примерно к тому же, что и многоядерность микротиков и максимум 1,5Г на 2-х нодном пролианте.

Но пробовать разогнать 82576EB до 1,5Г конечно стоит.

a_n_h · 2018-10-16 08:55:09

2 минуты назад, pavlabor сказал:

Но пробовать разогнать 82576EB до 1,5Г конечно стоит.

за агрегацию ничего не слышал?

pavlabor · 2018-10-16 09:19:15

23 минуты назад, a_n_h сказал:

за агрегацию ничего не слышал?

Нет.

дай отчет в двух режимах
top -SHan 50

a_n_h · 2018-10-16 09:39:27

19 минут назад, pavlabor сказал:

Нет.

дай отчет в двух режимах
top -SHan 50

на:

Скрытый текст

# top -SHan 50
last pid: 68754; load averages: 0.64, 0.63, 0.58 up 4+07:43:38 12:39:38
210 processes: 9 running, 152 sleeping, 4 zombie, 45 waiting

Mem: 110M Active, 3602M Inact, 1532M Wired, 1645M Buf, 10G Free
Swap: 3787M Total, 3787M Free

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND
11 root 155 ki31 0K 128K CPU7 7 95.6H 100.00% [idle{idle: cpu7}]
11 root 155 ki31 0K 128K CPU1 1 95.6H 100.00% [idle{idle: cpu1}]
11 root 155 ki31 0K 128K CPU3 3 95.6H 100.00% [idle{idle: cpu3}]
11 root 155 ki31 0K 128K CPU2 2 95.5H 100.00% [idle{idle: cpu2}]
11 root 155 ki31 0K 128K CPU5 5 95.5H 99.41% [idle{idle: cpu5}]
11 root 155 ki31 0K 128K RUN 0 86.9H 99.37% [idle{idle: cpu0}]
11 root 155 ki31 0K 128K CPU6 6 95.6H 99.07% [idle{idle: cpu6}]
11 root 155 ki31 0K 128K CPU4 4 95.5H 97.36% [idle{idle: cpu4}]
709 nobody 21 0 22936K 7036K select 5 350:42 1.90% /usr/local/sbin/softflowd -i igb1 -n 127.0.0.1:42111 -m 16000 -p /var/run/softflowd.igb1.pid -c /var/run/softflowd.igb1.ctl -t
12 root -92 - 0K 720K WAIT 0 153:47 1.27% [intr{irq257: igb0:que 0}]
934 root 20 0 95940K 35816K nanslp 3 116:48 1.07% /usr/sbin/stargazer{stargazer}
12 root -92 - 0K 720K WAIT 6 154:00 0.98% [intr{irq263: igb0:que 6}]
12 root -92 - 0K 720K WAIT 3 145:03 0.83% [intr{irq260: igb0:que 3}]
12 root -92 - 0K 720K WAIT 5 154:57 0.68% [intr{irq262: igb0:que 5}]
948 root 20 0 80464K 30748K bpf 1 131:46 0.68% /usr/local/bandwidthd/bandwidthd
12 root -92 - 0K 720K WAIT 4 115:00 0.63% [intr{irq270: igb1:que 4}]
12 root -92 - 0K 720K WAIT 2 109:47 0.63% [intr{irq268: igb1:que 2}]
12 root -92 - 0K 720K WAIT 4 157:15 0.59% [intr{irq261: igb0:que 4}]
12 root -92 - 0K 720K WAIT 2 146:40 0.49% [intr{irq259: igb0:que 2}]
12 root -92 - 0K 720K WAIT 5 116:13 0.49% [intr{irq271: igb1:que 5}]
12 root -92 - 0K 720K WAIT 3 108:55 0.39% [intr{irq269: igb1:que 3}]
947 root 20 0 143M 101M bpf 5 98:56 0.39% /usr/local/bandwidthd/bandwidthd
12 root -92 - 0K 720K WAIT 6 116:25 0.29% [intr{irq272: igb1:que 6}]
946 root 20 0 175M 132M bpf 6 85:08 0.29% /usr/local/bandwidthd/bandwidthd
12 root -92 - 0K 720K WAIT 7 115:26 0.24% [intr{irq273: igb1:que 7}]
12 root -92 - 0K 720K WAIT 7 149:24 0.20% [intr{irq264: igb0:que 7}]
12 root -92 - 0K 720K WAIT 1 140:15 0.20% [intr{irq258: igb0:que 1}]
12 root -92 - 0K 720K WAIT 1 109:46 0.20% [intr{irq267: igb1:que 1}]
945 root 20 0 131M 92040K bpf 4 81:16 0.20% /usr/local/bandwidthd/bandwidthd
12 root -92 - 0K 720K WAIT 0 112:00 0.10% [intr{irq266: igb1:que 0}]
934 root 20 0 95940K 35816K nanslp 1 28:29 0.10% /usr/sbin/stargazer{stargazer}
934 root 20 0 95940K 35816K select 6 26:13 0.10% /usr/sbin/stargazer{stargazer}
68753 www 20 0 38396K 10052K select 6 0:00 0.10% /usr/local/bin/nmap -sP -n 172.25.1.0/24
0 root -92 - 0K 416K - 0 580:58 0.00% [kernel{dummynet}]
477 unbound 20 0 51708K 23800K select 4 17:44 0.00% /usr/sbin/unbound -c /var/unbound/unbound.conf
18 root 16 - 0K 16K syncer 5 7:16 0.00% [syncer]
12 root -60 - 0K 720K WAIT 1 4:34 0.00% [intr{swi4: clock}]
0 root -16 - 0K 416K swapin 7 2:21 0.00% [kernel{swapper}]
0 root -92 - 0K 416K - 7 1:24 0.00% [kernel{igb1 que}]
0 root -92 - 0K 416K - 6 1:24 0.00% [kernel{igb1 que}]
0 root -92 - 0K 416K - 7 1:22 0.00% [kernel{igb1 que}]
0 root -92 - 0K 416K - 4 1:20 0.00% [kernel{igb1 que}]
2 root -16 - 0K 48K - 0 1:18 0.00% [cam{doneq0}]
842 mysql 20 0 745M 503M select 6 1:04 0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
842 mysql 20 0 745M 503M uwait 0 0:59 0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
842 mysql 20 0 745M 503M uwait 4 0:58 0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
842 mysql 20 0 745M 503M uwait 4 0:57 0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
842 mysql 20 0 745M 503M uwait 2 0:56 0.00% /usr/local/libexec/mysqld --basedir=/usr/local --datadir=/var/db/mysql --plugin-dir=/usr/local/lib/mysql/plugin --log-error=Opt
14 root -16 - 0K 16K - 3 0:43 0.00% [rand_harvestq]
12 root -72 - 0K 720K WAIT 3 0:41 0.00% [intr{swi1: netisr 3}]

Dimkers · 2018-10-16 10:03:22

1 час назад, pavlabor сказал:

тому что сравнивать 1G Intel 82576EB с 10G,

И что тут страшного на 700М? А если бондинг?

pavlabor · 2018-10-16 10:13:11

3 часа назад, a_n_h сказал:

Тут у тебя порожняк

last pid: 68754; load averages: 0.64, 0.63, 0.58

Mem: 110M Active, 3602M Inact, 1532M Wired, 1645M Buf, 10G Free

PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND

   12 root       -92    -     0K   720K WAIT    0 153:47   1.27% [intr{irq257: igb0:que 0}]
   12 root       -92    -     0K   720K WAIT    6 154:00   0.98% [intr{irq263: igb0:que 6}]
   12 root       -92    -     0K   720K WAIT    3 145:03   0.83% [intr{irq260: igb0:que 3}]
   12 root       -92    -     0K   720K WAIT    5 154:57   0.68% [intr{irq262: igb0:que 5}]
   12 root       -92    -     0K   720K WAIT    4 115:00   0.63% [intr{irq270: igb1:que 4}]
   12 root       -92    -     0K   720K WAIT    2 109:47   0.63% [intr{irq268: igb1:que 2}]
   12 root       -92    -     0K   720K WAIT    4 157:15   0.59% [intr{irq261: igb0:que 4}]
   12 root       -92    -     0K   720K WAIT    2 146:40   0.49% [intr{irq259: igb0:que 2}]
   12 root       -92    -     0K   720K WAIT    5 116:13   0.49% [intr{irq271: igb1:que 5}]
   12 root       -92    -     0K   720K WAIT    3 108:55   0.39% [intr{irq269: igb1:que 3}]
   12 root       -92    -     0K   720K WAIT    6 116:25   0.29% [intr{irq272: igb1:que 6}]
   12 root       -92    -     0K   720K WAIT    7 115:26   0.24% [intr{irq273: igb1:que 7}]
   12 root       -92    -     0K   720K WAIT    7 149:24   0.20% [intr{irq264: igb0:que 7}]
   12 root       -92    -     0K   720K WAIT    1 140:15   0.20% [intr{irq258: igb0:que 1}]
   12 root       -92    -     0K   720K WAIT    1 109:46   0.20% [intr{irq267: igb1:que 1}]

0 root -92 - 0K 416K - 0 580:58 0.00% [kernel{dummynet}]

Хотелось бы взглянуть когда начинает упираться в планку.

Ресурсов достаточно чтобы по увеличивать стандартные буферы

Edited 2018-10-16 12:41:35 by pavlabor

pavlabor · 2018-10-16 10:22:01

12 минут назад, Dimkers сказал:

И что тут страшного на 700М? А если бондинг?

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Поэтому стебатся с тюнинга a_n_h-ом запорожца, выставляя показатели на ферари, как то не совсем корректно.

l1ght · 2018-10-16 12:06:47

1 час назад, pavlabor сказал:

Тут у тебя порожняк

LA - попугаи, чуть меньше абстрактная величина чем в линухе, но всё равно попугаи

Память не занята потому что её много и чую аптаймы невелики, ибо никсы любят кушать память в порожняк, всё равно есть свободна, че б не использовать.

То что не занят проц - тоже не показатель. У него в не 100+ мегабит плохо резало, а был бы пипец полный с форвардингом.

Там же проблема вообще в другом. В том что конкретно пайпы вместо нарезки скорости режут шляпу какую-то.

KaYot · 2018-10-16 12:19:45

1 час назад, pavlabor сказал:

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Все тот же цирк.

Лично у меня в серверах везде 6x1G или 8x1G, удобно мне так по портам. Все сервера упираются в порты, а не в CPU или "узость архитектуры".

Карты есть броадкомы бортовые, интела 82576, 82580, местами даже 82573(та что PT) - работает все одинаково, какой-либо разницы по загрузке или ходимому трафику не вижу.

Надо бы переходить на 10ки, но тут я на 100% согласен с заповедью - работает, не трогай. Как станет тесно в очередной раз будем менять, а пока пусть гудит.

pavlabor · 2018-10-16 12:42:01

38 минут назад, l1ght сказал:

LA - попугаи, чуть меньше абстрактная величина чем в линухе, но всё равно попугаи

Память не занята потому что её много и чую аптаймы невелики, ибо никсы любят кушать память в порожняк, всё равно есть свободна, че б не использовать.

То что не занят проц - тоже не показатель. У него в не 100+ мегабит плохо резало, а был бы пипец полный с форвардингом.

Там же проблема вообще в другом. В том что конкретно пайпы вместо нарезки скорости режут шляпу какую-то.

добавил

0 root -92 - 0K 416K - 0 580:58 0.00% [kernel{dummynet}]

Если нагрузка не изменится в пиковое время, то значит железо "позволяет", нужно копать в сторону доступных квот.

Edited 2018-10-16 12:46:46 by pavlabor

l1ght · 2018-10-16 12:50:21

8 минут назад, pavlabor сказал:

Если нагрузка не изменится в пиковое время, то значит железо "позволяет", нужно копать в сторону доступных квот.

Ну на дамминет стоит смотреть, тут 100% согласен.

Но опять же io_fast и нагрузки от него на порядок меньше.

Что мы и наблюдаем - трафик есть а дамминет не грузит.

Edited 2018-10-16 12:50:40 by l1ght

Baneff · 2018-10-16 13:48:05

Народ, вставлю свои 5 копеек, может кому пригодится. Так вот, определяющим параметром является pps, то есть кол-во пакетов в секунду, которые способен прокачать софтроутер, а не скорость в мегабитах/с. Мелкие пакеты нагружают сильнее при той-же скорости и это надо учитывать. В своё время был момент, когда автор известного торрент клиента решил, что мелкими пакетами качать сподручнее и сразу у всех провайдеров случились проблемы, потребовалась замена оборудования на более мощное. Далее, больший pps можно получить на тазике с большей скоростью процессора и с большим кол-вом физических ядер при условии использования правильных сетевых карт, поддерживающих многопоточность/многобуферность. Дополнительно очень помогает объединение нескольких портов таких сетевых карт в параллель. Ну и тюнинг, он тоже важен. Размер памяти, дисков, размеры, вес и мощность блоков питания не влияет :). Дамминет даёт минимальную нагрузку по сравнению с перемалыванием очередей сетевух, можно не учитывать вообще. Да, всё это про FreeBSD, чем сам пользуюсь, о том и говорю. Короче, например какое нибудь старьё при 8 физических ядрах 3GHz и четырёх портах Intel 82580 в параллель с соответствующим тюнингом легко прокачают 2Gbit/s современного интернет трафика с средним размером пакета около 800 байт, при этом поддерживая и очереди и файерволл и NAT и BGP фулл вью на пару-тройку каналов. Ну а железо помощнее, и до 10 прокачает. Где-то так.

l1ght · 2018-10-16 19:41:47

5 часов назад, Baneff сказал:

Народ, вставлю свои 5 копеек, может кому пригодится. Так вот, определяющим параметром является pps, то есть кол-во пакетов в секунду, которые способен прокачать софтроутер, а не скорость в мегабитах/с. Мелкие пакеты нагружают сильнее при той-же скорости и это надо учитывать. В своё время был момент, когда автор известного торрент клиента решил, что мелкими пакетами качать сподручнее и сразу у всех провайдеров случились проблемы, потребовалась замена оборудования на более мощное. Далее, больший pps можно получить на тазике с большей скоростью процессора и с большим кол-вом физических ядер при условии использования правильных сетевых карт, поддерживающих многопоточность/многобуферность. Дополнительно очень помогает объединение нескольких портов таких сетевых карт в параллель. Ну и тюнинг, он тоже важен. Размер памяти, дисков, размеры, вес и мощность блоков питания не влияет :). Дамминет даёт минимальную нагрузку по сравнению с перемалыванием очередей сетевух, можно не учитывать вообще. Да, всё это про FreeBSD, чем сам пользуюсь, о том и говорю. Короче, например какое нибудь старьё при 8 физических ядрах 3GHz и четырёх портах Intel 82580 в параллель с соответствующим тюнингом легко прокачают 2Gbit/s современного интернет трафика с средним размером пакета около 800 байт, при этом поддерживая и очереди и файерволл и NAT и BGP фулл вью на пару-тройку каналов. Ну а железо помощнее, и до 10 прокачает. Где-то так.

Лагги дают оверхед по процу ибо тоже в софте.

Разница между нагруженными двумя линками и эти же линки только в лагге будет видна на нагрузке проца.

Я б на софтроутерах по возможности вообще лаггов избегал, но иногда это вполне хорошее решение.

Если тупой роутинг, который почти не грузит проц - вполне себе можно применять. А в других кейсах надо очень хорошо думать а не вылезет ли боком.

Baneff · 2018-10-16 22:43:09

2 часа назад, l1ght сказал:

Лагги дают оверхед по процу ибо тоже в софте.

Разница между нагруженными двумя линками и эти же линки только в лагге будет видна на нагрузке проца.

Я б на софтроутерах по возможности вообще лаггов избегал, но иногда это вполне хорошее решение.

Если тупой роутинг, который почти не грузит проц - вполне себе можно применять. А в других кейсах надо очень хорошо думать а не вылезет ли боком.

Ну да, за всё надо платить, однако в данном случае цена не выглядит заметной на общем фоне. Загнать всё в один лагг и напихать туда потом виланов - я считаю хорошее решение с точки зрения общей балансировки и вообще концепции распараллеливания. Пускай у компа голова болит что куда раскидывать, это всяко лучше чем самому думать. Только надо не забыть озаботится правильной балансировкой лагга, с хешированием не только и даже не столько по макам, сколько по ИП адресам пакетов, иначе ничего хорошего не выйдет. И не каждый свич поддерживает правильное хеширование пакетов в лагге, тоже надо учитывать.

Dimkers · 2018-10-17 05:50:57

19 часов назад, pavlabor сказал:

Нечего не страшно.

В 10G кроме помощнее мотора, архитектуры, на аппаратном уровне разлочено то что залочено в 82576EB, интел оставлял плюшки на будущее.

Поэтому стебатся с тюнинга a_n_h-ом запорожца, выставляя показатели на ферари, как то не совсем корректно.

Ок.

Phenom II 955, 4GB RAM, MSI 760GM-E51, i82576(driver: igb, version: 5.3.3.2), ацель.

Что-то еще посравниваем?

Edited 2018-10-17 05:52:39 by Dimkers

WideAreaNetwork · 2018-10-17 07:26:05

спрошу здесь, надеюсь не запинают в традиционном стиле

Цитата

CPU: 1.0% user, 0.0% nice, 8.7% system, 4.1% interrupt, 86.2% idle

PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND
2260 root 4 20 -15 47140K 33180K nanslp 4 362.0H 53.82% ipcad

WCPU доходит до 60-65%, не очень понимаю что это такое, стоит ли начинать беспокоиться? или пока все нормально?

нагрузка около 700Мбит, pps около 200К, сервер HP Proliant 360G5 два проца, 8 ядер по 2500MHz, озу 14Gb, FreeBSD 11.0-RELEASE-p12

Dimkers · 2018-10-17 08:19:25

Я не по фряхам, но чет мне кажется, что одно из ядер в попке. Очереди раскидывали?

WideAreaNetwork · 2018-10-17 09:01:31

41 минуту назад, Dimkers сказал:

Очереди раскидывали?

на данный момент даже не знаю как это делать так как не приходилось

Цитата

WCPU
Колонка WCPU (использование CPU) выдает взвешенные показатели использования CPU, а именно процентное отношение времени CPU, которое процесс использует согласно своему приоритету и значению nice.

может кто -о объяснить как 2 летнему?

Dimkers · 2018-10-17 09:59:33

1 час назад, WideAreaNetwork сказал:

на данный момент даже не знаю как это делать так как не приходилось

для начала почитать тут

и тут

https://habr.com/company/odnoklassniki/blog/266005/

1 час назад, WideAreaNetwork сказал:

может кто -о объяснить как 2 летнему?

среднее значение юзанья ЦПУ процессом вроде как. Но могу и ошибиться.

ЗЫ. У меня другой вопрос - ipcad это типа нетфлоу?

Edited 2018-10-17 10:02:10 by Dimkers

WideAreaNetwork · 2018-10-17 10:14:06

13 минут назад, Dimkers сказал:

У меня другой вопрос - ipcad это типа нетфлоу?

да

Dimkers · 2018-10-17 10:32:43

прибей и погляди на нагрузку

WideAreaNetwork · 2018-10-17 10:43:31

11 минут назад, Dimkers сказал:

прибей и погляди на нагрузку

вечером еще гляну по ядрам

# top -SHPI

стоит биллинг Nodeny+

ipcad рисует графики со срезом в 5мин, детализации нету, вообще думал вынести в отдельный нас это дело но с детализацией

Edited 2018-10-17 10:45:44 by WideAreaNetwork

Dimkers · 2018-10-17 10:51:16

стоп-стоп-стоп. Биллинг, нас, коллектор на одном серваке?

WideAreaNetwork · 2018-10-17 11:19:54

27 минут назад, Dimkers сказал:

стоп-стоп-стоп. Биллинг, нас, коллектор на одном серваке?

да. сори, забыл написать) коллектор вроде как не должен много есть ресурсов без детализации

Dimkers · 2018-10-17 12:11:56

Бгп тоже тут?

Sign In

100 МБт и более на freebsd pipe

Recommended Posts

pavlabor 1,977

Link to post

Share on other sites

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Posted Images

a_n_h 603

Link to post

Share on other sites

pavlabor 1,977

Link to post

Share on other sites

a_n_h 603

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

pavlabor 1,977

Link to post

Share on other sites

pavlabor 1,977

Link to post

Share on other sites

l1ght 377

Link to post

Share on other sites

KaYot 3,732

Link to post

Share on other sites

pavlabor 1,977

Link to post

Share on other sites

l1ght 377

Link to post

Share on other sites

Baneff 164

Link to post

Share on other sites

l1ght 377

Link to post

Share on other sites

Baneff 164

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

WideAreaNetwork 222

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

WideAreaNetwork 222

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

WideAreaNetwork 222

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

WideAreaNetwork 222

Link to post

Share on other sites

Dimkers 1,621

Link to post

Share on other sites

WideAreaNetwork 222

Link to post