NAS rscript на 10G мережевих

[mgo 20]

Добрий день.

Пробую rscript на 10G мережевих

Сервер з 2 Xeon E5-2660, 16gb оперативи і мережева intel 10GB X520-DA2.

 

Пробував засунути 10Г мережеву у сервер з FreeBSD 11.1 який до того працював з igb і гіг жував.

Результат: на  півтора гіга нульове ядро в полку, прибивка bandwidthd і netflow торошки покращує ситуацію, пік прокачки 1,8-2 гіга.

 

Пробував FreeBSD 12,1 поставив начисто, в піках до 2,5Г при виключеному  bandwidthd і netflow.

Грузить одно два ядра в полку, решта 20-30%

 

/etc/syscontrl.conf розкоментував  усе після #hardcore 

В фаєрвол табличку 2 засунув ~1500 абонентів  і це все за натом.

 

Що можна підкрутити і поправити щоб розподілити наватаження по ядрах?

 

 

 

 

 

[a_n_h 593]

покажи под нагрузкой  top -aSCHIP

[mgo 20]

  В 21.01.2021 в 12:17, a_n_h сказав:

покажи под нагрузкой  top -aSCHIP

 

Expand  

  Відновити прихований контент

last pid: 43443;  load averages:  0.48,  0.58,  0.57                                                                                                                                                                up 31+11:21:21  14:31:55
195 threads:   17 running, 147 sleeping, 4 zombie, 27 waiting
CPU 0:   0.0% user,  0.0% nice,  6.6% system,  0.0% interrupt, 93.4% idle
CPU 1:   1.6% user,  0.0% nice,  3.3% system,  0.0% interrupt, 95.1% idle
CPU 2:   0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 3:   0.0% user,  0.0% nice,  3.3% system,  0.0% interrupt, 96.7% idle
CPU 4:   0.0% user,  0.0% nice,  0.8% system,  0.0% interrupt, 99.2% idle
CPU 5:   0.0% user,  0.0% nice,  1.6% system,  0.0% interrupt, 98.4% idle
CPU 6:   0.8% user,  0.0% nice,  1.6% system,  0.0% interrupt, 97.5% idle
CPU 7:   0.8% user,  0.0% nice,  4.1% system,  0.0% interrupt, 95.1% idle
CPU 8:   0.0% user,  0.0% nice,  4.9% system,  0.0% interrupt, 95.1% idle
CPU 9:   0.8% user,  0.0% nice,  7.4% system,  0.0% interrupt, 91.8% idle
CPU 10:  0.0% user,  0.0% nice,  4.1% system,  0.0% interrupt, 95.9% idle
CPU 11:  0.8% user,  0.0% nice,  4.1% system,  0.0% interrupt, 95.1% idle
CPU 12:  0.8% user,  0.0% nice,  0.8% system,  0.0% interrupt, 98.4% idle
CPU 13:  0.0% user,  0.0% nice,  0.0% system,  0.0% interrupt,  100% idle
CPU 14:  1.6% user,  0.0% nice,  0.0% system,  0.0% interrupt, 98.4% idle
CPU 15:  0.8% user,  0.0% nice,  8.2% system,  0.0% interrupt, 91.0% idle
Mem: 16M Active, 1661M Inact, 1297M Wired, 783M Buf, 5572M Free
Swap: 3852M Total, 3852M Free

  PID USERNAME    PRI NICE   SIZE    RES STATE    C   TIME     CPU COMMAND
   11 root        155 ki31      0   256K CPU13   13 731.7H  99.22% [idle{idle: cpu13}]
   11 root        155 ki31      0   256K CPU2     2 740.8H  99.05% [idle{idle: cpu2}]
   11 root        155 ki31      0   256K CPU1     1 741.1H  98.45% [idle{idle: cpu1}]
   11 root        155 ki31      0   256K CPU3     3 740.8H  98.42% [idle{idle: cpu3}]
   11 root        155 ki31      0   256K CPU4     4 740.9H  98.41% [idle{idle: cpu4}]
   11 root        155 ki31      0   256K CPU12   12 731.2H  98.24% [idle{idle: cpu12}]
   11 root        155 ki31      0   256K CPU5     5 740.8H  97.86% [idle{idle: cpu5}]
   11 root        155 ki31      0   256K CPU14   14 730.9H  97.82% [idle{idle: cpu14}]
   11 root        155 ki31      0   256K CPU6     6 740.8H  97.33% [idle{idle: cpu6}]
   11 root        155 ki31      0   256K CPU10   10 731.6H  96.86% [idle{idle: cpu10}]
   11 root        155 ki31      0   256K CPU11   11 731.0H  96.42% [idle{idle: cpu11}]
   11 root        155 ki31      0   256K RUN      7 740.6H  96.36% [idle{idle: cpu7}]
   11 root        155 ki31      0   256K CPU8     8 731.3H  95.89% [idle{idle: cpu8}]
   11 root        155 ki31      0   256K CPU0     0 719.1H  95.23% [idle{idle: cpu0}]
   11 root        155 ki31      0   256K CPU15   15 731.3H  94.60% [idle{idle: cpu15}]
   11 root        155 ki31      0   256K CPU9     9 731.4H  92.43% [idle{idle: cpu9}]
    0 root        -76    -      0   976K -        9  21.0H   6.99% [kernel{if_io_tqg_9}]
    0 root        -76    -      0   976K -       15  20.9H   4.97% [kernel{if_io_tqg_15}]
    0 root        -76    -      0   976K -        8  21.2H   4.09% [kernel{if_io_tqg_8}]
    0 root        -76    -      0   976K -       11  21.3H   3.55% [kernel{if_io_tqg_11}]
    0 root        -92    -      0   976K -        0  22.7H   3.55% [kernel{dummynet}]
    0 root        -76    -      0   976K -       10  20.7H   3.05% [kernel{if_io_tqg_10}]
    0 root        -76    -      0   976K -        7 635:58   2.46% [kernel{if_io_tqg_7}]
    0 root        -76    -      0   976K -        6 620:52   2.21% [kernel{if_io_tqg_6}]
 1816 nobody       21    0    16M  5728K select   9 784:39   2.16% /usr/local/sbin/softflowd -i bridge0 -n XXX.XXX.XXX.18:42111
    0 root        -76    -      0   976K -        5 627:30   1.80% [kernel{if_io_tqg_5}]
    0 root        -76    -      0   976K -        3 634:40   1.49% [kernel{if_io_tqg_3}]
    0 root        -76    -      0   976K -        4 621:33   1.43% [kernel{if_io_tqg_4}]
    0 root        -76    -      0   976K -       12  21.1H   1.38% [kernel{if_io_tqg_12}]
    0 root        -76    -      0   976K -        0 672:13   1.19% [kernel{if_io_tqg_0}]
    0 root        -76    -      0   976K -        1 621:59   1.11% [kernel{if_io_tqg_1}]
    0 root        -76    -      0   976K -       14  21.3H   1.10% [kernel{if_io_tqg_14}]
 2736 root         20    0    22M    10M bpf     14 396:39   1.02% /usr/local/bandwidthd/bandwidthd
 2734 root         20    0    67M    56M bpf      1 303:14   0.81% /usr/local/bandwidthd/bandwidthd
    0 root        -76    -      0   976K -        2 635:26   0.81% [kernel{if_io_tqg_2}]
 2735 root         20    0    55M    43M bpf      0 325:30   0.79% /usr/local/bandwidthd/bandwidthd
 2733 root         20    0    59M    48M bpf      4 296:13   0.72% /usr/local/bandwidthd/bandwidthd
    0 root        -76    -      0   976K -       13  20.6H   0.71% [kernel{if_io_tqg_13}]
 2635 root         20    0    18M  4216K select  15  54:18   0.15% /usr/sbin/rscriptd{rscriptd}
43443 root         20    0    13M  3880K CPU9     9   0:00   0.13% top -aSCHIP

Зраз непокажу, усі абоненти розкидані по 500шт на різних машинах з igb

Звідти можу показати

те що памятаю з 10Г +-

/usr/local/sbin/softflowd -i bridge0 -n XXX.XXX.XXX.18:42111  ~25-30% 

/usr/local/bandwidthd/bandwidthd ~ 25% кожен процес

[kernel{dummynet}] 40% 

 

 

 

Відредаговано 2021-01-21 12:48:18 mgo

[a_n_h 593]

  В 21.01.2021 в 12:47, mgo сказав:

bridge0

Expand  

избавься, на FREE скорости не будет

[mgo 20]

  В 21.01.2021 в 13:01, a_n_h сказав:

  В 21.01.2021 в 12:47, mgo сказав:

bridge0

Expand  

избавься, на FREE скорости не будет

Expand  

  Відновити прихований контент

ifconfig ix0.40 create
ifconfig bridge0 addm ix0.40 up
ifconfig bridge0 private ix0.40 up
ifconfig ix0.40 up

ifconfig ix0.41 create
ifconfig bridge0 addm ix0.41 up
ifconfig bridge0 private ix0.41 up
ifconfig ix0.41 up

ifconfig ix0.42 create
ifconfig bridge0 addm ix0.42 up
ifconfig bridge0 private ix0.42 up
ifconfig ix0.42 up

ifconfig ix0.43 create
ifconfig bridge0 addm ix0.43 up
ifconfig bridge0 private ix0.43 up
ifconfig ix0.43 up

ifconfig ix0.61 create
ifconfig bridge0 addm ix0.61 up
ifconfig bridge0 private ix0.61 up
ifconfig ix0.61 up

ifconfig ix0.62 create
ifconfig bridge0 addm ix0.62 up
ifconfig bridge0 private ix0.62 up
ifconfig ix0.62 up

у мене там вілани розтеговуються, проблематично буде від бріджа відмовитись

 

[a_n_h 593]

  В 21.01.2021 в 13:10, mgo сказав:

  Відновити прихований контент

ifconfig ix0.40 create
ifconfig bridge0 addm ix0.40 up
ifconfig bridge0 private ix0.40 up
ifconfig ix0.40 up

ifconfig ix0.41 create
ifconfig bridge0 addm ix0.41 up
ifconfig bridge0 private ix0.41 up
ifconfig ix0.41 up

ifconfig ix0.42 create
ifconfig bridge0 addm ix0.42 up
ifconfig bridge0 private ix0.42 up
ifconfig ix0.42 up

ifconfig ix0.43 create
ifconfig bridge0 addm ix0.43 up
ifconfig bridge0 private ix0.43 up
ifconfig ix0.43 up

ifconfig ix0.61 create
ifconfig bridge0 addm ix0.61 up
ifconfig bridge0 private ix0.61 up
ifconfig ix0.61 up

ifconfig ix0.62 create
ifconfig bridge0 addm ix0.62 up
ifconfig bridge0 private ix0.62 up
ifconfig ix0.62 up

у мене там вілани розтеговуються, проблематично буде від бріджа відмовитись

 

Expand  

уже вникал, ничего не выйдет:

 

[sanyadnepr 305]

  В 21.01.2021 в 12:13, mgo сказав:

Що можна підкрутити і поправити щоб розподілити наватаження по ядрах?

 

Expand  

Перейти на линукс. ?

[mgo 20]

  В 21.01.2021 в 13:21, sanyadnepr сказав:

Перейти на линукс. ?

Expand  

дякую, білінг на freebsd їде, хочу 10Г на freebsd

ну хоть 4-5?

[a_n_h 593]

  В 21.01.2021 в 14:10, mgo сказав:

дякую, білінг на freebsd їде, хочу 10Г на freebsd

ну хоть 4-5?

Expand  

в нете перерыл кучу инфы и понял, что решения нет,  ушел от моста и vlan-ов и проблема ушла.

[mgo 20]

  В 21.01.2021 в 15:32, a_n_h сказав:

проблема ушла.

Expand  

скільки качає?

[skybetik 134]

Что именно грузит ядро ? 

 

Интересно что вы тюнили для перехода на 10г?  Ну там loader,sysctl,прерывания ? 

[skybetik 134]

  В 21.01.2021 в 15:32, a_n_h сказав:

в нете перерыл кучу инфы и понял, что решения нет,  ушел от моста и vlan-ов и проблема ушла.

Expand  

Ві действительно думаете что єто иза bridge  или иза vlan  

[a_n_h 593]

  В 21.01.2021 в 15:36, mgo сказав:

скільки качає?

Expand  

до 10Г

  В 21.01.2021 в 15:46, skybetik сказав:

Ві действительно думаете что єто иза bridge  или иза vlan  

Expand  

да, в нете нашел подтверждение и указано, что мост лучше не использовать.

[skybetik 134]

  В 21.01.2021 в 15:52, a_n_h сказав:

до 10Г

да, в нете нашел подтверждение и указано, что мост лучше не использовать.

Expand  

Я так и не понял что у вас с мостом не получилось ? У Вас проц в полке был или что ? 

[mgo 20]

  В 21.01.2021 в 15:52, a_n_h сказав:

  В 21.01.2021 в 15:36, mgo сказав:

скільки качає?

Expand  

до 10Г

Expand  

влани де розтеговуєте?

у мене під 100 вланів аннамберед ліпити хіба

[a_n_h 593]

  В 21.01.2021 в 15:55, skybetik сказав:

Я так и не понял что у вас с мостом не получилось ? У Вас проц в полке был или что ? 

Expand  

нет, полки не было, но iperf прокачивал до 2-х Г

  В 21.01.2021 в 15:58, mgo сказав:

влани де розтеговуєте?

у мене під 100 вланів аннамберед ліпити хіба

Expand  

у меня их меньше 10-ти, все "разруливаю" на свиче.

[skybetik 134]

  В 21.01.2021 в 16:01, a_n_h сказав:

нет, полки не было, но iperf прокачивал до 2-х Г

Expand  

Так вы убрали мост и полетело до 10 Так ? 

[a_n_h 593]

  В 21.01.2021 в 16:02, skybetik сказав:

Так вы убрали мост и полетело до 10 Так ? 

Expand  

да,  iperf прокачивает до 10-и Г, сейчас "живого" трафика до 3Г,  упираться будет из-за дамминет при трафике 4Г и более.

  Аксакалы форума может подскажут более правильное решение, переход на линукс не принимается  ?.

[skybetik 134]

Так ради интереса нашёл скрин тестили сетивую bridge-vlan.rscript freebsd 12.1 

 

[mgo 20]

  В 21.01.2021 в 15:37, skybetik сказав:

 

Интересно что вы тюнили для перехода на 10г? 

Expand  

ничо

підкажіть що можна потюнити

[skybetik 134]

  В 21.01.2021 в 16:46, mgo сказав:

ничо

Expand  

O0 ві єто серьезно ? 

Ну как минимум прерывания cpuset-ix-iflib  loader, sysctl  ну там буфера ) 

[KaYot 3 730]

Спрошу еще раз, а накуя бриджить вланы? Это такой ебнутый способ их терминировать не изучая как вообще работает маршрутизация и что такое VLAN, да?

[skybetik 134]

  В 21.01.2021 в 16:50, KaYot сказав:

Спрошу еще раз, а накуя бриджить вланы? Это такой ебнутый способ их терминировать не изучая как вообще работает маршрутизация и что такое VLAN, да?

Expand  

Есть разные схемы ну и как минимум я боюсь все что больше 2 интерфейсов ) да и не хочу знать что в нем творится.

Вступать в полемику я не буду у каждого свой путь )

Відредаговано 2021-01-21 16:54:30 skybetik

[mgo 20]

  В 21.01.2021 в 16:50, KaYot сказав:

Это такой ебнутый способ их терминировать

Expand  

ага

 

[KaYot 3 730]

  В 21.01.2021 в 16:52, skybetik сказав:

Есть разные схемы ну и как минимум я боюсь все что больше 1 интерфейса ) да и не хочу знать что в нем творится.

Expand  

Кажется я начинаю понимать почему микротики с 36 ядрами дохнут на гигабите.