mgo 20 Опубликовано: 2021-01-21 12:13:37 Share Опубликовано: 2021-01-21 12:13:37 Добрий день. Пробую rscript на 10G мережевих Сервер з 2 Xeon E5-2660, 16gb оперативи і мережева intel 10GB X520-DA2. Пробував засунути 10Г мережеву у сервер з FreeBSD 11.1 який до того працював з igb і гіг жував. Результат: на півтора гіга нульове ядро в полку, прибивка bandwidthd і netflow торошки покращує ситуацію, пік прокачки 1,8-2 гіга. Пробував FreeBSD 12,1 поставив начисто, в піках до 2,5Г при виключеному bandwidthd і netflow. Грузить одно два ядра в полку, решта 20-30% /etc/syscontrl.conf розкоментував усе після #hardcore В фаєрвол табличку 2 засунув ~1500 абонентів і це все за натом. Що можна підкрутити і поправити щоб розподілити наватаження по ядрах? Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 12:17:28 Share Опубликовано: 2021-01-21 12:17:28 покажи под нагрузкой top -aSCHIP Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 12:47:48 Автор Share Опубликовано: 2021-01-21 12:47:48 (изменено) 30 минут назад, a_n_h сказав: покажи под нагрузкой top -aSCHIP Скрытый текст last pid: 43443; load averages: 0.48, 0.58, 0.57 up 31+11:21:21 14:31:55 195 threads: 17 running, 147 sleeping, 4 zombie, 27 waiting CPU 0: 0.0% user, 0.0% nice, 6.6% system, 0.0% interrupt, 93.4% idle CPU 1: 1.6% user, 0.0% nice, 3.3% system, 0.0% interrupt, 95.1% idle CPU 2: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 3: 0.0% user, 0.0% nice, 3.3% system, 0.0% interrupt, 96.7% idle CPU 4: 0.0% user, 0.0% nice, 0.8% system, 0.0% interrupt, 99.2% idle CPU 5: 0.0% user, 0.0% nice, 1.6% system, 0.0% interrupt, 98.4% idle CPU 6: 0.8% user, 0.0% nice, 1.6% system, 0.0% interrupt, 97.5% idle CPU 7: 0.8% user, 0.0% nice, 4.1% system, 0.0% interrupt, 95.1% idle CPU 8: 0.0% user, 0.0% nice, 4.9% system, 0.0% interrupt, 95.1% idle CPU 9: 0.8% user, 0.0% nice, 7.4% system, 0.0% interrupt, 91.8% idle CPU 10: 0.0% user, 0.0% nice, 4.1% system, 0.0% interrupt, 95.9% idle CPU 11: 0.8% user, 0.0% nice, 4.1% system, 0.0% interrupt, 95.1% idle CPU 12: 0.8% user, 0.0% nice, 0.8% system, 0.0% interrupt, 98.4% idle CPU 13: 0.0% user, 0.0% nice, 0.0% system, 0.0% interrupt, 100% idle CPU 14: 1.6% user, 0.0% nice, 0.0% system, 0.0% interrupt, 98.4% idle CPU 15: 0.8% user, 0.0% nice, 8.2% system, 0.0% interrupt, 91.0% idle Mem: 16M Active, 1661M Inact, 1297M Wired, 783M Buf, 5572M Free Swap: 3852M Total, 3852M Free PID USERNAME PRI NICE SIZE RES STATE C TIME CPU COMMAND 11 root 155 ki31 0 256K CPU13 13 731.7H 99.22% [idle{idle: cpu13}] 11 root 155 ki31 0 256K CPU2 2 740.8H 99.05% [idle{idle: cpu2}] 11 root 155 ki31 0 256K CPU1 1 741.1H 98.45% [idle{idle: cpu1}] 11 root 155 ki31 0 256K CPU3 3 740.8H 98.42% [idle{idle: cpu3}] 11 root 155 ki31 0 256K CPU4 4 740.9H 98.41% [idle{idle: cpu4}] 11 root 155 ki31 0 256K CPU12 12 731.2H 98.24% [idle{idle: cpu12}] 11 root 155 ki31 0 256K CPU5 5 740.8H 97.86% [idle{idle: cpu5}] 11 root 155 ki31 0 256K CPU14 14 730.9H 97.82% [idle{idle: cpu14}] 11 root 155 ki31 0 256K CPU6 6 740.8H 97.33% [idle{idle: cpu6}] 11 root 155 ki31 0 256K CPU10 10 731.6H 96.86% [idle{idle: cpu10}] 11 root 155 ki31 0 256K CPU11 11 731.0H 96.42% [idle{idle: cpu11}] 11 root 155 ki31 0 256K RUN 7 740.6H 96.36% [idle{idle: cpu7}] 11 root 155 ki31 0 256K CPU8 8 731.3H 95.89% [idle{idle: cpu8}] 11 root 155 ki31 0 256K CPU0 0 719.1H 95.23% [idle{idle: cpu0}] 11 root 155 ki31 0 256K CPU15 15 731.3H 94.60% [idle{idle: cpu15}] 11 root 155 ki31 0 256K CPU9 9 731.4H 92.43% [idle{idle: cpu9}] 0 root -76 - 0 976K - 9 21.0H 6.99% [kernel{if_io_tqg_9}] 0 root -76 - 0 976K - 15 20.9H 4.97% [kernel{if_io_tqg_15}] 0 root -76 - 0 976K - 8 21.2H 4.09% [kernel{if_io_tqg_8}] 0 root -76 - 0 976K - 11 21.3H 3.55% [kernel{if_io_tqg_11}] 0 root -92 - 0 976K - 0 22.7H 3.55% [kernel{dummynet}] 0 root -76 - 0 976K - 10 20.7H 3.05% [kernel{if_io_tqg_10}] 0 root -76 - 0 976K - 7 635:58 2.46% [kernel{if_io_tqg_7}] 0 root -76 - 0 976K - 6 620:52 2.21% [kernel{if_io_tqg_6}] 1816 nobody 21 0 16M 5728K select 9 784:39 2.16% /usr/local/sbin/softflowd -i bridge0 -n XXX.XXX.XXX.18:42111 0 root -76 - 0 976K - 5 627:30 1.80% [kernel{if_io_tqg_5}] 0 root -76 - 0 976K - 3 634:40 1.49% [kernel{if_io_tqg_3}] 0 root -76 - 0 976K - 4 621:33 1.43% [kernel{if_io_tqg_4}] 0 root -76 - 0 976K - 12 21.1H 1.38% [kernel{if_io_tqg_12}] 0 root -76 - 0 976K - 0 672:13 1.19% [kernel{if_io_tqg_0}] 0 root -76 - 0 976K - 1 621:59 1.11% [kernel{if_io_tqg_1}] 0 root -76 - 0 976K - 14 21.3H 1.10% [kernel{if_io_tqg_14}] 2736 root 20 0 22M 10M bpf 14 396:39 1.02% /usr/local/bandwidthd/bandwidthd 2734 root 20 0 67M 56M bpf 1 303:14 0.81% /usr/local/bandwidthd/bandwidthd 0 root -76 - 0 976K - 2 635:26 0.81% [kernel{if_io_tqg_2}] 2735 root 20 0 55M 43M bpf 0 325:30 0.79% /usr/local/bandwidthd/bandwidthd 2733 root 20 0 59M 48M bpf 4 296:13 0.72% /usr/local/bandwidthd/bandwidthd 0 root -76 - 0 976K - 13 20.6H 0.71% [kernel{if_io_tqg_13}] 2635 root 20 0 18M 4216K select 15 54:18 0.15% /usr/sbin/rscriptd{rscriptd} 43443 root 20 0 13M 3880K CPU9 9 0:00 0.13% top -aSCHIP Зраз непокажу, усі абоненти розкидані по 500шт на різних машинах з igb Звідти можу показати те що памятаю з 10Г +- /usr/local/sbin/softflowd -i bridge0 -n XXX.XXX.XXX.18:42111 ~25-30% /usr/local/bandwidthd/bandwidthd ~ 25% кожен процес [kernel{dummynet}] 40% Изменено 2021-01-21 12:48:18 пользователем mgo Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 13:01:52 Share Опубликовано: 2021-01-21 13:01:52 12 минут назад, mgo сказал: bridge0 избавься, на FREE скорости не будет Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 13:10:00 Автор Share Опубликовано: 2021-01-21 13:10:00 6 минут назад, a_n_h сказав: 20 минут назад, mgo сказав: bridge0 избавься, на FREE скорости не будет Скрытый текст ifconfig ix0.40 create ifconfig bridge0 addm ix0.40 up ifconfig bridge0 private ix0.40 up ifconfig ix0.40 up ifconfig ix0.41 create ifconfig bridge0 addm ix0.41 up ifconfig bridge0 private ix0.41 up ifconfig ix0.41 up ifconfig ix0.42 create ifconfig bridge0 addm ix0.42 up ifconfig bridge0 private ix0.42 up ifconfig ix0.42 up ifconfig ix0.43 create ifconfig bridge0 addm ix0.43 up ifconfig bridge0 private ix0.43 up ifconfig ix0.43 up ifconfig ix0.61 create ifconfig bridge0 addm ix0.61 up ifconfig bridge0 private ix0.61 up ifconfig ix0.61 up ifconfig ix0.62 create ifconfig bridge0 addm ix0.62 up ifconfig bridge0 private ix0.62 up ifconfig ix0.62 up у мене там вілани розтеговуються, проблематично буде від бріджа відмовитись Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 13:11:18 Share Опубликовано: 2021-01-21 13:11:18 Только что, mgo сказал: Показать содержимое ifconfig ix0.40 create ifconfig bridge0 addm ix0.40 up ifconfig bridge0 private ix0.40 up ifconfig ix0.40 up ifconfig ix0.41 create ifconfig bridge0 addm ix0.41 up ifconfig bridge0 private ix0.41 up ifconfig ix0.41 up ifconfig ix0.42 create ifconfig bridge0 addm ix0.42 up ifconfig bridge0 private ix0.42 up ifconfig ix0.42 up ifconfig ix0.43 create ifconfig bridge0 addm ix0.43 up ifconfig bridge0 private ix0.43 up ifconfig ix0.43 up ifconfig ix0.61 create ifconfig bridge0 addm ix0.61 up ifconfig bridge0 private ix0.61 up ifconfig ix0.61 up ifconfig ix0.62 create ifconfig bridge0 addm ix0.62 up ifconfig bridge0 private ix0.62 up ifconfig ix0.62 up у мене там вілани розтеговуються, проблематично буде від бріджа відмовитись уже вникал, ничего не выйдет: Ссылка на сообщение Поделиться на других сайтах
sanyadnepr 305 Опубликовано: 2021-01-21 13:21:00 Share Опубликовано: 2021-01-21 13:21:00 1 час назад, mgo сказал: Що можна підкрутити і поправити щоб розподілити наватаження по ядрах? Перейти на линукс. 😂 Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 14:10:20 Автор Share Опубликовано: 2021-01-21 14:10:20 47 минут назад, sanyadnepr сказав: Перейти на линукс. 😂 дякую, білінг на freebsd їде, хочу 10Г на freebsd ну хоть 4-5🙄 Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 15:32:06 Share Опубликовано: 2021-01-21 15:32:06 1 час назад, mgo сказал: дякую, білінг на freebsd їде, хочу 10Г на freebsd ну хоть 4-5🙄 в нете перерыл кучу инфы и понял, что решения нет, ушел от моста и vlan-ов и проблема ушла. Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 15:36:40 Автор Share Опубликовано: 2021-01-21 15:36:40 4 минуты назад, a_n_h сказав: проблема ушла. скільки качає? Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 15:37:03 Share Опубликовано: 2021-01-21 15:37:03 Что именно грузит ядро ? Интересно что вы тюнили для перехода на 10г? Ну там loader,sysctl,прерывания ? Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 15:46:59 Share Опубликовано: 2021-01-21 15:46:59 13 минут назад, a_n_h сказав: в нете перерыл кучу инфы и понял, что решения нет, ушел от моста и vlan-ов и проблема ушла. Ві действительно думаете что єто иза bridge или иза vlan Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 15:52:06 Share Опубликовано: 2021-01-21 15:52:06 14 минут назад, mgo сказал: скільки качає? до 10Г 3 минуты назад, skybetik сказал: Ві действительно думаете что єто иза bridge или иза vlan да, в нете нашел подтверждение и указано, что мост лучше не использовать. Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 15:55:42 Share Опубликовано: 2021-01-21 15:55:42 1 минуту назад, a_n_h сказав: до 10Г да, в нете нашел подтверждение и указано, что мост лучше не использовать. Я так и не понял что у вас с мостом не получилось ? У Вас проц в полке был или что ? Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 15:58:43 Автор Share Опубликовано: 2021-01-21 15:58:43 4 минуты назад, a_n_h сказав: 20 минут назад, mgo сказав: скільки качає? до 10Г влани де розтеговуєте? у мене під 100 вланів аннамберед ліпити хіба Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 16:01:26 Share Опубликовано: 2021-01-21 16:01:26 4 минуты назад, skybetik сказал: Я так и не понял что у вас с мостом не получилось ? У Вас проц в полке был или что ? нет, полки не было, но iperf прокачивал до 2-х Г 1 минуту назад, mgo сказал: влани де розтеговуєте? у мене під 100 вланів аннамберед ліпити хіба у меня их меньше 10-ти, все "разруливаю" на свиче. Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 16:02:46 Share Опубликовано: 2021-01-21 16:02:46 Только что, a_n_h сказав: нет, полки не было, но iperf прокачивал до 2-х Г Так вы убрали мост и полетело до 10 Так ? Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубликовано: 2021-01-21 16:07:26 Share Опубликовано: 2021-01-21 16:07:26 Только что, skybetik сказал: Так вы убрали мост и полетело до 10 Так ? да, iperf прокачивает до 10-и Г, сейчас "живого" трафика до 3Г, упираться будет из-за дамминет при трафике 4Г и более. Аксакалы форума может подскажут более правильное решение, переход на линукс не принимается 😀. Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 16:43:07 Share Опубликовано: 2021-01-21 16:43:07 Так ради интереса нашёл скрин тестили сетивую bridge-vlan.rscript freebsd 12.1 Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 16:46:40 Автор Share Опубликовано: 2021-01-21 16:46:40 годину тому, skybetik сказав: Интересно что вы тюнили для перехода на 10г? ничо підкажіть що можна потюнити Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 16:50:06 Share Опубликовано: 2021-01-21 16:50:06 Только что, mgo сказав: ничо O0 ві єто серьезно ? Ну как минимум прерывания cpuset-ix-iflib loader, sysctl ну там буфера ) Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2021-01-21 16:50:11 Share Опубликовано: 2021-01-21 16:50:11 Спрошу еще раз, а накуя бриджить вланы? Это такой ебнутый способ их терминировать не изучая как вообще работает маршрутизация и что такое VLAN, да? 1 Ссылка на сообщение Поделиться на других сайтах
skybetik 129 Опубликовано: 2021-01-21 16:52:23 Share Опубликовано: 2021-01-21 16:52:23 (изменено) 3 минуты назад, KaYot сказав: Спрошу еще раз, а накуя бриджить вланы? Это такой ебнутый способ их терминировать не изучая как вообще работает маршрутизация и что такое VLAN, да? Есть разные схемы ну и как минимум я боюсь все что больше 2 интерфейсов ) да и не хочу знать что в нем творится. Вступать в полемику я не буду у каждого свой путь ) Изменено 2021-01-21 16:54:30 пользователем skybetik Ссылка на сообщение Поделиться на других сайтах
mgo 20 Опубликовано: 2021-01-21 16:54:51 Автор Share Опубликовано: 2021-01-21 16:54:51 4 минуты назад, KaYot сказав: Это такой ебнутый способ их терминировать ага Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2021-01-21 16:54:59 Share Опубликовано: 2021-01-21 16:54:59 Только что, skybetik сказал: Есть разные схемы ну и как минимум я боюсь все что больше 1 интерфейса ) да и не хочу знать что в нем творится. Кажется я начинаю понимать почему микротики с 36 ядрами дохнут на гигабите. Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВойти
Уже зарегистрированы? Войдите здесь.
Войти сейчас