freebsd gateway 10g

[nicknamer]

Доброго времени суток!

Имеется роутер, нат и шейп на Freebsd 11

hw.machine: amd64
hw.model: Intel(R) Xeon(R) CPU           X5690  @ 3.47GHz
hw.ncpu: 24

Сетевая карта: Intel X520 10g sfp

Недавно он уперся в полку 4G, дальше трафик не поднимался выше и начал деградировать

Почитав на эту тему нужно было тюнить конфиг, но все попытки были четны

Подскажите может кто сталкивался с этим или может что-то посоветовать, буду очень благодарен так как у самого варианты закончились

Вот мой конфиг на данном этапе:

sysctl.conf

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.ip.intr_queue_maxlen=4096

net.graph.recvspace=8388608
net.graph.maxdgram=8388608

net.route.netisr_maxqlen=4096

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800

net.inet.ip.intr_queue_maxlen=10240

net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.recvbuf_max=4194304

dev.ix.0.rx_processing_limit=4096
dev.ix.1.rx_processing_limit=4096

net.inet.ip.dummynet.io_fast=1
 

loader.conf

hw.ix.rxd=4096
hw.ix.txd=4096
hw.ix.max_interrupt_rate=32000

[Бульба]

Как прерывания распределены? cat /proc/interrupts
Что в ethtool -c / -g / -l
Рекомендую поставить https://github.com/strizhechenko/netutils-linux есть удобный network-top и удобные rss-ladder, autorps, autorps

[nicknamer]

8 минут назад, Бульба сказал:

Как прерывания распределены? cat /proc/interrupts
Что в ethtool -c / -g / -l
Рекомендую поставить https://github.com/strizhechenko/netutils-linux есть удобный network-top и удобные rss-ladder, autorps, autorps

/interrupts

Такого файла у меня нет
Ядра распределены с помощью скрипта

for l in `cat ${basedir}/ix_cpu_16core_2nic`; do
    if [ -n "$l" ]; then
        iface=`echo $l | cut -f 1 -d ":"`
        queue=`echo $l | cut -f 2 -d ":"`
        cpu=`echo $l | cut -f 3 -d ":"`
        irq=`vmstat -i | grep "${iface}:q${queue}" | cut -f 1 -d ":" | sed "s/irq//g"`
        echo "Binding ${iface} queue #${queue} (irq ${irq}) -> CPU${cpu}"
        cpuset -l $cpu -x $irq
    fi
done
 

ix0:0:1
ix0:1:2
ix0:2:3
ix0:3:4
ix0:4:5
ix0:5:6
ix0:6:7
ix0:7:8
ix1:0:9
ix1:1:10
ix1:2:11
ix1:3:12
ix1:4:13
ix1:5:14
ix1:6:15
ix1:7:16
 

Всего 8 прерываний, на каждое ядро по одному прерыванию, 0 ядро для думинета

И проц не в полке когда доходит до 4G

[masters]

Hyper Threading надо выключать на бордере. Грузите одно ядро 2мя потоками, вот и получается что при 50% у Вас уже упирается.

[nicknamer]

9 минут назад, masters сказал:

Hyper Threading надо выключать на бордере. Грузите одно ядро 2мя потоками, вот и получается что при 50% у Вас уже упирается.

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

[xnet.com.ua]

https://calomel.org/freebsd_network_tuning.html

[zulu_Radist]

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

 

https://forum.nag.ru/index.php?/topic/155130-freebsd-121-8xigb-schastya-ne-sluchilos-pomogite/

[Ромка]

4 минуты назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

 

https://forum.nag.ru/index.php?/topic/155130-freebsd-121-8xigb-schastya-ne-sluchilos-pomogite/

+1 за линукс

Да будет срач!)))

[l1ght]

39 минут назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

можно перейти на фрибсд для богатых (junos)

[Kiano]

2 минуты назад, l1ght сказал:

можно перейти на фрибсд для богатых (junos)

Тоже далеко от идеала. Если хочется стабильности - цискарь (но неадекватно дорого)

[Den_LocalNet]

2 часа назад, nicknamer сказал:

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

[Baneff]

Как уже советовали, прежде всего отключить Hyper Threading . У вас два CPU по 6 ядер, всего 12 физических ядер, вовсе не 24. Зачем дурить систему? Как уже писали, потому и 50% загрузки не превышается. Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже. А вы, я так понимаю, не гуру по FreeBSD и тут вашу работу за вас никто не сделает. Надо бы поменять сервак на более новый, они если б/у ставить недорогие. И обновить систему было бы неплохо. Дождитесь релиза FreeBSD 13 (выйдет весной) или поставьте CURRENT , там уже netmap внедрён в драйвера сетевух из коробки, ничего мудрить не надо. Это поднимает производительность. Ну и если вы таки не специалист во FreeBSD и вам всё равно какую систему осваивать, то, возможно, тут правильно посоветовали - стоит перейти на Линукс. Всё же Фря не так активно развивается в последние годы, как Линукс и многолетняя заноза в виде однопоточного дамминета к сожалению никуда не делась, приходится учитывать.

1 минуту назад, Den_LocalNet сказал:

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Это не он, это Интел :)

[Dimkers]

6 часов назад, Baneff сказал:

Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже.

 

 

6 часов назад, Baneff сказал:

Надо бы поменять сервак на более новый

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

[Stalker1]

15 minutes ago, Dimkers said:

 

 

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

Ну совсем старое железо)))))))

Відредаговано 11 грудня, 2020 deltatelecom

[Baneff]

2 часа назад, Dimkers сказал:

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

 

С Димкерсом мы уже не раз выясняли ситуацию. Эти ваши красивые графики - это как в поставленной автором задаче? Роутер, нат и шейп на Freebsd ? Нет? Ну так кого ту тогда ваши улыбки должны веселить?

[l1ght]

12 часов назад, Kiano сказал:

Если хочется стабильности - цискарь

ну это же не правда, ни чем не стабильнее МХ

МХ по стабильности не хуже, а моментами и получше, я уже насмотрелся на RMA линейных карт на  a9k, хотя джун тоже может подкинуть, тут как повезет

но зависит от требований и задействованного функционала - стабильность может очень отличаться 

 

[Dimkers]

1 час назад, Baneff сказал:

Роутер, нат и шейп на Freebsd ? Нет?

Это роутер(OSPF, но в принципе от BGP изменений не будет от слова вообще, даже легчее станет ибо не линкстейт, всосет фулл за секунды), NAT, терминация абонов и шейп. Да.

Но на debian, тобишь линукс.

А если Фряха не могет на таком железе - то это вопросы не железа, а фряхи Вот ее надо выкинуть и поставить линукс, раскидать по ядрам прерывания, увеличить конрак, увеличить буфер сетевки и наслаждаться жизнью. А не лепить горбатого на тухлом софте, рассказывая о старом железе

Відредаговано 11 грудня, 2020 Dimkers

[DenimMark]

Ну чекайте, вот вийде 13-та покаже лінуксу :-).

[Чучундра]

47 минут назад, Dimkers сказал:

.... и шейп.

 

шейп или всетаки rate limit ?

[Dimkers]

сразу видно, разбираешься )

[Baneff]

38 минут назад, Чучундра сказал:

 

шейп или всетаки rate limit ?

С Димкерсом бесполезно спорить, я уже пробовал

[foreverok]

15 часов назад, nicknamer сказал:

hw.ix.max_interrupt_rate=32000

Вот этот параметр пробуйте увеличить.

[KaYot]

11 минут назад, Baneff сказал:

С Димкерсом бесполезно спорить, я уже пробовал

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Відредаговано 11 грудня, 2020 KaYot

[Baneff]

2 минуты назад, KaYot сказал:

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Сейчас я опять буду говорить банальности. Для каждого админа лучшей, как известно, является та Ось, которую он лично или его учитель лучше всего знает. Это аксиома. Поэтому, если я более 20 лет сижу на Фре, то мне глубоко влом переходить на ваш прекрасный Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет. Что тут непонятного? Мне не нужны специалисты ибо я сам специалист и знаю что куда и как кидать и наг я давно не читаю.  Есть рабочая система и вы постоянно предлагаете всё поломать и строить заново только потому, что вы линух знаете лучше меня. Сколько будет стоить такой переход и как юзеры отнесутся к тому, что в процессе освоения они будут ловить постоянные глюки из-за процесса обучения админа на собственных ошибках. Это абсурд. Люди, предлагающие такое неадекватны. Ну про Димкерса давно всё понятно, а теперь ещё и уважаемый Кайот туда-же. Странно это. Когда вас будут спрашивать на какую Ось лучше перейти, то не вопрос, мы вас внимательно выслушаем. Но тут автор топика об этом не спрашивал ни разу. Так что в очередной раз предлагаю вам заткнуть своё красноречие, извините за мой французский.

[KaYot]

2 минуты назад, Baneff сказал:

Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет

 

2 минуты назад, Baneff сказал:

Мне не нужны специалисты ибо я сам специалист

Ну такое, спорить реально не о чем.