Jump to content

Recommended Posts

Доброго времени суток!

Имеется роутер, нат и шейп на Freebsd 11

hw.machine: amd64
hw.model: Intel(R) Xeon(R) CPU           X5690  @ 3.47GHz
hw.ncpu: 24

Сетевая карта: Intel X520 10g sfp

Недавно он уперся в полку 4G, дальше трафик не поднимался выше и начал деградировать

Почитав на эту тему нужно было тюнить конфиг, но все попытки были четны

Подскажите может кто сталкивался с этим или может что-то посоветовать, буду очень благодарен так как у самого варианты закончились

Вот мой конфиг на данном этапе:

sysctl.conf

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.ip.intr_queue_maxlen=4096

net.graph.recvspace=8388608
net.graph.maxdgram=8388608

net.route.netisr_maxqlen=4096

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800

net.inet.ip.intr_queue_maxlen=10240

net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.recvbuf_max=4194304

dev.ix.0.rx_processing_limit=4096
dev.ix.1.rx_processing_limit=4096

net.inet.ip.dummynet.io_fast=1
 

loader.conf

hw.ix.rxd=4096
hw.ix.txd=4096
hw.ix.max_interrupt_rate=32000

Link to post
Share on other sites
8 минут назад, Бульба сказал:

Как прерывания распределены? cat /proc/interrupts
Что в ethtool -c / -g / -l
Рекомендую поставить https://github.com/strizhechenko/netutils-linux есть удобный network-top и удобные rss-ladder, autorps, autorps

/interrupts

Такого файла у меня нет
Ядра распределены с помощью скрипта

for l in `cat ${basedir}/ix_cpu_16core_2nic`; do
    if [ -n "$l" ]; then
        iface=`echo $l | cut -f 1 -d ":"`
        queue=`echo $l | cut -f 2 -d ":"`
        cpu=`echo $l | cut -f 3 -d ":"`
        irq=`vmstat -i | grep "${iface}:q${queue}" | cut -f 1 -d ":" | sed "s/irq//g"`
        echo "Binding ${iface} queue #${queue} (irq ${irq}) -> CPU${cpu}"
        cpuset -l $cpu -x $irq
    fi
done
 

ix0:0:1
ix0:1:2
ix0:2:3
ix0:3:4
ix0:4:5
ix0:5:6
ix0:6:7
ix0:7:8
ix1:0:9
ix1:1:10
ix1:2:11
ix1:3:12
ix1:4:13
ix1:5:14
ix1:6:15
ix1:7:16
 

Всего 8 прерываний, на каждое ядро по одному прерыванию, 0 ядро для думинета

И проц не в полке когда доходит до 4G

Screenshot.png

Link to post
Share on other sites

Hyper Threading надо выключать на бордере. Грузите одно ядро 2мя потоками, вот и получается что при 50% у Вас уже упирается.

Link to post
Share on other sites
9 минут назад, masters сказал:

Hyper Threading надо выключать на бордере. Грузите одно ядро 2мя потоками, вот и получается что при 50% у Вас уже упирается.

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

Link to post
Share on other sites
4 минуты назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

 

https://forum.nag.ru/index.php?/topic/155130-freebsd-121-8xigb-schastya-ne-sluchilos-pomogite/

+1 за линукс

Да будет срач!)))

  • Like 2
  • Haha 1
Link to post
Share on other sites
39 минут назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

можно перейти на фрибсд для богатых (junos)

  • Like 1
  • Haha 1
Link to post
Share on other sites
2 минуты назад, l1ght сказал:

можно перейти на фрибсд для богатых (junos)

Тоже далеко от идеала. Если хочется стабильности - цискарь (но неадекватно дорого)

Link to post
Share on other sites
2 часа назад, nicknamer сказал:

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Link to post
Share on other sites

Как уже советовали, прежде всего отключить Hyper Threading . У вас два CPU по 6 ядер, всего 12 физических ядер, вовсе не 24. Зачем дурить систему? Как уже писали, потому и 50% загрузки не превышается. Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже. А вы, я так понимаю, не гуру по FreeBSD и тут вашу работу за вас никто не сделает. Надо бы поменять сервак на более новый, они если б/у ставить недорогие. И обновить систему было бы неплохо. Дождитесь релиза FreeBSD 13 (выйдет весной) или поставьте CURRENT , там уже netmap внедрён в драйвера сетевух из коробки, ничего мудрить не надо. Это поднимает производительность. Ну и если вы таки не специалист во FreeBSD и вам всё равно какую систему осваивать, то, возможно, тут правильно посоветовали - стоит перейти на Линукс. Всё же Фря не так активно развивается в последние годы, как Линукс и многолетняя заноза в виде однопоточного дамминета к сожалению никуда не делась, приходится учитывать.

1 минуту назад, Den_LocalNet сказал:

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Это не он, это Интел :)

  • Haha 1
Link to post
Share on other sites
6 часов назад, Baneff сказал:

Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже.

Y0UJC.png

 


 

6 часов назад, Baneff сказал:

Надо бы поменять сервак на более новый

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

2020-12-11_08-13-47.thumb.png.c1e6b23ebdead4f0e44c96921dc27876.png

  • Like 2
Link to post
Share on other sites
2 часа назад, Dimkers сказал:

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

 

С Димкерсом мы уже не раз выясняли ситуацию. Эти ваши красивые графики - это как в поставленной автором задаче? Роутер, нат и шейп на Freebsd ? Нет? Ну так кого ту тогда ваши улыбки должны веселить?

Link to post
Share on other sites
12 часов назад, Kiano сказал:

Если хочется стабильности - цискарь

ну это же не правда, ни чем не стабильнее МХ

МХ по стабильности не хуже, а моментами и получше, я уже насмотрелся на RMA линейных карт на  a9k, хотя джун тоже может подкинуть, тут как повезет

но зависит от требований и задействованного функционала - стабильность может очень отличаться 

 

Link to post
Share on other sites
1 час назад, Baneff сказал:

Роутер, нат и шейп на Freebsd ? Нет?

Это роутер(OSPF, но в принципе от BGP изменений не будет от слова вообще, даже легчее станет ибо не линкстейт, всосет фулл за секунды), NAT, терминация абонов и шейп. Да.

Но на debian, тобишь линукс.

А если Фряха не могет на таком железе - то это вопросы не железа, а фряхи :) Вот ее надо выкинуть и поставить линукс, раскидать по ядрам прерывания, увеличить конрак, увеличить буфер сетевки и наслаждаться жизнью. А не лепить горбатого на тухлом софте, рассказывая о старом железе ;)

Edited by Dimkers
  • Like 2
Link to post
Share on other sites
38 минут назад, Чучундра сказал:

 

шейп или всетаки rate limit ?

С Димкерсом бесполезно спорить, я уже пробовал :)

Link to post
Share on other sites
11 минут назад, Baneff сказал:

С Димкерсом бесполезно спорить, я уже пробовал :)

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Edited by KaYot
Link to post
Share on other sites
2 минуты назад, KaYot сказал:

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Сейчас я опять буду говорить банальности. Для каждого админа лучшей, как известно, является та Ось, которую он лично или его учитель лучше всего знает. Это аксиома. Поэтому, если я более 20 лет сижу на Фре, то мне глубоко влом переходить на ваш прекрасный Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет. Что тут непонятного? Мне не нужны специалисты ибо я сам специалист и знаю что куда и как кидать и наг я давно не читаю.  Есть рабочая система и вы постоянно предлагаете всё поломать и строить заново только потому, что вы линух знаете лучше меня. Сколько будет стоить такой переход и как юзеры отнесутся к тому, что в процессе освоения они будут ловить постоянные глюки из-за процесса обучения админа на собственных ошибках. Это абсурд. Люди, предлагающие такое неадекватны. Ну про Димкерса давно всё понятно, а теперь ещё и уважаемый Кайот туда-же. Странно это. Когда вас будут спрашивать на какую Ось лучше перейти, то не вопрос, мы вас внимательно выслушаем. Но тут автор топика об этом не спрашивал ни разу. Так что в очередной раз предлагаю вам заткнуть своё красноречие, извините за мой французский.

  • Like 1
  • Thanks 1
Link to post
Share on other sites
2 минуты назад, Baneff сказал:

Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет

 

2 минуты назад, Baneff сказал:

Мне не нужны специалисты ибо я сам специалист

Ну такое, спорить реально не о чем.

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By GekaPeka
      Ruijie Reyee RG-RAP2200 новая, цена 3600 грн
    • By tkachik
      Продам
      БУ Tl-wr740n.
      Стан на 4. 
      Роутери прошиті російськомовною прошивкою.
      ціна роутера без бп - 230 грн
      З бп - 260 грн
      Є знижка на опт
    • By GekaPeka
      MikroTik PowerBox Pro (RB960PGS-PB), новый, в упаковке. Цена: 2800 грн.
    • By a_n_h
      Всем доброго дня и мирного неба!
        После многочисленных экспериментов выяснил, что на последних версиях freebsd  максимум удавалось прокачать до 14 ГБт суммарно трафика со 100% загрузкой процессора. На том-же железе но с установленной freebsd 11.2 прокачивается до 20-ти ГБт суммарно тестового трафика с загрузкой процессора около 50%. 
        Подскажите, что можно убрать или наоборот добавить в систему с freebsd 13,3 для получения аналогичного результата...
    • By Sat_Odessa
      Помогите решить задачу:
      Есть 2 роутера с белыми адресами: TPLink и MikroTik. Необходима переодическая настройка (открытие/закрытие портов). С Mikrotik-oм никаких проблем нет, так как инструкций в интернете вагон и маленькая тележка. А вот с TPLink-ом загвоздка. Чтобы не открывать доступ к нему на весь мир, доступ веб-интерфейсу TPLink-а открыт только для адреса Mikrotik-а. Соответственно из локальной сети Mikrotik-а я могу попасть в настройки TPLink-а. Но иногда нужен удаленный доступ к TPLink-у из других мест.
       
      Можно ли как-то открыть на Mikrotik-е внешний порт, чтобы весь трафик из интернета на этот порт перенаправлялся на внешний IP-адрес TPLink-а? Чтобы для TPLink-а это выглядело так, как будто я подключаюсь к нему с IP-адреса Mikrotik-а.
×
×
  • Create New...