Перейти до

Рекомендованные сообщения

Доброго времени суток!

Имеется роутер, нат и шейп на Freebsd 11

hw.machine: amd64
hw.model: Intel(R) Xeon(R) CPU           X5690  @ 3.47GHz
hw.ncpu: 24

Сетевая карта: Intel X520 10g sfp

Недавно он уперся в полку 4G, дальше трафик не поднимался выше и начал деградировать

Почитав на эту тему нужно было тюнить конфиг, но все попытки были четны

Подскажите может кто сталкивался с этим или может что-то посоветовать, буду очень благодарен так как у самого варианты закончились

Вот мой конфиг на данном этапе:

sysctl.conf

net.inet.tcp.blackhole=2
net.inet.udp.blackhole=1

net.inet.ip.intr_queue_maxlen=4096

net.graph.recvspace=8388608
net.graph.maxdgram=8388608

net.route.netisr_maxqlen=4096

kern.ipc.nmbclusters=400000
kern.ipc.maxsockbuf=83886080

kern.maxfiles=204800
kern.maxfilesperproc=200000
kern.ipc.maxsockets=204800

net.inet.ip.intr_queue_maxlen=10240

net.inet.tcp.sendbuf_max=4194304
net.inet.tcp.recvbuf_max=4194304

dev.ix.0.rx_processing_limit=4096
dev.ix.1.rx_processing_limit=4096

net.inet.ip.dummynet.io_fast=1
 

loader.conf

hw.ix.rxd=4096
hw.ix.txd=4096
hw.ix.max_interrupt_rate=32000

Ссылка на сообщение
Поделиться на других сайтах

Как прерывания распределены? cat /proc/interrupts
Что в ethtool -c / -g / -l
Рекомендую поставить https://github.com/strizhechenko/netutils-linux есть удобный network-top и удобные rss-ladder, autorps, autorps

  • Sad 2
Ссылка на сообщение
Поделиться на других сайтах
8 минут назад, Бульба сказал:

Как прерывания распределены? cat /proc/interrupts
Что в ethtool -c / -g / -l
Рекомендую поставить https://github.com/strizhechenko/netutils-linux есть удобный network-top и удобные rss-ladder, autorps, autorps

/interrupts

Такого файла у меня нет
Ядра распределены с помощью скрипта

for l in `cat ${basedir}/ix_cpu_16core_2nic`; do
    if [ -n "$l" ]; then
        iface=`echo $l | cut -f 1 -d ":"`
        queue=`echo $l | cut -f 2 -d ":"`
        cpu=`echo $l | cut -f 3 -d ":"`
        irq=`vmstat -i | grep "${iface}:q${queue}" | cut -f 1 -d ":" | sed "s/irq//g"`
        echo "Binding ${iface} queue #${queue} (irq ${irq}) -> CPU${cpu}"
        cpuset -l $cpu -x $irq
    fi
done
 

ix0:0:1
ix0:1:2
ix0:2:3
ix0:3:4
ix0:4:5
ix0:5:6
ix0:6:7
ix0:7:8
ix1:0:9
ix1:1:10
ix1:2:11
ix1:3:12
ix1:4:13
ix1:5:14
ix1:6:15
ix1:7:16
 

Всего 8 прерываний, на каждое ядро по одному прерыванию, 0 ядро для думинета

И проц не в полке когда доходит до 4G

Screenshot.png

Ссылка на сообщение
Поделиться на других сайтах
9 минут назад, masters сказал:

Hyper Threading надо выключать на бордере. Грузите одно ядро 2мя потоками, вот и получается что при 50% у Вас уже упирается.

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

Ссылка на сообщение
Поделиться на других сайтах

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

 

https://forum.nag.ru/index.php?/topic/155130-freebsd-121-8xigb-schastya-ne-sluchilos-pomogite/

  • Like 1
Ссылка на сообщение
Поделиться на других сайтах
4 минуты назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

 

https://forum.nag.ru/index.php?/topic/155130-freebsd-121-8xigb-schastya-ne-sluchilos-pomogite/

+1 за линукс

Да будет срач!)))

  • Like 2
  • Haha 1
Ссылка на сообщение
Поделиться на других сайтах
39 минут назад, zulu_Radist сказал:

В последнее время все чаще и чаще вижу такие темы с фрибсд, может стоит задуматься перейти на линукс?

можно перейти на фрибсд для богатых (junos)

  • Like 1
  • Haha 1
Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, l1ght сказал:

можно перейти на фрибсд для богатых (junos)

Тоже далеко от идеала. Если хочется стабильности - цискарь (но неадекватно дорого)

Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, nicknamer сказал:

Я немного не пойму, судя по графикам да и с консоли если смотреть я не вижу что бы он достигал полки, как тогда можно по другому посмотреть что оно так грузит ? Извиняюсь если глупый вопрос)

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Ссылка на сообщение
Поделиться на других сайтах

Как уже советовали, прежде всего отключить Hyper Threading . У вас два CPU по 6 ядер, всего 12 физических ядер, вовсе не 24. Зачем дурить систему? Как уже писали, потому и 50% загрузки не превышается. Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже. А вы, я так понимаю, не гуру по FreeBSD и тут вашу работу за вас никто не сделает. Надо бы поменять сервак на более новый, они если б/у ставить недорогие. И обновить систему было бы неплохо. Дождитесь релиза FreeBSD 13 (выйдет весной) или поставьте CURRENT , там уже netmap внедрён в драйвера сетевух из коробки, ничего мудрить не надо. Это поднимает производительность. Ну и если вы таки не специалист во FreeBSD и вам всё равно какую систему осваивать, то, возможно, тут правильно посоветовали - стоит перейти на Линукс. Всё же Фря не так активно развивается в последние годы, как Линукс и многолетняя заноза в виде однопоточного дамминета к сожалению никуда не делась, приходится учитывать.

1 минуту назад, Den_LocalNet сказал:

Вам же и говорят - нету у вас 24х ядер, а только 12. Вы их гипертрейдингом растянули до 24х. 

Это не он, это Интел :)

  • Haha 1
Ссылка на сообщение
Поделиться на других сайтах
6 часов назад, Baneff сказал:

Очень старое железо, 4 гига на таком железе прокрутить через роутер, нат и шейп - это хорошо, больше чтобы прокрутить надо изгаляться уже.

Y0UJC.png

 


 

6 часов назад, Baneff сказал:

Надо бы поменять сервак на более новый

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

2020-12-11_08-13-47.thumb.png.c1e6b23ebdead4f0e44c96921dc27876.png

  • Like 2
Ссылка на сообщение
Поделиться на других сайтах
15 minutes ago, Dimkers said:

Y0UJC.png

 


 

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

2020-12-11_08-13-47.thumb.png.c1e6b23ebdead4f0e44c96921dc27876.png

Ну совсем старое железо)))))))

Відредаговано deltatelecom
Ссылка на сообщение
Поделиться на других сайтах
2 часа назад, Dimkers сказал:

Не мелить дурныць.

 

Intel(R) Xeon(R) CPU  X5672  @ 3.20GHz:

 

С Димкерсом мы уже не раз выясняли ситуацию. Эти ваши красивые графики - это как в поставленной автором задаче? Роутер, нат и шейп на Freebsd ? Нет? Ну так кого ту тогда ваши улыбки должны веселить?

Ссылка на сообщение
Поделиться на других сайтах
12 часов назад, Kiano сказал:

Если хочется стабильности - цискарь

ну это же не правда, ни чем не стабильнее МХ

МХ по стабильности не хуже, а моментами и получше, я уже насмотрелся на RMA линейных карт на  a9k, хотя джун тоже может подкинуть, тут как повезет

но зависит от требований и задействованного функционала - стабильность может очень отличаться 

 

Ссылка на сообщение
Поделиться на других сайтах
1 час назад, Baneff сказал:

Роутер, нат и шейп на Freebsd ? Нет?

Это роутер(OSPF, но в принципе от BGP изменений не будет от слова вообще, даже легчее станет ибо не линкстейт, всосет фулл за секунды), NAT, терминация абонов и шейп. Да.

Но на debian, тобишь линукс.

А если Фряха не могет на таком железе - то это вопросы не железа, а фряхи :) Вот ее надо выкинуть и поставить линукс, раскидать по ядрам прерывания, увеличить конрак, увеличить буфер сетевки и наслаждаться жизнью. А не лепить горбатого на тухлом софте, рассказывая о старом железе ;)

Відредаговано Dimkers
  • Like 2
Ссылка на сообщение
Поделиться на других сайтах
11 минут назад, Baneff сказал:

С Димкерсом бесполезно спорить, я уже пробовал :)

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Відредаговано KaYot
Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, KaYot сказал:

В данном случае он прав. Вы пытаетесь ехать на мертвой лошади, которая даже с кучей тюнинга и костылей едет хуже чем современная из коробки(любой дистр линукса).

Главная беда - под бдсм уже не осталось специалистов, вообще.

Вот почитайте тему на наге. Даже такие банальные вещи как прерывания раскидать уже никто не знает.

Сейчас я опять буду говорить банальности. Для каждого админа лучшей, как известно, является та Ось, которую он лично или его учитель лучше всего знает. Это аксиома. Поэтому, если я более 20 лет сижу на Фре, то мне глубоко влом переходить на ваш прекрасный Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет. Что тут непонятного? Мне не нужны специалисты ибо я сам специалист и знаю что куда и как кидать и наг я давно не читаю.  Есть рабочая система и вы постоянно предлагаете всё поломать и строить заново только потому, что вы линух знаете лучше меня. Сколько будет стоить такой переход и как юзеры отнесутся к тому, что в процессе освоения они будут ловить постоянные глюки из-за процесса обучения админа на собственных ошибках. Это абсурд. Люди, предлагающие такое неадекватны. Ну про Димкерса давно всё понятно, а теперь ещё и уважаемый Кайот туда-же. Странно это. Когда вас будут спрашивать на какую Ось лучше перейти, то не вопрос, мы вас внимательно выслушаем. Но тут автор топика об этом не спрашивал ни разу. Так что в очередной раз предлагаю вам заткнуть своё красноречие, извините за мой французский.

  • Like 1
  • Thanks 1
Ссылка на сообщение
Поделиться на других сайтах
2 минуты назад, Baneff сказал:

Линукс, даже если он в чём то возможно лучше технически, что под вопросом ибо шейпера там таки нет

 

2 минуты назад, Baneff сказал:

Мне не нужны специалисты ибо я сам специалист

Ну такое, спорить реально не о чем.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від mac
      Глюк в тому, що один (так - тільки один) mac адрес onu існує в білінгу у вигляді строки. Це трохи заважає.
      olt - bdcom gepon.
      Наскільки зрозумів, це виключно проблема реалізації snmpwalk у freebsd, де snmpwalk може на свій розсуд віддати mac адресу не як hex-string, а як звичайний string.
      Можливо snmpwalk тригериться на якомусь символі, мені невідомо.
       
      # tcpdump -vv -i em0 udp port 161 and host olt and host ub | grep "3320.101.10.4.1.1.241 ... olt.snmp > ub.47940: [udp sum ok] { SNMPv2c C="*****" { GetResponse(44) R=93278354 E:3320.101.10.4.1.1.241="8LO"W*" } } ub.47940 > olt.snmp: [udp sum ok] { SNMPv2c C="*****" { GetNextRequest(34) R=93278355 E:3320.101.10.4.1.1.241 } } snmpwalk -c***** -v2c -t5 olt .1.3.6.1.4.1.3320.101.10.4.1.1 SNMPv2-SMI::enterprises.3320.101.10.4.1.1.241 = STRING: "8LO\"W*" snmpwalk -Ox -c***** -v2c -t5 olt .1.3.6.1.4.1.3320.101.10.4.1.1 SNMPv2-SMI::enterprises.3320.101.10.4.1.1.241 = Hex-STRING: 38 4C 4F 22 57 2A  
      Це стосується таких параметрів у snmp конфізі bdcom
       
      [signal] MACINDEX=".1.3.6.1.4.1.3320.101.10.4.1.1" [misc] ONUINDEX=".1.3.6.1.4.1.3320.101.11.1.1.3"  
      За для усунення глюку спробував трошки змінити код і завдати тип snmp параметру явно у ./api/libs/api.ponbdcom.php у function collect()
      Це працює. Мабуть станеться у нагоді:
       
      # diff api.ponbdcom.php{.new,.bak} 37c37 < $onuIndex = $this->snmp->walk('-Ox ' . $oltIp . ':' . self::SNMPPORT, $oltCommunity, $onuIndexOid, self::SNMPCACHE); --- > $onuIndex = $this->snmp->walk($oltIp . ':' . self::SNMPPORT, $oltCommunity, $onuIndexOid, self::SNMPCACHE); 91c91 < $macIndex = $this->snmp->walk('-Ox ' . $oltIp . ':' . self::SNMPPORT, $oltCommunity, $macIndexOID, self::SNMPCACHE); --- > $macIndex = $this->snmp->walk($oltIp . ':' . self::SNMPPORT, $oltCommunity, $macIndexOID, self::SNMPCACHE);  
      P.S. Створив тему, а зараз міркую: а може це глюк у ПЗ olt. Оновлю фірмваре olt та перевірю...
       

    • Від GekaPeka
      Ruijie Reyee RG-RAP2200 новая, цена 3600 грн
    • Від tkachik
      Продам
      БУ Tl-wr740n.
      Стан на 4. 
      Роутери прошиті російськомовною прошивкою.
      ціна роутера без бп - 230 грн
      З бп - 260 грн
      Є знижка на опт
    • Від GekaPeka
      MikroTik PowerBox Pro (RB960PGS-PB), новый, в упаковке. Цена: 2800 грн.
    • Від a_n_h
      Всем доброго дня и мирного неба!
        После многочисленных экспериментов выяснил, что на последних версиях freebsd  максимум удавалось прокачать до 14 ГБт суммарно трафика со 100% загрузкой процессора. На том-же железе но с установленной freebsd 11.2 прокачивается до 20-ти ГБт суммарно тестового трафика с загрузкой процессора около 50%. 
        Подскажите, что можно убрать или наоборот добавить в систему с freebsd 13,3 для получения аналогичного результата...
×
×
  • Створити нове...