Перейти до

Повышенный LA на FreeBSD 8.3


tivi

Рекомендованные сообщения

Поставили новый (дополнительный) сервер доступа: freebsd 8.3 + mpd (pppoe) (nat'а нет) собран на i5-3570 (ивибридж), сетевые dual port ET.

 

По сравнению с предыдущим сервером доступа (собирали год назад на i5-2500k сандибридж который) при аналогичном кол-ве трафика/pps значительно выше LA (load average).

 

если на "старом" его показатели колеблются в пределах 0.1-0.2, то на "новом": 0.8-1.4

при этом загрузка процессоров практически идентична (порядка 35% в час пик - порядка 1к pppoe сессий и до гигабита трафика в каждую сторону)

 

просмотрели sysctl -a на обоих серверах - все параметры тюнинга идентичны. /boot/loader.conf - тоже.

 

настройки ядра (опции) и там и там идентичны.

 

отличия только:

версии камней/материнок, версия freebsd на "старом" 8.2, на "новом" - 8.3

 

пытались "рыть инет" - пусто. нашли только у буржуев в рассылках сообщение о повышении LA при смене версии. все.

 

дропов на интерфейсах нет, затыков по памяти/буферам - тоже.

 

смотрели по команде systat -v выдается статистика текущей нагрузки - память, диск, процессор + в том числе кол-во прерываний в секунду и куда они "идут".

 

так вот... :)

у каждого из серверов есть по 2 igb карты.

у обоих igb0 смотрит на бордер и там очереди правильно параллелятся, а igb1 - смотрит в локальную сеть (PPPoE не параллелится, драйвера от "яндекса" не хочу :).

 

на "старом" сервере доступа по igb1 4 очереди. одна под нагрузкой (как и должно быть) - много прерываний, остальные 3 - практически пусто.

на "новом" - прерывания идут по всем 4 ядрам/потокам практически одинаково, хотя под нагрузкой (по top -SPH) реально только одно ядро.

 

на эти 3 очереди (которые должны быть пустыми) приходится порядка 15-20к прерываний в секунду.

 

куда смотреть/копать ?

 

заранее - спасибо.

Ссылка на сообщение
Поделиться на других сайтах

ну это как в анекдоте:

- доктор почему у меня одно яичко выше другого ?

- так у всех так.

- да я понимаю, но непорядочек...

:)

 

фух, успокоили.

Ссылка на сообщение
Поделиться на других сайтах

sysctl net.isr.direct и net.isr.direct_force сравните

как уже писалось ранее - файлы sysctl.conf и loader.conf - идентичны

sysctl -a на обоих серверах выдают аналогичные параметры.

Ссылка на сообщение
Поделиться на других сайтах

есть вопрос, а сколько у вас кушает mpd. у себя вижу загрузку по CPU порядка 20-40%.

утро. на каждом из серверов не более 500 абонов... мпд - 0.0% на всех серверах.

 

ps. LA при этом всем на 8.3 порядка 0.45, на "старых" серверах достпа - 0.0

Ссылка на сообщение
Поделиться на других сайтах

На пердыдущем версия ОС и материнка те же?

Всякие энергосберегающие ф-ции на новой матери выключены?

я же писал вверху - "отличие только версии камней/материнок, версия freebsd на "старом" 8.2, на "новом" - 8.3"

:)

энергосбережение и прочие "шняжки" в биосе отключены.

:)

Ссылка на сообщение
Поделиться на других сайтах

sysctl net.isr.direct и net.isr.direct_force сравните

как уже писалось ранее - файлы sysctl.conf и loader.conf - идентичны

sysctl -a на обоих серверах выдают аналогичные параметры.

Вас правильно просили показать net.isr.direct

8 и 9 версии он разный, по 8.3 нечего не могу сказать

у нас на 9 LA тоже выше

Ссылка на сообщение
Поделиться на других сайтах

sysctl net.isr.direct и net.isr.direct_force сравните

как уже писалось ранее - файлы sysctl.conf и loader.conf - идентичны

sysctl -a на обоих серверах выдают аналогичные параметры.

Вас правильно просили показать net.isr.direct

8 и 9 версии он разный, по 8.3 нечего не могу сказать

у нас на 9 LA тоже выше

у нас нет 9-ки.

только 8.2 и 8.3 :)

 

8.2

# sysctl net.isr.direct

net.isr.direct: 1

 

8.3

# sysctl net.isr.direct

net.isr.direct: 1

Ссылка на сообщение
Поделиться на других сайтах

Не по теме, но как-то у меня был апгрейд наса, старый кор 2 квад на 7.2 новый ай5 на 8.2, в общем на новом серваке благополучно помер ссд, ну я дабы не играться в новое железо воткнул винт со старого сервера.

результаты поразили, на 8.2 средний ла был 0.7 на том же железе, 7.2 показало ла 0.1-.0.2.собсно как-то так.

ЗЫ на сервере накручен мпд, нат -пфом, и шейп думинетом. Сетевушка ет 2 головая. 600 мб трафика. Легкий тюнинг, нетиср директ =1

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від mac
      Глюк в тому, що один (так - тільки один) mac адрес onu існує в білінгу у вигляді строки. Це трохи заважає.
      olt - bdcom gepon.
      Наскільки зрозумів, це виключно проблема реалізації snmpwalk у freebsd, де snmpwalk може на свій розсуд віддати mac адресу не як hex-string, а як звичайний string.
      Можливо snmpwalk тригериться на якомусь символі, мені невідомо.
       
      # tcpdump -vv -i em0 udp port 161 and host olt and host ub | grep "3320.101.10.4.1.1.241 ... olt.snmp > ub.47940: [udp sum ok] { SNMPv2c C="*****" { GetResponse(44) R=93278354 E:3320.101.10.4.1.1.241="8LO"W*" } } ub.47940 > olt.snmp: [udp sum ok] { SNMPv2c C="*****" { GetNextRequest(34) R=93278355 E:3320.101.10.4.1.1.241 } } snmpwalk -c***** -v2c -t5 olt .1.3.6.1.4.1.3320.101.10.4.1.1 SNMPv2-SMI::enterprises.3320.101.10.4.1.1.241 = STRING: "8LO\"W*" snmpwalk -Ox -c***** -v2c -t5 olt .1.3.6.1.4.1.3320.101.10.4.1.1 SNMPv2-SMI::enterprises.3320.101.10.4.1.1.241 = Hex-STRING: 38 4C 4F 22 57 2A  
      Це стосується таких параметрів у snmp конфізі bdcom
       
      [signal] MACINDEX=".1.3.6.1.4.1.3320.101.10.4.1.1" [misc] ONUINDEX=".1.3.6.1.4.1.3320.101.11.1.1.3"  
      За для усунення глюку спробував трошки змінити код і завдати тип snmp параметру явно у ./api/libs/api.ponbdcom.php у function collect()
      Це працює. Мабуть станеться у нагоді:
       
      # diff api.ponbdcom.php{.new,.bak} 37c37 < $onuIndex = $this->snmp->walk('-Ox ' . $oltIp . ':' . self::SNMPPORT, $oltCommunity, $onuIndexOid, self::SNMPCACHE); --- > $onuIndex = $this->snmp->walk($oltIp . ':' . self::SNMPPORT, $oltCommunity, $onuIndexOid, self::SNMPCACHE); 91c91 < $macIndex = $this->snmp->walk('-Ox ' . $oltIp . ':' . self::SNMPPORT, $oltCommunity, $macIndexOID, self::SNMPCACHE); --- > $macIndex = $this->snmp->walk($oltIp . ':' . self::SNMPPORT, $oltCommunity, $macIndexOID, self::SNMPCACHE);  
      P.S. Створив тему, а зараз міркую: а може це глюк у ПЗ olt. Оновлю фірмваре olt та перевірю...
       

    • Від a_n_h
      Всем доброго дня и мирного неба!
        После многочисленных экспериментов выяснил, что на последних версиях freebsd  максимум удавалось прокачать до 14 ГБт суммарно трафика со 100% загрузкой процессора. На том-же железе но с установленной freebsd 11.2 прокачивается до 20-ти ГБт суммарно тестового трафика с загрузкой процессора около 50%. 
        Подскажите, что можно убрать или наоборот добавить в систему с freebsd 13,3 для получения аналогичного результата...
    • Від mac
      Здається, після оновлення PHP 7.4 до PHP 8.2 feesharvester припинив працювати:
       
      /usr/local/bin/curl "http://127.0.0.1/billing/?module=remoteapi&key={SERIAL}&action=feesharvester" <br /> <b>Fatal error</b>: Uncaught TypeError: Unsupported operand types: string - string in {UBPATH}/billing/api/libs/api.fundsflow.php:570 Stack trace: #0 {UBPATH}/billing/modules/remoteapi/feesharvester.php(22): FundsFlow-&gt;harvestFees('2024-01') ...  
      Невеличке розслідування врешті з'ясувало, що це через наявність пробілу у деяких логінах абонентів. Як так сталося? Тому що інколи був неуважно додан трейлінг пробіл до номеру будинка і цей пробіл потрапив до логіну абоненту. Логін абоненту неможливо змінити ніяким чином штатними засобами. Я не розглядаю створення нового абонента для усунення помілки.

      Був обран такий шлях вирішення проблеми. Заміну функції php explode() знайшов у мережі. Мабуть це станеться в нагоді:

       
      diff api.fundsflow.php.bak api.fundsflow.php.new 559c559 < $eachfee = explode(' ', $eachline); --- > $eachfee = preg_split("~(?<!\\\\)(?:\\\\{2})*'[^'\\\\]*(?:\\\\.[^'\\\\]*)*'(*SKIP)(*F)|\s+~s" , $eachline);  
    • Від FantoM_EscapE
      Хочу перенести свій білінг NODENY із фізичного сервера на віртуальний. Шукаю адміна який зможе допомогти у цьому питанні, так як нашого адміна банально призвали до війська. Вся схема на даний момент робоча, маю доступи до всього. Потрібно проінсталити на новішу версію FREEBSD, бо на моїй 10 річній вже не працюють нові SSL сертифікати. Кого зацікавила дана пропозиція - прошу у приватні повідомлення. обсудимо ціну і строки. або пишіть на будь-який месенджер 0677792091
    • Від rusol
      Добрый вечер.
       
      Есть от провайдера блок реальных адресов, к примеру 100.1.1.192/26
       
      Раньше сеть была в одном влане и записи в /etc/rc.conf были такие:

       
      ifconfig_ix0="inet 192.168.0.1 netmask 255.255.255.0" # Шлюз для пользователей с локальным IP ifconfig_ix0_alias0="inet 100.1.1.193 netmask 255.255.255.192" # Шлюз для пользователей с реальными IP  
      После чего стала задача часть пользователей переводить во вланы тоже с разделением на локальные IP и реальные, первый влан создал где-то пару лет назад и все работает:
       
      ifconfig_vlan1="vlan 1 vlandev ix0 192.168.1.1 netmask 255.255.255.0" # Шлюз для пользователей с локальным IP во Влане 1 ifconfig_vlan1_alias0="inet 100.1.1.248 netmask 255.255.255.248" # Шлюз для пользователей с реальными IP  во Влане 1  
      И вот стоит задача создать еще один влан, делаю по аналогии с вланом 1, только маску смещаю назад:
       
      ifconfig_vlan2="vlan 2 vlandev ix0 192.168.1.1 netmask 255.255.255.0" # Шлюз для пользователей с локальным IP во Влане 2 ifconfig_vlan2_alias0="inet 100.1.1.246 netmask 255.255.255.254" # Шлюз для пользователей с реальными IP во Влане 2  
      Когда я внес это в /etc/rc.conf и прописал команду:
       
      ifconfig vlan2 create  
      Все заработало.
       
      Но как только перезагрузился сервер, перестали работать реальные IP без вланов, в первом влане и во втором. Не пойму что не так делаю, возможно я с маской подсети что-то недопонимаю...
×
×
  • Створити нове...