Jump to content

BGP 10G Soft Router Своими руками v1.0


Recommended Posts

один момент он важный я сразу о нем забыл написать, но позже обещал на сегодня добавить, что и делаю

 

надо понимать как загружены ядра сморим так

 

cat /proc/interrupts

 

 

73: 40706333 4 27 94 874 9783 PCI-MSI-edge eth17-TxRx-0

74: 4 4293093014 16 98 879 10015 PCI-MSI-edge eth17-TxRx-1

75: 1 4 109858012 73 756 9086 PCI-MSI-edge eth17-TxRx-2

76: 0 3 14 81842259 841 11221 PCI-MSI-edge eth17-TxRx-3

77: 1 3 17 103 146222860 13126 PCI-MSI-edge eth17-TxRx-4

78: 3 4 34 160 2357 77321145 PCI-MSI-edge eth17-TxRx-5

79: 369866 0 0 0 0 21 PCI-MSI-edge eth17

80: 525881 0 2 0 0 0 PCI-MSI-edge eth21-TxRx-0

81: 2 525881 0 0 0 0 PCI-MSI-edge eth21-TxRx-1

82: 0 2 525881 0 0 0 PCI-MSI-edge eth21-TxRx-2

83: 0 0 2 525881 0 0 PCI-MSI-edge eth21-TxRx-3

84: 0 0 0 2 525881 0 PCI-MSI-edge eth21-TxRx-4

85: 0 0 0 0 2 525881 PCI-MSI-edge eth21-TxRx-5

86: 0 0 0 0 0 0 PCI-MSI-edge eth21

94: 3418121906 9 20 127 1651 17776 PCI-MSI-edge eth19-TxRx-0

95: 3 3362852205 20 124 1453 18277 PCI-MSI-edge eth19-TxRx-1

96: 0 3 3637069058 113 1286 16919 PCI-MSI-edge eth19-TxRx-2

97: 2 4 17 3514448895 1297 18126 PCI-MSI-edge eth19-TxRx-3

98: 1 3 17 137 3619996895 23037 PCI-MSI-edge eth19-TxRx-4

99: 1 17 27 213 3247 3577909943 PCI-MSI-edge eth19-TxRx-5

100: 3665401 0 0 0 4 19 PCI-MSI-edge eth19

 

 

это нормальное состояние если стоят 0 а счетчики увеличиваются на одном из процессоров это и есть узкое место и проблема

 

решений три ;)

 

1. ставим скрипт он это делает сам

 

/usr/sbin/irqbalance

 

2. есть в папке с драйверами скрипт запускаем с интерфейсами

 

ixgbe-3.11.33.good/scripts/set_irq_affinity.sh eth19 eth17

 

3. раскидываем руками ;) кому интересно то найдет как ;)

 

продублирую и в основную тему дабы удобнее было

Link to post
Share on other sites
  • Replies 477
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Сорри за оффтоп, но в данной теме оффтоп уже сплошной...     На Украинском форуме начинают как на русском, продолжают как на еврейском, и, часто минуя американский вариант, начинают меряться фуям

Nexus 9372 может уже 128к маршрутов, а 93180 - весь мильен. Вообще не вижу места серверу на бордере.

А смысл? Нынче железо настолько дёшево и быстро, что наоборот, в спец-железках все меньше и меньше смысла. Сервер за 300$ может жевать 10G, а это на минуточку уровень такого себе оператора средне

Posted Images

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка калечить, что б клавиатуру брать не могли..

Link to post
Share on other sites

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли..

А что не так с irqbalance?

Link to post
Share on other sites

Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному.

Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть.

Link to post
Share on other sites

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли..

 

ну если руки крюки, то сам себе злобный буратино ;) нечего тут других пугать

 

у меня больше 5 ти серваков живут себе с ним ровно и хорошо так что не надо ляля

 

 

Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному.

Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть.

 

ну так скрипт от интела это и делает ну если производитель драйверов делает кривые драйвера и скрипты к ним ... ну тогда да кому верить то?

 

если есть желание можно руками, но зачем, есть масса полезных вещей чем можно заняться в свободное время

Link to post
Share on other sites

root@zion:/etc# ethtool -a eth17

Pause parameters for eth17:

Autonegotiate: on

RX: on

TX: on

 

root@zion:/etc# ethtool -a eth19

Pause parameters for eth19:

Autonegotiate: on

RX: on

TX: on

Link to post
Share on other sites

root@zion:/etc# dmesg | grep detected

 

[ 19.705485] ixgbe 0000:07:00.0: eth17: detected SFP+: 5

[ 19.909847] ixgbe 0000:08:00.1: eth19: detected SFP+: 6

 

нет а версия драйверов какая ?? и модули какие, расстояние линия качество

Link to post
Share on other sites

gw root # dmesg | grep detected

[ 774.569272] ixgbe 0000:01:00.1: eth3: detected SFP+: 6

 

gw root # ethtool -i eth3
driver: ixgbe
version: 3.11.33
firmware-version: 0x1bab0001
bus-info: 0000:01:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
gw root # ethtool -i eth2
driver: ixgbe
version: 3.11.33
firmware-version: 0x1bab0001
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
gw_neo skripnik #

 

линия в порядке. на соседнем сервере работает без нареканий.

есть мысль отключить Flow control, по рекомендации от Интела.

/usr/sbin/ethtool -A eth2 autoneg off rx off tx off
/usr/sbin/ethtool -A eth3 autoneg off rx off tx off

но результат под нагрузкой смогу увидеть только завтра вечером.

в прошлый раз с такой ошибкой (Fake Tx hang ...) система положила интерфейс.

Link to post
Share on other sites

размер буфера 1024

остальные параметры буду пробовать завтра при реальной работе. так как падение происходит при нагрузке более 3-3,5 гиг, то время на установку параметров будет.

Link to post
Share on other sites

Присоеденюсь к теме. Скоро, уже скоро в моих руках будут железки для 10G-бордера.

Сразу вопрос, кто до скольки MTU накручивает ?

Link to post
Share on other sites

А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет.

Link to post
Share on other sites

А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет.

Ну из инета да, а вот PC(10G)-Switch очень даже можно подкрутить и до 9000.

Link to post
Share on other sites

может быть за счет оптимизаций над вычислением контрольных сумм?

Не, ну для чего то ж эти jumbo-frame-ы придумали-то.

Так есть те, у кого на фряхе 10G крутится ?

Link to post
Share on other sites

Их придумали для ситуации файлсервер - свич - рабочая станция. Везде можно накрутить MTU/MRU, на свиче включить jumbo - и полетят по локалке фреймы в 9к, и получится обмен файлами на 1Гбит в 1 поток, а не 200-300мбит как обычно.

А вот чужим серверам и клиентам ничего подкрутить не получится, а значит и на роутерах/свичах нет смысла что-то химичить.

Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.


×
×
  • Create New...