BGP 10G Soft Router Своими руками v1.0

[korvin2000 7]

один момент он важный я сразу о нем забыл написать, но позже обещал на сегодня добавить, что и делаю

 

надо понимать как загружены ядра сморим так

 

cat /proc/interrupts

 

 

73: 40706333 4 27 94 874 9783 PCI-MSI-edge eth17-TxRx-0

74: 4 4293093014 16 98 879 10015 PCI-MSI-edge eth17-TxRx-1

75: 1 4 109858012 73 756 9086 PCI-MSI-edge eth17-TxRx-2

76: 0 3 14 81842259 841 11221 PCI-MSI-edge eth17-TxRx-3

77: 1 3 17 103 146222860 13126 PCI-MSI-edge eth17-TxRx-4

78: 3 4 34 160 2357 77321145 PCI-MSI-edge eth17-TxRx-5

79: 369866 0 0 0 0 21 PCI-MSI-edge eth17

80: 525881 0 2 0 0 0 PCI-MSI-edge eth21-TxRx-0

81: 2 525881 0 0 0 0 PCI-MSI-edge eth21-TxRx-1

82: 0 2 525881 0 0 0 PCI-MSI-edge eth21-TxRx-2

83: 0 0 2 525881 0 0 PCI-MSI-edge eth21-TxRx-3

84: 0 0 0 2 525881 0 PCI-MSI-edge eth21-TxRx-4

85: 0 0 0 0 2 525881 PCI-MSI-edge eth21-TxRx-5

86: 0 0 0 0 0 0 PCI-MSI-edge eth21

94: 3418121906 9 20 127 1651 17776 PCI-MSI-edge eth19-TxRx-0

95: 3 3362852205 20 124 1453 18277 PCI-MSI-edge eth19-TxRx-1

96: 0 3 3637069058 113 1286 16919 PCI-MSI-edge eth19-TxRx-2

97: 2 4 17 3514448895 1297 18126 PCI-MSI-edge eth19-TxRx-3

98: 1 3 17 137 3619996895 23037 PCI-MSI-edge eth19-TxRx-4

99: 1 17 27 213 3247 3577909943 PCI-MSI-edge eth19-TxRx-5

100: 3665401 0 0 0 4 19 PCI-MSI-edge eth19

 

 

это нормальное состояние если стоят 0 а счетчики увеличиваются на одном из процессоров это и есть узкое место и проблема

 

решений три

 

1. ставим скрипт он это делает сам

 

/usr/sbin/irqbalance

 

2. есть в папке с драйверами скрипт запускаем с интерфейсами

 

ixgbe-3.11.33.good/scripts/set_irq_affinity.sh eth19 eth17

 

3. раскидываем руками кому интересно то найдет как

 

продублирую и в основную тему дабы удобнее было

[KaYot 3 710]

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка калечить, что б клавиатуру брать не могли..

[madf 279]

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли..

А что не так с irqbalance?

[KaYot 3 710]

Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному.

Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть.

[korvin2000 7]

Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли..

 

ну если руки крюки, то сам себе злобный буратино нечего тут других пугать

 

у меня больше 5 ти серваков живут себе с ним ровно и хорошо так что не надо ляля

 

 

Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному.

Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть.

 

ну так скрипт от интела это и делает ну если производитель драйверов делает кривые драйвера и скрипты к ним ... ну тогда да кому верить то?

 

если есть желание можно руками, но зачем, есть масса полезных вещей чем можно заняться в свободное время

[Гайджин 574]

ой-ей-ей... горе горькое, неизбывное...

[ApmeM 0]

korvin2000, в можно увидеть вывод

ethtool -a eth

ethtool -k eth

для 10G интерфейса?

[korvin2000 7]

root@zion:/etc# ethtool -a eth17

Pause parameters for eth17:

Autonegotiate: on

RX: on

TX: on

 

root@zion:/etc# ethtool -a eth19

Pause parameters for eth19:

Autonegotiate: on

RX: on

TX: on

[ApmeM 0]

таких ошибок у себя не видел?

xgbe 0000:01:00.0: eth2: Fake Tx hang detected with timeout of 5 seconds

[korvin2000 7]

root@zion:/etc# dmesg | grep detected

 

[ 19.705485] ixgbe 0000:07:00.0: eth17: detected SFP+: 5

[ 19.909847] ixgbe 0000:08:00.1: eth19: detected SFP+: 6

 

нет а версия драйверов какая ?? и модули какие, расстояние линия качество

[ApmeM 0]

gw root # dmesg | grep detected

[ 774.569272] ixgbe 0000:01:00.1: eth3: detected SFP+: 6

 

gw root # ethtool -i eth3
driver: ixgbe
version: 3.11.33
firmware-version: 0x1bab0001
bus-info: 0000:01:00.1
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
gw root # ethtool -i eth2
driver: ixgbe
version: 3.11.33
firmware-version: 0x1bab0001
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: yes
supports-eeprom-access: yes
supports-register-dump: yes
gw_neo skripnik #

 

линия в порядке. на соседнем сервере работает без нареканий.

есть мысль отключить Flow control, по рекомендации от Интела.

/usr/sbin/ethtool -A eth2 autoneg off rx off tx off
/usr/sbin/ethtool -A eth3 autoneg off rx off tx off

но результат под нагрузкой смогу увидеть только завтра вечером.

в прошлый раз с такой ошибкой (Fake Tx hang ...) система положила интерфейс.

[korvin2000 7]

еще выключено вот это

 

ethtool -K eth17 gso off

ethtool -K eth19 gso off

[RVL 6]

ну и tso off заодно

размер буферов какой ставите ?

[korvin2000 7]

ну и tso off заодно

размер буферов какой ставите ?

 

 

ethtool -G eth17 tx 4096 rx 4096

ethtool -G eth19 tx 4096 rx 4096

[ApmeM 0]

размер буфера 1024

остальные параметры буду пробовать завтра при реальной работе. так как падение происходит при нагрузке более 3-3,5 гиг, то время на установку параметров будет.

[loki 86]

Присоеденюсь к теме. Скоро, уже скоро в моих руках будут железки для 10G-бордера.

Сразу вопрос, кто до скольки MTU накручивает ?

[KaYot 3 710]

А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет.

[loki 86]

На FreeBSD у кого то есть живые 10G?

[loki 86]

А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет.

Ну из инета да, а вот PC(10G)-Switch очень даже можно подкрутить и до 9000.

[Гайджин 574]

и смысл?

[loki 86]

процам полегче ж будет

[KaYot 3 710]

Во-во. От клиента в интернет тоже никогда не будет отправляться больших фреймов.

[Гайджин 574]

процам полегче ж будет

с чего бы это?

[loki 86]

может быть за счет оптимизаций над вычислением контрольных сумм?

Не, ну для чего то ж эти jumbo-frame-ы придумали-то.

Так есть те, у кого на фряхе 10G крутится ?

[KaYot 3 710]

Их придумали для ситуации файлсервер - свич - рабочая станция. Везде можно накрутить MTU/MRU, на свиче включить jumbo - и полетят по локалке фреймы в 9к, и получится обмен файлами на 1Гбит в 1 поток, а не 200-300мбит как обычно.

А вот чужим серверам и клиентам ничего подкрутить не получится, а значит и на роутерах/свичах нет смысла что-то химичить.