korvin2000 7 Опубликовано: 2012-11-19 09:21:09 Автор Share Опубликовано: 2012-11-19 09:21:09 один момент он важный я сразу о нем забыл написать, но позже обещал на сегодня добавить, что и делаю надо понимать как загружены ядра сморим так cat /proc/interrupts 73: 40706333 4 27 94 874 9783 PCI-MSI-edge eth17-TxRx-0 74: 4 4293093014 16 98 879 10015 PCI-MSI-edge eth17-TxRx-1 75: 1 4 109858012 73 756 9086 PCI-MSI-edge eth17-TxRx-2 76: 0 3 14 81842259 841 11221 PCI-MSI-edge eth17-TxRx-3 77: 1 3 17 103 146222860 13126 PCI-MSI-edge eth17-TxRx-4 78: 3 4 34 160 2357 77321145 PCI-MSI-edge eth17-TxRx-5 79: 369866 0 0 0 0 21 PCI-MSI-edge eth17 80: 525881 0 2 0 0 0 PCI-MSI-edge eth21-TxRx-0 81: 2 525881 0 0 0 0 PCI-MSI-edge eth21-TxRx-1 82: 0 2 525881 0 0 0 PCI-MSI-edge eth21-TxRx-2 83: 0 0 2 525881 0 0 PCI-MSI-edge eth21-TxRx-3 84: 0 0 0 2 525881 0 PCI-MSI-edge eth21-TxRx-4 85: 0 0 0 0 2 525881 PCI-MSI-edge eth21-TxRx-5 86: 0 0 0 0 0 0 PCI-MSI-edge eth21 94: 3418121906 9 20 127 1651 17776 PCI-MSI-edge eth19-TxRx-0 95: 3 3362852205 20 124 1453 18277 PCI-MSI-edge eth19-TxRx-1 96: 0 3 3637069058 113 1286 16919 PCI-MSI-edge eth19-TxRx-2 97: 2 4 17 3514448895 1297 18126 PCI-MSI-edge eth19-TxRx-3 98: 1 3 17 137 3619996895 23037 PCI-MSI-edge eth19-TxRx-4 99: 1 17 27 213 3247 3577909943 PCI-MSI-edge eth19-TxRx-5 100: 3665401 0 0 0 4 19 PCI-MSI-edge eth19 это нормальное состояние если стоят 0 а счетчики увеличиваются на одном из процессоров это и есть узкое место и проблема решений три 1. ставим скрипт он это делает сам /usr/sbin/irqbalance 2. есть в папке с драйверами скрипт запускаем с интерфейсами ixgbe-3.11.33.good/scripts/set_irq_affinity.sh eth19 eth17 3. раскидываем руками кому интересно то найдет как продублирую и в основную тему дабы удобнее было Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2012-11-19 10:44:45 Share Опубликовано: 2012-11-19 10:44:45 Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка калечить, что б клавиатуру брать не могли.. Ссылка на сообщение Поделиться на других сайтах
madf 279 Опубликовано: 2012-11-19 10:51:08 Share Опубликовано: 2012-11-19 10:51:08 Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли.. А что не так с irqbalance? Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2012-11-19 11:49:39 Share Опубликовано: 2012-11-19 11:49:39 Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному. Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть. Ссылка на сообщение Поделиться на других сайтах
korvin2000 7 Опубликовано: 2012-11-19 19:08:32 Автор Share Опубликовано: 2012-11-19 19:08:32 Людей, советующих включать irqbalance убивать нужно. А советующих распределять прерывания какими-то левыми скриптами нужно просто слегка колечить, что б клавиатуру брать не могли.. ну если руки крюки, то сам себе злобный буратино нечего тут других пугать у меня больше 5 ти серваков живут себе с ним ровно и хорошо так что не надо ляля Ну раньше он вообще частенько систему вешал. А как он эти прерывания сейчас раскидывает - известно лишь ему одному. Нет ничего лучше, чем 1 раз раскидать вручную прерывания по ядрам и забыть. ну так скрипт от интела это и делает ну если производитель драйверов делает кривые драйвера и скрипты к ним ... ну тогда да кому верить то? если есть желание можно руками, но зачем, есть масса полезных вещей чем можно заняться в свободное время Ссылка на сообщение Поделиться на других сайтах
Гайджин 574 Опубликовано: 2012-11-19 21:59:15 Share Опубликовано: 2012-11-19 21:59:15 ой-ей-ей... горе горькое, неизбывное... Ссылка на сообщение Поделиться на других сайтах
ApmeM 0 Опубликовано: 2012-11-20 09:45:20 Share Опубликовано: 2012-11-20 09:45:20 korvin2000, в можно увидеть вывод ethtool -a eth ethtool -k eth для 10G интерфейса? Ссылка на сообщение Поделиться на других сайтах
korvin2000 7 Опубликовано: 2012-11-20 09:53:59 Автор Share Опубликовано: 2012-11-20 09:53:59 root@zion:/etc# ethtool -a eth17 Pause parameters for eth17: Autonegotiate: on RX: on TX: on root@zion:/etc# ethtool -a eth19 Pause parameters for eth19: Autonegotiate: on RX: on TX: on Ссылка на сообщение Поделиться на других сайтах
ApmeM 0 Опубликовано: 2012-11-20 10:04:11 Share Опубликовано: 2012-11-20 10:04:11 таких ошибок у себя не видел? xgbe 0000:01:00.0: eth2: Fake Tx hang detected with timeout of 5 seconds Ссылка на сообщение Поделиться на других сайтах
korvin2000 7 Опубликовано: 2012-11-20 10:28:01 Автор Share Опубликовано: 2012-11-20 10:28:01 root@zion:/etc# dmesg | grep detected [ 19.705485] ixgbe 0000:07:00.0: eth17: detected SFP+: 5 [ 19.909847] ixgbe 0000:08:00.1: eth19: detected SFP+: 6 нет а версия драйверов какая ?? и модули какие, расстояние линия качество Ссылка на сообщение Поделиться на других сайтах
ApmeM 0 Опубликовано: 2012-11-20 10:45:23 Share Опубликовано: 2012-11-20 10:45:23 gw root # dmesg | grep detected [ 774.569272] ixgbe 0000:01:00.1: eth3: detected SFP+: 6 gw root # ethtool -i eth3 driver: ixgbe version: 3.11.33 firmware-version: 0x1bab0001 bus-info: 0000:01:00.1 supports-statistics: yes supports-test: yes supports-eeprom-access: yes supports-register-dump: yes gw root # ethtool -i eth2 driver: ixgbe version: 3.11.33 firmware-version: 0x1bab0001 bus-info: 0000:01:00.0 supports-statistics: yes supports-test: yes supports-eeprom-access: yes supports-register-dump: yes gw_neo skripnik # линия в порядке. на соседнем сервере работает без нареканий. есть мысль отключить Flow control, по рекомендации от Интела. /usr/sbin/ethtool -A eth2 autoneg off rx off tx off /usr/sbin/ethtool -A eth3 autoneg off rx off tx off но результат под нагрузкой смогу увидеть только завтра вечером. в прошлый раз с такой ошибкой (Fake Tx hang ...) система положила интерфейс. Ссылка на сообщение Поделиться на других сайтах
korvin2000 7 Опубликовано: 2012-11-20 12:37:23 Автор Share Опубликовано: 2012-11-20 12:37:23 еще выключено вот это ethtool -K eth17 gso off ethtool -K eth19 gso off Ссылка на сообщение Поделиться на других сайтах
RVL 6 Опубликовано: 2012-11-20 12:51:27 Share Опубликовано: 2012-11-20 12:51:27 ну и tso off заодно размер буферов какой ставите ? Ссылка на сообщение Поделиться на других сайтах
korvin2000 7 Опубликовано: 2012-11-20 13:02:35 Автор Share Опубликовано: 2012-11-20 13:02:35 ну и tso off заодно размер буферов какой ставите ? ethtool -G eth17 tx 4096 rx 4096 ethtool -G eth19 tx 4096 rx 4096 Ссылка на сообщение Поделиться на других сайтах
ApmeM 0 Опубликовано: 2012-11-20 13:50:12 Share Опубликовано: 2012-11-20 13:50:12 размер буфера 1024 остальные параметры буду пробовать завтра при реальной работе. так как падение происходит при нагрузке более 3-3,5 гиг, то время на установку параметров будет. Ссылка на сообщение Поделиться на других сайтах
loki 86 Опубликовано: 2012-11-22 21:05:29 Share Опубликовано: 2012-11-22 21:05:29 Присоеденюсь к теме. Скоро, уже скоро в моих руках будут железки для 10G-бордера. Сразу вопрос, кто до скольки MTU накручивает ? Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2012-11-22 21:08:21 Share Опубликовано: 2012-11-22 21:08:21 А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет. Ссылка на сообщение Поделиться на других сайтах
loki 86 Опубликовано: 2012-11-22 21:18:32 Share Опубликовано: 2012-11-22 21:18:32 На FreeBSD у кого то есть живые 10G? Ссылка на сообщение Поделиться на других сайтах
loki 86 Опубликовано: 2012-11-22 21:24:15 Share Опубликовано: 2012-11-22 21:24:15 А зачем его накручивать? Джамбо-фрейм из интернета все равно никогда не придет, больше стандартных 15хх ставить смысла нет. Ну из инета да, а вот PC(10G)-Switch очень даже можно подкрутить и до 9000. Ссылка на сообщение Поделиться на других сайтах
Гайджин 574 Опубликовано: 2012-11-22 21:30:21 Share Опубликовано: 2012-11-22 21:30:21 и смысл? Ссылка на сообщение Поделиться на других сайтах
loki 86 Опубликовано: 2012-11-22 21:40:17 Share Опубликовано: 2012-11-22 21:40:17 процам полегче ж будет Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2012-11-22 21:41:42 Share Опубликовано: 2012-11-22 21:41:42 Во-во. От клиента в интернет тоже никогда не будет отправляться больших фреймов. Ссылка на сообщение Поделиться на других сайтах
Гайджин 574 Опубликовано: 2012-11-22 21:51:09 Share Опубликовано: 2012-11-22 21:51:09 процам полегче ж будет с чего бы это? Ссылка на сообщение Поделиться на других сайтах
loki 86 Опубликовано: 2012-11-22 21:57:26 Share Опубликовано: 2012-11-22 21:57:26 может быть за счет оптимизаций над вычислением контрольных сумм? Не, ну для чего то ж эти jumbo-frame-ы придумали-то. Так есть те, у кого на фряхе 10G крутится ? Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубликовано: 2012-11-23 06:37:21 Share Опубликовано: 2012-11-23 06:37:21 Их придумали для ситуации файлсервер - свич - рабочая станция. Везде можно накрутить MTU/MRU, на свиче включить jumbo - и полетят по локалке фреймы в 9к, и получится обмен файлами на 1Гбит в 1 поток, а не 200-300мбит как обычно. А вот чужим серверам и клиентам ничего подкрутить не получится, а значит и на роутерах/свичах нет смысла что-то химичить. Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВойти
Уже зарегистрированы? Войдите здесь.
Войти сейчас