KaYot 3 676 Опубліковано: 2021-12-06 21:31:22 Share Опубліковано: 2021-12-06 21:31:22 39 минут назад, ntp сказал: не видать значить абонам Вашей сети новых рекламных листовок с громким рекламным слоганом "IPv6" У меня дохрена V4) 1 Ссылка на сообщение Поделиться на других сайтах
WideAreaNetwork 222 Опубліковано: 2021-12-15 06:13:42 Share Опубліковано: 2021-12-15 06:13:42 В 06.12.2021 в 23:31, KaYot сказав: У меня дохрена V4) продай) 1 Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2022-01-31 14:58:48 Share Опубліковано: 2022-01-31 14:58:48 (відредаговано) Подскажите, есть у кого сервера с 2*e5-26xx v1/v2 сколько трафика безпроблемно могут пропустить? нужно 20-25гбит. nat+policing. сейчас на тесте стоит 2*e5-2650v2, nat\policing\dhcp\dns, 2гбит ~ 3% cpu. Будут ли "приколы" с увеличением трафика? какая сетевая лучше 2*x520(lacp) или 1*xl710(40G)? Відредаговано 2022-02-01 09:18:53 forella Ссылка на сообщение Поделиться на других сайтах
corssair 7 Опубліковано: 2022-01-31 16:11:01 Share Опубліковано: 2022-01-31 16:11:01 1 час назад, forella сказал: Подскажите, есть у кого сервера с 2*e5-26xx v1/v2 сколько трафика безпроблемно могут пропустить? нужно 20-25гбит. nat+policing. сейчас на тесте стоит 2*e5-2650v2, nat\policing\dhcp\dns, 2гбит ~ 3% cpu. Будут ли "приколы" с увеличением трафика? какая сетевая лучше 2*x520(lacp) или 1*710? что рулит тазиками? 1 Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2022-02-01 07:13:36 Share Опубліковано: 2022-02-01 07:13:36 15 часов назад, corssair сказал: что рулит тазиками? всмысле ОС? Gentoo. Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-18 07:23:37 Share Опубліковано: 2023-09-18 07:23:37 (відредаговано) Доброго дня, маємо 2хE5-4640 V1 софт роутер 2х2х10Г х520 , трафік вхід/вихід до 23/23 гбит/c , softirq до 42% треба як то кажуть перейти на "інший" левел до 40-50гбит/c або більше, які можуть буть варіанти із залізом ( CPU + MB ) ? P.S. Вже маємо xl710 2x40г , планую іх ставити Відредаговано 2023-09-18 07:35:42 Ajar Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 08:24:30 Share Опубліковано: 2023-09-18 08:24:30 38 минут назад, Ajar сказав: Доброго дня, маємо 2хE5-4640 V1 софт роутер 2х2х10Г х520 , трафік вхід/вихід до 23/23 гбит/c , softirq до 42% треба як то кажуть перейти на "інший" левел до 40-50гбит/c або більше, які можуть буть варіанти із залізом ( CPU + MB ) ? P.S. Вже маємо xl710 2x40г , планую іх ставити Є hp gen9 2*E5-2690 v3, nat(4к+ абонов)+policer, 6гбит трафика 2-3% softirq с xl-710 сетевкой тут нужны спецы по конкретным моделям серваков(если двух процессорная система), т.к. у некоторых серваков pci шины подвязаны к конкретным cpu, а у некоторых шина общая. И поидее иногда лучше 2 сетевые по разным pci раскидать, а в некоторых можно повесить на один порт. ----- если есть знатоки подскажите по hp gen9 dl360p на одном x16 порту pci пройдет 80гбит или будут какието проблемы при обработке с одной сетевой двумя процессорами? Ссылка на сообщение Поделиться на других сайтах
karyon 48 Опубліковано: 2023-09-18 09:15:28 Share Опубліковано: 2023-09-18 09:15:28 (відредаговано) В 31.01.2022 в 16:58, forella сказав: Подскажите, есть у кого сервера с 2*e5-26xx v1/v2 сколько трафика безпроблемно могут пропустить? нужно 20-25гбит. nat+policing. сейчас на тесте стоит 2*e5-2650v2, nat\policing\dhcp\dns, 2гбит ~ 3% cpu. Будут ли "приколы" с увеличением трафика? какая сетевая лучше 2*x520(lacp) или 1*xl710(40G)? якщо на звичайному ядрі? то 20-25 буде працювати, але це майже стеля (до 3-3.5 mpps), це якщо взагалі без фільтрів, далі будуть з'являтися проблеми, норм мережеві, а краще mellanox там черга більша ніж в інтелі в 2 рази і коштує в 4 рази дешевше 52 минуты назад, forella сказав: ----- если есть знатоки подскажите по hp gen9 dl360p на одном x16 порту pci пройдет 80гбит или будут какието проблемы при обработке с одной сетевой двумя процессорами? з nat на звичайному linux ядрі ні про які 80гіг можна не мріяти. Відредаговано 2023-09-18 09:18:05 karyon Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-18 10:44:54 Share Опубліковано: 2023-09-18 10:44:54 2 часа назад, forella сказал: Є hp gen9 2*E5-2690 v3, nat(4к+ абонов)+policer, 6гбит трафика 2-3% softirq с xl-710 сетевкой тут нужны спецы по конкретным моделям серваков(если двух процессорная система), т.к. у некоторых серваков pci шины подвязаны к конкретным cpu, а у некоторых шина общая. И поидее иногда лучше 2 сетевые по разным pci раскидать, а в некоторых можно повесить на один порт. ----- если есть знатоки подскажите по hp gen9 dl360p на одном x16 порту pci пройдет 80гбит или будут какието проблемы при обработке с одной сетевой двумя процессорами? З gen8 маю негативний досвід , якщо стоіть не рідна карта ( чіпсет 82599 ) то через деякий час система входить в ступор та на ребут, тільки ставиш рідну карту з таким самим чіпсетом , все добре . Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 11:33:07 Share Опубліковано: 2023-09-18 11:33:07 46 минут назад, Ajar сказав: З gen8 маю негативний досвід , якщо стоіть не рідна карта ( чіпсет 82599 ) то через деякий час система входить в ступор та на ребут, тільки ставиш рідну карту з таким самим чіпсетом , все добре . Gen8 был, больше 3гбит не грузил на х520 карте, все было ок. На каком объеме трафика такое возникает? 2 часа назад, karyon сказав: з nat на звичайному linux ядрі ні про які 80гіг можна не мріяти. А есть какие-то "волшебные" ядра? Если есть проблема, то с чем она связана, при каких конфигурациях/скоростях начинают возникать проблемы и какого вида железо/софт? Ссылка на сообщение Поделиться на других сайтах
a_n_h 584 Опубліковано: 2023-09-18 12:02:52 Share Опубліковано: 2023-09-18 12:02:52 (відредаговано) 1 час назад, Ajar сказал: З gen8 маю негативний досвід , якщо стоіть не рідна карта ( чіпсет 82599 ) то через деякий час система входить в ступор та на ребут, тільки ставиш рідну карту з таким самим чіпсетом , все добре . можно поподробней о проблеме, у себя ничего такого не замечал, единственная проблема - с "неродной" сетевой вентиляторы крутятся на повышенных оборотах... Відредаговано 2023-09-18 12:03:51 a_n_h Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-18 12:16:44 Share Опубліковано: 2023-09-18 12:16:44 3 минуты назад, a_n_h сказал: можно поподробней о проблеме, у себя ничего такого не замечал, единственная проблема - с "неродной" сетевой вентиляторы крутятся на повышенных оборотах... Система : Linux Debian 10 , дрова інтел , біос апдейтили різний , трафік tx+rx до 17гбіт/c , мережеві в bonding Залізо: Cepвep HP ProLiant DLЗ60p Gen8 , мережева карта Intel x520-da2 перемикали у різні слоти pci-e Через деякий час система переставала відповідати , лінукс вішався, на консоль не відповідала, через ilo4 робили ребут, біос оновлювали, мережеві карти міняли, драйвера від інтел - ставив різні версіі, не допомогало. Встановили карту HP 560FLR - запрацювало як годиник. Ставили другу карту х520 , падіння починалось знову. Перейшов на сервера циско з відключаємим numa Ссылка на сообщение Поделиться на других сайтах
karyon 48 Опубліковано: 2023-09-18 12:34:58 Share Опубліковано: 2023-09-18 12:34:58 58 минут назад, forella сказав: А есть какие-то "волшебные" ядра? Мав на увазі без стороннього софта. Є dpdk і подібне. Там може і 80 г бути, тільки за гроші. Раніше хтось рфний скат копіював, вони там пишуть до 200 гбіт на топових серверах. Ссылка на сообщение Поделиться на других сайтах
KaYot 3 676 Опубліковано: 2023-09-18 12:41:51 Share Опубліковано: 2023-09-18 12:41:51 22 минуты назад, Ajar сказав: Встановили карту HP 560FLR - запрацювало як годиник. То скоріше у сервера біда з pcie слотом, чи з живленням взагалі. FLR в окремому слоті, тому й працює. Дуже багато g8 з x520 картами зараз люди користують, окрім шуму кулерів немає нічого такого. 1 1 Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-18 13:12:35 Share Опубліковано: 2023-09-18 13:12:35 4 часа назад, forella сказал: Є hp gen9 2*E5-2690 v3, nat(4к+ абонов)+policer, 6гбит трафика 2-3% softirq с xl-710 сетевкой тут нужны спецы по конкретным моделям серваков(если двух процессорная система), т.к. у некоторых серваков pci шины подвязаны к конкретным cpu, а у некоторых шина общая. И поидее иногда лучше 2 сетевые по разным pci раскидать, а в некоторых можно повесить на один порт. ----- если есть знатоки подскажите по hp gen9 dl360p на одном x16 порту pci пройдет 80гбит или будут какието проблемы при обработке с одной сетевой двумя процессорами? А ядра всі використовуються та однаково навантажені ? Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 13:17:01 Share Опубліковано: 2023-09-18 13:17:01 5 минут назад, karyon сказав: Мав на увазі без стороннього софта. Є dpdk і подібне. Там може і 80 г бути, тільки за гроші. Раніше хтось рфний скат копіював, вони там пишуть до 200 гбіт на топових серверах. раньше и очередя руками распределяли, сейчас много чего в ядре поменялось, если например взять 6 ядро, самосборное, и допустим 2шт 2690v4, без "лишнего софта", стандартный iptables(nat)+ipset и полисер от этого дядьки, сколько можно переварить трафика на 1\2 картах xl710. если на одной двухпортовой, как устроена работа двух процессоров с одним портом pci? все пишут что это невозможно, так нельзя, но никто не аргументирует какие при этом могут быть проблемы? пока по наблюдениям 6гбит\3%cpu, пускай 60гбит 40-50% с запасом, проц думаю вывезет, но как там дела будут с пакетами и распеределениям по процессорам? сейчас, допустим, у меня оба процессора загружены равномерно, хотя при этом hp говорит об обратном Expansion Slots # Technology Bus Width Connector Width Bus Number Form Factor Notes 1 PCIe 3.0 X16 X16 7 Full-height, ¾ length (up to 9.5") Slot Proc 1 т.е. Primary Riser - proc 1 Secondary Riser - proc 2 сейчас задействован первый райзер х16 слот, поидее все должно пойти на 1 проц, но загружены 2 процессора равномерно по всем ядрам. Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 13:26:28 Share Опубліковано: 2023-09-18 13:26:28 (відредаговано) 15 минут назад, Ajar сказав: А ядра всі використовуються та однаково навантажені ? да, как-то так, сильных перекосов или простоев нет. ядро самосборное linux-5.15.69-gentoo hardened CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 CPU8 CPU9 CPU10 CPU11 CPU12 CPU13 CPU14 CPU15 CPU16 CPU17 CPU18 CPU19 CPU20 CPU21 CPU22 CPU23 103: 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621440-edge i40e-0000:05:00.0:misc 104: 4113365359 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621441-edge i40e-enp5s0-TxRx-0 105: 0 3677903553 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621442-edge i40e-enp5s0-TxRx-1 106: 0 0 3698803595 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621443-edge i40e-enp5s0-TxRx-2 107: 0 0 0 3472295542 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621444-edge i40e-enp5s0-TxRx-3 108: 0 0 0 0 3756412373 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621445-edge i40e-enp5s0-TxRx-4 109: 0 0 0 0 0 3758183773 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621446-edge i40e-enp5s0-TxRx-5 110: 0 0 0 0 0 0 3673112919 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621447-edge i40e-enp5s0-TxRx-6 111: 0 0 0 0 0 0 0 3708627347 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621448-edge i40e-enp5s0-TxRx-7 112: 0 0 0 0 0 0 0 0 3233291826 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621449-edge i40e-enp5s0-TxRx-8 113: 0 0 0 0 0 0 0 0 0 3384152814 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621450-edge i40e-enp5s0-TxRx-9 114: 0 0 0 0 0 0 0 0 0 0 3403744821 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621451-edge i40e-enp5s0-TxRx-10 115: 0 0 0 0 0 0 0 0 0 0 0 3541832274 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621452-edge i40e-enp5s0-TxRx-11 116: 0 0 0 0 0 0 0 0 0 0 0 0 3503280425 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621453-edge i40e-enp5s0-TxRx-12 117: 0 0 0 0 0 0 0 0 0 0 0 0 0 3395023778 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621454-edge i40e-enp5s0-TxRx-13 118: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3236106440 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621455-edge i40e-enp5s0-TxRx-14 119: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3503076748 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621456-edge i40e-enp5s0-TxRx-15 120: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3349536377 0 0 0 0 0 0 0 IR-PCI-MSI 2621457-edge i40e-enp5s0-TxRx-16 121: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3349568006 0 0 0 0 0 0 IR-PCI-MSI 2621458-edge i40e-enp5s0-TxRx-17 122: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3413920888 0 0 0 0 0 IR-PCI-MSI 2621459-edge i40e-enp5s0-TxRx-18 123: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3385517112 0 0 0 0 IR-PCI-MSI 2621460-edge i40e-enp5s0-TxRx-19 124: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3329004819 0 0 0 IR-PCI-MSI 2621461-edge i40e-enp5s0-TxRx-20 125: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3370035605 0 0 IR-PCI-MSI 2621462-edge i40e-enp5s0-TxRx-21 126: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3418082728 0 IR-PCI-MSI 2621463-edge i40e-enp5s0-TxRx-22 127: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 3416479859 IR-PCI-MSI 2621464-edge i40e-enp5s0-TxRx-23 128: 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 IR-PCI-MSI 2621465-edge i40e-0000:05:00.0:fdir-TxRx-0 Відредаговано 2023-09-18 13:29:15 forella Ссылка на сообщение Поделиться на других сайтах
karyon 48 Опубліковано: 2023-09-18 14:03:18 Share Опубліковано: 2023-09-18 14:03:18 (відредаговано) 46 минут назад, forella сказав: раньше и очередя руками распределяли, сейчас много чего в ядре поменялось, если например взять 6 ядро, самосборное, и допустим 2шт 2690v4, без "лишнего софта", стандартный iptables(nat)+ipset и полисер от этого дядьки, сколько можно переварить трафика на 1\2 картах xl710. если на одной двухпортовой, как устроена работа двух процессоров с одним портом pci? все пишут что это невозможно, так нельзя, но никто не аргументирует какие при этом могут быть проблемы? пока по наблюдениям 6гбит\3%cpu, пускай 60гбит 40-50% с запасом, проц думаю вывезет, но как там дела будут с пакетами и распеределениям по процессорам? сейчас, допустим, у меня оба процессора загружены равномерно, хотя при этом hp говорит об обратном Expansion Slots # Technology Bus Width Connector Width Bus Number Form Factor Notes 1 PCIe 3.0 X16 X16 7 Full-height, ¾ length (up to 9.5") Slot Proc 1 т.е. Primary Riser - proc 1 Secondary Riser - proc 2 сейчас задействован первый райзер х16 слот, поидее все должно пойти на 1 проц, но загружены 2 процессора равномерно по всем ядрам. ну слот підключається на 1 процесор, потім по шині між процесорами передає дані на інший, в чому проблема. 3% - це середне завантаження всіх процесорів, подивіться top за частину секунди максимальні стрибки ядра - це буде вже обмеження і який там зараз pps? ще там обмеження не тільки в процесорі, мережева+ стек. Треба моніторити дропи пакетів через мережеву і стек, ось при піднятті packet rate вони в якийсь момент почнуть рости, при тому що cpu ще не буде в 100%. Можна загуглити статті по тюнингу і по статистиці стеку, як дропи дивитися. Тим кому влом це робити - купляють готове обладнання - a10 (на нат), або ставлять кілька серверів і кожен сильно не вантажать. Якщо прокачаєте з фільтрами і з натом хоча б 3.5mpps без дропів - постіть) Відредаговано 2023-09-18 14:04:02 karyon Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 15:00:13 Share Опубліковано: 2023-09-18 15:00:13 42 минуты назад, karyon сказав: ну слот підключається на 1 процесор, потім по шині між процесорами передає дані на інший, в чому проблема. 3% - це середне завантаження всіх процесорів, подивіться top за частину секунди максимальні стрибки ядра - це буде вже обмеження і який там зараз pps? ще там обмеження не тільки в процесорі, мережева+ стек. Треба моніторити дропи пакетів через мережеву і стек, ось при піднятті packet rate вони в якийсь момент почнуть рости, при тому що cpu ще не буде в 100%. Можна загуглити статті по тюнингу і по статистиці стеку, як дропи дивитися. Тим кому влом це робити - купляють готове обладнання - a10 (на нат), або ставлять кілька серверів і кожен сильно не вантажать. Якщо прокачаєте з фільтрами і з натом хоча б 3.5mpps без дропів - постіть) uptime 7 дней, понятно, что это далеко не те цифры но пока как-то так RX packets 245814870869 bytes 244065176075645 (221.9 TiB) RX errors 12 dropped 463 overruns 0 frame 293 в среднем получается 400kpps в пиках 600kpps в среднем по всем серверам выходит 100кpps на гиг трафика. 3,5мpps - это примерно до 40гбит дропы и им подобные составлют 0,000000003 (а как вообще без дропов? дропы - это не всегда отброшеный нужный пакет пакет) -------- Цитата Можна загуглити статті по тюнингу і по статистиці стеку, як дропи дивитися Всегда когда отсылают к тюнингу, привел пример с распределением очередей, это уже все реализовано в ядре, а если не в нем, то по дефолту стоят нужные значения и т.п. да, есть нюансы по conntrack и ему подобных значений, но перелопачивать нынче половину исходников чтоб чтото там затюнить не нужно, как это было 10 лет назад. ------ поэтому и вопрос, гоняет ли ктото больше 40гбит трафика на одной сетевой, либо нескольких но на одном сервере и с какими проблемами можно столкнуться? Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-18 15:28:37 Share Опубліковано: 2023-09-18 15:28:37 26 минут назад, forella сказал: поэтому и вопрос, гоняет ли ктото больше 40гбит трафика на одной сетевой, либо нескольких но на одном сервере и с какими проблемами можно столкнуться? Питання як рахувати трафік ? (rx+tx)/2 ? Ссылка на сообщение Поделиться на других сайтах
forella 20 Опубліковано: 2023-09-18 16:07:36 Share Опубліковано: 2023-09-18 16:07:36 4 минуты назад, Ajar сказав: Питання як рахувати трафік ? (rx+tx)/2 ? В идеале да Ссылка на сообщение Поделиться на других сайтах
Бульба 93 Опубліковано: 2023-09-18 16:10:18 Share Опубліковано: 2023-09-18 16:10:18 (відредаговано) 8 hours ago, Ajar said: Доброго дня, маємо 2хE5-4640 V1 софт роутер 2х2х10Г х520 , трафік вхід/вихід до 23/23 гбит/c , softirq до 42% треба як то кажуть перейти на "інший" левел до 40-50гбит/c або більше, які можуть буть варіанти із залізом ( CPU + MB ) ? P.S. Вже маємо xl710 2x40г , планую іх ставити Может лучше докинуть 1-2 сервера и балансировать трафик на wirespeed-железе? с помощью ecmp L4 и bgp.. к этому добавить синхронизацию состояния conntrack и получить за копейки неубиваемую вещь на сколько угодно трафика Відредаговано 2023-09-18 16:12:27 Бульба Ссылка на сообщение Поделиться на других сайтах
karyon 48 Опубліковано: 2023-09-18 17:12:20 Share Опубліковано: 2023-09-18 17:12:20 (відредаговано) 2 часа назад, forella сказав: uptime 7 дней, понятно, что это далеко не те цифры но пока как-то так RX packets 245814870869 bytes 244065176075645 (221.9 TiB) RX errors 12 dropped 463 overruns 0 frame 293 в среднем получается 400kpps в пиках 600kpps в среднем по всем серверам выходит 100кpps на гиг трафика. 3,5мpps - это примерно до 40гбит дропы и им подобные составлют 0,000000003 (а как вообще без дропов? дропы - это не всегда отброшеный нужный пакет пакет) -------- Всегда когда отсылают к тюнингу, привел пример с распределением очередей, это уже все реализовано в ядре, а если не в нем, то по дефолту стоят нужные значения и т.п. да, есть нюансы по conntrack и ему подобных значений, но перелопачивать нынче половину исходников чтоб чтото там затюнить не нужно, как это было 10 лет назад. ------ поэтому и вопрос, гоняет ли ктото больше 40гбит трафика на одной сетевой, либо нескольких но на одном сервере и с какими проблемами можно столкнуться? У вас на мізерному трафіку вже дропи є. Ніхто і раніше код не лопатив, гралися з мережевими буферами, картами, процесорами, значенням sysctl. Ви спочатку подайте туди реального 30+г трафіку, і напишете потім який буде pps/cpu/drops і про "стоят по дефолту нужные значения". Обговоримо, цікаво всім буде. Відредаговано 2023-09-18 17:16:08 karyon Ссылка на сообщение Поделиться на других сайтах
Dimkers 1 585 Опубліковано: 2023-09-18 18:41:11 Share Опубліковано: 2023-09-18 18:41:11 (відредаговано) Если только пакеты поперекидывать и безо всяких этих многим "необходимых" фуллвью - то людской Л3 свич что умеет БГП вполне справится на скорости порта/ЛАСПа. А вот с НАТом уже нюанс есть. Т.к. ЦПУшные кеши мизерные, а далее все эти ваши контраки лезут в ОЗУ, тут и начинается самый фетиш. Пакет прилетел на ЦПУ-1(НУМа-1), а за трансляцией нужно бежать на НУМа-2 вот и начинается бида- пичаль, т.к. между НУМа задержки выше, чем в самой НУМа. И это даже если сетевые нормально раскидывается по НУМам, с контрактом - увы. Именно поэтому для whiteIP опция notrack, резко облегчает жизнь системы в целом. Можно юзнуть хт_нат, но он "тупой" НАТ, никакие тунели и пробросы портов через него уже не полезут. Но да, в разы быстрей будет. 3 часа назад, forella сказал: среднем по всем серверам выходит 100кpps на гиг трафика. 3,5мpps - это примерно до 40гбит Это неверный расчет. Там нет линейной зависимости, потому как там не только пакетики перекидываются из порта в порт. А есть ещё и НАТ. А тут уже все зависит от обона. Абон может делать 100 трансляций, а может и несколько тысяч. Гляньте на досуге вывод контрактейбл с сортировкой по IP и кол-ву трансляций. А каждую трансляцию нужно хранить какое-то время и обрабатывать пакет по ней, даже не один пакет, а все те ваши 3.5Мппс пакетов(малеха преувеличил, но все же это не переложи из порта в порт, а глянь заголовки, найди соответствие ИП-Порт-протокол, смени заголовки и перешли). А по истечению таймеров неактивности ещё и грохнуть неактивную )) вы же не думаете что это безресурсная операция? НАТ жрет ооочень много и для железа это ресурсоемкая операция. Более ресурсоемкая, чем перекинуть пакет из порта в порт. Відредаговано 2023-09-18 18:56:57 Dimkers 1 Ссылка на сообщение Поделиться на других сайтах
Ajar 92 Опубліковано: 2023-09-19 12:39:36 Share Опубліковано: 2023-09-19 12:39:36 20 часов назад, Бульба сказал: Может лучше докинуть 1-2 сервера и балансировать трафик на wirespeed-железе? с помощью ecmp L4 и bgp.. к этому добавить синхронизацию состояния conntrack и получить за копейки неубиваемую вещь на сколько угодно трафика Вже і так 2 стоіть мастер-слейв , питання в тому що цей софтроутер приймає аплінкі, далі вже траф ділется на меньш потужні сервера доступа, контрек відключений По моім розрахункам для XL710 максимум 58-59 гбит/c ( FD ~29гбит/c ), більше не пропустить шина PCIe v3 , в жовтні приїде ще карта якраз буде 2 сервака з 2х40 , спробую затестити. Ссылка на сообщение Поделиться на других сайтах
Рекомендованные сообщения
Создайте аккаунт или войдите в него для комментирования
Вы должны быть пользователем, чтобы оставить комментарий
Создать аккаунт
Зарегистрируйтесь для получения аккаунта. Это просто!
Зарегистрировать аккаунтВхід
Уже зарегистрированы? Войдите здесь.
Войти сейчас