Собрать 40Gbps на DL560 4x E5-4650 V2 + pfSense

[Bogdan.Lukashov 2]

Добрый день, перелопатил много железок в сети по цене обычно от 4000$ + UTM лицензия пример Fortinet, etc.

 

У меня вопрос к сисадминам, хотим реализовать 40Gbps Firewall на мощном серваке на 40 ядер + 40 потоков итого 80 CPU.   

 

DL560 G8 4x E5-4650 V2 + 192Gb DDR + NVMe. + 40Gbps карту 2х портовую поставить посвежее. 

 

Поднять все это на OS pfSense дистрибутиве.

 

Сможем ли фильтровать с помощью такого решения вредные пакеты и аномалии атаки?  

 

Буду рад любому ответу. 

[Bogdan.Lukashov 2]

Забыл уточнить две сетевухи XL710-QD2 QSFP на In Out

[LOXUA 20]

80 потоков 2.9 ГГц 
Потянет 100гиг+ без проблем, тем более атаки фильтровать - это надо тупо дропать пакеты

[Stalker1 136]

Зачем pf? Я думаю хватит линукса

[NaviNavi 86]

1 час назад, deltatelecom сказал:

Зачем pf? Я думаю хватит линукса

Они что-то городят несколько месяцев, не понимая что хотят по итогу..  

[Bogdan.Lukashov 2]

pfSense + snort приложение и все? И может есть еще нюансы, которые можно подтюнить?

[LOXUA 20]

1 час назад, deltatelecom сказал:

Зачем pf? Я думаю хватит линукса

Да там уверен иптаблеса хватит под антидосы, какой то synproxy+лимит скорости на удп

[Bogdan.Lukashov 2]

1 час назад, deltatelecom сказал:

Зачем pf? Я думаю хватит линукса

 

Хочу Firewall решение железное на входе поставить после чего уже свитч и раздачу на клиентов. Чтоб автоматом отрубался DDoS и не парится ночам и следить за каждым хостом, шнурком, серваком, всплеском трафика на портах. 

[Bogdan.Lukashov 2]

Вот примерно схема:

 

40G Uplink QSFP ->  Router BGP - >  Firewall 40G DL580 G8 4x 4650 V2 pfSense + snort   ->   Switch 48G  - (клиенты серваки 40 штук 1Gbps. ) подсеть /24

[Stalker1 136]

26 минут назад, Bogdan.Lukashov сказал:

 

Хочу Firewall решение железное на входе поставить после чего уже свитч и раздачу на клиентов. Чтоб автоматом отрубался DDoS и не парится ночам и следить за каждым хостом, шнурком, серваком, всплеском трафика на портах. 

Сколько ж у вас абонентов? Что так 40ж хотите.

Купи juniper netscreen 5400 + 3 платы, на которой по  2 xfp порта, в итоге у вас получится 30gbe вход и выход.

[LENS 105]

Перед тем как покупать - возьмите и соберите сервер из того, что у вас уже доступно и отладьте систему. Как ваша схема будет отрабатывать атаки, как вы это будете видеть, какие это будут атаки и проверьте все варианты
Купить железо - это самое простое в этой цепочке

[Stalker1 136]

2 минуты назад, LENS сказал:

Перед тем как покупать - возьмите и соберите сервер из того, что у вас уже доступно и отладьте систему. Как ваша схема будет отрабатывать атаки, как вы это будете видеть, какие это будут атаки и проверьте все варианты
Купить железо - это самое простое в этой цепочке

А лучше сервак и пару сетевых Intel, настроить и тестить

[Bogdan.Lukashov 2]

3 минуты назад, deltatelecom сказал:

Сколько ж у вас абонентов? Что так 40ж хотите.

Купи juniper netscreen 5400 + 3 платы, на которой по  2 xfp порта, в итоге у вас получится 30gbe вход и выход.

 

Говорю такого плана решение будет 4х дороже софт решения на железе. 

[Stalker1 136]

25 минут назад, Bogdan.Lukashov сказал:

 

Говорю такого плана решение будет 4х дороже софт решения на железе. 

На ebey 500 баксов 

[LOXUA 20]

40 минут назад, deltatelecom сказал:

Сколько ж у вас абонентов? Что так 40ж хотите.

Купи juniper netscreen 5400 + 3 платы, на которой по  2 xfp порта, в итоге у вас получится 30gbe вход и выход.

Это дно с 40кппс сина умрет
Так и он явно не 40гиг гонять будет, возьмет просто 4х10г бруста и 4х1г полосы под ддосы

Відредаговано 2020-04-16 18:54:34 LOXUA

[masters 126]

22 минуты назад, LOXUA сказал:

Это дно с 40кппс сина умрет
Так и он явно не 40гиг гонять будет, возьмет просто 4х10г бруста и 4х1г полосы под ддосы

Вы как никогда правы, под антиддос сервак не годится. Ох и не любят они большой pps. Его можно даже гигабитом трафика мелкими пакетами убить в хлам.

От школьников - может немного и поможет, а от средних атак - уже нет. 

[LOXUA 20]

12 минут назад, masters сказал:

Вы как никогда правы, под антиддос сервак не годится. Ох и не любят они большой pps. Его можно даже гигабитом трафика мелкими пакетами убить в хлам.

От школьников - может немного и поможет, а от средних атак - уже нет. 

Антиддос решения - это всегда сервера x86 и какой то софт, тот же арбор например
А какой то циско че там потянет на своих 2 ядрах? Правильно - ничего

[Bogdan.Lukashov 2]

Пока немного теории, по железу, чем дорогая кошка или джунипер кроме как бренда и цены отличается от решения, которое придумали на фриибсд и железках?

 

Типа за 5к  https://store.netgate.com/HIGH-AVAILABILITY-XG-1541-1U-Security-Gateway-with-pfSense-software-P2764.aspx хотя тут проц вообще отдыхает мелочь пузатая.

 

Все пакеты и syn, упираются в CPU все верно? 1М пакетов или 10М пакетов и будь там метал джунипер или кошка всеравно ядра нужны.

 

Мое решение взять платформу pfSense (говорят многие даже провайдеры сидят на нем) + snort *в котором уже запилина настройка на основные Denial-of-service attack и протестить. 

 

Варианты в что упираемся

 

1) CPU исключено 2.4Ghz x 80 шт. как писали выше з головой 

2) Канал до 40Gbps ладно даже 10Gbps берем атаки должно проглотить

3) Тип атаки Syn flood, ack, (UDP, ICMP закрываем сразу от греха подальше)

 

Речь о Web атаках и ботах, чтоб не тревожить и не искать на каком серваке вешаем все это на /24 и на выходе с порта имеем чистый трафф без гемора. 

 

Если я неправ, дайте ваши аргументы

 

1) Почему вы склоняетесь с к брендам, железкам по 10-20к $ и выше.  и чем аргументируете защиту на них. 

2) Какие могут быть камни с решением на pfSense, кто то тестил своими руками?

 

Спасибо. 

[Bogdan.Lukashov 2]

Сетевой адаптер Intel® X722-DA4

https://ark.intel.com/content/www/ru/ru/ark/products/139351/intel-ethernet-network-adapter-x722-da4.html

 

Мне кажется самый топ из Интел, что есть на рынке. 

[masters 126]

40 минут назад, LOXUA сказал:

Антиддос решения - это всегда сервера x86 и какой то софт, тот же арбор например

Софт анализирует трафик и генерирует правила для железки.

Например у нас стоит тазик + МХ480. Атаки 50-100mpps отлично фильтруются.

Чисто тазик умирал на 2mpps. 

[Bogdan.Lukashov 2]

Оставлю ссылку на счет пакетов pps https://docs.netgate.com/pfsense/en/latest/book/hardware/hardware-sizing-guidance.html#table-pps-throughputs 

3 минуты назад, masters сказал:

Чисто тазик умирал на 2mpps. 

 

что за тазик был и что за сетевуха?

 

МХ480 интересно заглянуть на хардварную часть, сколько чего там cpu, memory, какая пропускная способность? 

[masters 126]

4 минуты назад, Bogdan.Lukashov сказал:

Оставлю ссылку на счет пакетов pps https://docs.netgate.com/pfsense/en/latest/book/hardware/hardware-sizing-guidance.html#table-pps-throughputs 

500kpps - это вообще ни о чем. У меня без атак при 30g трафика - около 3-4mpps.

[Bogdan.Lukashov 2]

8,000,000

4,000,000

~7800 MB 

 

8М = упирается в 8Гб памяти, я так понимаю 

States

Connections

 

Если прокачать железо на 192Гб памяти получим 192 ляма, 

 

Или может я не так понимаю эти значения, поправьте. 

 

По CPU они предлагают 

XG-1541 на нагрузку 6.10 Gbit/s  

Throughput at 500 Kpps при 1500 пакетах выходит почти под 6Гб

 

Но опять же таки это дохлый 1CPU 8 ядер Xeon 2.1Ghz. 

 

Я предложил вариант модернизации на 4х физиках E5-4650 V2 https://ark.intel.com/content/www/ru/ru/ark/products/75289/intel-xeon-processor-e5-4650-v2-25m-cache-2-40-ghz.html

 

Пусть даже 40 ядер физических будет и 40 потоков. Но это явно х5 от их железки минимум. 

 

30Гбит должно переживать логически. 

 

 

 

 

 

[LOXUA 20]

25 минут назад, masters сказал:

Софт анализирует трафик и генерирует правила для железки.

Например у нас стоит тазик + МХ480. Атаки 50-100mpps отлично фильтруются.

Чисто тазик умирал на 2mpps. 

Ого правила на блок спуфа? Научишь?
Как надо было изнасиловать серв чтобы он на 2мппс умирал?

Відредаговано 2020-04-16 20:46:05 LOXUA

[l1ght 377]

16 минут назад, Bogdan.Lukashov сказал:

МХ480 интересно заглянуть на хардварную часть, сколько чего там cpu, memory, какая пропускная способность?

его пропускная никак не зависит от цпу, вы явно с железом не работали ни дня в своей жизни

зависит она от бекплейна и используемых линейных карт

 

51 минуту назад, Bogdan.Lukashov сказал:

Канал до 40Gbps ладно даже 10Gbps берем атаки должно проглотить

софт роутеру похеру какого размера пакеты, поэтому полосу считать неверно, можно считать только PPS

родной сетевой стек не годится ни FreeBSD ни линукс для таких целей, можно смотреть на DPDK и решения на его базе, там уже всё сильно веселее, почти как железо

 

53 минуты назад, Bogdan.Lukashov сказал:

Речь о Web атаках и ботах, чтоб не тревожить и не искать на каком серваке вешаем все это на /24 и на выходе с порта имеем чистый трафф без гемора. 

трафик нужно анализировать, лайн рейт риал тайм аналитика на больших объемах это сказка

даже DPI и прочие анализаторы работают на зеркале\тапе, а не в разрыв

траффик может быть вполне валидный если атака распределенная, и вы никак не узнаете что происходит с защищаемым вами сервером, нужна интеграция с приложением, съем аналитики и метрик и только потом уже чистить

в snort так вцепились будто это серебряная пуля и за вас почистят весь ваш трафик, так вот хрен

 

надо как-то матчасть подтянуть, не считаете?