Подскажите по SSD 860 EVO в raid-0 и 10Gbps полосу

[Bogdan.Lukashov 2]

Добрый день, стоит задача собрать сервер под раздачу видео-контента.

 

 Вопросы по массиву:

 

Рассматриваем 4х винта Samsung 860 EVO 1Tb в HW RAID-0 платформа HPE. RAID HW 1Gb памяти. 

 

Винчестеры заявляют скажем 500Мб/с скорость, на тестах видели что в RAID-0 выжимают 1к скорость. 

 

А теперь непонятно это 1Гб и значит равно 1Гб каналу? Или же там умножается показатель на х8 ?

 

Просто сколько можно реально раздавать с SSD в RAID-0 на чтение в сеть? 1Гбит-5Гбит или 10Гбит?

 

И еще ресурс TBW не используется, когда идет сугубо чтение с SSD? Не должны быстро сдохнуть?

 

Про бекапы не спрашивайте, инфа будет просто скидыватся на sata 4tb обычный.  Риски RAID-0 понятны. 

 

У кого был опыт с раздачей такой в сеть и грузил канал по полной? Поделитесь информацией. 

 

Вопросы по серверу:

 

Достаточно ли только для раздачи 2x Six-Core Xeon X5675 3.06GHz/12MB/6.4GT и нужно ли много оперативы? Или достаточно 24Гб?

 

При раздачи видео-контента грузится ли сильно проц? 

 

Раздача планируется чисто nginx делать. больше ничего на сервере не будет.

 

 

Вопросы по сетевой карте:

 

Если юзать пока порты железки их там 4х 1Gb медь, или ставить сразу карту типа Intel X540-T2 и вешать на оптику 10G в модуль?

Но тут вопрос в другом сможем ли выжать скорость по SSD или лучше балансировать и раскидывать на кучу серваков? В чем может быть затык?

 

 

Спасибо за ответы. 

 

 

[masters 126]

Умножается на 8.

Железо свежее смотрите, а то может все упереться в шину. 

[Bogdan.Lukashov 2]

SSD speed

То-есть если чтения тесты показывают на RAID-0  1200Мб  то это 9.6Гбит полосу можно выжать на них?

 

RAID-0

Как лучше собирать RAID 4xRAID-0 или 2xRAID-0  посоветуйте оптимальный вариант.

Просто в системе можно добавить до 10 винтов 2.5 вот и думаю на будущее собрать еще один массив или лучше разбить на несколько сразу?

 

CPU load

Процессор сильно грузится при раздачи контента в сеть? Или там больше сетевая играет роль?

 

Network 10Gbps

Какие сетевухи считаются надежными для такого трафика цена/качество/стабильность? 

 

Спасибо. 

[l1ght 377]

1 час назад, Bogdan.Lukashov сказал:

860 EVO 1Tb

десктопные диски, забудьте 

берите серверные которые стабильно дают одинаковую скорость по цене +\- тоже самое аля samsung 883 или интеловые

 

1 час назад, Bogdan.Lukashov сказал:

RAID HW 1Gb памяти

очень может оказатся что упретесь именно в рейд контроллер

 

на 10ж отдачи если прям хочется дешево то лучше взять пачку недорогих серверов

 

чем пытаться в один засунуть

 

1 час назад, Bogdan.Lukashov сказал:

Процессор сильно грузится при раздачи контента в сеть? Или там больше сетевая играет роль?

отдача контента дело не шибко сложное если это не миллиард мелких файликов, сетевка само собой играет огромную роль

 

 

[Bogdan.Lukashov 2]

3 минуты назад, l1ght сказал:

на 10ж отдачи если прям хочется дешево то лучше взять пачку недорогих серверов

 

 

И с каждого выжимать по 4-5Гб ? 

 

4 минуты назад, l1ght сказал:

десктопные диски, забудьте

 

Сдохнут быстро даже на чтение? Записи то в основном не будет.  Серию, которую вы дали она в 3х дороже. Опять же таки берем не  под БД или что то важное а видео-контент + бекапы. Нужно дешево но, чтоб работало не дохло, самсунги в 860 серии хорошо себя зарекомендовали в сравнение с прошлым поколением. 

 

 

[KaYot 3 731]

1 минуту назад, Bogdan.Lukashov сказал:

Сдохнут быстро даже на чтение?

Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет.

 

Но я бы взял пару NVME-дисков, включил бы их в pcie переходник и собрал в софт-рейд. Древний рейд контроллер вполне может стать узким местом.

[Bogdan.Lukashov 2]

2 минуты назад, KaYot сказал:

Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет.

 

Но я бы взял пару NVME-дисков, включил бы их в pcie переходник и собрал в софт-рейд. Древний рейд контроллер вполне может стать узким местом.

 

Да думал, но греются сильно (даже если колхозить с китайским переходником под pci-e и радиатором) и в серваке только 3 слота под PCI-E 3.0 

 

NVME хорошая тема, но думаю там и raid особо не нужен. Пока как то сыровато думаю 2,5 ссдшками обойтись.

 

по сервакам серия HPE G7, G8  если быть точнее DL360 G7  Hardware RAID Enabled  P410i 1GB FBWC

ну не думаю что сильно древняя модель? 

 

 

[l1ght 377]

9 минут назад, KaYot сказал:

Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет.

у меня в ноуте такой, со временем характеристики падают ощутимо + проблемы с параллельными операциями

а тут человек хочет 10ж видео отдавать и я подзреваю что это не один и тот же файл который из пейдж кеша подтянется

 

14 минут назад, Bogdan.Lukashov сказал:

Сдохнут быстро даже на чтение? Записи то в основном не будет

ведут себя даже на чтение как говно, даже pro, не то что evo

15 минут назад, Bogdan.Lukashov сказал:

Серию, которую вы дали она в 3х дороже

в 2, но 1 терабайт за 7500 (против 4500) это не дорого, как по мне

 

6 минут назад, Bogdan.Lukashov сказал:

Пока как то сыровато думаю

ничо оно не сырое

 

 

[mixtery 123]

44 минуты назад, Bogdan.Lukashov сказал:

по сервакам серия HPE G7, G8  если быть точнее DL360 G7  Hardware RAID Enabled  P410i 1GB FBWC

ну не думаю что сильно древняя модель? 

 

закопать, оно старое и медленное, с ограничениями по iops и не совсем про ssd

был горький опыт по набивке 410 дисочками и сбром на нём разных уровней рейда - итог: отвал, со временем, контроллера (с jbod вроде живёт до сих пор)

p.s. goto stackoverflow with 'p410i thoughput'

[KaYot 3 731]

30 минут назад, l1ght сказал:

у меня в ноуте такой, со временем характеристики падают ощутимо + проблемы с параллельными операциями

Trim включить надо, чего б ему тормозить начинать просто так?

У меня 850 Evo несколько лет в десктопе, просто огонь. Причем и чтение, и запись.

[Bogdan.Lukashov 2]

14 минут назад, mixtery сказал:

закопать, оно старое и медленное, с ограничениями по iops и не совсем про ssd

 

А если взять HP ProLiant DL380e Gen8 2U 25x 2.5" (SFF)  2x E5-2430L V2 - 6-Core 2.40Ghz   скажем? И там развернуть отдачу? 

 

Просто на сколько тут важна платформа и CPU? Разве туда ложится нагрузка?

[mixtery 123]

1 минуту назад, Bogdan.Lukashov сказал:

 

А если взять HP ProLiant DL380e Gen8 2U 25x 2.5" (SFF)  2x E5-2430L V2 - 6-Core 2.40Ghz   скажем? И там развернуть отдачу? 

 

Просто на сколько тут важна платформа и CPU? Разве туда ложится нагрузка?

речь была конкретно про рейд контроллер p410i, с которым был опыт
ткскзть заранее предупреждаю что он не очень

[l1ght 377]

21 минуту назад, KaYot сказал:

Trim включить надо, чего б ему тормозить начинать просто так?

включен конечно

 

[Bogdan.Lukashov 2]

Ок а рационально вообще использовать тогда и городить RAID-0 ?

 

Может просто взять полку такую, и добавлять 2.5 по мере необходимости каждый винт будет откручивать по 400м/с и хватит с него?

 

А на 10G просто разабалнсировать винтами нагрузки? Или все таки RAID-0 ?

 

 

[l1ght 377]

5 минут назад, Bogdan.Lukashov сказал:

Или все таки RAID-0

он размажет данные равномерно по дискам

если не лепить рейд то придется делать это ручками, если много пользователей запросят файлы с одного диска то диск обосрется

[Bogdan.Lukashov 2]

Тогда как лучше собирать 2х SSD RAID-0 или 4х SSD RAID-0 ?

 

Нюанс только в одном, это остановка сервака, чтоб сделать еще доп рейды и добавить винты. Их ведь на горячую не создать, надо бутать сервак в черное окно.

 

Хотя на счет размазать на куски по скорости - это аргумент. 

[Den_LocalNet 1 474]

2 часа назад, Bogdan.Lukashov сказал:

Нюанс только в одном, это остановка сервака, чтоб сделать еще доп рейды и добавить винты. Их ведь на горячую не создать, надо бутать сервак в черное окно.

Шта? Вы точно занимаетесь своим делом? 

Например если речь о 410 говне мамонта то гуглить по слову hpacucli

[smartlid 2]

Можно взять за эти же деньги два 2Тб nvme которых и на 40Гбит хватит
А так и с этого без проблем можно раздать ~20гбит, смотри https://habr.com/ru/post/260669/
В рейде нет смысла, ни одного плюса не даст, но вполне может скорость в контроллер упрется, или умрет один диск и будет минус весь рейд. Лучше сделать просто балансировку между дисками

Відредаговано 2020-03-05 01:43:51 smartlid

[RockManX 9]

один Samsung SSD 850 EVO 1TB

чтение по сети порядка 360+ мегабАйт сек

использую дешевые стобаксовые сетевухи Edimax 10 Gigabit Ethernet PCI Express Adapter

по иперфу тянет 7+ гигабИт сек, ничего не тюнил

в интернетах есть скрины что они под 10гиг вытягивают

сервер FreeBDSM, фс ZFS, тестил через iSCSI и самбу

клиент win10, ntfs

 

[Bogdan.Lukashov 2]

2 часа назад, RockManX сказал:

один Samsung SSD 850 EVO 1TB

 

 

Как однин диск без RAID вижимает 7Гбит ? Это не сказки?  

Да чтение 360Мб х8  = 2,8Гб/сек это ведь максимум, что он может раздать в сеть.

[KaYot 3 731]

27 минут назад, Bogdan.Lukashov сказал:

Это не сказки

Это он про сеть зачем-то написал, удивительно что 10Г адаптер выдает под 10 гиг))

[Bogdan.Lukashov 2]

Сейчас главный вопрос упирается в диски, собирать raid-0 или не собирать, по контроллеру уже остановился на этом 1 x HP|  P822 FH 2GB FBWC посвежее будет. 

 

Железо в целом подобрано следующее:

 

HP ProLiant DL380e Gen8 25x SFF Hot-Swap

2 x Intel Xeon E5-2430L V2 2.40Ghz Hexa (6) Core

4 x 8GB PC3-12800R (DDR3-1600Mhz, 1RX4)

RAID  P822 FH 2GB FBWC

2 x HP Common Slot HS PSU 460W Gold

Intel X520-DA2 Dual Port 10Gb/s PCIe

120 SSD Intel на систему. (Debian/CentOS)

 

Винты на раздачу Samsung 860 EVO 1Tb  x 4 шт. 

 

Прокомментируйте пожалуйста выбор, и как лучше собрать. В будущем линейно масштабироваться и  добавлять в сервак новые SSD вплоть до запаковки в 20Тб. 

 

Обработчик только nginx на раздачу видео. 

 

[stunt 19]

Позвольте

Хапэ так хапэ, непонятно только зачем?

Е5-24хх это мягко говоря непопулярная платформа, хотя бы на 2011v1-v2 делать

Памяти очень мало, при ее стоимости можно бы и не жадничать, уже молчу о ддр4

Зачем контролеры и тем более рейд0 да еще и с кешами, 9201 хватит на все 24 диска, а можно и на SAS3 собирать - уже пора бы, распределение по дискам проще и надежнее сделать на софтовом уровне, решения есть

Ни в коем случае не берите десктоп хлам от самсунга, поинтересуйтесь сколько их на сервис приносят, сами столкнулись с 850про, обязательно трим, и не забивать больше 85%

Из достойного на рынке у нас - кингстоны DC500M или хотя бы R, или искать какой-то интересный энтерпрайз на ибее

 

Ну и это, если надо - пишите, есть опыт в этом деле, думаю сможем сэкономить вам немало денег и времени)

[Nubs 22]

59 минут назад, stunt сказал:

Позвольте

Хапэ так хапэ, непонятно только зачем?

Е5-24хх это мягко говоря непопулярная платформа, хотя бы на 2011v1-v2 делать

Памяти очень мало, при ее стоимости можно бы и не жадничать, уже молчу о ддр4

Зачем контролеры и тем более рейд0 да еще и с кешами, 9201 хватит на все 24 диска, а можно и на SAS3 собирать - уже пора бы, распределение по дискам проще и надежнее сделать на софтовом уровне, решения есть

Ни в коем случае не берите десктоп хлам от самсунга, поинтересуйтесь сколько их на сервис приносят, сами столкнулись с 850про, обязательно трим, и не забивать больше 85%

Из достойного на рынке у нас - кингстоны DC500M или хотя бы R, или искать какой-то интересный энтерпрайз на ибее

 

Ну и это, если надо - пишите, есть опыт в этом деле, думаю сможем сэкономить вам немало денег и времени)

Я бы брал самые дешевые хуананы вообще. 2011-3 под 10 гбит не нужно, хватит даже 1366
Памяти 32 гб с запасом, рейд тут ни к чему, ссд любые самые дешевые

[Bogdan.Lukashov 2]

Зачем памяти действительно много ставит? 32Gb посчитал стандарт. 

HP ProLiant DL380e Gen8 25x SFF Hot-Swap  просто есть цена хорошая на эту платформу выходит порядка 200$ старт конфигурации.  Темболее что полка на 25 винтов. 

RAID-0 чисто для скорости думаю собрать из 4х винтов и в будущем так делать остальные 20 винтов. 

Два порта по 10G хватит на раздачу.   В процц нагрузка не будет упиратся LA?