Bogdan.Lukashov 2 Posted 2020-03-04 17:10:45 Share Posted 2020-03-04 17:10:45 Добрый день, стоит задача собрать сервер под раздачу видео-контента. Вопросы по массиву: Рассматриваем 4х винта Samsung 860 EVO 1Tb в HW RAID-0 платформа HPE. RAID HW 1Gb памяти. Винчестеры заявляют скажем 500Мб/с скорость, на тестах видели что в RAID-0 выжимают 1к скорость. А теперь непонятно это 1Гб и значит равно 1Гб каналу? Или же там умножается показатель на х8 ? Просто сколько можно реально раздавать с SSD в RAID-0 на чтение в сеть? 1Гбит-5Гбит или 10Гбит? И еще ресурс TBW не используется, когда идет сугубо чтение с SSD? Не должны быстро сдохнуть? Про бекапы не спрашивайте, инфа будет просто скидыватся на sata 4tb обычный. Риски RAID-0 понятны. У кого был опыт с раздачей такой в сеть и грузил канал по полной? Поделитесь информацией. Вопросы по серверу: Достаточно ли только для раздачи 2x Six-Core Xeon X5675 3.06GHz/12MB/6.4GT и нужно ли много оперативы? Или достаточно 24Гб? При раздачи видео-контента грузится ли сильно проц? Раздача планируется чисто nginx делать. больше ничего на сервере не будет. Вопросы по сетевой карте: Если юзать пока порты железки их там 4х 1Gb медь, или ставить сразу карту типа Intel X540-T2 и вешать на оптику 10G в модуль? Но тут вопрос в другом сможем ли выжать скорость по SSD или лучше балансировать и раскидывать на кучу серваков? В чем может быть затык? Спасибо за ответы. Link to post Share on other sites
masters 126 Posted 2020-03-04 17:17:42 Share Posted 2020-03-04 17:17:42 Умножается на 8. Железо свежее смотрите, а то может все упереться в шину. 1 Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 17:28:23 Author Share Posted 2020-03-04 17:28:23 SSD speed То-есть если чтения тесты показывают на RAID-0 1200Мб то это 9.6Гбит полосу можно выжать на них? RAID-0 Как лучше собирать RAID 4xRAID-0 или 2xRAID-0 посоветуйте оптимальный вариант. Просто в системе можно добавить до 10 винтов 2.5 вот и думаю на будущее собрать еще один массив или лучше разбить на несколько сразу? CPU load Процессор сильно грузится при раздачи контента в сеть? Или там больше сетевая играет роль? Network 10Gbps Какие сетевухи считаются надежными для такого трафика цена/качество/стабильность? Спасибо. Link to post Share on other sites
l1ght 377 Posted 2020-03-04 18:57:07 Share Posted 2020-03-04 18:57:07 1 час назад, Bogdan.Lukashov сказал: 860 EVO 1Tb десктопные диски, забудьте берите серверные которые стабильно дают одинаковую скорость по цене +\- тоже самое аля samsung 883 или интеловые 1 час назад, Bogdan.Lukashov сказал: RAID HW 1Gb памяти очень может оказатся что упретесь именно в рейд контроллер на 10ж отдачи если прям хочется дешево то лучше взять пачку недорогих серверов чем пытаться в один засунуть 1 час назад, Bogdan.Lukashov сказал: Процессор сильно грузится при раздачи контента в сеть? Или там больше сетевая играет роль? отдача контента дело не шибко сложное если это не миллиард мелких файликов, сетевка само собой играет огромную роль 1 1 Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 19:03:31 Author Share Posted 2020-03-04 19:03:31 3 минуты назад, l1ght сказал: на 10ж отдачи если прям хочется дешево то лучше взять пачку недорогих серверов И с каждого выжимать по 4-5Гб ? 4 минуты назад, l1ght сказал: десктопные диски, забудьте Сдохнут быстро даже на чтение? Записи то в основном не будет. Серию, которую вы дали она в 3х дороже. Опять же таки берем не под БД или что то важное а видео-контент + бекапы. Нужно дешево но, чтоб работало не дохло, самсунги в 860 серии хорошо себя зарекомендовали в сравнение с прошлым поколением. Link to post Share on other sites
KaYot 3,732 Posted 2020-03-04 19:06:49 Share Posted 2020-03-04 19:06:49 1 минуту назад, Bogdan.Lukashov сказал: Сдохнут быстро даже на чтение? Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет. Но я бы взял пару NVME-дисков, включил бы их в pcie переходник и собрал в софт-рейд. Древний рейд контроллер вполне может стать узким местом. 1 Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 19:14:13 Author Share Posted 2020-03-04 19:14:13 2 минуты назад, KaYot сказал: Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет. Но я бы взял пару NVME-дисков, включил бы их в pcie переходник и собрал в софт-рейд. Древний рейд контроллер вполне может стать узким местом. Да думал, но греются сильно (даже если колхозить с китайским переходником под pci-e и радиатором) и в серваке только 3 слота под PCI-E 3.0 NVME хорошая тема, но думаю там и raid особо не нужен. Пока как то сыровато думаю 2,5 ссдшками обойтись. по сервакам серия HPE G7, G8 если быть точнее DL360 G7 Hardware RAID Enabled P410i 1GB FBWC ну не думаю что сильно древняя модель? Link to post Share on other sites
l1ght 377 Posted 2020-03-04 19:36:00 Share Posted 2020-03-04 19:36:00 9 минут назад, KaYot сказал: Нет конечно, ерунду человек написал. На чтении кроме цены разницы не будет. у меня в ноуте такой, со временем характеристики падают ощутимо + проблемы с параллельными операциями а тут человек хочет 10ж видео отдавать и я подзреваю что это не один и тот же файл который из пейдж кеша подтянется 14 минут назад, Bogdan.Lukashov сказал: Сдохнут быстро даже на чтение? Записи то в основном не будет ведут себя даже на чтение как говно, даже pro, не то что evo 15 минут назад, Bogdan.Lukashov сказал: Серию, которую вы дали она в 3х дороже в 2, но 1 терабайт за 7500 (против 4500) это не дорого, как по мне 6 минут назад, Bogdan.Lukashov сказал: Пока как то сыровато думаю ничо оно не сырое Link to post Share on other sites
mixtery 123 Posted 2020-03-04 20:03:36 Share Posted 2020-03-04 20:03:36 44 минуты назад, Bogdan.Lukashov сказал: по сервакам серия HPE G7, G8 если быть точнее DL360 G7 Hardware RAID Enabled P410i 1GB FBWC ну не думаю что сильно древняя модель? закопать, оно старое и медленное, с ограничениями по iops и не совсем про ssd был горький опыт по набивке 410 дисочками и сбром на нём разных уровней рейда - итог: отвал, со временем, контроллера (с jbod вроде живёт до сих пор) p.s. goto stackoverflow with 'p410i thoughput' 1 Link to post Share on other sites
KaYot 3,732 Posted 2020-03-04 20:08:51 Share Posted 2020-03-04 20:08:51 30 минут назад, l1ght сказал: у меня в ноуте такой, со временем характеристики падают ощутимо + проблемы с параллельными операциями Trim включить надо, чего б ему тормозить начинать просто так? У меня 850 Evo несколько лет в десктопе, просто огонь. Причем и чтение, и запись. 1 Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 20:20:11 Author Share Posted 2020-03-04 20:20:11 14 минут назад, mixtery сказал: закопать, оно старое и медленное, с ограничениями по iops и не совсем про ssd А если взять HP ProLiant DL380e Gen8 2U 25x 2.5" (SFF) 2x E5-2430L V2 - 6-Core 2.40Ghz скажем? И там развернуть отдачу? Просто на сколько тут важна платформа и CPU? Разве туда ложится нагрузка? Link to post Share on other sites
mixtery 123 Posted 2020-03-04 20:22:03 Share Posted 2020-03-04 20:22:03 1 минуту назад, Bogdan.Lukashov сказал: А если взять HP ProLiant DL380e Gen8 2U 25x 2.5" (SFF) 2x E5-2430L V2 - 6-Core 2.40Ghz скажем? И там развернуть отдачу? Просто на сколько тут важна платформа и CPU? Разве туда ложится нагрузка? речь была конкретно про рейд контроллер p410i, с которым был опыт ткскзть заранее предупреждаю что он не очень Link to post Share on other sites
l1ght 377 Posted 2020-03-04 20:31:08 Share Posted 2020-03-04 20:31:08 21 минуту назад, KaYot сказал: Trim включить надо, чего б ему тормозить начинать просто так? включен конечно Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 20:52:08 Author Share Posted 2020-03-04 20:52:08 Ок а рационально вообще использовать тогда и городить RAID-0 ? Может просто взять полку такую, и добавлять 2.5 по мере необходимости каждый винт будет откручивать по 400м/с и хватит с него? А на 10G просто разабалнсировать винтами нагрузки? Или все таки RAID-0 ? Link to post Share on other sites
l1ght 377 Posted 2020-03-04 20:58:04 Share Posted 2020-03-04 20:58:04 5 минут назад, Bogdan.Lukashov сказал: Или все таки RAID-0 он размажет данные равномерно по дискам если не лепить рейд то придется делать это ручками, если много пользователей запросят файлы с одного диска то диск обосрется Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-04 21:25:49 Author Share Posted 2020-03-04 21:25:49 Тогда как лучше собирать 2х SSD RAID-0 или 4х SSD RAID-0 ? Нюанс только в одном, это остановка сервака, чтоб сделать еще доп рейды и добавить винты. Их ведь на горячую не создать, надо бутать сервак в черное окно. Хотя на счет размазать на куски по скорости - это аргумент. Link to post Share on other sites
Den_LocalNet 1,474 Posted 2020-03-04 23:30:57 Share Posted 2020-03-04 23:30:57 2 часа назад, Bogdan.Lukashov сказал: Нюанс только в одном, это остановка сервака, чтоб сделать еще доп рейды и добавить винты. Их ведь на горячую не создать, надо бутать сервак в черное окно. Шта? Вы точно занимаетесь своим делом? Например если речь о 410 говне мамонта то гуглить по слову hpacucli 2 Link to post Share on other sites
smartlid 2 Posted 2020-03-05 01:38:39 Share Posted 2020-03-05 01:38:39 (edited) Можно взять за эти же деньги два 2Тб nvme которых и на 40Гбит хватит А так и с этого без проблем можно раздать ~20гбит, смотри https://habr.com/ru/post/260669/ В рейде нет смысла, ни одного плюса не даст, но вполне может скорость в контроллер упрется, или умрет один диск и будет минус весь рейд. Лучше сделать просто балансировку между дисками Edited 2020-03-05 01:43:51 by smartlid Link to post Share on other sites
RockManX 9 Posted 2020-03-05 06:24:33 Share Posted 2020-03-05 06:24:33 один Samsung SSD 850 EVO 1TB чтение по сети порядка 360+ мегабАйт сек использую дешевые стобаксовые сетевухи Edimax 10 Gigabit Ethernet PCI Express Adapter по иперфу тянет 7+ гигабИт сек, ничего не тюнил в интернетах есть скрины что они под 10гиг вытягивают сервер FreeBDSM, фс ZFS, тестил через iSCSI и самбу клиент win10, ntfs Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-05 09:24:48 Author Share Posted 2020-03-05 09:24:48 2 часа назад, RockManX сказал: один Samsung SSD 850 EVO 1TB Как однин диск без RAID вижимает 7Гбит ? Это не сказки? Да чтение 360Мб х8 = 2,8Гб/сек это ведь максимум, что он может раздать в сеть. Link to post Share on other sites
KaYot 3,732 Posted 2020-03-05 09:53:32 Share Posted 2020-03-05 09:53:32 27 минут назад, Bogdan.Lukashov сказал: Это не сказки Это он про сеть зачем-то написал, удивительно что 10Г адаптер выдает под 10 гиг)) Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-05 10:13:07 Author Share Posted 2020-03-05 10:13:07 Сейчас главный вопрос упирается в диски, собирать raid-0 или не собирать, по контроллеру уже остановился на этом 1 x HP| P822 FH 2GB FBWC посвежее будет. Железо в целом подобрано следующее: HP ProLiant DL380e Gen8 25x SFF Hot-Swap 2 x Intel Xeon E5-2430L V2 2.40Ghz Hexa (6) Core 4 x 8GB PC3-12800R (DDR3-1600Mhz, 1RX4) RAID P822 FH 2GB FBWC 2 x HP Common Slot HS PSU 460W Gold Intel X520-DA2 Dual Port 10Gb/s PCIe 120 SSD Intel на систему. (Debian/CentOS) Винты на раздачу Samsung 860 EVO 1Tb x 4 шт. Прокомментируйте пожалуйста выбор, и как лучше собрать. В будущем линейно масштабироваться и добавлять в сервак новые SSD вплоть до запаковки в 20Тб. Обработчик только nginx на раздачу видео. Link to post Share on other sites
stunt 19 Posted 2020-03-05 23:21:27 Share Posted 2020-03-05 23:21:27 Позвольте Хапэ так хапэ, непонятно только зачем? Е5-24хх это мягко говоря непопулярная платформа, хотя бы на 2011v1-v2 делать Памяти очень мало, при ее стоимости можно бы и не жадничать, уже молчу о ддр4 Зачем контролеры и тем более рейд0 да еще и с кешами, 9201 хватит на все 24 диска, а можно и на SAS3 собирать - уже пора бы, распределение по дискам проще и надежнее сделать на софтовом уровне, решения есть Ни в коем случае не берите десктоп хлам от самсунга, поинтересуйтесь сколько их на сервис приносят, сами столкнулись с 850про, обязательно трим, и не забивать больше 85% Из достойного на рынке у нас - кингстоны DC500M или хотя бы R, или искать какой-то интересный энтерпрайз на ибее Ну и это, если надо - пишите, есть опыт в этом деле, думаю сможем сэкономить вам немало денег и времени) Link to post Share on other sites
Nubs 22 Posted 2020-03-06 00:26:43 Share Posted 2020-03-06 00:26:43 59 минут назад, stunt сказал: Позвольте Хапэ так хапэ, непонятно только зачем? Е5-24хх это мягко говоря непопулярная платформа, хотя бы на 2011v1-v2 делать Памяти очень мало, при ее стоимости можно бы и не жадничать, уже молчу о ддр4 Зачем контролеры и тем более рейд0 да еще и с кешами, 9201 хватит на все 24 диска, а можно и на SAS3 собирать - уже пора бы, распределение по дискам проще и надежнее сделать на софтовом уровне, решения есть Ни в коем случае не берите десктоп хлам от самсунга, поинтересуйтесь сколько их на сервис приносят, сами столкнулись с 850про, обязательно трим, и не забивать больше 85% Из достойного на рынке у нас - кингстоны DC500M или хотя бы R, или искать какой-то интересный энтерпрайз на ибее Ну и это, если надо - пишите, есть опыт в этом деле, думаю сможем сэкономить вам немало денег и времени) Я бы брал самые дешевые хуананы вообще. 2011-3 под 10 гбит не нужно, хватит даже 1366 Памяти 32 гб с запасом, рейд тут ни к чему, ссд любые самые дешевые Link to post Share on other sites
Bogdan.Lukashov 2 Posted 2020-03-06 08:44:38 Author Share Posted 2020-03-06 08:44:38 Зачем памяти действительно много ставит? 32Gb посчитал стандарт. HP ProLiant DL380e Gen8 25x SFF Hot-Swap просто есть цена хорошая на эту платформу выходит порядка 200$ старт конфигурации. Темболее что полка на 25 винтов. RAID-0 чисто для скорости думаю собрать из 4х винтов и в будущем так делать остальные 20 винтов. Два порта по 10G хватит на раздачу. В процц нагрузка не будет упиратся LA? Link to post Share on other sites
Recommended Posts
Create an account or sign in to comment
You need to be a member in order to leave a comment
Create an account
Sign up for a new account in our community. It's easy!
Register a new accountSign in
Already have an account? Sign in here.
Sign In Now