RAID-массив из SSD: создание, расширение, смена типа массива?

[Archy_k 14]

Приветствую всех Вас коллеги.

Собираю сервачек для поднятия на нем биллинга, или просто NAS на район будет на старом биллинге, но это не важно...

Имеется сервер с 2мя хеонами, и т.д., но главное - 2 SSD по 120 Гиг -> Обязательно RAID-массив, и конечно же тип 1 (зеркало).

И вот ряд вопросов, в которых прошу помощи у тех, кто знает или уже сталкивался:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?  

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10 (нулевой массив из двух зазеркаленых массивов по 2 SSD) - как это делается и не теряю ли я все - а далее с нуля, с бекапов? - например на машине, которая стоит под нагрузкой и в ней рэйд массив 1, и тут вдруг еще +2 диска и из тип 1 делается тип 10?

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Подскажите пожалуйста.

Заранее благодарю!

Відредаговано 2015-04-22 22:50:42 Archy_k

[ttttt 195]

  В 22.04.2015 в 22:49, Archy_k сказав:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?

У адекватных людей не было, они могли о чужом горьком опыте почитать и не пользоваться аппаратным.

 

  В 22.04.2015 в 22:49, Archy_k сказав:

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Это бред какой-то. Ничего ни в каком потом не расширяется и не меняется.

[BlackVS 35]

Автор хоть бы скинул, что за рейд-контроллер имеется. А то так - вопросы ни о чем и обо всем сразу.

1. Аппаратный рейд, если еще и контроллер по-настоящему аппаратный - очень даже нормально.

Зеркало удобно в том плане - что в случае умирания контроллера данные с винта можно считать, как правило, просто напрямую подключив к ПК (имею в виду к интерфейсу IDE/SATA/SAS на материнке).

2. Зеркало как правило проблемно расширить. Хотя опять от контроллера и соответствующего софта зависит. 

3. И в случае 0+1, в случае 1+0 - данные при сборке скорее всего накроются ибо структура хранения информации разная. Но опять-таки зависит от конкретного контроллера и его софта.  Но с вероятностью 99.9% при смене типа рейда данные накроются.

4. Если думаете расширять - то лучше сразу соберите 10 или 01. Или 5, если рейд-контроллер по-настоящему аппаратный %). 

То есть все зависит от конкретного софта по работе с рейдами.

Например, 100% будет работать вариант - вначале зеркало из двух винтов, потом еще одно зеркало из двух винтов. И если нужно из них сделать "один" диск - то собрать в гибридный диск (JBOD). Как правило добавление дисков в JBOD происходит без потери данных. Не рейд 10/01, но все же. Либо - вполне возможно - софт к рейду позволяет делать нечто подобное по-своему. Например, у Synology есть SHR-рейд - некий микс или подобие на 5-6 рейд, но со своими удобными "причудами"...

Відредаговано 2015-04-23 04:51:09 BlackVS

[ValRevan 38]

Из нашего опыта применения SSD

 

Современные аппаратные контроллеры нормально работают с SSD

Программные рейды тоже ОК с SSD

Какие могу быть минусы

Старые аппаратные рейды – видят SSD но не умеют правильно с ними работать

Подходят только относительно новые модели. Не забываем обновлять древние прошивки.

Для аппаратных рейдов под SSD не очень нужен кеш потому безкешевые модели ОК

В программных проблема – программные глюки, неправильная работа каналов (например на MB SATA1/2 каналы) потому тоже часто используем рейд контроллер в режиме каналов

 

Про верчу куда хочу из RAID1 в 6  и тд

Мы делаем бекап, переделываем рейд и потом восстанавливаем из бекапа

Так работает надежнее

 

Уровни RAID

Используем 1 и 5

Скорость SSD и так ОК, не вижу нужны в 10 с потерей емкости

 

Дешевые SSD

Мы используем в основном Intel

Когда берем для дешевизны десктопные модели, не используем 30% емкости

Это сильно влияет на % выходов из строя

 

Смешивание SSD

В рейде стараемся смешивать разные модели чтобы не было печального массового выхода из строя какой-то неудачной модели / партии

 

Что много использовали и ОК

1) Просто каналы и софт рейд

Dell PERC H310 перешитые в IT IR Mode (9211-8i) - $127 SAS/SATA 6Gb/s ; 2 SFF-8087 (int.) IT Mode – chanels

LSI 9211-8i -$157 SAS/SATA 6Gb/s ; 2 SFF-8087 (int.)

 

2) Аппартный безкешевый рейд 

LSI 9240-8i -$147 SAS/SATA 6Gb/s ; 2 SFF-8087 (int.)

 

3) Аппартный рейд с кешем 

LSI 9260-8i /256 (IBM branded) -$217 SAS/SATA 6Gb/s ; 2 SFF-8087 (int.)

LSI 9260/9261 -8i -$277 SAS/SATA 6Gb/s ; 2 SFF-8087 (int.)

[masters 126]

  В 22.04.2015 в 23:27, ttttt сказав:

 

  В 22.04.2015 в 22:49, Archy_k сказав:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?

У адекватных людей не было, они могли о чужом горьком опыте почитать и не пользоваться аппаратным.

 

  В 22.04.2015 в 22:49, Archy_k сказав:

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Это бред какой-то. Ничего ни в каком потом не расширяется и не меняется.

Что за бред? Вы вообще нормальным аппаратным рейдом пользовались?

Или только читали))

Відредаговано 2015-04-23 09:49:04 masters

[Archy_k 14]

  В 23.04.2015 в 04:45, BlackVS сказав:

Автор хоть бы скинул, что за рейд-контроллер имеется.

Есть сервак, нет отдельного рейд-контроллера, но делема - купить\не купить.

Есть на матери какой-то рэйд контроллер, как всегда...

Я думаю от простой как карандаш)))) но если Вы настаиваете, модель матери - на офф сайте. 

Кстати, спасибо Вам, очень таки дельная инфа!

 

 

  В 23.04.2015 в 06:42, ValRevan сказав:

Из нашего опыта применения SSD

Огромное спасибо!

Очень исчерпывающий ответ, все что хотел узнать, благодаря Вам теперь понял!

Відредаговано 2015-04-23 09:51:47 Archy_k

[Archy_k 14]

  В 23.04.2015 в 09:48, masters сказав:

 

  В 22.04.2015 в 23:27, ttttt сказав:

 

  В 22.04.2015 в 22:49, Archy_k сказав:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?

У адекватных людей не было, они могли о чужом горьком опыте почитать и не пользоваться аппаратным.

 

  В 22.04.2015 в 22:49, Archy_k сказав:

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Это бред какой-то. Ничего ни в каком потом не расширяется и не меняется.

Что за бред? Вы вообще нормальным аппаратным рейдом пользовались?

Или только читали))

 

О, посоветуйте, пожалуйста, на Ваш взгляд рейд-контроллер... или Вы все-таки на софт-рэйд рекомендуете?

Насчет расширения места и смена типа: как-то оно все там меняется.

Люди говорят (исполнители), что каждые 3 месяца\пол года меняются диски на серваках Deposit Files. Хотя там и файлопомойка, но все же - не копируют же они тонны инфы чтоб поменять 100 дисков. Я так понимаю, что рэйд 1 (зеркало) - и если меняешь 1 половину, 2 половина как-то должна восстановиться, иначе смысл рейда зеркала? - сидеть потом месяцы копировать сотни\тысячи терабайт?

Может Вы подскажете насчет этого... как оно на практике выглядит? Как это делается?

Відредаговано 2015-04-23 09:59:58 Archy_k

[dimka890 17]

дабы не плодить новые темы, кто юзал RAID из SSD на котроллерах LSI9260-8i и HP P822. Интересует RAID6 из 8 дисков, контроллер у всех ссдшек Marvell. Как оно? пашет? траблы есть какие-то?

[ValRevan 38]

>Контроллер на MB X7DBE

Могут быть фокусы с SSD

Делайте рейд и проверяйте

Если денег нет на LSI 9211 / 9240  $127-150 то пробуйте пользоваться, но не удивляйтесь странностям и замедленнию

Если есть то забывайте что набортный есть

 

>Люди говорят (исполнители), что каждые 3 месяца\пол года меняются диски на серваках Deposit Files. Хотя там и файлопомойка, но все же - не копируют же они тонны инфы чтоб поменять 100 дисков.

А у кого-то SSD в космос летают

И тд

Пляшите от своих задач

 

>Я так понимаю, что рэйд 1 (зеркало) - и если меняешь 1 половину, 2 половина как-то должна восстановиться, иначе смысл рейда зеркала? - сидеть потом месяцы копировать сотни\тысячи терабайт?

Может Вы подскажете насчет этого... как оно на практике выглядит? Как это делается?

В RAID1 поменяли 1 диск на новый и сказали восстановиться зеркалу

Лично я же не ленюсь делать все руками через BackUp оставляя такое для настоящих аварий

[argus78 114]

Был эксперимент. 4-е SAS 146 гб в 10 рейде. Вышел из строя один винт. 146 в продаже не было. Был взят 300-й. Заменен. Рейд пожужжал-пожужжал    И сказал все ОК. Потом были заменен еще один винт. И так все 4-е. В конце получилось неразмеченное место от разницы объема винтов. Разметили и пользовали.

[ValRevan 38]

>argus78

Так и есть

Всегда можно заменить меньший объем большим

Вы же можете вылить поллитра в литровую тару без потерь

У меня иногда берут 146Gb вместо 72Gb когда модели немного не совпадают по объему

[ttttt 195]

  В 23.04.2015 в 09:48, masters сказав:

Что за бред? Вы вообще нормальным аппаратным рейдом пользовались?

Или только читали))

Игрался, не пользуюсь. Что уже не так? Если сравнивать аппаратный и софтовый рейд, то соверменные процессоры настолько мощные и настолько плохо утилизированы, что в аппаратных контроллерах уже вообще нет смысла. Даже ребенок это понимает.

 

И раз уж о рейдах пошло, то в них и так очень мало смысла, ибо надежности не добавляют и обслуживание не упрощают. Восстановление из бэкапов в 1000 раз важнее, значительно сложнее, но при этом почему-то про бэкапы никто не спрашивает. Ну что ж, станут еще одной циферкой в печальной статистике, где больше половины компаний при восстановлении из бэкапов обнаруживают, что у них они неправильно работали и восстановиться не могут.

 

EDIT:

Я бы на месте автора, раз уже все равно не строит отказоустойчивость, а балуется рейдами, взял бы один S3500 без рейда и не задумывался, а основной упор делал бы на бэкапы.

Відредаговано 2015-04-23 13:48:02 ttttt

[ValRevan 38]

> взял бы один S3500 без рейда и не задумывался, а основной упор делал бы на бэкапы. 

Стоит сервер в работе

На нем зеркало из 2х SSD или HDD

Ломается 1 и сервер продолжает  работать без простоев

 

В вашем сценарии он останавливается и надо его восстанавливать

Теряя данные между точкой остановки и последним бекапом

 

 

ИМХО 

RAID с отказоустойчивость ИЛИ BackUp

Лучше И место ИЛИ

[ttttt 195]

  В 23.04.2015 в 14:31, ValRevan сказав:

RAID с отказоустойчивость ИЛИ BackUp

Нет слов

[andrew82 1]

Подскажите а появились уже Рейд контроллеры которые умеют передавать TRIM ?

Без этого может наступить деградация производительности ССД.

[ValRevan 38]

  В 23.04.2015 в 14:45, ttttt сказав:

 

  В 23.04.2015 в 14:31, ValRevan сказав:

RAID с отказоустойчивость ИЛИ BackUp

Нет слов

100%

Останавливается критичный сервер и админ мямлит что из бекапа через полчаса-час что-то поднимет

Так что побольше смайликов и !!! в резюме для нового места

[ValRevan 38]

  В 23.04.2015 в 14:47, andrew82 сказав:

Подскажите а появились уже Рейд контроллеры которые умеют передавать TRIM ?

Без этого может наступить деградация производительности ССД.

Если почитать как работает TRIM то можно ответить на эти вопросы

 

Современные аппаратные рейды понимают SSD и не вызывают быстрой сильной деградации производительности

[andrew82 1]

По моей информации передавать ТРИМ умеет только Интел и только в режиме Рейд 0.

Из серверных не умеет никто. Может за последнее время что-то и поменялось.

[Ruslik 27]

  В 23.04.2015 в 09:51, Archy_k сказав:

 

  В 23.04.2015 в 09:48, masters сказав:

 

  В 22.04.2015 в 23:27, ttttt сказав:

 

  В 22.04.2015 в 22:49, Archy_k сказав:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?

У адекватных людей не было, они могли о чужом горьком опыте почитать и не пользоваться аппаратным.

 

  В 22.04.2015 в 22:49, Archy_k сказав:

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Это бред какой-то. Ничего ни в каком потом не расширяется и не меняется.

Что за бред? Вы вообще нормальным аппаратным рейдом пользовались?

Или только читали))

 

О, посоветуйте, пожалуйста, на Ваш взгляд рейд-контроллер... или Вы все-таки на софт-рэйд рекомендуете?

Насчет расширения места и смена типа: как-то оно все там меняется.

Люди говорят (исполнители), что каждые 3 месяца\пол года меняются диски на серваках Deposit Files. Хотя там и файлопомойка, но все же - не копируют же они тонны инфы чтоб поменять 100 дисков. Я так понимаю, что рэйд 1 (зеркало) - и если меняешь 1 половину, 2 половина как-то должна восстановиться, иначе смысл рейда зеркала? - сидеть потом месяцы копировать сотни\тысячи терабайт?

Может Вы подскажете насчет этого... как оно на практике выглядит? Как это делается?

 

 

Тема с депозитфайлами совсем другого маштаба и формата.

Там используют ZFS от соляриса, этот "рейд" работает совсем по другому.

В вашем случае можно использовать рейд5/6 и автоматическое расширение на нормальном контроллере, а также использовать фс, которая поддерживает расширение разделов.

Хотя вариант с бекапом и восстановлением на новый массив железобетонный.

Для простоты миграции делайте все в виртуальном контейнере и мигрируйте хоть налету на другую машину/массив.

[KaYot 3 730]

А главное - для биллинга небольшой сети нет никакой разницы какой там будет контроллер, уровень рейда и вообще SSD или HDD.

Пару винтов в raid1 и вперед.

[stunt 19]

  В 23.04.2015 в 06:42, ValRevan сказав:

 

Из нашего опыта применения SSD

 

Современные аппаратные контроллеры нормально работают с SSD

Программные рейды тоже ОК с SSD

Какие могу быть минусы

Старые аппаратные рейды – видят SSD но не умеют правильно с ними работать

Подходят только относительно новые модели. Не забываем обновлять древние прошивки.

Для аппаратных рейдов под SSD не очень нужен кеш потому безкешевые модели ОК

В программных проблема – программные глюки, неправильная работа каналов (например на MB SATA1/2 каналы) потому тоже часто используем рейд контроллер в режиме каналов

.....

И добавить нечего, можете распечатать и повесить как инструкцию, на будущее!

 

  В 23.04.2015 в 18:04, Ruslik сказав:

 

  В 23.04.2015 в 09:51, Archy_k сказав:

 

  В 23.04.2015 в 09:48, masters сказав:

 

  В 22.04.2015 в 23:27, ttttt сказав:

 

  В 22.04.2015 в 22:49, Archy_k сказав:

1. Аппаратный RAID-массив - это нормально? Ни у кого горького опыта с этим не было? Делать?

У адекватных людей не было, они могли о чужом горьком опыте почитать и не пользоваться аппаратным.

 

  В 22.04.2015 в 22:49, Archy_k сказав:

2. Интересует гибкость: возможность добавить еще пару дисков, изменить тип, например с 1 на 10

3. Что потом проще расширять, добавлять, менять диски, менять тип рейд-массива... и т.д. - аппаратный или может быть все таки программный рейд-массив?

Это бред какой-то. Ничего ни в каком потом не расширяется и не меняется.

Что за бред? Вы вообще нормальным аппаратным рейдом пользовались?

Или только читали))

 

О, посоветуйте, пожалуйста, на Ваш взгляд рейд-контроллер... или Вы все-таки на софт-рэйд рекомендуете?

Насчет расширения места и смена типа: как-то оно все там меняется.

Люди говорят (исполнители), что каждые 3 месяца\пол года меняются диски на серваках Deposit Files. Хотя там и файлопомойка, но все же - не копируют же они тонны инфы чтоб поменять 100 дисков. Я так понимаю, что рэйд 1 (зеркало) - и если меняешь 1 половину, 2 половина как-то должна восстановиться, иначе смысл рейда зеркала? - сидеть потом месяцы копировать сотни\тысячи терабайт?

Может Вы подскажете насчет этого... как оно на практике выглядит? Как это делается?

 

 

Тема с депозитфайлами совсем другого маштаба и формата.

Там используют ZFS от соляриса, этот "рейд" работает совсем по другому.

В вашем случае можно использовать рейд5/6 и автоматическое расширение на нормальном контроллере, а также использовать фс, которая поддерживает расширение разделов.

Хотя вариант с бекапом и восстановлением на новый массив железобетонный.

Для простоты миграции делайте все в виртуальном контейнере и мигрируйте хоть налету на другую машину/массив.

 

+1

Максимум ИО от ссд нужно либо на активную базу, битрикс какой-нибудь дурацкий, ну и для отдачи тонн контента прямо с дисков...

И тут нужны 9201 (только не с Р20 прошивкой!!!), 9240, 9260

Набортным контроллерам доверия нет, как его нет к рейдам 5, 6 и прочим глупостям - RAID с отказоустойчивость ИЛИ BackUp, как сказал ув. ValRevan, очень просто!

Опять же - если нет представления что нужно, зачем и почему - тогда надо с этого необходимо и начинать (дабы не совершать кучу дорогих и необязательных ошибок-экспериментов)!

[ttttt 195]

RAID без бэкапов - это шутки такие?

[masters 126]

 

 

  В 23.04.2015 в 13:44, ttttt сказав:

Игрался, не пользуюсь. Что уже не так? Если сравнивать аппаратный и софтовый рейд, то соверменные процессоры настолько мощные и настолько плохо утилизированы, что в аппаратных контроллерах уже вообще нет смысла. Даже ребенок это понимает.

 

 

Да, только если вдруг Вас случайно подДДОСят и Ваш рейд развалится, что делать будете?

А вот Вам пример - насколько мощные новые процы. Это 2 х E5-2680. Сейчас бы Ваш софт-рейд уже развалился

top - 23:01:13 up 148 days, 46 min,  1 user,  load average: 12.16, 11.19, 8.17

 

 

  В 23.04.2015 в 13:44, ttttt сказав:

И раз уж о рейдах пошло, то в них и так очень мало смысла, ибо надежности не добавляют и обслуживание не упрощают. Восстановление из бэкапов в 1000 раз важнее, значительно сложнее, но при этом почему-то про бэкапы никто не спрашивает. Ну что ж, станут еще одной циферкой в печальной статистике, где больше половины компаний при восстановлении из бэкапов обнаруживают, что у них они неправильно работали и восстановиться не могут.

 

Вы точно не работали с хайлоад-системами. Когда на сервере висит несколько миллионов человек и даже минутный простой неприемлем. С рейдом хоть успеваешь смигрировать виртуалку на другой сервер без простоя, а так - попадос.

Да - бэкап не менее важен. И обязательно нужен, это даже не обсуждается. Но если нужно минимизировать простои - то без рейда никак. И только аппаратный.

[ttttt 195]

  В 23.04.2015 в 20:13, masters сказав:

 

О, да вы, товарищ, большой фантазер

Вопросов больше не имею.

Відредаговано 2015-04-23 20:29:14 ttttt

[masters 126]

  В 23.04.2015 в 20:28, ttttt сказав:

О, да вы, товарищ, большой фантазер

Вопросов больше не имею.

Не понял Вашего сарказма...

Если у Вас не разу не разваливался софт-рейд - вы везучий человек. У меня разваливался и не раз.

Если товарищ Злодей тут появится - он Вам расскажет в подробностях  

Відредаговано 2015-04-24 04:35:28 masters