NAS сервер об’ємом 100 - 120 ТБ

[Germidar 10]

Доброго вечора, підкажіть будь-ласка, чи організовував (збирав) власними силами NAS сервер таких об’ємів? І на чому це все організовано?

Маю досвід побудови ftp сервера на 8 ТБ з організацією ЖД по 2 ТБ у RAID масив, та агрегацією 2-х гігабітних лінків на свіч. (вдалося підняти швидкість зчитування ~ до 190 - 210 МБ/с). У продажу вже є 4-х та 6-ти ТБ HDD, тобто, для організації такого величезного (для мене це дуже багато) знадобиться меньше дисків. Але після підрахунків, визначив, що навіть якщо взяти купу плат розширення SATA3 максимум вийде близько 60 ТБ.

Скоріш за все потрібно буде купувати готове рішення. Щось подібне до TS-EC2480U-RP. Прошу підказати, чи хтось стикався з подібним, та чи може хтось порадити хороший NAS сервер на вищевказану ємність?

Дякую за увагу, тим хто дочитав до кінця, чекаю на ваші поради.

[Den_LocalNet 1,474]

Дисковые корзины можно колбасой штук по 6 цеплять на один контроллер. Ёмкость это не единственная характеристика NAS.

А вообще почитайте про http://m.geektimes.ru/post/68832/

[Germidar 10]

 

 

А вообще почитайте про http://m.geektimes.ru/post/68832/

 

Дякую за швидкий відгук. Буду вивчати. Хоча вже дивлюся на готове рішення від DEL (DEL EQL)

[Ruslik 27]

Мы делали стореджи с 36х3tb и 24х3tb, много. Все работает более-менее.

Есть инсталяции с 45х4тб также, но работают недолго относительно, тоже все в порядке пока.

Смотрите в сторону бекплейнов с експандером, у супермикры это EL1 и EL2.

Если будете обьединять в рейд, старайтесь много дисков не ложить в 1 массив, так как при падении одного диска потом долго собирается массив и деградирует скорость.

Оптимальным для хранения на мой взгляд является ZFS, либо на FreeBSD либо на клонах Solaris.

Многое зависит от того, что собираетесь хранить и какая производительность требуется.

[Germidar 10]

 

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

[Den_LocalNet 1,474]

200мбайт/с это ни о чём. Можно выложить бдрипы по 60 гигов и отдать с домашнего писюка эту скорость без проблем. Но если там мелкое файло - хоть бы треть скорости получили.

[Germidar 10]

Файлы не менее 60 - 80, иногда около 100 Гб будут. Дело в том, что более 200 МБ/с не надо, т. к. сетевушки у клиентов будут гиговые, более гига на ПК не пойдёт. Но дело в том, что одновременно будет с серваком работать около 3 - 5 ПК. От серва до свича, хочу 2 линка агрегации реализовать.

[buryanov 5]

90 шт 2Т wd black в корзины через экспандеры на 2-а контроллера, машина E3-12xx, 2*10G nic, windows server 2012r2. В продакшине 1 год и 1 месяц, несколько раз перегружали после обновлений системы. используется по трафику: 20% на бекапы, 10% проэкты и 70% на хранение и доступ к отснятому видео(это видеостудия), клиенты: 4 c 10G - сервера по обработке видео и до 30*1G. 

[Ruslik 27]

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

 

 

 Более-менее - это иногда выходят из строя диски, приходится менять.

200Мб/с  на больших файлах - ниочем. Будет работать без проблем. Если будут мелкие файлы, встает вопрос кеша на контроллере.

Тогда стоит задуматься о кешировании на ссд хотя бы.

На 3-5 компов - это не нагрузка. У нас раздается в веб все это дело с трафиком от 1 до 4 гбит, до 1000 одновременных конектов.

Не секрет на чем собирали.

Ключевые моменты

Supermicro 4U либо на 24, либо на 36, либо на 45 корзин.

Ключевой момент - бекплейн с маркировкой SAS2, иначе будут проблемы с дисками более 2ТБ.

Как писал ранее - EL1 бекплейн с экспандером на все диски сразу.

Далее контроллер с поддержкой SAS2(4x600Мб/с на конектор), использовали разные, родные AOC-USAS2, Areca, LSI, Adaptec.

Внешние экспандеры и всяческий колхоз не рекомендую, попробовали несколько вариантов, ловили выпадание дисков подключеных через экспандеры.

Есть еще проблемы с дисками несерверных серий, они тоже имеют свойство выпадать просто так, требуется ребут сервера, либо использовать ARECA контроллеры с внешним управлением, они позволяют резестить конткретный канал с диском и переопределять его через внешний веб-интерфейс.

Цена на ареку правда может кусаться, нам они обходятся в 700-900 баксов, в зависимости от модели.

[Germidar 10]

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

[Ruslik 27]

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

 

Задавайте, что уж.

Можно еще покурить на тему JBOD. Ставите любой сервер с контроллером, где есть внешние порты и подключаете JBOD в контроллер.

Дальше просто видно много дисков, рулить ними можно из контроллера или через утилиту.

[C@der 1]

nutanix?

http://habrahabr.ru/company/nutanix/blog/257855/

[lyric 25]

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Edited 2015-07-24 12:08:53 by lyric

[omp 75]

Поддерживаю Ruslik. Такими объёмами не делали - но копать надо в сторону ZFC под FeeBSD.

[stunt 19]

У нас были немного пересекающиеся задачи - 100Тб сейчас уже не сильно пугающая цифра в принципе. 6ки сами еще не тестили - дорого да и пока нет надобности. 4-5линейных потоков это конечно фигня, можно насчет скорости и не заморачиваться... Если данные не супер-важные - мы вполне себе обходились софтовым объединением в пул - aufs. Сейчас даже ДЦ еще 3ки для массивов юзают, 4ки дорого и неоптимально. Быстрый кеш - это парочка ссд для актуальных файлов. Если ставить в гермозону - тогда действительно супермикра на 24 диска и вперед.

 

nutanix?
http://habrahabr.ru/company/nutanix/blog/257855/

 

Nutanix - сырое все, пока ставил - долго матерился, свистелок в веб-интерфейсе зато понаделали.

 

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Вот именно эта мамка очень интересная, на 7 слотов) Но рейд5 на гринах - это сильно!

[ValRevan 38]

> Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?     

[ssm2000 13]

 

 

Что я делаю не так?

 

Наоборот, наверное, вовремя читаете молитвы за здравие дисков )))

[stunt 19]

> Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?     

Все правильно сделал(с) Завидую вашей удаче. Мы проходили и через рассыпавшийся рейд5, а также знаем о надежности гринов со своего опыта - первая партия 20шт оказалась последней - не стоит экономия ни потерь в производительности ни в надежности)

 

 

Что я делаю не так?

 

Наоборот, наверное, вовремя читаете молитвы за здравие дисков )))

 

[ttttt 195]

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали.

Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

 

[stunt 19]

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали. Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

Не не не, сигейты нет, спасибо - когда у нас массово посыпались 2-годичные 3Тб, четко после срока гарантии, еще была статья на хабре по этому поводу. Даже отправлял письмо в саппорт - признаете ли вы хоть то что это ваш косяк и в таких случаях отзывную кампанию следовало бы запустить? Отморозились, гарантия закончилась - можете прибить себе их на стенку!

Сейчас вот арендуем в Голландии в дц сервера - так товарищи ставят в основном только тошиба/хитачи, к сами этому и сами давно пришли - в конечном итоге выходит спокойнее, дешевле и проще! 

[Ruslik 27]

Хитачи тоже имеют свои особенности.

В целом сигейт серверных серий - полет отличный.

Ходят 5 лет без проблем практически, на 100 дисков бывает 1-2 дохлых, которые меняются по гарантии.

Десктопные же серии - беда, умирают за 3 года, да и в течение 3 лет из 100 дисков 10 стабильно по гарантии уходит еще минимум.

Сильно дохнут в 36 и 45-дисковых инсталяциях.

[Germidar 10]

Много страшилок про Green-ы WD-шные слышал, что сыпуться после 2-х лет. Правда не в RAID, а просто 2 ТБ как дополнительный для фильмов, клипов, музыки и Инсталяционных ISO образов.
Поэтому почему то смотрю в сторону красных. Хотелось бы Черные, но они дорогие. да и срок службы думаю не очень то будет из-за свер высоких оборотов.

[ValRevan 38]

Не вижу особо ничего хорошего в WD Red

Высокая цена и низкая скорость

Если приемлемо что диск ниже чем 7200 RPM то предпочитаю более доступные по цене

[Germidar 10]

 

 

Не вижу особо ничего хорошего в WD Red

 

Слышал, что они вроде бы как понадёжнее будут, да и отказоустойчивость у них хорошая.