Перейти до

NAS сервер об’ємом 100 - 120 ТБ


Рекомендованные сообщения

Доброго вечора, підкажіть будь-ласка, чи організовував (збирав) власними силами NAS сервер таких об’ємів? І на чому це все організовано?

Маю досвід побудови ftp сервера на 8 ТБ з організацією ЖД по 2 ТБ у RAID масив, та агрегацією 2-х гігабітних лінків на свіч. (вдалося підняти швидкість зчитування ~ до 190 - 210 МБ/с). У продажу вже є 4-х та 6-ти ТБ HDD, тобто, для організації такого величезного (для мене це дуже багато) знадобиться меньше дисків. Але після підрахунків, визначив, що навіть якщо взяти купу плат розширення SATA3 максимум вийде близько 60 ТБ.

Скоріш за все потрібно буде купувати готове рішення. Щось подібне до TS-EC2480U-RP. Прошу підказати, чи хтось стикався з подібним, та чи може хтось порадити хороший NAS сервер на вищевказану ємність?

Дякую за увагу, тим хто дочитав до кінця, чекаю на ваші поради.

Ссылка на сообщение
Поделиться на других сайтах

Дисковые корзины можно колбасой штук по 6 цеплять на один контроллер. Ёмкость это не единственная характеристика NAS.

А вообще почитайте про http://m.geektimes.ru/post/68832/

Ссылка на сообщение
Поделиться на других сайтах

 

 

А вообще почитайте про http://m.geektimes.ru/post/68832/

 

Дякую за швидкий відгук. Буду вивчати. Хоча вже дивлюся на готове рішення від DEL (DEL EQL)

Ссылка на сообщение
Поделиться на других сайтах

Мы делали стореджи с 36х3tb и 24х3tb, много. Все работает более-менее.

Есть инсталяции с 45х4тб также, но работают недолго относительно, тоже все в порядке пока.

Смотрите в сторону бекплейнов с експандером, у супермикры это EL1 и EL2.

Если будете обьединять в рейд, старайтесь много дисков не ложить в 1 массив, так как при падении одного диска потом долго собирается массив и деградирует скорость.

Оптимальным для хранения на мой взгляд является ZFS, либо на FreeBSD либо на клонах Solaris.

Многое зависит от того, что собираетесь хранить и какая производительность требуется.

Ссылка на сообщение
Поделиться на других сайтах

 

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

Ссылка на сообщение
Поделиться на других сайтах

200мбайт/с это ни о чём. Можно выложить бдрипы по 60 гигов и отдать с домашнего писюка эту скорость без проблем. Но если там мелкое файло - хоть бы треть скорости получили.

Ссылка на сообщение
Поделиться на других сайтах

Файлы не менее 60 - 80, иногда около 100 Гб будут. Дело в том, что более 200 МБ/с не надо, т. к. сетевушки у клиентов будут гиговые, более гига на ПК не пойдёт. Но дело в том, что одновременно будет с серваком работать около 3 - 5 ПК. От серва до свича, хочу 2 линка агрегации реализовать.

Ссылка на сообщение
Поделиться на других сайтах

90 шт 2Т wd black в корзины через экспандеры на 2-а контроллера, машина E3-12xx, 2*10G nic, windows server 2012r2. В продакшине 1 год и 1 месяц, несколько раз перегружали после обновлений системы. используется по трафику: 20% на бекапы, 10% проэкты и 70% на хранение и доступ к отснятому видео(это видеостудия), клиенты: 4 c 10G - сервера по обработке видео и до 30*1G. 

Ссылка на сообщение
Поделиться на других сайтах

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

 

 

 Более-менее - это иногда выходят из строя диски, приходится менять.

200Мб/с  на больших файлах - ниочем. Будет работать без проблем. Если будут мелкие файлы, встает вопрос кеша на контроллере.

Тогда стоит задуматься о кешировании на ссд хотя бы.

На 3-5 компов - это не нагрузка. У нас раздается в веб все это дело с трафиком от 1 до 4 гбит, до 1000 одновременных конектов.

Не секрет на чем собирали.

Ключевые моменты

Supermicro 4U либо на 24, либо на 36, либо на 45 корзин.

Ключевой момент - бекплейн с маркировкой SAS2, иначе будут проблемы с дисками более 2ТБ.

Как писал ранее - EL1 бекплейн с экспандером на все диски сразу.

Далее контроллер с поддержкой SAS2(4x600Мб/с на конектор), использовали разные, родные AOC-USAS2, Areca, LSI, Adaptec.

Внешние экспандеры и всяческий колхоз не рекомендую, попробовали несколько вариантов, ловили выпадание дисков подключеных через экспандеры.

Есть еще проблемы с дисками несерверных серий, они тоже имеют свойство выпадать просто так, требуется ребут сервера, либо использовать ARECA контроллеры с внешним управлением, они позволяют резестить конткретный канал с диском и переопределять его через внешний веб-интерфейс.

Цена на ареку правда может кусаться, нам они обходятся в 700-900 баксов, в зависимости от модели.

Ссылка на сообщение
Поделиться на других сайтах

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

Ссылка на сообщение
Поделиться на других сайтах

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

 

Задавайте, что уж.

Можно еще покурить на тему JBOD. Ставите любой сервер с контроллером, где есть внешние порты и подключаете JBOD в контроллер.

Дальше просто видно много дисков, рулить ними можно из контроллера или через утилиту.

Ссылка на сообщение
Поделиться на других сайтах

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Відредаговано lyric
Ссылка на сообщение
Поделиться на других сайтах

У нас были немного пересекающиеся задачи - 100Тб сейчас уже не сильно пугающая цифра в принципе. 6ки сами еще не тестили - дорого да и пока нет надобности. 4-5линейных потоков это конечно фигня, можно насчет скорости и не заморачиваться... Если данные не супер-важные - мы вполне себе обходились софтовым объединением в пул - aufs. Сейчас даже ДЦ еще 3ки для массивов юзают, 4ки дорого и неоптимально. Быстрый кеш - это парочка ссд для актуальных файлов. Если ставить в гермозону - тогда действительно супермикра на 24 диска и вперед.

 

 

Nutanix - сырое все, пока ставил - долго матерился, свистелок в веб-интерфейсе зато понаделали.

 

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Вот именно эта мамка очень интересная, на 7 слотов) Но рейд5 на гринах - это сильно!

Ссылка на сообщение
Поделиться на других сайтах

Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?  :rolleyes:   

Ссылка на сообщение
Поделиться на других сайтах

Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?  :rolleyes:   

Все правильно сделал(с) Завидую вашей удаче. Мы проходили и через рассыпавшийся рейд5, а также знаем о надежности гринов со своего опыта - первая партия 20шт оказалась последней - не стоит экономия ни потерь в производительности ни в надежности)

 

 

Что я делаю не так? :rolleyes:

 

Наоборот, наверное, вовремя читаете молитвы за здравие дисков )))

 

:)

Ссылка на сообщение
Поделиться на других сайтах

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали.

Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

 

Ссылка на сообщение
Поделиться на других сайтах

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали. Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

Не не не, сигейты нет, спасибо - когда у нас массово посыпались 2-годичные 3Тб, четко после срока гарантии, еще была статья на хабре по этому поводу. Даже отправлял письмо в саппорт - признаете ли вы хоть то что это ваш косяк и в таких случаях отзывную кампанию следовало бы запустить? Отморозились, гарантия закончилась - можете прибить себе их на стенку!

Сейчас вот арендуем в Голландии в дц сервера - так товарищи ставят в основном только тошиба/хитачи, к сами этому и сами давно пришли - в конечном итоге выходит спокойнее, дешевле и проще! 

Ссылка на сообщение
Поделиться на других сайтах

Хитачи тоже имеют свои особенности.

В целом сигейт серверных серий - полет отличный.

Ходят 5 лет без проблем практически, на 100 дисков бывает 1-2 дохлых, которые меняются по гарантии.

Десктопные же серии - беда, умирают за 3 года, да и в течение 3 лет из 100 дисков 10 стабильно по гарантии уходит еще минимум.

Сильно дохнут в 36 и 45-дисковых инсталяциях.

Ссылка на сообщение
Поделиться на других сайтах

Много страшилок про Green-ы WD-шные слышал, что сыпуться после 2-х лет. Правда не в RAID, а просто 2 ТБ как дополнительный для фильмов, клипов, музыки и Инсталяционных ISO образов.
Поэтому почему то смотрю в сторону красных. Хотелось бы Черные, но они дорогие. да и срок службы думаю не очень то будет из-за свер высоких оборотов.

Ссылка на сообщение
Поделиться на других сайтах

Не вижу особо ничего хорошего в WD Red

Высокая цена и низкая скорость

Если приемлемо что диск ниже чем 7200 RPM то предпочитаю более доступные по цене

Ссылка на сообщение
Поделиться на других сайтах

 

 

Не вижу особо ничего хорошего в WD Red

 

Слышал, что они вроде бы как понадёжнее будут, да и отказоустойчивость у них хорошая.

Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!

Зарегистрировать аккаунт

Вхід

Уже зарегистрированы? Войдите здесь.

Войти сейчас
  • Зараз на сторінці   0 користувачів

    Немає користувачів, що переглядають цю сторінку.

  • Схожий контент

    • Від a_n_h
      Всем доброго дня и мирного неба!
          Вопрос к гуру форума, есть ли возможность как-то увидеть/посмотреть smart SAS диска  установленного в raid-контроллер?
    • Від Zend
      Продам сабж.
      2 контроллера CA07336-C001, в каждом по одном интерфейсном модуле CA07336-C009 (2 x 1Gbps iSCSI)
      HDD: 24 x 900GB SAS 10K
      Исправен.
      С ним могу продать шкафчик того же вендора.
       
      Стоимость - $4000, торг
       

    • Від Dilan
      Собственно ищу кто сделает такую связку с нуля под ключ. Тз высылаю в личку. Заранее спасибо.
    • Від andrey326
      Здравствуйте. Есть желание поставить NAS для хранения некого объема информации.
      Реально нужно на 2-3 Тб места, но на сегодняшний день по дискам, думаю выбрать примерно так:
      Western Digital Red Pro NAS 6TB 7200rpm 256MB *4 = 24Тб 
      в raid 10 , соотв 12Тб , чего тоже с запасом хватит,
      Вот по самому NAS пока не определился.
      Какие условия:
      Решение именно NAS, а не ПК с дисками.
      Корзины для горячей замены дисков
      1Гбит медь/ оптика (+ WiFi как вариант)
      Новое.
       
      Для себя точно не решил.... 
      Лучше для монтажа в стойку, или настольное решение? Располагаться NAS на шкафу, на ушах от свитча в ящике, в мебельном шкафу, или в 1U шкафу - по ситуации. 
      Шумность не очень кретична, но и не то что бы не важна.
      Буджет на сам NAS я себе вижу 20-30 хотя бы. и соответственно рассматриваю вариант:
      QNAP TS-431XeU-2G
      https://e-server.com.ua/aktivnoe-setevoe/sistemy-hranenija-dannyh-shd/setevoj-nakopitel-qnap-ts-431xeu-2g-detail
       
      Или лучше NAS SYNOLOGY DX517 , SYNOLOGY DS923+ ? В чем принципиальная разница между первым, и вторым/третьим?
      Кто что посоветует?
    • Від rostikua
      Куплю СХД Dell me4024 або аналог (аналог це означає не старий хлам) з дисками або без, якщо з дисками тоді SAS SSD 1.92Tb 
      Telegram rostik_ng
×
×
  • Створити нове...