Jump to content
Local
Germidar

NAS сервер об’ємом 100 - 120 ТБ

Recommended Posts

Доброго вечора, підкажіть будь-ласка, чи організовував (збирав) власними силами NAS сервер таких об’ємів? І на чому це все організовано?

Маю досвід побудови ftp сервера на 8 ТБ з організацією ЖД по 2 ТБ у RAID масив, та агрегацією 2-х гігабітних лінків на свіч. (вдалося підняти швидкість зчитування ~ до 190 - 210 МБ/с). У продажу вже є 4-х та 6-ти ТБ HDD, тобто, для організації такого величезного (для мене це дуже багато) знадобиться меньше дисків. Але після підрахунків, визначив, що навіть якщо взяти купу плат розширення SATA3 максимум вийде близько 60 ТБ.

Скоріш за все потрібно буде купувати готове рішення. Щось подібне до TS-EC2480U-RP. Прошу підказати, чи хтось стикався з подібним, та чи може хтось порадити хороший NAS сервер на вищевказану ємність?

Дякую за увагу, тим хто дочитав до кінця, чекаю на ваші поради.

Share this post


Link to post
Share on other sites

Дисковые корзины можно колбасой штук по 6 цеплять на один контроллер. Ёмкость это не единственная характеристика NAS.

А вообще почитайте про http://m.geektimes.ru/post/68832/

Share this post


Link to post
Share on other sites

Мы делали стореджи с 36х3tb и 24х3tb, много. Все работает более-менее.

Есть инсталяции с 45х4тб также, но работают недолго относительно, тоже все в порядке пока.

Смотрите в сторону бекплейнов с експандером, у супермикры это EL1 и EL2.

Если будете обьединять в рейд, старайтесь много дисков не ложить в 1 массив, так как при падении одного диска потом долго собирается массив и деградирует скорость.

Оптимальным для хранения на мой взгляд является ZFS, либо на FreeBSD либо на клонах Solaris.

Многое зависит от того, что собираетесь хранить и какая производительность требуется.

Share this post


Link to post
Share on other sites

 

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

Share this post


Link to post
Share on other sites

200мбайт/с это ни о чём. Можно выложить бдрипы по 60 гигов и отдать с домашнего писюка эту скорость без проблем. Но если там мелкое файло - хоть бы треть скорости получили.

Share this post


Link to post
Share on other sites

Файлы не менее 60 - 80, иногда около 100 Гб будут. Дело в том, что более 200 МБ/с не надо, т. к. сетевушки у клиентов будут гиговые, более гига на ПК не пойдёт. Но дело в том, что одновременно будет с серваком работать около 3 - 5 ПК. От серва до свича, хочу 2 линка агрегации реализовать.

Share this post


Link to post
Share on other sites

90 шт 2Т wd black в корзины через экспандеры на 2-а контроллера, машина E3-12xx, 2*10G nic, windows server 2012r2. В продакшине 1 год и 1 месяц, несколько раз перегружали после обновлений системы. используется по трафику: 20% на бекапы, 10% проэкты и 70% на хранение и доступ к отснятому видео(это видеостудия), клиенты: 4 c 10G - сервера по обработке видео и до 30*1G. 

Share this post


Link to post
Share on other sites

 

Все работает более-менее.

Более менее, это как? Мне нужно что бы была стабильная скорость около 200 МБ/с Файлов будет много, и работать с ними нужно будет постоянно с нескольки ПК. которые будут в одной сети с серваком.

 

Если не секрет, не могли бы вы сказать, на чём конкретно собирали сервак, и какое сопутствующее железо (имею ввиду разветвители SATA портов(кстати о них только недавно узнал. даже предположить не мог что такое существует)) Сейчас пока сравниваю цены и предложения, давно в этой отрасли ничего не делал. А тут всего нового понапридумывали.

Заранее благодарю за советы.

 

 

 Более-менее - это иногда выходят из строя диски, приходится менять.

200Мб/с  на больших файлах - ниочем. Будет работать без проблем. Если будут мелкие файлы, встает вопрос кеша на контроллере.

Тогда стоит задуматься о кешировании на ссд хотя бы.

На 3-5 компов - это не нагрузка. У нас раздается в веб все это дело с трафиком от 1 до 4 гбит, до 1000 одновременных конектов.

Не секрет на чем собирали.

Ключевые моменты

Supermicro 4U либо на 24, либо на 36, либо на 45 корзин.

Ключевой момент - бекплейн с маркировкой SAS2, иначе будут проблемы с дисками более 2ТБ.

Как писал ранее - EL1 бекплейн с экспандером на все диски сразу.

Далее контроллер с поддержкой SAS2(4x600Мб/с на конектор), использовали разные, родные AOC-USAS2, Areca, LSI, Adaptec.

Внешние экспандеры и всяческий колхоз не рекомендую, попробовали несколько вариантов, ловили выпадание дисков подключеных через экспандеры.

Есть еще проблемы с дисками несерверных серий, они тоже имеют свойство выпадать просто так, требуется ребут сервера, либо использовать ARECA контроллеры с внешним управлением, они позволяют резестить конткретный канал с диском и переопределять его через внешний веб-интерфейс.

Цена на ареку правда может кусаться, нам они обходятся в 700-900 баксов, в зависимости от модели.

Share this post


Link to post
Share on other sites

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

Share this post


Link to post
Share on other sites

@buryanov, прямо в точку, как раз для продакшина и надо. Отснятый материал через eSata или USB3.x карман на клиентских компах переливаете? Бо у меня біла задумка на сервак отдельно постваить eSATA карман для оперативной передачи материлала.

 

@Ruslik, благодарю за ответы, уже хоть знаю куда копать. Хотел брать винты большого объёма, но читал, что в случае выхода из строя винта, уж слишком долго будет инфа перезаливаться при восстановлении в RAID массиве. Если что, можно будет позадавать Вам глупые и не очень вопросики, по поводу железа для сервака?

 

Задавайте, что уж.

Можно еще покурить на тему JBOD. Ставите любой сервер с контроллером, где есть внешние порты и подключаете JBOD в контроллер.

Дальше просто видно много дисков, рулить ними можно из контроллера или через утилиту.

Share this post


Link to post
Share on other sites

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Edited by lyric

Share this post


Link to post
Share on other sites

Поддерживаю Ruslik. Такими объёмами не делали - но копать надо в сторону ZFC под FeeBSD.

Share this post


Link to post
Share on other sites

У нас были немного пересекающиеся задачи - 100Тб сейчас уже не сильно пугающая цифра в принципе. 6ки сами еще не тестили - дорого да и пока нет надобности. 4-5линейных потоков это конечно фигня, можно насчет скорости и не заморачиваться... Если данные не супер-важные - мы вполне себе обходились софтовым объединением в пул - aufs. Сейчас даже ДЦ еще 3ки для массивов юзают, 4ки дорого и неоптимально. Быстрый кеш - это парочка ссд для актуальных файлов. Если ставить в гермозону - тогда действительно супермикра на 24 диска и вперед.

 

 

Nutanix - сырое все, пока ставил - долго матерился, свистелок в веб-интерфейсе зато понаделали.

 

У нас сейчас для бекапов используется CSE-847 X8DTH-iF и 2 Areca ARC-1280ML (объединены в multi-adapter).

Забит wd 4tb green (WD40EZRX) в raid-5

 

Год - полет нормальный.

 

Но и к скорости особых требований для него нет, чтение/запись линейные в подавляющем большинстве. Судя по загрузке интерфейса - до 800 мбит/с запись разгоняется.

Вот именно эта мамка очень интересная, на 7 слотов) Но рейд5 на гринах - это сильно!

Share this post


Link to post
Share on other sites

Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?  :rolleyes:   

Share this post


Link to post
Share on other sites

 

 

Что я делаю не так? :rolleyes:

 

Наоборот, наверное, вовремя читаете молитвы за здравие дисков )))

Share this post


Link to post
Share on other sites

Но рейд5 на гринах - это сильно!

У меня 24 шт в RAID5 стоят 2+ года

Нагрузка некритичная, файл помойка, бекапы

100+ пользователей, постоянные обращения в рабочее время

За это время ни одного битого и не одного отвала

Дешево и сердито

Что я делаю не так?  :rolleyes:   

Все правильно сделал(с) Завидую вашей удаче. Мы проходили и через рассыпавшийся рейд5, а также знаем о надежности гринов со своего опыта - первая партия 20шт оказалась последней - не стоит экономия ни потерь в производительности ни в надежности)

 

 

Что я делаю не так? :rolleyes:

 

Наоборот, наверное, вовремя читаете молитвы за здравие дисков )))

 

:)

Share this post


Link to post
Share on other sites

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали.

Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

 

Share this post


Link to post
Share on other sites

Видимо у вд была когда-то неудачная серия гринов и вы на нее попали. Я так на неудачные сигейты попадал, а грины работают, но говорят сейчас и сигейты исправились.

Не не не, сигейты нет, спасибо - когда у нас массово посыпались 2-годичные 3Тб, четко после срока гарантии, еще была статья на хабре по этому поводу. Даже отправлял письмо в саппорт - признаете ли вы хоть то что это ваш косяк и в таких случаях отзывную кампанию следовало бы запустить? Отморозились, гарантия закончилась - можете прибить себе их на стенку!

Сейчас вот арендуем в Голландии в дц сервера - так товарищи ставят в основном только тошиба/хитачи, к сами этому и сами давно пришли - в конечном итоге выходит спокойнее, дешевле и проще! 

Share this post


Link to post
Share on other sites

Хитачи тоже имеют свои особенности.

В целом сигейт серверных серий - полет отличный.

Ходят 5 лет без проблем практически, на 100 дисков бывает 1-2 дохлых, которые меняются по гарантии.

Десктопные же серии - беда, умирают за 3 года, да и в течение 3 лет из 100 дисков 10 стабильно по гарантии уходит еще минимум.

Сильно дохнут в 36 и 45-дисковых инсталяциях.

Share this post


Link to post
Share on other sites

Много страшилок про Green-ы WD-шные слышал, что сыпуться после 2-х лет. Правда не в RAID, а просто 2 ТБ как дополнительный для фильмов, клипов, музыки и Инсталяционных ISO образов.
Поэтому почему то смотрю в сторону красных. Хотелось бы Черные, но они дорогие. да и срок службы думаю не очень то будет из-за свер высоких оборотов.

Share this post


Link to post
Share on other sites

Не вижу особо ничего хорошего в WD Red

Высокая цена и низкая скорость

Если приемлемо что диск ниже чем 7200 RPM то предпочитаю более доступные по цене

Share this post


Link to post
Share on other sites

 

 

Не вижу особо ничего хорошего в WD Red

 

Слышал, что они вроде бы как понадёжнее будут, да и отказоустойчивость у них хорошая.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!

Register a new account

Sign in

Already have an account? Sign in here.

Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.

  • Similar Content

    • By hardware_all
      Продам серверный HP SAS RAID Controller (PCI-Express x8)

      HP Smart SAS Array Controller P400 (405835-001) + W/512MB cache
      +
      2 кабеля HP "19" SAS MULTI PLANE RIGHT ANGLE CONNECTOR CABLE
      +
      батарея HP 4.8V Ni-MH Battery
      +
      BBWC Cable 408658-001

      для НР DL380 G5 / DL385 G2 / DL385 G5 / DL580 / другие сервера / ПК
      ФОТО 1....5

      1000грн за комплект
      детально тут:
      https://www.cnet.com/products/hp-smart-array-p400-512mb-controller-with-bbwc-storage-controller-raid-sata-1-5gb-s-sas-pcie-x8-series/
       
       
      ======
       
      HP Flash Backed Write Cache 512MB (534916-B21 / 578882-001) + Battery (571436-002)
      600грн за комплект
      для НР DL380 G6 / DL380 G7
      ФОТО 6....9
       
       









    • By fox_fan
      Добрый день.
       
      Имеем коммутатор BDCOM(tm) S5612 Software, Version 2.2.0B Build 37303

      пытались подключить по лагу с линукс машиной, на которой настроен бондинг.
      До этого машина работала на стенде по двум 10Г портам с коммутатором FORCE10 и дилинк. Было все ок.
      Нужно было переключить машину в этот бдком.
      Настройки на бдкоме:

      enable
      config
      interface Port-aggregator6
      description 20G_LACP
      no spanning-tree
      switchport trunk vlan-allowed 2,1000-1999
      switchport mode trunk
      exit
      interface tgigaEthernet 1/11
      no spanning-tree
      aggregator-group 6 mode lacp
      switchport trunk vlan-allowed 2,1000-1999
      switchport mode trunk
      exit
      interface tgigaEthernet 1/10
      no spanning-tree
      aggregator-group 6 mode lacp
      switchport trunk vlan-allowed 2,1000-1999
      switchport mode trunk
      exit

      !
      aggregator-group load-balance both-ip
      !
       
      Переключили физически в порты бдкома - порты поднимаются, а lacp down - не поднимается.
      tg1/10  with_eth1           up        Trunk(1)    full     10000Mb  10Giga-FX        
      tg1/11  with_eth2           up        Trunk(1)    full     10000Mb  10Giga-FX        
      p6     20G_LACP        down        Trunk(1)    
       
      Прошивка была 2.2.0B 37303
      обновляли -> 2.2.0C 42666 -> 2.2.0C 50891 -> и на последнюю 2.2.0C 69953

       
      Добавление вилана 1 помогло - заработало:
      interface Port-aggregator6
      switchport trunk vlan-allowed add 1

       
      Хотя между коммутаторов работает без 1 (дефаулт) влана.
      Может кому пригодиться, намучались немного
       
      # cat interfaces
      auto lo
      iface lo inet loopback
      auto eth1
      iface eth1 inet manual
          bond-master bond0
          up ifconfig $IFACE mtu 9000
          post-down ifconfig $IFACE down
      auto eth2
      iface eth2 inet manual
          bond-master bond0
          up ifconfig $IFACE mtu 9000
          post-down ifconfig $IFACE down
      auto bond0
      iface bond0 inet manual
          bond-mode 802.3ad
          bond-miimon 100
          bond-downdelay 200
          bond-updelay 200
          bond-lacp-rate 1
          bond-xmit-hash-policy 1
          bond-slaves eth1 eth2
          up ifconfig $IFACE mtu 9000
      auto bond0.2
      iface bond0.2 inet static
          address 192.168.200.200
          netmask 255.255.0.0
          gateway 192.168.200.120
          dns-nameservers 8.8.8.8
          vlan_raw_device bond0



      cat /proc/net/bonding/bond0
      Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

      Bonding Mode: IEEE 802.3ad Dynamic link aggregation
      Transmit Hash Policy: layer3+4 (1)
    • By Lambert
      Куплю контролер SAS з підтримкою RAID 5
      у комплекті з кабелями для чотирьох накопичувачів
      в десктопну материнську плату, шина PCI Express
       
      перевага недорогим вживаним варіантам
    • By Marmazoid
      корпус Terra Server System
      [корпус сверху имеет небольшие царапины, в остальном полностью годный корпус. Ничего не погнуто, ничего не сломано, всё на своих местах.]
       
      цена корпуса со всей начинкой 1100 гривен БЕЗ ТОРГА! Перед продажей возможна проверка начинки, а так же кнопок, лампочек на самом корпусе.
       
      • Дверца на лицевой панели с замком (ключ идёт в комплекте). Тем самым предотвращает кражу корзин с жёсткими дисками спереди и блокирует снятие боковой крышки.
      • Датчик открытия боковой крышки. Подключается к материнской плате.
      • Корзина под четыре жёстких диска уже подключёна к RAID контроллеру Adaptec ASR-6405. В отсеке установлено две салазки для жёстких дисков. В будущем Вы можете добавить ещё две салазки.
      Корзина для четырёх жёстких дисков имеет отдельную вентиляцию. Кулер установлен и подключён. Очень эффективный продув и никакого перегрева.
      Так же в корпусе есть дополнительная корзина для установки ещё одного жёсткого диска без подключения к RAID контроллеру.
      • На корпусе наклеена лицензия Windows Small Business Server 2011
       
      В КОМПЛЕКТЕ С КОРПУСОМ ИДЁТ:
      • RAID контроллер Adaptec ASR-6405
      (версия с 512 Mb кеша! Не путать со 128 или 256 Mb)
      Прошита самая последняя версия Firmware 5.2.0
      Контроллер уже установлен и подключён к корзине на четыре жёстких диска.
       
      • RDX-USB-INT Tape Data Backup Internal Drive
      RDX-USB-INT - система хранения данных для резервного копирования.
      Преимущества дисковых картриджей RDX - возможность внешнего хранения и переноса информации благодаря использованию сменных картриджей-дисков RDX емкостью до 1 Терабайта.
       
      фотографии корпуса


       
      фотографии RAID контроллера Adaptec ASR-6405


       
      фотографии RDX-USB-INT Tape Data Backup Internal Drive


    • By KGroup
      Всем привет!
      Подскажите плиз: Как очистить содержимое всех файлов в каталоге на системе linux без удаления самих файлов?
      Может скрипт какой есть для примера?
       
      зы.
      sudo cat /dev/null > file.txt работает только с одним файлом...
       
×