Выбор железа для виртуализации под proxmox

[ZEKA 6]

Имеем:
"Сервер" на P4 3.4G 2M cache/Intel i875P/3Gb DDR PC3200 nonECC/Promise FastTrack TX2300 RAID 1/2xWD 250Gb RE/DVD/FDD/LAN 1G на котором под Windows Server 2003 крутится MS SQL 2000 c базами 1С, остальное место занято файлопомойкой. Пользуют его 15 человек по локалке и 15 по RDP, сервер очень стар и вполне готов загнуться, в рабочее время проц загружен на 60-80% и винты напряженно шуршат.
Нужно:
сделать хорошо - при бюджете до 50к грн. перенести все это на новое надежное железо и организовать бэкапы.
 
Рассматривая разные варианты, пока остановился на железке вроде http://www.supermicro.com/products/system/tower/5038/SYS-5038D-I.cfm (недорогой, есть IP KVM) и софте Proxmox (тестировал его немного - понравилось, вроде можно даже переехать с моего текущего железа прямо в виртуалку). Бэкапы баз и образа виртуалки целиком планирую хранить на чем-то вроде http://www.dlink.ru/ru/products/120/1603.html

 

Выразите свое мнение относительно верности моего выбора, предложите хорошее место покупки оного оборудования (здесь http://supermicro.kiev.ua/serveri-nachalnogo-urovnya-tower/supermicro-sys-5038d-tf.html норм?), если поставленная задача слишком размыта - задавайте наводящие вопросы.

 

Также интересно, делать ли софтовый RAID 1 на двух четырехгиговых под Proxmox или выбрать хардовый 0+1 на четырех двухгиговиках (какой контроллер ставить?), памяти думаю сразу 32 ставить (буду экспериментировать с виртуалками), проца 1200v3 3.3G вполне должно хватить, с более шустрым начинаю выбиваться из бюджета.

[ttttt 195]

Лучше 2 железки поменьше и с HA, тем более, что proxmox такое умеет.

Плюс выбор железки довольно странный, ваш p4 значительно слабее современных атомов, а вы по сути смотрите на замену на суперкомпьютер

Відредаговано 2014-10-28 20:26:07 ttttt

[Melanxolik 63]

50к, мне бы ваши проблемы, можно как минимум 3 таза собрать.

берите здесь корпусок 2U супер микро с хотсвапом, пихайте в него v3 1225, мать супермикра, 32ECC памяти, по хорошему в 50к можно собрать 3и таких железки, будет ha, fence и прочие приятные плюшки.

Винты ставите 500ки в каждый сервер, поднимаете ceph, пихаете lsi контроллеры с кэшом, ставите по 4ре сетевки с агрегацией, свич можно тоже неплохой прибарахлить, лишь бы в него балансировка в L4 была на агрегациях.

Можно еще жирнее, докинуть еще не много и поставить SSD в качестве прослойки cache под сам цепх.

На выходе получаете супер мега кластер, который тяжеловато будет приложить.

 

И да, винда под KVM имеет проблемы, особенно с live migration.

Відредаговано 2014-10-28 20:38:25 Melanxolik

[ZEKA 6]

 

 

  В 28.10.2014 в 20:23, ttttt сказав:

Лучше 2 железки поменьше и с HA

пожалуйста пример подробней, не выходя из бюджета.

 

 

  В 28.10.2014 в 20:23, ttttt сказав:

вы по сути смотрите на замену на суперкомпьютер

ежели я добавлю для экспериментов виртуалок с виндой 2008 и 2012 и буду там всяко тестировать 1С8 SQL - суперкомпьютеру может мало не показаться, да и бюджет хочется освоить наиболее эффективно в плане быстродействия и надежности, или вы усмотрели узкое место в этой конфигурации для моей задачи? Юзеры и начальство положительно оценят быструю реакцию интерфейса 1С, каковая мною и предполагается.

[ttttt 195]

  В 28.10.2014 в 20:38, ZEKA сказав:

пожалуйста пример подробней, не выходя из бюджета

Простенькую серверную плату с i3 малогреющимся (который с буквой T).

 

  В 28.10.2014 в 20:38, ZEKA сказав:

ежели я добавлю для экспериментов виртуалок с виндой 2008 и 2012 и буду там всяко тестировать 1С8 SQL - суперкомпьютеру может мало не показаться

Ну это ж все будет упираться в скорость дисков. Что вы там собрались заметить мощными серверами - не знаю

 

  В 28.10.2014 в 20:38, ZEKA сказав:

Юзеры и начальство положительно оценят быструю реакцию интерфейса 1С, каковая мною и предполагается.

Начальство вам может и не скажет, но его первым делом волнует непрерывная работа предприятия.

[ZEKA 6]

 

 

  В 28.10.2014 в 20:36, Melanxolik сказав:

50к, мне бы ваши проблемы, можно как минимум 3 таза собрать

сам был удивлен невыпучившимся глазами начальства при озвучивании суммы, можно было бы собрать геймерский супертаз и монитор 4к 

 

 

  В 28.10.2014 в 20:36, Melanxolik сказав:

берите здесь корпусок 2U супер микро с хотсвапом, пихайте в него v3 1225, мать супермикра, 32ECC памяти, по хорошему в 50к можно собрать 3и таких железки, будет ha, fence и прочие приятные плюшки

никакого б/у, если вы о нем, если о новом речь - предложите свой конфиг, стойки под юниты у меня нет - это доп. расходы, буду только рад поднять кластер проксмоксовский, хоть и не сразу, так как не шибко силен и пойду путем гугленья конфигов и историй успеха.

 

 

  В 28.10.2014 в 20:36, Melanxolik сказав:

Винты ставите 500ки в каждый сервер, поднимаете ceph, пихаете lsi контроллеры с кэшом, ставите по 4ре сетевки с агрегацией, свич можно тоже неплохой прибарахлить, лишь бы в него балансировка в L4 была на агрегациях

500ок маловато будет, умея все остальное я бы и тему такую не создавал. Уточните вашу схему кластера, с участием дешевого NAS вроде синолоджи или длинка для бэкапов.

Live migration мне вроде как и не нужна - сконвертирую в образ и скормлю его проксмоксу, встречал статьи об этом.

[ZEKA 6]

 

 

  В 28.10.2014 в 20:59, ttttt сказав:

непрерывная работа предприятия

 т.е. вы тоже за кластер на Proxmox на паре-тройке десктопных тазиков против одного начального уровня сервера? Мне простой на время поиска материнки заместо издохшей (винты в рейде, бэкапы на NASе) видится не шибко губительным, простои из-за сгоревшей подстанции и пожара в соседнем помещении переносились без особого ущерба для бизнеса, а вот возня с кучкой десктопов без ECC выглядит непростой из-за отсутствия опыта в создании кластеров.

Предложите ваш вариант схемы или ссылки, буду вникать, чтобы оценить за и против.

[ttttt 195]

у i3 с буквой Т есть ЕСС

[ZEKA 6]

 

 

  В 28.10.2014 в 20:59, ttttt сказав:

Простенькую серверную плату

 какую например? Из этого списка http://hotline.ua/computer/materinskie-platy/44822-41368/ ?

[ttttt 195]

Да, любую из этого списка.

(кстати, похоже у любых i3 4xxx есть ECC)

Відредаговано 2014-10-28 21:40:47 ttttt

[KaYot 3 730]

Зачем такие извращения, если бюджет не жмет? Любой простой сервер на e3-12xx, перекроет все потребности многократно. На onix.kiev.ua можно supermicro прикинуть, начальный tower на e3-1200 с 16гб и парой винтов выходит тыщ 17.

Итого за 35 пара приличных новых серверов. А в принципе вам для 15 человек и пара не нужна, тот же onix гарантирует замену сервера в случае поломки в течении пары часов(!!).

И да, разница в скорости P4 и E3 - десятки раз.

[maxx 202]

А почему именно эта среда виртуализации ?

[NiTr0 585]

 

 

  В 28.10.2014 в 21:52, KaYot сказав:

Итого за 35 пара приличных новых серверов.

И я бы еще несколько к грн на простенькую 3-ю ноду кластера накинул (по большому счету хватит и атома). Для кворума. Ну чтобы сплит брэйн не случился И по хорошему - управляемые розетки для stonith (ну или по ipkvm).

[Melanxolik 63]

 

 

  В 28.10.2014 в 21:05, ZEKA сказав:

стойки под юниты у меня нет - это доп. расходы,

ох, да, стойка это дорого, особенно для предприятия, лучше везде развесить сопли.

 

 

 

  В 28.10.2014 в 21:05, ZEKA сказав:

500ок маловато будет

ceph, читать про архитектуру, ну если конечно...

 

 

 

  В 28.10.2014 в 21:52, KaYot сказав:

На onix.kiev.ua

Очень дельный вариант, а платформы там есть вкусные не передать.

 

 

 

  В 28.10.2014 в 21:22, ttttt сказав:

у i3 с буквой Т есть ЕСС

Вы виртуализацией занимаетесь или PC домохозяйкам собираете?

Только Xeon, на supermicre ipmi в самом простом варианте. Ну не бегать же к кластеру тыкать потом KVM.

 

 

 

  В 28.10.2014 в 22:25, NiTr0 сказав:

Для кворума. Ну чтобы сплит брэйн не случился

При двух нодовой конфигурации разруливается за счет внешнего диска.

[Melanxolik 63]

 

 

  В 28.10.2014 в 21:05, ZEKA сказав:

Уточните вашу схему кластера, с участием дешевого NAS вроде синолоджи или длинка для бэкапов.

Вам схемы уже расписали, 2-3 нормальных таза, на базе Xeon + ECC память.

Диски в этих серверах лучше в hotswap, хранилище у вас одно, это цепх, других вариантов особо у вас не будет.

 

Ваши NAS под backup монтируются или по iscsi или по nfs для налива backup.

[Ajar 93]

  В 29.10.2014 в 06:39, Melanxolik сказав:

 

  В 28.10.2014 в 21:05, ZEKA сказав:

Уточните вашу схему кластера, с участием дешевого NAS вроде синолоджи или длинка для бэкапов.

Вам схемы уже расписали, 2-3 нормальных таза, на базе Xeon + ECC память.

Диски в этих серверах лучше в hotswap, хранилище у вас одно, это цепх, других вариантов особо у вас не будет.

 

Ваши NAS под backup монтируются или по iscsi или по nfs для налива backup.

 

третий таз пустить под суточные срезки бд  и опытов .  два основных сервака я бы разместил  раздельно (потоп, пожар, уборщица ....) 

[Norther 80]

Загрузка 60-80% - вероятней всего начали идти боками винты - проанализируйте прерывания. У меня такое было..

Недолго думали) - взяли трехюнитовый корпус типа http://local.com.ua/forum/topic/47801-%D0%BF%D1%80%D0%BE%D0%B4%D0%B0%D1%8E-%D0%BA%D0%BE%D1%80%D0%BF%D1%83%D1%81-%D0%B4%D0%BB%D1%8F-%D1%81%D0%B5%D1%80%D0%B2%D0%B5%D1%80%D0%B0-3u-csv-3u-s-%D1%80%D0%B5%D0%BB%D1%8C%D1%81%D1%8B-%D0%B8-%D0%BE%D0%BF%D1%86%D0%B8%D0%B8/ там помещается 12 или 14 винтов.

Мать MSI 2011 сокет, в вашем случае бюджета лучше супермикро с 2011 сокетом типа Х9 или поновее Х10. Винты -ТОЛЬКО из разряда RE. Систему поставили на одиночный винт, а из четырез 2Т собрали массив рейд10 для виртуалок.

Думаю в бюджет уложитесь и еще съэкономите.

Відредаговано 2014-10-29 10:09:00 Norther

[ZEKA 6]

 

 

  В 28.10.2014 в 22:13, maxx сказав:

А почему именно эта среда виртуализации ?

Удобная и понятная вэбморда, солидное комьюнити, "все в одном" так сказать. Около полугода стоит на ней тестовый сервак - все ОК.

 

 

  В 28.10.2014 в 22:25, NiTr0 сказав:

И я бы еще несколько к грн на простенькую 3-ю ноду кластера накинул

такой вариант заметно усложняет все для неопытного меня, но сам по себе весьма привлекателен, предложите где почитать подробнее.

 

 

  В 29.10.2014 в 06:35, Melanxolik сказав:

ceph

будучи недостаточно опытным, не решусь на такое, начну с простого и привычного ака RAID.

 

 

  В 29.10.2014 в 06:35, Melanxolik сказав:

При двух нодовой конфигурации разруливается за счет внешнего диска

ссылку плз.

 

 

  В 29.10.2014 в 07:20, Ajar сказав:

два основных сервака я бы разместил  раздельно

физразделение позже, мне нужно готовое решение собрать и запустить, но мысль однозначно правильная.

 

 

  В 29.10.2014 в 07:32, Norther сказав:

Недолго думали) - взяли трехюнитовый корпус типа http://local.com.ua/...рельсы-и-опции/ там помещается 12 или 14 винтов. Мать MSI, в вашем случае бюджета лучше супермикро с 2011 сокетом типа Х9 или поновее Х10. Винты -ТОЛЬКО из разряда RE. Систему поставили на одиночный винт, а из четырез 2Т собрали массив рейд10 для виртуалок. Думаю в бюджет уложитесь и еще съэкономите.

опишите подробнее вашу задачу, ее решение и результаты - мне для сравнительного примера хочется глянуть. 

[Norther 80]

  В 28.10.2014 в 20:10, ZEKA сказав:

 

  В 29.10.2014 в 07:32, Norther сказав:

Недолго думали) - взяли трехюнитовый корпус типа http://local.com.ua/...рельсы-и-опции/ там помещается 12 или 14 винтов. Мать MSI 2011 сокет, в вашем случае бюджета лучше супермикро с 2011 сокетом типа Х9 или поновее Х10. Винты -ТОЛЬКО из разряда RE. Систему поставили на одиночный винт, а из четырез 2Т собрали массив рейд10 для виртуалок. Думаю в бюджет уложитесь и еще съэкономите.

 

опишите подробнее вашу задачу, ее решение и результаты - мне для сравнительного примера хочется глянуть.

Это не задача, а выполненное решение под прохмох месяцев 9 назад. Сервер с прохмох начал сильно стопориться при обращенни к винтам(. Рейд1 был. Решили - менять, так менять. Поставили (новые RE) винты в 10 рейд, сменили платформу с амд (FX) на интел 2011 сокет. Только память на msi не ЕСС. Вот и все.

Что вас интересует?

Відредаговано 2014-10-29 10:23:52 Norther

[Melanxolik 63]

 

 

  В 29.10.2014 в 09:12, ZEKA сказав:

будучи недостаточно опытным, не решусь на такое, начну с простого и привычного ака RAID.

ну расскажите как вы сделаете live migration в этом случае?

также обьясните как вы видете архитетуру ФС в кластерной системе?

[NiTr0 585]

 

 

  В 29.10.2014 в 06:35, Melanxolik сказав:

Только Xeon, на supermicre ipmi в самом простом варианте. Ну не бегать же к кластеру тыкать потом KVM.

А причем тут марка установленного проца к наличию ipkvm на мамке?

 

 

 

  В 29.10.2014 в 06:35, Melanxolik сказав:

При двух нодовой конфигурации разруливается за счет внешнего диска.

Угу, и получаем точку отказа... Крякнуло внешнее хранилище - упал весь кластер. Накой тогда кластер надо?

 

 

 

  В 29.10.2014 в 07:20, Ajar сказав:

третий таз пустить под суточные срезки бд и опытов . два основных сервака я бы разместил раздельно (потоп, пожар, уборщица ....)

К слову да. Бекап-сервер, по совместительству - кворумная нода...

 

 

 

  В 29.10.2014 в 09:12, ZEKA сказав:

такой вариант заметно усложняет все для неопытного меня, но сам по себе весьма привлекателен, предложите где почитать подробнее.

Мануал же. Я с проксмоксом не работал, только с pacemaker'ом (кластер на нем пока без кворумной ноды стоит, надо будет на досуге переделать).

Суть - кластер из нечетного кол-ва машин, включается опция мониторинга кворума (т.е. если кворум есть т.е. больше половины нод друг с другом общаются - promote/demote ресурсов и т.п. на них происходит; кворум пропал - ресурсы на выпавшей ноде останавливаются, и выпавшая/подвисшая/ушедшая в глубокий своппинг нода прибивается с помощью stonith, команда поступает с одной из нод у которой кворум имеется).

[ttttt 195]

  В 29.10.2014 в 06:35, Melanxolik сказав:

Вы виртуализацией занимаетесь или PC домохозяйкам собираете?

Только Xeon, на supermicre ipmi в самом простом варианте. Ну не бегать же к кластеру тыкать потом KVM.

Melanxolik, не гоните, зачем Xeon, зачем бегать к кластеру? Xeon, в качестве обогревателя - может быть, ибо другой пользы от него в данном случае в общем-то нет. Даже если автору захочется чего-то покрутить в виртуалках, все равно же все будет упираться в диски. Xeon можно начинать рассматривать, когда весь сервер забит SSDшками.

Бегать к кластеру тоже такое, как поможет ipmi? Полагаю, что по общим затратам времени ipmi только мороки добавит, серверы автору ведь все равно ставить самому и обслуживать самому.

Відредаговано 2014-10-29 12:03:26 ttttt

[Melanxolik 63]

 

 

  В 29.10.2014 в 11:38, NiTr0 сказав:

А причем тут марка установленного проца к наличию ipkvm на мамке?

При том что попробуйте запихнуть I3 рекомендованный на мамку с ipmi и поддержкой ECC, зачем искать геморой на свою голову, когда есть проверенные и работающие решения.

[Norther 80]

Сервер на 2011 с супермикрой потребляет как обычный тазик... Ну от потребления винтами и кулерами - никуда пока не денешься...

Відредаговано 2014-10-29 12:08:24 Norther

[Melanxolik 63]

  В 29.10.2014 в 12:03, ttttt сказав:

Melanxolik, не гоните, зачем Xeon, зачем бегать к кластеру? Xeon, в качестве обогревателя - может быть, ибо другой пользы от него в данном случае в общем-то нет. Даже если автору захочется чего-то покрутить в виртуалках, все равно же все будет упираться в диски. Xeon можно начинать рассматривать, когда весь сервер забит SSDшками.

Вы прикалываетесь? скажите вы кластер на цепхе рулили?

Как уже сказал, автору надо разобраться сперва чего он хочет, и потом под это получать решение.

Xeon выбирается по нескольким причинам: память, архитектура процессора и его заточки,  реализация многопоточности и раздельных кэшей в ядре под каждое из ядер и тд. Хотите работать на десктоп варианте и сутками разбраться чего не пашет или почему так медленно, дело ваше.

 

И да, xeon стоит дешевле i7.

Відредаговано 2014-10-29 12:10:27 Melanxolik