Помогите подобрать конфиги серверверов.

[Oleg Doneck 94]

Наконецто пришло время переезжать с китайского десктопного ноунейма на стоечные сервера с разнесением сервисов по разным железкам для надёжности . Так как раньше это всё крутилось на одной железке , нужна помощь в выборе конфигурации и -поставщике-производителе стоечного железа для следующих сервисов :

1)Бордер на котором будет Full, AS, BGP, и до 1Г мирового трафика.

2)Базы Данных тут нужна поддержка 5-6рэйда

3)Биллинг

4)РРРоЕ NAS до 1000 онлайн с 100М тарифами

5)IPoE NAS до 2000 онлайн с 100М тарифами

6)DNS

7)Сервисный сервачок на который будет сливаться статистика и бэкапы

 

Критерии следующие:

- надёжность

- подбор мощности железа соответствующего сервису, чтобы не палить из пушки по воробьям влаживая средства в серверную мощь там где она никогда не будет задействована, например нет смысла в супер мощном железе для DNSа...

- наличие IPKVM

- умеренная шумность - завывания микрокуллеров не приветствуются.

- гарантия на сервера больше года.

 

Так как правильно поставленное ТЗ это 50% решения прошу пнуть если чегото не указал или указал неправильно.

 

Теоретиков просьба не флудить, а практикам Заранее ОГРОМНОЕ СПАСИБО за помощь и обмен опытом.

[mlevel 52]

1. Для чого DNS виносити на окремий сервер? Підніміть його на кожному NAS. Тут і резервування буде.

2. Для чого RAID 5-6? Чому RAID 1(зеркало) не підходить? Для більшої надійності поставте SCSI диски.

3. Біллінг(п. 3) з базами даних(п. 2) об'єднати не можна?

[Oleg Doneck 94]

  В 31.10.2011 в 09:59, mlevel сказав:

1. Для чого DNS виносити на окремий сервер? Підніміть його на кожному NAS. Тут і резервування буде.

2. Для чого RAID 5-6? Чому RAID 1(зеркало) не підходить? Для більшої надійності поставте SCSI диски.

3. Біллінг(п. 3) з базами даних(п. 2) об'єднати не можна?

Можно вообще всё запихнуть на одну тачку, только вот очень обидно когда один сервис за собой другие в даун утаскивает... при этом оперативно проблема не решается...

А по моим вопросам что межете сказать?

[mlevel 52]

  В 31.10.2011 в 10:22, Oleg Doneck сказав:

  В 31.10.2011 в 09:59, mlevel сказав:

1. Для чого DNS виносити на окремий сервер? Підніміть його на кожному NAS. Тут і резервування буде.

2. Для чого RAID 5-6? Чому RAID 1(зеркало) не підходить? Для більшої надійності поставте SCSI диски.

3. Біллінг(п. 3) з базами даних(п. 2) об'єднати не можна?

Можно вообще всё запихнуть на одну тачку, только вот очень обидно когда один сервис за собой другие в даун утаскивает... при этом оперативно проблема не решается...

А по моим вопросам что межете сказать?

1. Якщо не працює NAS, тоді логічно що і DNS не є потрібним. Тим більше у Вас їх буде 2 шт. на різних NAS.

2. Ви так і не відповіли яка перевага RAID 5 на RAID 1. Чомусь за 10 років роботи з RAID 1 - проблем не було.

3. Під які саме бази даних планується сервер №2?

[Oleg Doneck 94]

  В 31.10.2011 в 10:37, mlevel сказав:

  В 31.10.2011 в 10:22, Oleg Doneck сказав:

  В 31.10.2011 в 09:59, mlevel сказав:

1. Для чого DNS виносити на окремий сервер? Підніміть його на кожному NAS. Тут і резервування буде.

2. Для чого RAID 5-6? Чому RAID 1(зеркало) не підходить? Для більшої надійності поставте SCSI диски.

3. Біллінг(п. 3) з базами даних(п. 2) об'єднати не можна?

Можно вообще всё запихнуть на одну тачку, только вот очень обидно когда один сервис за собой другие в даун утаскивает... при этом оперативно проблема не решается...

А по моим вопросам что межете сказать?

1. Якщо не працює NAS, тоді логічно що і DNS не є потрібним. Тим більше у Вас їх буде 2 шт. на різних NAS.

2. Ви так і не відповіли яка перевага RAID 5 на RAID 1. Чомусь за 10 років роботи з RAID 1 - проблем не було.

3. Під які саме бази даних планується сервер №2?

1)DNS обслуживает не только эти 2 наса

2)есть варианты когда RAID 1 рассыпаясь может утащить всю инфу за собой

3)базы данных биллинга с клиентами и статистикой по трафику

[NiTr0 585]

1 - думаю какого-то одноголового зеона на 4 ядра по 2.5-3 ГГц с головой (у нас 2-головый феном спокойно пережевывает украины под 1.2гига в сумме ап+даун в пике с солидным запасом), хотя если с перспективой расширения - можно поставить плату с 2 сокетами, но пока поставить только 1 проц.

4 - минимум 2 сервера. Можно менее мощных. Зеоны на 4-6 ядер ИМХО вполне подойдут. Далеко не все отказы случаются по вине железа - грабли с софтом никто не отменял. Да и останавливать один из них на ревизию/апгрейд/апдейт софта - намного проще, в 5 утра остановить PPPoE демон с дропом всех туннелей - и никто не заметит даже...

5 - аналогично, лучше 2 железки с VRRP между ними.

6 - выделенный ИМХО смысла нет, лучше поднять на серверах/брасах/бордюре. Причина - малая нагрузка на проц (у вас же сеть не на 100к+ абонов?), и в то же время относительно большой аппетит к памяти (которой на брасах к слову обычно в избытке - особенно при пользовании специализированных дистров с uClibc вместо грузных комбайнов).

 

А вообще - я бы советовал из серверов с биллингом и БД сваять кластер. Одна нода - в штатном режиме БД, вторая - логика биллинга; краш одной из нод - сервисы поднимаются на второй автоматически. Потому как в противном случае разнесение сервисов с одного сервера на два приводит не к увеличению надежности, а к падению ее Вероятность отказа одной железки из двух в два раза выше, чем отказа одой железки из одной

[Oleg Doneck 94]

Зашел я на http://www.onix.kiev...duct.aspx?cat=6 и глаза разбежались от асортиментаи цен, минимальная цена 7000грн на рековый тазик с чипсетом Intel 3420. А нормальная железка стоит ууууууууу.....

Поделитесь где сервера по адекватным ценам можно достать?

[mlevel 52]

Версія - Консалтинг. І конфігурацію допоможуть підібрати.

[KaYot 3 731]

Вот с этого и нужно было начинать Нормальные сервера стоят хороших денег, у оникса весьма гуманные цены. Если нужно подешевле - или б/у брендовые покупать, или не извращайтесь и соберите в рековых корпусах любое подходящее железо.

Как раз после покупки правильного сервера supermicro в Ониксе я вообще зарекся брать готовые системы, столько геморроя мои самодельные не доставляют. Начиная от невозможности нормально поставить ОС(dvd там включен через переходник usb-ide и биосом виден не всегда), заканчивая гарантийной заменой материнки(однажды стал включаться через раз без каких-либо видимых причин, после 20ой поездки в сервис наконец-то он не включился и у них). Про приколы с охлаждением лучше вообще не вспоминать, система нормально работает только в дефолте, жутко воя своими 10 ваттными дельтами. При установки профиля workstation(обороты кулеров падают с 9000 до менее убийственных 5000) система становится нестабильной, хотя по всем сенсорам температуры в норме.

Самодельные сервера в той же стойке в 2u корпусах от CSV и матерями intel server board/supermicro и core quad CPU никаких чудес не проявляют, собрали, включили и забыли.

 

По самому вопросу - биллинг+базу на одну машину, туда побольше памяти и пару быстрых винтов в raid1. Отдельную машину ставить под биллинг как-то странно, там нагрузка будет всегда нулевая.

Raid5 оставьте для домашних извращений, если нужна надежность raid1, надежность и скорость - 1+0.

Корневой DNS отдельной машиной, на все НАСы вторичные DNS, выдающиеся клиентам подключенным к данному NASу. У нас доп сервисы как раз живут на машине с DNS, нагрузка от них стремится к нулю.

А сами сервера доступа советовать вообще бесполезно, это вы сами должны знать по ситуации.

Я последний NAS собирал на какой-то дектопной матери s1155 + i5-2500. Совершенно адская штука получилась за смешные деньги, сейчас терминирует около 1к PPPoE сессий в час пик с шейпингом, трафик до гига в каждую сторону, загрузка CPU 5-7%

[Oleg Doneck 94]

Спасибо NiTr0 и KaYot, побольше бы таких постов. Ваши примеры и подводные камни дают хоть какоето представление о ситуации. Не хочется дров наломать деньги на ветер выбросить и глючное-шумное барахло взять.

Прискорбно слышать такие слова про готовые с-мы, думал хоть за такие деньги можно получить оттестированную железяку, которая работает по принцыпу поставил-забыл. Кстати если не заниматься самопалом что существует кроме супермикро, деллов и НР? И если брать БУ теже делы и НР, я так понимаю современных платформ БУ не бывает, а старьё всё чахлое, есть ли вообще смысл тогда их брать?

[NEP 217]

  В 31.10.2011 в 13:11, KaYot сказав:

Raid5 оставьте для домашних извращений, если нужна надежность raid1, надежность и скорость - 1+0.

 

Бред. Все зависит от контроллера.

 

Raid6. Areca ARC-1680ix-8 + 12HDDх2Тб (Seagate Constellation ) в результате отказоустойчивый массив на 20Тбайт в 2U корпусе:

dd if=/dev/zero of=/data.test bs=102400 count=102400
102400+0 records in
102400+0 records out
10485760000 bytes (10 GB) copied, 14.8721 s, 705 MB/s

 

При этом 1+0 даст всего 12Тбайт, а по производительности не выиграет чуть менее чем никак.

[NEP 217]

  В 31.10.2011 в 14:15, Oleg Doneck сказав:

Спасибо NiTr0 и KaYot, побольше бы таких постов. Ваши примеры и подводные камни дают хоть какоето представление о ситуации. Не хочется дров наломать деньги на ветер выбросить и глючное-шумное барахло взять.

Прискорбно слышать такие слова про готовые с-мы, думал хоть за такие деньги можно получить оттестированную железяку, которая работает по принцыпу поставил-забыл. Кстати если не заниматься самопалом что существует кроме супермикро, деллов и НР? И если брать БУ теже делы и НР, я так понимаю современных платформ БУ не бывает, а старьё всё чахлое, есть ли вообще смысл тогда их брать?

 

НЕ БЕРИТЕ Б/У (3-4 года + ) х86-е архитектуры никогда в жизни. Это просто мусор.

 

Делл и супермикро делают самые бюджетные серверные платформы. Соберите серверную платформу в любом онлайн-магазине и учтите, что в супермикро стоят уже интегрированные контроллеры серии ЕT, а у DELL аналог Broadcom - то самосбор вам выйдет всего на 10% дешевле! если не дороже, а если учесть время на сборку и закупку всего этого барахла - то себе дороже.

 

Я лично предпочитаю Dell

[NiTr0 585]

  В 31.10.2011 в 14:38, NEP сказав:

НЕ БЕРИТЕ Б/У (3-4 года + ) х86-е архитектуры никогда в жизни. Это просто мусор.

LGA771 с Core2 зеонами в эту категорию попадает - но в принципе еще вполне юзабельно. Насчет сокета 603/604 - то да, брать разве что из любви к искусству, ибо по производительности будет сопоставимым с атомом, и сольет любому младшему 2-ядерному десктопному процу; по надежности/безглючности же б/у сервер не слишком далеко ушел от десктопа - как минимум контакты имеют свойство окисляться, кулера - изнашиваться, конденсаторы - деградировать со временем, даже брендовые.

[Oleg Doneck 94]

NEPу отдельное спасибо за коментарии и мысли.

А скажите как Dell по шумности? десктопы сейчас еле слышно...

[NEP 217]

  В 31.10.2011 в 15:02, Oleg Doneck сказав:

NEPу отдельное спасибо за коментарии и мысли.

А скажите как Dell по шумности? десктопы сейчас еле слышно...

 

Как самолеты, но так работают любые стоечные машины. Тихого ничего промышленного нет.

[Fanat_non_root 88]

  В 31.10.2011 в 15:02, Oleg Doneck сказав:

NEPу отдельное спасибо за коментарии и мысли.

А скажите как Dell по шумности? десктопы сейчас еле слышно...

Да нормально, так же как HP, Dell, Supermicro, IBM, intel, Sun и любой стоечный сервер. ИХ никто не стремится делать тихими - они ж в отдельных помещениях стоять должны.

Работал со всем вышеозначенным. По соотношению цена/качество ОЧЕНЬ понравился делл (особенно после ХП, гыгы), супермикро тоже терпимо.

[KaYot 3 731]

  В 31.10.2011 в 14:33, NEP сказав:

Бред. Все зависит от контроллера.

 

Raid6. Areca ARC-1680ix-8 + 12HDDх2Тб (Seagate Constellation ) в результате отказоустойчивый массив на 20Тбайт в 2U корпусе:

dd if=/dev/zero of=/data.test bs=102400 count=102400
102400+0 records in
102400+0 records out
10485760000 bytes (10 GB) copied, 14.8721 s, 705 MB/s

При этом 1+0 даст всего 12Тбайт, а по производительности не выиграет чуть менее чем никак.

Понты это красиво и хорошо, позволяет приобщаться к искусству и объяснять куда делись выделенные деньги. Но зачем ЭТО в DB небольшого ISP? 2 винта в raid1 или(если биллинг кривой и дает большую нагрузку на диск) - 4 диска в 1+0.

 

Старые сервера можно использовать где-то на сервисах, под тот же DNS ненагруженный или бэкапы. Для маршрутизаторов смысла нет, убедился в этом при сборке последнего NASa - десктопные sandy в разы быстрее даже относительно 'нормальных' ксеонов 4ех ядерных, а то Г. что тут продают в каждой теме(2 двухядерных процессора!) будет в 10 раз медленнее и в 5 прожерливее.

[Oleg Doneck 94]

На каком рэйде подымать с-мы вопрос предпочтения и опыта каждого, вопрос в другом.

 

Если остановится на Dell, где на Украине их можно купить? Помощнее это только новые, но и бу тоже интересно для второстепенных сервисов?

[Oleg Doneck 94]

А есть ли смысл в двух процессорах на НАСах и бордере?

Допустим что лучше 1 топовый проц X5690 6х3,46Ггц или 2 средних X5650 2,66Ггц?

[NiTr0 585]

  В 01.11.2011 в 16:47, Oleg Doneck сказав:

А есть ли смысл в двух процессорах на НАСах и бордере?

Есть смысл в 2 (или более) насах, а не в одном большом монстре. Дешевле будет. + нагрузка на проц растет нелинейно.

Насчет бордюра - думается, одна голова, даже не самая топовая, если без ната, прожует далеко не один гиг...

[Oleg Doneck 94]

Подскажите, а как запихиваются в 1U сервер 2х - 4х портовые интеловские карточки?

[NEP 217]

  В 01.11.2011 в 16:47, Oleg Doneck сказав:

А есть ли смысл в двух процессорах на НАСах и бордере?

Допустим что лучше 1 топовый проц X5690 6х3,46Ггц или 2 средних X5650 2,66Ггц?

 

В конфигцрации Quad у вас будет 32 очереди прерываний в случае, если на интерфейсе по 8 очередей на прием/передачу. Естественно что лучше покупать многоядерную конфигурацию в ущерб частоте. Конфигурация на X5650 - это 40+ Гбит/с или 5Mpps+ оно вам надо?

 

Возьмите что то однопроцессорное класса 3470 и сєкономьте кучу денег.

[NiTr0 585]

  В 01.11.2011 в 22:08, Oleg Doneck сказав:

Подскажите, а как запихиваются в 1U сервер 2х - 4х портовые интеловские карточки?

Если не ошибаюсь - там 1 полноразмерный PCI слот боком через райзер.

[Oleg Doneck 94]

  В 01.11.2011 в 22:08, NEP сказав:

  В 01.11.2011 в 16:47, Oleg Doneck сказав:

А есть ли смысл в двух процессорах на НАСах и бордере?

Допустим что лучше 1 топовый проц X5690 6х3,46Ггц или 2 средних X5650 2,66Ггц?

 

В конфигцрации Quad у вас будет 32 очереди прерываний в случае, если на интерфейсе по 8 очередей на прием/передачу. Естественно что лучше покупать многоядерную конфигурацию в ущерб частоте. Конфигурация на X5650 - это 40+ Гбит/с или 5Mpps+ оно вам надо?

 

Возьмите что то однопроцессорное класса 3470 и сєкономьте кучу денег.

А сколько реально сможет прожевать, отшейпить и выплюнуть не подавившись, трафика 3470(4х2,93Ггц)?

[KaYot 3 731]

А это опять же зависит от применения. Для pppoe NAS'a утилизировать ядра не так просто, лучше поставить 2 простых сервера чем одного монстра. Для ipoe проще, пара двухголовых intel ET позволит пропускать 2 гига с некоторым запасом.