Помогите подобрать конфиги серверверов.

[Oleg Doneck 94]

Если сравнивать Бордер, NAS-IPoE, NAS-PPPoЕ, то какие сервисы на них в основном грузяц проц?

Поправьте если ошибаюсь:

 

Бордер - трафик + ппс + бгп немного

NAS-IPoE - шейпера + трафик + ппс (нагрузка прекрасно балансируется между ядрами)

NAS-PPPoЕ - тунели + шейпера + трафик + ппс (тунели перегружают одно ядро)

поправьте в чём я заблуждаюсь или чего не учёл?

[KaYot 3 707]

На бордюре нагрузку давать будет только маршрутизация трафика, требования к железу минимальны. BGP ничего не ест.

На NASах основную нагрузку дадут шейперы и NAT, если он используется. Тоннели для pppoe 'бесплатны' и нагрузки не создают.

 

В принципе PPPoE НАСы тоже можно заставить использовать все ядра, у меня сейчас сервера используют по 3 ядра из 4 - на сетевке смотрящей во внешний мир поднято 2 очереди, на сетевке смотрящей в сеть и принимающей ppp - 1. Ни кто не мешает добавить еще одну физическую сетевку и раскидать виланы на оба интерфейса, будет равномерная загрузка 4ех ядер.

[NiTr0 584]

NAS-PPPoЕ - тунели + шейпера + трафик + ппс (тунели перегружают одно ядро)

В общем-то все не так печально, с приходом RPS в ядра. Но равномерной балансировки все равно не получится - хотя может в свежих ядрах RPS более адекватно работает по сравнению с .35

[Oleg Doneck 94]

Raid5 оставьте для домашних извращений, если нужна надежность raid1, надежность и скорость - 1+0.

 

Бред. Все зависит от контроллера.

 

Raid6. Areca ARC-1680ix-8 + 12HDDх2Тб (Seagate Constellation ) в результате отказоустойчивый массив на 20Тбайт в 2U корпусе:

dd if=/dev/zero of=/data.test bs=102400 count=102400
102400+0 records in
102400+0 records out
10485760000 bytes (10 GB) copied, 14.8721 s, 705 MB/s

 

При этом 1+0 даст всего 12Тбайт, а по производительности не выиграет чуть менее чем никак.

ЭТО конечно не авторитет, но что скажете на счёт падения производительности 5-6 рейдов на запись?

[KaYot 3 707]

Собственно, то о чем я и говорил. Может быть для 20 дисков и супер-умного контроллера с гигом памяти и независимым питанием в хитрых рейдах и есть смысл(не встречал таких ситуаций), то для БД ISP нет ничего лучше RAID1 или RAID1+0(если дисков >2).

[Oleg Doneck 94]

Собственно, то о чем я и говорил. Может быть для 20 дисков и супер-умного контроллера с гигом памяти и независимым питанием в хитрых рейдах и есть смысл(не встречал таких ситуаций), то для БД ISP нет ничего лучше RAID1 или RAID1+0(если дисков >2).

на серверных платформах в комплете идёт рэйд контроллер, вопрос что лучше с точки зрения эксплуатации, софтовый или хардовый рэйд?

[NEP 217]

ЭТО конечно не авторитет, но что скажете на счёт падения производительности 5-6 рейдов на запись?

 

Это бред. Все зависит от контроллера.

[NEP 217]

на серверных платформах в комплете идёт рэйд контроллер, вопрос что лучше с точки зрения эксплуатации, софтовый или хардовый рэйд?

 

С точки зрения производительности ничего дешевле чем SSD нет.

[Oleg Doneck 94]

на серверных платформах в комплете идёт рэйд контроллер, вопрос что лучше с точки зрения эксплуатации, софтовый или хардовый рэйд?

 

С точки зрения производительности ничего дешевле чем SSD нет.

Перефразирую вопрос - выбор оптимальной дисковой подсистемы для следующих серверов с точки зрения надёжности и достаточной производительности:

1)Бордер

2)НАС

3)Биллинг+БД

4)ДНС

 

Если применять SSD винты то нужно минимизировать на них запись данных и для серверов БД они не подойдут. Читал на наге некоторые комбинируют SSD винты(на них стоит система с конфигами) и обычные(сюда льются логи и прочая дрянь).

 

Что касается хардовых рейдов, с одной стороны можно без лишних манипуляций вытянуть любой винт на работающем сервере и воткнуть новый после чего пойдёт востановление рэйда, но что будет если в самом контроллере будут проблемы? софтовый рейд сломаться не может но умеет он горячую замену винтов и как там с уведомлением о том что винт умер?

[KaYot 3 707]

1) raid1

2) одиночный винт/флешка. Что плохого в умирании NASa если он не один? Или raid1

3) raid1/raid10

4) raid1

 

Я люблю софт-рейды, sata позволяет горячее подключение устройств и проблем с этим нет. Уведомление о том что умер винт мне лично приходят в виде sms и почтовых сообщений от nagios'a, мониторинг и ремонт прост и удобен.

[Гайджин 574]

Если применять SSD винты то нужно минимизировать на них запись данных и для серверов БД они не подойдут. Читал на наге некоторые комбинируют SSD винты(на них стоит система с конфигами) и обычные(сюда льются логи и прочая дрянь).

SSD под БД очень даже хорошо идут - только не надо брать SOHO модели и лить на них логи. Т.е. диск использовать исключительно под БД и помнить, что через пару лет его надо сменить.

[NEP 217]

Если применять SSD винты то нужно минимизировать на них запись данных и для серверов БД они не подойдут. Читал на наге некоторые комбинируют SSD винты(на них стоит система с конфигами) и обычные(сюда льются логи и прочая дрянь).

SSD под БД очень даже хорошо идут - только не надо брать SOHO модели и лить на них логи. Т.е. диск использовать исключительно под БД и помнить, что через пару лет его надо сменить.

 

Ресурс современных SSD (Intel, OCZ Vertex) 2+ млн часов Это даже правнукам хватит

[Sargas 52]

У них же вроде ограниченное кол-во раз перезаписи? Читай сколько хочешь, а записывать и удалять ограниченное кол-во раз только.

[NEP 217]

У них же вроде ограниченное кол-во раз перезаписи? Читай сколько хочешь, а записывать и удалять ограниченное кол-во раз только.

 

Ну да, ограничено, если каждый день за 24 часа будете перезаписывать весь массив, то через 170 лет ресурс исчерпается. На самом деле ограничение есть и у НЖМД обусловленное изнашиванием механических частей. Для серверных моделей Seagate Constellation время наработки на отказ всего 150 000 часов.

[Гайджин 574]

Ресурс современных SSD (Intel, OCZ Vertex) 2+ млн часов Это даже правнукам хватит

Ну мы Kingston SSDNow SNE125-S2 пользуем - довольны.

[Гайджин 574]

Ну да, ограничено, если каждый день за 24 часа будете перезаписывать весь массив, то через 170 лет ресурс исчерпается.

Ну тут скорее все же не так радужно.

На SLC NAND Flash количество циклов Erase/Program стремиться к 100К. Однако контроллер такого диска стремиться размазывать информацию по всему адресному полю при записи, что бы минимизировать количество циклов Erase/Program в одну ячейку.

Т.е. для того бы убить диск размером 32Г, его нужно полностью перезаписывать его около 6 раз в час в течении двух лет. - Как по мне достаточно странные условия эксплуатации.

[NEP 217]

Ресурс современных SSD (Intel, OCZ Vertex) 2+ млн часов Это даже правнукам хватит

Ну мы Kingston SSDNow SNE125-S2 пользуем - довольны.

 

У них 125 000 часов наработки на отказ.

[NEP 217]

Ну да, ограничено, если каждый день за 24 часа будете перезаписывать весь массив, то через 170 лет ресурс исчерпается.

Ну тут скорее все же не так радужно.

На SLC NAND Flash количество циклов Erase/Program стремиться к 100К. Однако контроллер такого диска стремиться размазывать информацию по всему адресному полю при записи, что бы минимизировать количество циклов Erase/Program в одну ячейку.

Т.е. для того бы убить диск размером 32Г, его нужно полностью перезаписывать его около 6 раз в час в течении двух лет. - Как по мне достаточно странные условия эксплуатации.

 

Это расчетные данные для ранних чипов. Мир не стоит на месте.

[Sargas 52]

Почитал более подробно. Если все так красиво как пишут, то это отлично. Особенно что со временем объем жесткого диска уменьшается и ячейки помечаются как read only и информация не теряется. Можно примерно оценивать когда ему каюк наступит.

[NiTr0 584]

на серверных платформах в комплете идёт рэйд контроллер, вопрос что лучше с точки зрения эксплуатации, софтовый или хардовый рэйд?

ИМХО - софт-рэйд. Ибо не зависит от глюков конкретного рэйд-контроллера (где-то читал о случае, когда контроллер ребилдил массив посчитав актуальным ранее отпавший диск), легче собирается в случае разваливания, без проблем мониторится, и не зависит от железа (сдох контроллер - переключить в любой другой).

 

Перефразирую вопрос - выбор оптимальной дисковой подсистемы для следующих серверов с точки зрения надёжности и достаточной производительности:

1)Бордер

2)НАС

3)Биллинг+БД

4)ДНС

1, 2) Что угодно. В идеале - рид-онли флэш, ось в RAM, + еженедельные бекапы. У нас так. Хуже - 1 диск или рэйд, без свопа.

3) Рэйд-массив, + достаточно памяти чтобы БД жила в кеше.

4) См. 1). Хотя я не виду смысла делать его отдельно. Даже 500 запросов в секунду не смогут создать ощутимую нагрузку на какой-то атом.

 

Если применять SSD винты то нужно минимизировать на них запись данных и для серверов БД они не подойдут. Читал на наге некоторые комбинируют SSD винты(на них стоит система с конфигами) и обычные(сюда льются логи и прочая дрянь).

Система на SSD - ИМХО бред, смысла 0. На БД - можно, в рэйд1, хотя я очень сомневаюсь в целесообразности. Особенно на 2к абонов. 10-20к, когда все упрется в БД - возможно и придется.

 

Что касается хардовых рейдов, с одной стороны можно без лишних манипуляций вытянуть любой винт на работающем сервере и воткнуть новый после чего пойдёт востановление рэйда, но что будет если в самом контроллере будут проблемы? софтовый рейд сломаться не может но умеет он горячую замену винтов и как там с уведомлением о том что винт умер?

Горячая замена = AHCI hotplug. Уведомления о degraded array mdadm прекрасно шлет. + если сильно хочется надежности - добавляете один spare диск, или таки рэйд6.

 

Ресурс современных SSD (Intel, OCZ Vertex) 2+ млн часов Это даже правнукам хватит

Угу. Со звездочкой, а ниже мелким шрифтом - в идеальных условиях, при записи блоками равными размеру физ. блока SSD, при условии того что на диске занят ничтожно малый объем, и т.д.

И часы - ничто, кол-во записей решает.

К слову, десктопные SSD весьма успешно мрут, не смотря на то, что вроде как не должны...

[Гайджин 574]

У них 125 000 часов наработки на отказ.

Дима, для этой конкретной модели все же - MTBF, миллионов часов = 2.

Это расчетные данные для ранних чипов. Мир не стоит на месте.

Я понимаю что прогресс имеется, я говорю о том, что даже SSD первого поколения были весьма не дурны.

[NEP 217]

Угу. Со звездочкой, а ниже мелким шрифтом - в идеальных условиях, при записи блоками равными размеру физ. блока SSD, при условии того что на диске занят ничтожно малый объем, и т.д.

И часы - ничто, кол-во записей решает.

К слову, десктопные SSD весьма успешно мрут, не смотря на то, что вроде как не должны...

 

Вечного нет ничего. Я четко обозначил производителей. Какие же модели и каких производителей у вас "мрут"?

[Гайджин 574]

Угу. Со звездочкой, а ниже мелким шрифтом - в идеальных условиях, при записи блоками равными размеру физ. блока SSD, при условии того что на диске занят ничтожно малый объем, и т.д.

И часы - ничто, кол-во записей решает.

К слову, десктопные SSD весьма успешно мрут, не смотря на то, что вроде как не должны...

Ну по количеству циклов стирания/записи я уже говорил.

И опять же - кто то говорил что в сервера надо ставить десктопные SSD?

[NEP 217]

Дима, для этой конкретной модели все же - MTBF, миллионов часов = 2.

 

Да, почитал, действительно 2 млн, но это в чистом виде снятая с производства модель Intel.

[Гайджин 574]

Да, почитал, действительно 2 млн, но это в чистом виде снятая с производства модель Intel.

Именно - это практические и есть Intel X25-E. Так вот в тот момент когда их брали они не так давно стали выпускаться. - Работают и есть не просят.