Тазик под linux nas

[axl72]

В сотый раз наверное подниму тему выбора железки под софтроутер, а собственно NAS c  IPoE, PPPoE , NAT 

 

Я сторонник использования б/у 1U сервера на прошлом поколении Xeon'ов (55хх, 56хх). Подобная двухпроцессорная железка сейчас стоит около 10000 грн, при этом имеет в себе как правило приличный сетевой адаптер ( intel et или broadcom 5709) , какой никакой рейд, и IPKVM ( !!! что очень немаловажно).

Процессоры вышеуказанных серий относятся к семейству Nehalem.

 

Но многие будут настоятельно советовать собирать роутер на десктопном железе и на одном современном процессоре i-серии  семейств не ниже Sandy Bridge. Плюсы этого решения в том, что большую часть железа можно купить в обычном компьютерном магазине и не обязательно иметь целый spare-сервер.

Минусы очевидны:  меньшая надежность десктопного железа, отсутствие IPKVM, бОльшая стоимость (как не крути).

 

Вопрос 1: насколько существенна разница в производительности зионов 55хх / 56хх против новых корок в подобных задачах? Делал ли кто то сравнительные тесты?  

 

Вопрос 2: не покроется ли эта разница  тем, что в  сервере два старых камня будут выступать против одного нового в десктопе? И вообще, двухпроцессорная конфигурация в этом деле - это плюс, или минус?

 

И еще немного о сетевых адаптерах.  Сейчас предлагают очень много серверов DELL R610. Приличный тазик во всех отношениях, но оснащен двумя интегрированными двухголовыми сетевухами на чипе Broadcom BCM5709. В связи с этим

 

Вопрос 3: Как эти сетевухи в сравнении с Intel 82576 ? Известны ли какие то  их подводные камни? 

 

 

Спасибо за обсуждение.

 

 

 

 

[KaYot]

Процессоры поколения nehalem вполне современны, архитектура с тех пор менялась минимально.

Новые камни тоньше, больше, экономичнее и все. Удельная производительность на ядро/Ггц примерно та же.

[axl72]

Процессоры поколения nehalem вполне современны, архитектура с тех пор менялась минимально.

Новые камни тоньше, больше, экономичнее и все. Удельная производительность на ядро/Ггц примерно та же.

Тем более удивительно, что они продаются по бросовой цене.

А что на счет сетевух?

[ttttt]

Ну как минимум у haswellов доступ в L3 кэш в 2 раза быстрее при той же частоте. Даже самый дешевый десктопный haswell просто разорвет nehalem на нагрузке.

[Зоррик]

Ще один мінус старих сервантів споживання електрики.

[KaYot]

Ну как минимум у haswellов доступ в L3 кэш в 2 раза быстрее при той же частоте. Даже самый дешевый десктопный haswell просто разорвет nehalem на нагрузке.

Ты что-то путаешь, скорость подсистемы памяти/кеша в нехалем/иви/хавел отличается на единицы процентов, никаких "в 2 раза" нет в принципе.

Какие-то изменения в организации кешей у Хасвела заявлены, но в тестах прибавки скорости нет.

[ttttt]

L3: 39 cycles vs 21 cycles

[KaYot]

..но при этом он стал асинхронным и "частота теперь ниже частоты ядра". Насколько - не известно.

Тесты говорят что L1 стал в 2 раза быстрее, а L2 и L3 в лучшем случае не изменились. 

Итоговая скорость работы с памятью так же не изменилась, разницы в маршрутизации у камней быть не должно.

[prototip]

Не заморачивайся , купи что то из разреза HP dl360-380 G6 , небольшое количество памяти и небольшие винты в рейд запихнешь при ценнике долларов с 500-700 . И будет оно работать долго и неплохо . G7 уже совсем другой ценник . Насчет дела не подскажу - не практикую .  А  более думаю и не нужно  один такой нас с ипое прожует нунче несколько тысяч пользователей на 55 камнях и не поперхнется .  1U сервера не рекомендую они сильно больно шумные ибо пропихивать воздух тяжко , выбор за одним юнитом это когда выхотите поставить сервак в датацентп , где за каждый юнит денег дерут по полной , а как для себя 2U практичней . 

[prototip]

Сервер есть сервер , какой там i7 , ведь не только в камне суть вопроса , сервер это железка которая работает 24\7 .  А десктоп есть десктоп . 

[prototip]

Ще один мінус старих сервантів споживання електрики.

При этом в современном серванте можно легко мониторить потребляемую мощность без вопросов , а на десктопе с этим как то тяжко .

[ttttt]

Итоговая скорость работы с памятью так же не изменилась

Это bandwidth, а не latency, он никакой роли не играет, кроме последовательного чтения из памяти. Таких задач почти нет, обычно в L3 надо лезть случайным образом, хоть это mutex, хоть выдрать информацию о состоянии.

[KaYot]

 Итоговая скорость работы с памятью так же не изменилась

Это bandwidth, а не latency, он никакой роли не играет, кроме последовательного чтения из памяти. Таких задач почти нет, обычно в L3 надо лезть случайным образом, хоть это mutex, хоть выдрать информацию о состоянии.

Ты же понимаешь, что абсолютная латентность(в секундах) зависит кроме таймингов еще и от частоты. Нет в реальности никакого прироста в подсистеме памяти у семейств нехалем-санди-хасвел, все то же до единиц процентов.

Лень искать тесты камней с цифрами латентности, вероятно легко нагуглить.

 

p.s. погуглил. не вру.

Відредаговано 28 вересня, 2015 KaYot

[KaYot]

IMHO сейчас тазики предпоследнего поколения(под s1366) - подарок богов по цена/качество, я себе весь парк заменил на HP DL380/DL180 Gen6 и пока никаких узких мест не наблюдаю.

[KaYot]

Тем более удивительно, что они продаются по бросовой цене.

А что на счет сетевух?

У меня работает soft IPOE BRAS на DL380 G6. До 3к сессий и чуть больше 2гбит в одну сторону, ~50% загрузки камня L5639. Одного, скоро буду добавлять второй

Использую бортовые броадкомы(5709 вроде), никаких нареканий кроме кривоватого драйвера. Ну да после вылизанного интела у любого производителя драйвера страшны.

Відредаговано 28 вересня, 2015 KaYot

[ttttt]

Ты же понимаешь, что абсолютная латентность(в секундах) зависит кроме таймингов еще и от частоты. Нет в реальности никакого прироста в подсистеме памяти у семейств нехалем-санди-хасвел, все то же до единиц процентов.

Latency L3 кэша зависит от нанометров, а не от частоты, по идее.

Частота просто как ограничение, на которой оно будет нормально работать.

[KaYot]

 

Ты же понимаешь, что абсолютная латентность(в секундах) зависит кроме таймингов еще и от частоты. Нет в реальности никакого прироста в подсистеме памяти у семейств нехалем-санди-хасвел, все то же до единиц процентов.

Latency L3 кэша зависит от нанометров, а не от частоты, по идее.

Частота просто как ограничение, на которой оно будет нормально работать.

 

Оооо приехали

От нанометров зависит только максимально достижимая частота и минимально допустимый вольтаж(читай энергопотребление).

Время доступа(неважно, память это или кеши) измеряется в наносекундах, и прямо зависит от частоты и количества тактов. Такты/частота = секунды.

Именно поэтому для памяти последние годы наращивают шины, а не частоты. Если посчитать - для любой памяти начиная с SDRAM заканчивая DDR4 реальное время доступа примерно равно 50-60ns(40 для супер-оверколокерских комплектов) - растут частоты, вместе с ними растут и тайминги, ибо скорость физической ячейки конечна и прорывов в этой области не было.

То же самое видимо сотворили и с несчастным L3 кешем с хасвела, понизили частоту и потому же понизили тайминги. Прорыва нет, это скорее дыхание мобильного сегмента с их требованиями по энергоэффективности и гибкости управления(теперь и частоту кеша можно динамически менять).

Відредаговано 28 вересня, 2015 KaYot

[ttttt]

Да ничего не понизили и ничего не тоже самое, что за бред?

Latency у кэшей всегда зависила от наноментров, потому что чем дальше кэш, тем дольше в него лезть, так понятно?

Кэши - это совсем не то же самое, что и память.

Відредаговано 28 вересня, 2015 ttttt

[KaYot]

Да ничего не понизили и ничего не тоже самое, что за бред?

Latency у кэшей всегда зависила от наноментров, потому что чем дальше кэш, тем дольше в него лезть, так понятно?

Кэши - это совсем не то же самое, что и память.

Поражаешь и удивляешь. Воспользуюсь nep'овской коронной фразой. Бред ©

Латентность - время доступа по русски - измеряется в секундах или в тактах. Такты привязаны к частоте(длительность такта это и есть 1/частота системы).

Что б получить данные нужно подождать N тактов. Длительность тактов какая? Правильно, при частоте 1Гц - 1 секунд. При 1Ггц - 1 наносекунда.

 

Основы микропроцессорной техники можно и в википедии поглядеть, нам это в институте объясняли.

 

P.S. если не веришь - прогони тест кешей из AIDA64 на домашней машине, потом частоту CPU в 2 раза понизь и еще раз прогони. Нанометры останутся те же, результат упадут ровно в 2 раза

Відредаговано 28 вересня, 2015 KaYot

[kvirtu]

 

Тем более удивительно, что они продаются по бросовой цене.

А что на счет сетевух?

У меня работает soft IPOE BRAS на DL380 G6. До 3к сессий и чуть больше 2гбит в одну сторону, ~50% загрузки камня L5639. Одного, скоро буду добавлять второй

Использую бортовые броадкомы(5709 вроде), никаких нареканий кроме кривоватого драйвера. Ну да после вылизанного интела у любого производителя драйвера страшны.

 

а как определить кривость драйверов ?

[KaYot]

а как определить кривость драйверов ?

К примеру, число очередей не регулируется и всегда равно числу ядер в системе. Плюс, для моих 6ти ядерных CPU драйвер зачем-то создал 7 очередей(для 4 и 8 ядер все ок, 4/8 очередей).

В итоге в системе 6 ядер, 6 сетевок и 42 нахрен не нужных очереди прерываний

[axl72]

 

Тем более удивительно, что они продаются по бросовой цене.

А что на счет сетевух?

У меня работает soft IPOE BRAS на DL380 G6. До 3к сессий и чуть больше 2гбит в одну сторону, ~50% загрузки камня L5639. Одного, скоро буду добавлять второй

Использую бортовые броадкомы(5709 вроде), никаких нареканий кроме кривоватого драйвера. Ну да после вылизанного интела у любого производителя драйвера страшны.

 

Насколько я понял неразрешимых проблем с этими сетевухами нет? MSI-X у Вас на них запустилось? 

[kvirtu]

 

а как определить кривость драйверов ?

К примеру, число очередей не регулируется и всегда равно числу ядер в системе. Плюс, для моих 6ти ядерных CPU драйвер зачем-то создал 7 очередей(для 4 и 8 ядер все ок, 4/8 очередей).

В итоге в системе 6 ядер, 6 сетевок и 42 нахрен не нужных очереди прерываний

 

я понял, все понял ..... , спс .

И какой выход из ситуации ?

Відредаговано 28 вересня, 2015 kvirtu

[ttttt]

Латентность - время доступа по русски - измеряется в секундах или в тактах. Такты привязаны к частоте(длительность такта это и есть 1/частота системы).

Что б получить данные нужно подождать N тактов. Длительность тактов какая? Правильно, при частоте 1Гц - 1 секунд. При 1Ггц - 1 наносекунда.

 

Спасибо, кэп. Считается не для 1 гигагерца, а для частоты процессора, кэши на ней и работают. У хасвелов частота выше, чем у нехалемов. Соответственно разница даже больше, чем в 2 раза.

 

Хотел нагуглить подробнее, но да ладно. SRAM кстати - 1-5 наносекунд, так что до 4 ГГц еще вообще никуда не упирается.

Відредаговано 28 вересня, 2015 ttttt

[KaYot]

 

Латентность - время доступа по русски - измеряется в секундах или в тактах. Такты привязаны к частоте(длительность такта это и есть 1/частота системы).

Что б получить данные нужно подождать N тактов. Длительность тактов какая? Правильно, при частоте 1Гц - 1 секунд. При 1Ггц - 1 наносекунда.

Спасибо, кэп. Считается не для 1 гигагерца, а для частоты процессора, кэши на ней и работают. У хасвелов частота выше, чем у нехалемов. Соответственно разница даже больше, чем в 2 раза.

 

Хотел нагуглить подробнее, но да ладно. SRAM кстати - 1-5 наносекунд, так что до 4 ГГц еще вообще никуда не упирается.

 

Ты так ничего и не понял. У хасвела L3 больше не работает на частоте процессора, а на какой работает - это есть тайна.

SRAM 1-5ns это все тот же перл, как и про нанометры

 

А раньше меня только Павлобор подобным образом веселил, времена меняются.