Melanxolik

Прерывания разбросаны, с самого бордера траса, upload в /dev/null как поживает? может есть возможность iperf с кем-то запустить.

Простите, но это не ядро сети, у нас такие на доступе для клиентов стоят.

На чем перевариваете? Каналы в один таз или разные?

iptables в руки, делайте для клиентов морды и позвольте им добавлять в rule, отслеживайте кол коннектов, порубайте непонятный трафик в сторону клиентов, это не сложно, дальше по ситуации. Незабывайте что из вне просто так пакеты не приходят, а вот из внутри они вполне могут исходить, так что правила должны быть направлены в сторону внешнего трафика.

Ровно до тех пор пока не свалил в коммандировку или отпуск, ну или заболел и остался дома, а там как раз рухнул этот самый клевый кластер построенный на обычном десктоп железе. Извните конечно, но я лучше докину $ и сделаю так чтобы даже если будет совсем попа, мне не надо было носится по городу как ошпареному, а достаточно было обычного подключения к сети. +1 к резервирования сетевого подключения, это избавляет от большого количетства проблем. Если правильно помню, то разница серверных и десктоп процессоров это в разделяемости cache между ядрами, соотствественно это очень сильно влияет многопоточность приложений.

Пытаюсь до вас донести, что для построения вот таких вот вещей существует специально выведенное железо, которое позволяет без всяких проблем работать и предоставлять услугу. Уточните также, вы используете DRBD для обеспечения отказоусточивости системы или каким методом реализуете общую фс для нод? Но хотя подозреваю что в двухузловом кластере максимум что действительно можно отжать это drbd поверх какого-то raid массива, ну и такие вещи как fence и ha конечно нервно курят. Ага, то есть по вашей статье гугл юзает I3 для своих кластеров и обычную память, с другой стороны это гугл и его ресурсы програмирования и технологий находятся вне нашей доступности. Вплоть до того что они дублируют свои узлы и вполне используют shared memory между нодами.

гипевизор или кластер? будьте любезны определитесь. так как 1 машина это не 20ть машин, и подходы к построению системы не то что отличаются а совершенно разные.

Обоснуйте, только конкретикой.

Вы прикалываетесь? скажите вы кластер на цепхе рулили? Как уже сказал, автору надо разобраться сперва чего он хочет, и потом под это получать решение. Xeon выбирается по нескольким причинам: память, архитектура процессора и его заточки, реализация многопоточности и раздельных кэшей в ядре под каждое из ядер и тд. Хотите работать на десктоп варианте и сутками разбраться чего не пашет или почему так медленно, дело ваше. И да, xeon стоит дешевле i7.

При том что попробуйте запихнуть I3 рекомендованный на мамку с ipmi и поддержкой ECC, зачем искать геморой на свою голову, когда есть проверенные и работающие решения.

ну расскажите как вы сделаете live migration в этом случае? также обьясните как вы видете архитетуру ФС в кластерной системе?

Вам схемы уже расписали, 2-3 нормальных таза, на базе Xeon + ECC память. Диски в этих серверах лучше в hotswap, хранилище у вас одно, это цепх, других вариантов особо у вас не будет. Ваши NAS под backup монтируются или по iscsi или по nfs для налива backup.

ох, да, стойка это дорого, особенно для предприятия, лучше везде развесить сопли. ceph, читать про архитектуру, ну если конечно... Очень дельный вариант, а платформы там есть вкусные не передать. Вы виртуализацией занимаетесь или PC домохозяйкам собираете? Только Xeon, на supermicre ipmi в самом простом варианте. Ну не бегать же к кластеру тыкать потом KVM. При двух нодовой конфигурации разруливается за счет внешнего диска.

50к, мне бы ваши проблемы, можно как минимум 3 таза собрать. берите здесь корпусок 2U супер микро с хотсвапом, пихайте в него v3 1225, мать супермикра, 32ECC памяти, по хорошему в 50к можно собрать 3и таких железки, будет ha, fence и прочие приятные плюшки. Винты ставите 500ки в каждый сервер, поднимаете ceph, пихаете lsi контроллеры с кэшом, ставите по 4ре сетевки с агрегацией, свич можно тоже неплохой прибарахлить, лишь бы в него балансировка в L4 была на агрегациях. Можно еще жирнее, докинуть еще не много и поставить SSD в качестве прослойки cache под сам цепх. На выходе получаете супер мега кластер, который тяжеловато будет приложить. И да, винда под KVM имеет проблемы, особенно с live migration.

Интересно сравнивать ЗП админа и прибыль владельца.

Получать ЗП в $ которые можно потратить на его увеличение. Тут зависит исключительно от цености сотрудника и если директор заинтересован в данном сотруднике он будет платить и в $ и в евро. Как уже сказано, вы можете нанять студента за 2к грн, а можете нанять человека прошедшего большой и тернистый путь за $, дело исключительно в том как вы относитесь к сотрудникам. Для человека, а тем более технаря нужна золотая середина при которой он будет хотеть развиваться, внедрять новые услуги и делать жизнь директора лучше или думать о том где бы еще подшабашить и заработать. Очень многие люди к сожалению работают ровно на столько сколько им платят, их аргумент как платят так и работаю.

Странно, сначала вот так экономят на админе, а потом удивляются почему такой застой. Паралельно сети можно развивать вполне несколько других проектов.

Очень много зависит от компании в которой работаешь. Зарубежка вся идет от 15к наших, даже средняк. Тут еще существует несколько категорий админов, одни будут сидеть сутками и долбить высокие технологии, другие будут делать ровно то что им говорят, вам какой вариант больше нравится? не факт что тот кто будет инициативным будет стремится к супер зп, неоднократно сталкивался с тем что чем выше у человека зп тем более узконаправленные его знания.

20 клиентов, на 2.4? а на рокет вы их 50 хотите? полный жесть. пересмотрите свой подход, лучше разбейте на несколько секторов, выровняйте уровни сигналов, еще небось работаете в черную.

Такой пойдет или нужен мощнее?

Ну а что покажет тест? На столе все тип топ, ставим, а потом когда 20человек пускают торены, оказывается все в захлебе. Какой смысл переплачивать 10 раз и покупать то что изначально подлежит замене? В этой теме уже приведено 100 вариантов железа и все за и против архитектуры, но если у автора досих пор не появилось понимание чего и как так может стоит заняться другой работой?

Вы об этом: Динамическая оперативная память передает заряд по определенному столбцу. Этот заряд называют стробом адреса столбца (CAS, Column Adress Strobe) или просто сигналом CAS. Этот сигнал может активировать транзистор любого бита столбца. Управляющий сигнал строки именуется стробом адреса строки (RAS, Row Adress Strobe). Для указания адреса ячейки следует задать оба управляющих сигнала. В процессе записи конденсатор готов принять в себя заряд. В процессе чтения усилитель считывания (sense-amplifier) определяет уровень заряда конденсатора. Если он выше 50 %, бит читается, как «1»; в остальных случаях, как «0». Осуществляется также обновление заряда ячеек. За порядком обновления следит счетчик. Время, которое требуется на все эти операции, измеряется в наносекундах (миллиардных долях секунды). Если чип памяти 70-наносекундный, это значит, полное чтение и перезарядка всех его ячеек займет 70 наносекунд.

читал, но ваше утверждение: не имеет основания. Ошибки появляются рано или поздно, зависит от качество используемых компонентов, от того как ядро системы управляет памятью, в каких областях выделяет и освобождает память, сколько циклов перезаписи выдержит ячейка, какой тип хранимых данных на сервере, это статика или постоянная динамика. Именно по этой причине если и строить то строить надежно чтобы не было звонка от клиента: а чего опять тырнет пропал? а сейчас роутер перезагружается... мы ведь сэкономили 100баков на компонентах, но недобрали сотню абонентов которых не устраивает такое качество услуги.

Нет. Там где в первое время не было ошибок, там они никогда и не появляются, т.к. как природа ошибок - брак (инфа из исследования гугла по памяти). Читали? http://habrahabr.ru/post/171407/

ЕСС на софтроутере не шибко нужна. Смысла с нее там немного. ЕСС нужна (и даже необходима) там, где молотятся критичные данные (т.е. биллинг с БД и т.п.).АМД К10 к примеру практически на любой памяти сыпят раз в сутки где-то 1-2 бита в мемтесте. При этом у нас на них и брасы и бордеры - аптайм в основном ограничен лишь проблемами с питанием. Даже если сбойный бит попадет на критически важные структуры ядра (вероятность чего - весьма малая ввиду их малого объема), худшее что случится - система ребутнется по кернел паник. К слову, в CCR никакого ЕСС нет и в помине Наверное вы работаете с маленькими кол озу, не буду говорить что место в котором сам работаю тоже работает с большими партиями памяти, но: за последние пару месяцев из зашедших 30ти линеек, назад отправились порядка 20ти, при этом память разных производителей, брак идет всплошную. Ну а раз речь зашла о микротиках, может объясните? CCR1072-1G-8S+ - TILE-Gx72 processor with 72 cores at 1.2 GHz, 16GB ECC DRAM, 8x 10Gb SFP+ ports, 1x 1Gb RJ45 port, Up to 80Gbit/s throughput, dual power supplies, Smartcard, color touchscreen LCD, RouterOS L6 с какого это перепугу они решили поставить ECC? И да, наверное приводя в пример железо микротика вам кажется что везде кругом такая память, ошибаетесь, там память явно специфичная и без дефекта, 100 раз перепроверенная сборщиком, в отличии от тех вариантов которые вы можете приобрести в розничных сетях. Надеюсь поймете к чему это говорю. А теперь еще про микротик, извините но чему там глючить? там внутри все высчитано до бита, банально по памяти вы не столкнетесь с проблемами ровно до тех пор пока не начнете юзать KVM на роутере микротик, но это другая история. Да, ECC медленнее работает, но зато количество ошибок гораздо ниже. И еще одно заблуждение: память все таки изнашивается и чем старше она становится тем больше ошибок будет появляться, так что если выбирать между авось пронесет с неведомыми глюкамии и ну это точно не память плющит, мой выбор будет точно не память, в нужный момент именно эта опция сократит время на поиск и устранение проблемы.