Уметь справляться с отказами !

&nbsp; <IMG src="http://zdnet.ru/_Article_Images/030205google.jpg" align=left>Техническая мудрость, стоящая за успехом поисковой машиной Google, возможно, сводится к пониманию тривиального: ПК ломаются. <BR>
<P>В среду вице-президент поискового гиганта Урс Хольцль, выступив на конференции для программистов EclipseCon в Берлингейме, штат Калифорния, пролил некоторый свет на то, как функционируют вычислительные центры Google. Многие считают опыт работы компании даже более ценным, чем те алгоритмы поиска, с которых она начиналась. <BR></P>
<P>Google смогла построить свою вычислительную инфраструктуру за миллионы, а не десятки миллионов долларов, покупая относительно дешевые машины. Оценив стоимость аппаратуры, инженеры компании поняли, что несколько высококлассных серверов на восьми и более мощных процессорах обойдутся значительно дороже, чем десятки более простых commodity-серверов. <BR></P>
<P>Фокус в том, чтобы заставить эти стойки с аппаратурой работать в комплексе и чтобы отказ одной машины не нарушал выполнения таких операций, как обработка запросов или демонстрация рекламы. <BR></P>
<P>Возьмите домашний ПК, сказал Хольцль. Допустим (оптимистически), что потребительский ПК выходит из строя из-за сбоя в программе или отказа аппаратуры раз в три года. <BR>«В масштабах Google… когда у вас тысячи ПК, отказов нужно ожидать ежедневно. Поэтому лучше всего, чтобы их последствия устранялись автоматически, иначе вы получите перебои в обслуживании». <BR></P>
<P>Google, известная своей строгой практикой отбора специалистов, нацеленной на привлечение самых ярких умов компьютерной индустрии, создала ряд программных инструментов для управления своей вычислительной инфраструктурой. <BR>Компания написала собственную файловую систему Google File System, оптимизированную для работы с крупными, 64-Мбайт блоками данных. Она спроектирована с учетом того, что отказ диска или отключение сетевого кабеля может произойти в любое время. <BR></P>
<P>Данные реплицируются в трех местах, и есть «главная» машина, которая находит копии фрагментов таких данных, как индекс ключевых слов, в том случае, если оригинал перестал быть достоверным. <BR>«Программное обеспечение становится нечувствительным к отказам. Это делает дешевые массовые ПК пригодными для работы с интернетом», — пояснил Хольцль.<BR></P>
<P>РС-серверы Google, исчисляемые тысячами, работают с упрощенной версией Linux, которая основана на дистрибутиве Red Hat, но на самом деле это просто ядро операционной системы, модифицированное для Google. <BR></P>
<DIV style="FLOAT: right; MARGIN: 10px; FONT: 10px verdana; font-size-adjust: none; font-stretch: normal"><IMG style="BORDER-RIGHT: rgb(0,0,0) 1px solid; BORDER-TOP: rgb(0,0,0) 1px solid; BORDER-LEFT: rgb(0,0,0) 1px solid; BORDER-BOTTOM: rgb(0,0,0) 1px solid" height=138 alt="Urs Hoelzle" src="http://zdnet.ru/_Article_Images/urs_holzle_110x138.jpg" width=110 border=0><BR>Урс Хольцль,<BR>вице-президент Google</DIV>Еще компания создала систему для управления большим количеством данных и быстрой обработки запросов. Google разделила веб на миллионы участков, которые реплицируются в случае отказа. <BR>
<P>Не удивительно, что компания ведет индекс слов, присутствующих в вебе, и хранит его в виде массива крупных файлов. Но есть также серверы документов с копиями веб-страниц, которые обходит и загружает Google. <BR></P>
<P>Другая важная инженерная находка Google: программы, очень рационально функционирующие на тысячах серверов. Обычно создание приложений для работы на «параллельной» конфигурации серверов требует специализированных инструментов и знаний. <BR></P>
<P>Инструмент программирования Google, который называется <A href="http://dw.com.com/redir?destUrl=http%3A%2F%2Fwww.usenix.org%2Fevents%2Fosdi04%2Ftech%2Fdean.html&amp;siteId=3&amp;oId=2100-1032-5596811-2&amp;ontId=1023&amp;lop=nl.ex" target=_blank>MapReduce</A>, автоматизирует задачу восстановления программы в случае отказа и играет важную роль для сохранения низкого уровня расходов компании. <BR></P>
<P>«Расходы складываются из затрат на поддержание работоспособности оборудования и времени, за которое программисты могут написать что-то полезное», — сказал Хольцль, добавив, что в прошлом году Google начала использовать MapReduce более широко. <BR></P>
<P>Наконец, Google создала программное обеспечение «группового» планирования заданий, которое играет роль диспетчера для миллионов операций. Это ПО, называемое Global Work Queue, разбивает задачи на множество мелких подзадач и распределяет их между машинами. <BR></P>
<P>При всем своем резервировании система все же не решает всех проблем, признал Хольцль. Он продемонстрировал фотографию, на которой изображены шесть пожарных машин, вызванных по тревоге к одному из вычислительных центров Google. <BR>«Тут выходом из строя одного ПК не ограничилось», — прокомментировал Хольцль. <BR></P>
<P>В последовавшем за выступлением интервью CNET News.com Хольцль добавил, что еще одним важным фактором, влияющим на конструкцию вычислительных центров Google, является стоимость электроэнергии. <BR>«Физическая стоимость всей работы, не считая зарплаты, прямо пропорциональна затратам на электроэнергию, — сказал он. — Электроэнергия становится фактором экономии, способным удешевить эксплуатацию вычислительного центра. Нужно не только покупать дешевые компьютеры, но и сохранять на разумном уровне текущие расходы».</P></TD></TR>