Основа технической реализации систем Сloud Computing – центры обработки данных (ЦОД). В англоязычной литературе используется термин «data center» (американское написание), или  «data centre» (английское написание). ЦОД правильнее было бы назвать «центром обработки и хранения данных», поскольку данные в ЦОД не столько обрабатываются, сколько хранятся.

В составе ЦОД можно выделить три основные части: серверную часть (server), где, собственно, и происходит процесс «облачных вычислений» (processing), системы хранения данных (storage) и сетевую часть (networking), в задачу которой входит связь между собой серверов, систем хранения и доступа к внешним сетям передачи данных. Коммутационную часть, в свою очередь, разделяют на подсистему внутренней коммутации (switching) и подсистему доступа (access).

Взаимодействие всех трех основных частей систем Сloud Computing хорошо иллюстрирует следующий рисунок (картинки увеличиваются по клику):

Рисунок 1. Три основные составляющие систем Сloud Computing.

ЦОД – техническая основа систем Сloud Computing

Физически ЦОД может представлять собой специально построенное здание, или законченный модуль, располагающийся внутри другого здания или сооружения, либо на открытом воздухе. Это здание, или модуль, предназначены для расположения в нем компьютерных систем и других компонентов, таких как сети связи и коммутации, системы хранения данных. Кроме того, для функционирования ЦОД необходимы системы обеспечения климата, систем охраны и видеонаблюдения. ЦОД может содержать и другие системы, необходимые для обеспечения его работы, а также работы приложений, работающих поверх его компьютерных систем, например, он может содержать внутри себя ситуационный центр для информационно-аналитической системы «Безопасный город».

Для обеспечения надежности, основные системы ЦОД обычно резервируются, т.е. не устанавливаются в единственном экземпляре. Например, система электропитания  ЦОД должна иметь вводы от двух подстанций системы электроснабжения. Кроме того, для большей  надежности, устанавливаются дизель-генераторы и батареи, на случай полного отключения электропитания в районе расположения ЦОД. Следует заметить, что аналогичным образом резервируются также и элементы сетей связи телекоммуникационных операторов.

Большие ЦОД представляют собой достаточно крупные промышленные объекты, которые могут потреблять такое же количество электроэнергии, как небольшой город.

Развитие ЦОД берет свое начало от серверных комнат или помещений, создававшихся на ранних этапах развития компьютерной индустрии. Первые компьютерные системы были сложны в работе и обслуживании, требовали специальных условий окружающей среды для своей работы. Компоненты соединялись многочисленными кабелями, для чего изобретались разнообразные приспособления, например, т.н. «кабельросты» (стойки для прокладки кабелей), «фальшполы» (приподнятый на специальных рамах пол, под которым и прокладывались кабели), а также стойки стандартизованных размеров для размещения оборудования, которые на жаргоне технических специалистов иногда называются «рэки» (от английского rack – стойка). В настоящее время наиболее стандартным размером таких стоек являются т.н. «19-дюймовые» стойки с шириной посадочного места для корпуса оборудования в 19 дюймов. Почему именно в дюймах, потому что в «технически отсталых» США до сих пор используются дюймы, фунты и пр. А первые стойки для оборудования появились именно в США, почти 100 лет назад (это были стойки для размещения оборудования, управлявшего стрелками железных дорог.

Оборудование, размещаемое в такой стойке, обычно потребляет достаточно много электроэнергии, что приводит к его нагреву, поэтому в состав стоек обязательно входят системы вентиляции и охлаждения. Следует заметить, что энергопотребление – основная проблема современных ЦОД. Чем мощнее и производительнее оборудование, размещаемое в стойках ЦОД, тем большее количество электроэнергии оно потребляет, несмотря на все меры, принимаемые к его уменьшению.

С другой стороны, оборудование ЦОД должно быть компактным, поскольку от этого зависит размер самого ЦОД, а следовательно, стоимость здания, аренды помещений и пр. Однако, чем больше вычислительная мощность на единицу объема, тем большее количество тепла будет выделяться в этом объеме, поскольку процессоры, которые могут работать без излучения тепла, еще не изобретены.  Таким образом, для отвода этого тепла будет требоваться все бóльшая мощность вентиляторов и систем охлаждения, которые также потребляют электроэнергию. Получается некий замкнутый круг.

Уменьшение энергопотребления ЦОД  представляет собой достаточно сложную инженерную проблему, не столько из-за затрат на электроэнергию (их можно компенсировать, заложив в стоимость услуг), сколько из-за загрязнения окружающей среды. Взаимосвязь этих явлений становится очевидной, если учесть, что вычислительные системы потребляют около 15% электроэнергии в  США. Поэтому т.н. «зеленые технологии», т.е. методы снижения энергопотребления и эффективности ее использования, становятся одним из главных направлений развития информационных технологий вообще, и ЦОД в частности.

Прообразом ЦОД можно назвать также «компьютерные залы» ЭВМ (электронно-вычислительных машин) в 60-80-х годах прошлого века (в русском языке тогда еще не укоренилось слово «компьютер»). Эти залы представляли собой довольно большие сооружения, и также содержали сложные кабельные системы, системы электропитания и охлаждения.

Современные ЦОД стали создаваться в начале 1990-х годов, как серверные комнаты внутри собственных помещений предприятий, и довольно часто они создавались именно в залах ЭВМ, которые закончили свой срок службы, или были демонтированы. Затем стали появляться различные здания и помещения, специально создаваемые для размещения серверов и систем хранения.  Часто такие помещения предназначались не для одного предприятия, а нескольких, использующих эти площади совместно, по принципу «колокации» — (co-location, англ. – «совместное расположение»). В конце концов, это привело к строительству специализированных зданий, спроектированных именно под ЦОД, с полным оснащением их всеми соответствующими системами.

Некоторые их таких ЦОД имеют поистине гигантские размеры. Самый большой ЦОД в мире (в плане энергопотребления и мощности системы охлаждения) — SuperNAP-8 компании  Switch Communications Group  в г. Лас-Вегас (шт. Невада, США), площадью около 60 гектаров. В 2014 г. ожидается ввод в строй еще большего ЦОД – SuperNAP-9.

Рисунок 2. Внешний и внутренний виды ЦОД SuperNAP-8 (Изображение: Switch Communications Group)

ЦОД обычно стараются располагать в местах c минимальной стоимостью электроэнергии и земли, однако, следует учитывать также доступность людских ресурсов для их обслуживания. Хотя, в последние время стали создаваться  автоматизированные ЦОД («lights-out»), которые управляются и обслуживаются удаленно, и требуют не очень много наличного персонала, и то, в основном, для охраны.

2.1        Классификация ЦОД

ЦОД классифицируются по 4-х уровневой системе, разработанной в Uptime Institute, отраслевого консорциума ЦОД.  Данная классификация ЦОД ратифицирована Ассоциацией  Telecommunications Industry Association в стандарте TIA-942. Для каждого уровня в данном стандарте определены требования по архитектуре, безопасности, строительству и телекоммуникационным системам.

Кроме того, для каждого уровня определена т.н. «доступность» системы (т.е. время нормальной работа в процентах от всего времени службы, в которое входит и время простоя): 99.671% (28,8 часов простоя в год) для уровня 1 (Tier 1); 99,741% (22 час простоя в год) для уровня  2 (Tier 2), 99,982% (1,6 часа простоя в год) для уровня  3 (Tier 3), и 99,995% (0,4 часа простоя в год) для уровня 4 (Tier 4).

Другим очень важным параметром ЦОД является эффективность использования электроэнергии, PUE» (Power Usage Effectiveness). Этот показатель был введен консорциумом Green Grid. PUE представляет собой простое соотношение мощности, используемой в ЦОД его ИТ-оборудованием (серверы, системы хранения и коммутации), к общей потребляемой мощности, часть которой расходуется на системы охлаждения и вентиляции, а также на различные потери. Ясно, что показателя PUE=1 достичь невозможно, однако, степень приближения величины PUE к единице характеризует эффективность ЦОД. Реальные показатели PUE в современных ЦОД колеблются от 2,5 до 1,1. Например, компания Google сообщает о показателе PUE=1,12 [29], достигнутом в 4 кв. 2012 г.

Другим параметром является т.н. «показатель эффективности инфраструктуры» ЦОД (Data Center Infrastructure Efficiency, DCiE), по сути, представляющий собой величину, обратную PUE. Таким образом, показатель DCiE для Google равен 0,893.

Однако, далеко не все организации могут похвастаться такими замечательными показателями, как Google. В исследовании «Data Center Industry Survey», проведенном в марте-апреле 2012 года, в ходе которого были опрошены 1100 менеджеров ЦОД из Северной Америки (50%), Европы (23%), Азии(14%), а также Центральной и Южной Америк (7%), сообщается, что средний показатель PUE для большинства ЦОД лежит в пределах 1,8-1,89.

Рисунок 3. Результаты исследования средней величины PUE от Uptime Institute.

Кратко рассмотрим требования к ЦОД различных уровней (1 – 4) согласно TIA-942.

ЦОД уровня I подвержен нарушениям нормального хода работы как от плановых, так и от внеплановых действий. Он имеет системы распределения электропитания и охлаждения компьютеров, но может не иметь источников бесперебойного питания ИБП или резервного дизель-генератора. Если даже есть ИБП или генератор, то они представляют собой одномодульные системы. Поэтому инфраструктуру ЦОД приходится регулярно останавливать  для профилактических работ. Ошибки эксплуатации, неверное действия администратора или отказы компонентов инфраструктуры ЦОД будут вызывать перерывы в его нормального работе.

ЦОД Уровня II: имеет резервирование (избыточность) компонентов, поэтому меньше подвержен нарушениям нормальной работы по причине плановых или внеплановых событий, чем ЦОД уровня I. В ЦОД Уровня II должен быть фальшпол, ИБП и генераторы, однако резевирование осуществляется по схеме N+1 (Need plus One), т.е. один запасной компонент  на нужное количество оборудования. Техническое обслуживание и ремонт системы электроснабжения и других частей инфраструктуры объекта потребует остановки процесса обработки данных.

ЦОД Уровня III имеет возможность параллельного проведения ремонтов и любых плановых работ без остановки работы оборудования и инфраструктуры. К плановым работам относится профилактическое и программируемое техническое обслуживание, ремонт и замена компонентов, добавление или удаление компонентов, влияющих на производительность, тестирование компонентов и пр. Например, в больших ЦОД, где используются жидкостные системы охлаждения, это означает наличие двух независимых комплектов труб. Следовательно, вычислительная мощность серверов, емкость систем хранения и коммутации должны иметь достаточную величину и возможность распределения мощности и емкости, чтобы одновременно нести рабочую нагрузку в одной области ЦОД, и в то же время выполнять ремонт или тестирование в другой. Тем не менее, внеплановые события, например ошибки при эксплуатации или самопроизвольные отказы компонентов инфраструктуры ЦОД, всё же могут вызывать перерывы нормальной работы. ЦОД уровня III зачастую проектируют с перспективой наращивания ресурсов до уровня IV, когда требования бизнеса клиента оправдают стоимость дополнительной защиты.

ЦОД уровня IV создаются по принципу отказоустойчивости.  Уровень IV предусматривает возможность проводить любые плановые работы без нарушения нормальной работы оборудования и инфраструктуры ЦОД. Отказоустойчивая функциональность также обеспечивает способность инфраструктуры выдержать по крайней мере один отказ (или событие) наихудшего свойства без последствий для критически важной нагрузки. Это требует одновременной активности путей распределения, обычно в конфигурации «1+1», т.е. полного резервирования всех компонентов. В системе электропитания это означает наличие двух отдельных систем ИБП, причем каждая система имеет внутреннее резервирование N+1. Тем не менее, согласно нормам  противопожарной безопасности и электробезопасности все же возможны некоторые простои из-за срабатывания пожарной сигнализации или по причине аварийного отключения нагрузки EPO (Emergency Power Off). Уровень IV требует, чтобы всё оборудование ЦОД имело двойной подвод питания. Инфраструктура ЦОД Уровня IV наиболее соответствует  концепции высокой эксплуатационной готовности, которая предусматривает использование технологий кластеризации CPU, запоминающих устройств с прямым доступом (DASD), матрицы независимых дисковых накопителей с избыточностью (RAID) и дублирование связей для целью достижения высокой надёжности, готовности и ремонтопригодности.

Виды ЦОД

Все ЦОД можно классифицировать по их предназначению:

• Интернет-ЦОД
• ЦОД предприятий и организаций
• ЦОД публичных провайдеров.

ЦОД также можно подразделить по способу реализации на стационарные, модульные и контейнерные (разновидность последних двух – т.н. «микро-ЦОД»). Причем в состав стационарных ЦОДов в качестве составных частей могут входить модульные и контейнерные, что удобно для целей резервирования, либо в случае необходимости быстрого расширения.

Разновидностью модульных ЦОДов являются т.н. «микро-ЦОД», обычно представляющие собой одну стойку, в которой смонтированы все компоненты ЦОД: серверы, системы хранения, коммутаторы и системы охлаждения и вентиляции.  Такие ЦОД могут быть использованы в небольших предприятиях, а также в подразделениях средних и больших предприятий, для автономного хранения и обработки внутренней информации.

Стационарные ЦОД

Внешний вид типового здания для размещения стационарного ЦОД показан на рис. 4. На крыше видны теплообменники климатической установки.

Риcунок 4. Внешний вид стационарного ЦОД. (Изображение: Huawei Technologies)

Слева расположен главный вход, спереди – грузовые подъезды.

Примерное внутренне расположение оборудования и инфраструктуры в таком ЦОД, состоящего из двух надземных и одного подземного этажей,  показано на рис. 5.

Рисунок 5. Внутреннее расположение оборудования и инфраструктуры ЦОД (Изображение: Huawei Technologies)

На рисунке цифрами обозначены:

1. Главный вход.
2. Служебные помещения.
3. Дизель-генераторы для питания ЦОД при отсутствии внешнего электроснабжения.
4. Центр управления ЦОД и его удаленных филиалов.
5. Шкафы электропитания.
6. Аккумуляторные батареи
7. Дополнительное помещение для расширения мощности и емкости ЦОД (могут использоваться модульные или контейнерные блоки).
8. Помещение для прикладных систем, например, системы «Безопасный город».
9. Помещения для оборудования ЦОД: серверов, систем хранения и сетевого оборудования.
10. Противопожарная система
11. Вспомогательные помещения, автостоянка и пр.

Модульные ЦОД

Модульный ЦОД представляет собой законченную конструкцию, включающую в себя все элементы ЦОД: серверы, накопители и коммутаторы, а также инфраструктурные элементы систем микроклимата и пожаротушения.

Рисунок 6. Внешний вид модульного ЦОД. (Изображение: Huawei Technologies)

Как правило, модульный ЦОД имеет отдельный вход, герметизирующий его внутренности от среды помещения, в котором он устанавливается. Хотя основное предназначение модульного ЦОД – использование его в неприспособленных помещениях, его также можно использовать в зданиях стационарного ЦОД.

Контейнерные ЦОД

«Контейнерные ЦОД» (или «мобильные ЦОД») так называют потому, что их принято размещать в стандартных грузовых «сорокафутовых» контейнерах. Это делается с целью повышения оперативности развертывания, снижения затрат на создание ЦОД.

Контейнерные ЦОД могут быть весьма эффективны при различных экстренных ситуациях, например, создания оперативных штабов по ликвидации последствий стихийных бедствий, а также для задач оперативной деятельности малого и среднего бизнеса, где строительство больших стационарных ЦОД экономически невыгодно.

Контейнерные ЦОД можно также использовать для оперативного расширения емкости больших стационарных ЦОД, а также для целей резервирования, чтобы повысить уровень ЦОД в случае необходимости.

Внешний вид такого контейнера для размещения оборудования ЦОД оказан на рис. 7.

Рисунок 7. Внешний вид контейнера ЦОД. (Изображение: Huawei Technologies)

Такие контейнеры удобно перевозить автотранспортом или другими видами грузового транспорта (морским, железнодорожным) с использованием стандартных погрузочно-разгрузочных средств.

Контейнеры могут быть как полностью интегрированные (рис.  8), так и модульные (рис. 9).

1. Контейнер размерами 12200x2500x2700 мм
2. Серверная стойка
3. Встроенные вентиляторы
4. Внешняя установка кондиционирования
5. Модульный источник бесперебойного питания
6. Батарея
7. Распределительные шкафы электропитания
8. Установка пожаротушения
9. Кабельные каналы
10. Трубы для циркуляции жидкости системы охлаждения
11. Защитная решетка для наружной установки
12. Комната администратор

Рисунок 8. Интегрированный контейнерный ЦОД при транспортировке (Изображение: Canovate)

Оборудование ЦОД в контейнерах может располагаться как вдоль (рис. 2-10), так и поперек контейнера (рис. 9).

Рисунок 9. Различные варианты расположения оборудования ЦОД в контейнере. (Изображение: Huawei Technologies)

При поперечном расположении оборудования, по сторонам контейнера обычно устраиваются двери, и контейнеры монтируются длинными сторонами друг к другу, таким образом, образуются проходы вдоль рядов оборудования внутри нескольких контейнеров, образующих единый модуль.

Рисунок 10. Пример расположения оборудования ЦОД в 40-футовом контейнере и несколько контейнеров в едином модуле. (Изображение: Huawei Technologies)

Контейнерные ЦОД могут быть быстро доставлены и развернуты непосредственно на месте монтажа. Обычно, контейнеры с оборудованием монтируют  под легковозводимым укрытием, хотя конструкция контейнера способна обеспечивать работу на открытом воздухе (outdoor) в довольно широком температурном диапазоне и различных погодных условиях.

Рисунок 11. Доставка контейнеров на место монтажа (Изображение: Huawei Technologies)

Контейнеры можно также устанавливать в два этажа, тем самым достигая экономии требуемой площади.

Рисунок 12. Установка контейнеров в два этажа. (Изображение: Huawei Technologies)

Микро-ЦОД

Для небольших предприятий и филиалов крупных и средних предприятий могут подойти ЦОД небольшого размера («микро-ЦОД»), представляющее собой т.н. решение «все в одном» (All-In-One).

Рисунок 13. Пример размещения микро-ЦОД в офисе (Изображение: Canovate)

Микро-ЦОД могут быть как комнатного, так наружного исполнения. В последнем случае элементы ЦОД помещаются в термозащищенный вандалоустойчивый шкаф.

Рисунок 14. Пример Микро-ЦОД наружного исполнения (Изображение: Canovate)

Строго говоря, микро-ЦОД не относятся к аппаратным решениям систем СС, ибо такие решения в основном, применяются для внутренних корпоративных систем предприятий.

Рисунок 15. Пример размещения микро-ЦОД на крыше здания (Изображение: http://parasol.cs.rutgers.edu/)

Интернет-ЦОД

Строительство собственного ЦОД предприятия требует значительных капитальных и текущих затрат, поэтому многие крупные заказчики предпочитают вместо создания корпоративного ЦОД заключить договор SLA с коммерческими дата-центрами и получать услуги ЦОД по принципу аутсорсинга.

По данным агентства iKS-consulting, суммарная стоимость обслуживания ЦОД на 10–20 стоек превышает 3,2 млн. руб. в год. К этому необходимо добавить расходы на обучение, сертификацию сотрудников и закупку необходимых инструментов. Стоимость услуг аутсорсинга для такого дата-центра будет начинаться от 2,8 млн. руб. и расти в зависимости от уровня сервиса, заложенного в SLA.

Интернет-ЦОД предоставляет  дисковое пространство для размещения веб-страниц и корпоративных сайтов и других корпоративных информационных ресурсов в сети Интернет, организации резервных IT-площадок и систем хранения корпоративной информации (размещение сервера). Интернет-ЦОД также могут быть использованы для корпоративной электронной почты. Централизованная антивирусная проверка и фильтрация нежелательной корреспонденции («спам») обеспечивает безопасность корпоративной сети и снизит затраты на интернет-трафик. Подобный аутсорсинг ИТ-систем предприятий минимизирует их финансовые и организационные затраты и позволяет сосредоточиться на основной бизнесе.

К категории Интернет-ЦОД также относятся специализированные ЦОД для хостинга Интернет-серверов различных провайдеров услуг Интернет.

ЦОД предприятий и организаций

ЦОД предприятий и организаций представляют собой частные системы Сloud Computing (Private Cloud).

Можно выделить два основных типа частных ЦОД:

• Полностью частные ЦОД, т.е. принадлежащие единственному предприятию или организации. Это могут быть коммерческие компании, правительственные учреждения или общественные организации.
• ЦОД, построенные по принципу «колокации» (Co-location), которые объединяют в себе на единой инфраструктурной базе ЦОД нескольких компаний и/или организаций. Причем сам ЦОД может принадлежать «третьей стороне», т.е. компании, которая предоставляет услуги виртуализации ИТ-систем для резидентов ЦОД по принципу «внешних услуг» (Managed Service), аналогично бизнес-центрам, инфраструктурой которых (тепло- и вдоснабжение, вентиляция и кондиционирование, охрана и пр), пользуются арендаторы их площадей.

Доступ к ресурсам таких ЦОД, как правило, осуществляется по выделенным каналам передачи данных, а не через публичную сеть (Интернет).

(Продолжение следует. Но пока и этого достаточно).