Типы дата-центров

Все дата-центры можно условно разделить на несколько типов:

1. Крупные дата-центры имеют свое здание, специально сконструированное для обеспечения наилучших условий размещения. Обычно они имеют свои каналы связи, к которым подключают серверы.
2. Средние дата-центры обычно арендуют площадку определенного размера и каналы определенной ширины (ширина канала измеряется его пропускной способностью в Mbps).
3. Мелкие дата-центры размещаются в неприспособленных помещениях. В общих случаях используется оборудование плохого качества, а также предоставляется самый минимум услуг.

Структура и описание дата-центра

Типичный дата-центр состоит из информационной инфраструктуры , включающей в себя серверное оборудование и обеспечивающей основные функции дата-центра - обработку и хранение информации; телекоммуникационной инфраструктуры обеспечивающей взаимосвязь элементов датацентра, а также передачу данных между датацентром и пользователями; инженерной инфраструктуры обеспечивающей нормальное функционирование основных систем датацентра. Инженерная инфраструктура включает в себя прецизионное кондиционирование для поддержание температуры и уровня влажности в заданных параметрах; бесперебойное и гарантированное электроснабжение обеспечивает автономную работу дата-центра в случаях отключения центральных источников электроэнергии, а также повышают качество электропитания; охранно-пожарная сигнализация и система газового пожаротушения ; системы управления и контроля доступом.

Некоторые дата-центры предлагают клиентам дополнительные услуги по использованию оборудования по автоматическому уходу от различных видов атак. Команды квалифицированных специалистов круглосуточно производят мониторинг всех серверов. Необходимо отметить, что услуги датацентров сильно отличаются в цене и количестве услуг. Для обеспечения сохранности данных используются резервные системы копирования. Для предотвращения кражи данных, в дата-центрах используются различные системы ограничения физического доступа, системы видеонаблюдения. В корпоративных (ведомственных) дата-центрах обычно сосредоточено большинство серверов соответствующей организации. Оборудование крепится в специализированных стойках . Как правило, в дата-центр принимают для размещения лишь оборудование в стоечном исполнении, то есть, в корпусах стандартных размеров, приспособленных для крепления в стойку. Компьютеры в корпусах настольного исполнения не удобны для дата-центров и размещаются в них редко. Датацентр представляет собой комнату, этаж или целое здание, обычно расположенные в пределах или в непосредственной близости от узла связи или точки присутствия какого-либо одного или нескольких операторов . Системы электропитания, вентиляции и пожаротушения дата-центра отличаются повышенной надёжностью и резервированием. Разумеется, должна быть предусмотрена физическая защита и особый режим допуска в технологические помещения. В ряде стран имеются специальные стандарты на оборудование помещений датацентров. В России пока такого стандарта нет, дата-центры оснащаются согласно требованиям для сооружений связи . Существует американский (ANSI) стандарт TIA-942 , несущий в себе рекомендации по созданию дата-центров, и делящий дата-центры на типы по степени надежности. Фактически, TIA-942 воспринимается во всем мире как единый стандарт для дата-центров.

Услуги дата-центров

1. Виртуальный хостинг . Предоставление лимитированной части дискового места, процессорного времени, оперативной памяти клиенту для использования. Крупные датацентры обычно не предоставляют подобную массовую услугу из-за необходимости обеспечения техническо-консультационной поддержки. При использовании виртуального хостинга один физический сервер делится между множеством клиентов (сотни или тысячи). Каждому клиенту не гарантируется какое-либо выделение ресурса, но строго лимитируется максимальное. Клиенты не могут в большей степени конфигурировать сервер. Виртуальный хостинг имеет два основных преимущества: малую стоимость и легкость управления сайтами. По этим причинам виртуальный хостинг в основном используют частные лица.
2. VDS)-хостинг - Предоставление гарантированной и лимитированной части сервера (части всех ресурсов). Важная особенность данного вида хостинга - разделение сервера на несколько виртуальных независимых серверов реализуемых программным способом.
3. хостинг - Аренда сервера (Dedicated). Дата-центр предоставляет клиенту в аренду сервер в различной конфигурации. Крупные дата-центры в основном специализируются именно на подобных типах услуг. В зависимости от страны расположения дата-центра имеются различные ограничения на трафик.
4. Размещение сервера (Colocation). Размещение сервера клиента на площадке дата-центра за определенную плату. Стоимость зависит от энергопотребления и тепловыделения размещаемого оборудования, пропускной способности подключаемого к оборудованию канала передачи данных, а также размера и веса стойки.
5. Выделенная зона (Dedicated area). В некоторых случаях владельцы дата-центра выделяют часть технологических площадей для специальных клиентов, как правило, финансовых компаний, имеющих строгие внутренние нормы безопасности. В этом случае дата-центр предоставляет некую выделенную зону, обеспеченную каналами связи, электроснабжением, холодоснабжением и системами безопасности, а клиент сам создает свой ЦОД внутри этого пространства.

Сетевая инфраструктура

Сегодня коммуникации дата центра чаще всего базируются на сетях с использованием IP протокола. Дата центр содержит ряд роутеров и свитчей , которые управляют трафиком между серверами и внешним миром. Для надежности дата-центр иногда подключен к интернету с помощью множества разных внешних каналов от разных ISP .

Некоторые серверы в дата-центре служат для работы базовых интернет и интранет служб, которые используются внутри организации: почтовые сервера, прокси, DNS и т. п.

Сетевой уровень безопасности поддерживают: межсетевые экраны , IDS-системы и т. д. Также используются системы мониторинга трафика и некоторых приложений.

Примечания

Ссылки

• Описание и фотографии одного из дата-центров компании Яндекс
• Project Blackbox (рус.) , SUN.com (англ.)
• Коллекция полезных нормативов по строительству и эксплуатации дата-центров
• Лист российских топ-игроков бизнеса коммерческих дата-центров

См. также

Wikimedia Foundation . 2010 .

Смотреть что такое "Центр обработки данных" в других словарях:

центр обработки данных - центр обработки и хранения данных ЦОД Консолидированный комплекс инженерно технических средств, обеспечивающий безопасную централизованную обработку, хранение и предоставление данных, сервисов и приложений, а также вычислительную инфраструктуру… …

Центр обработки данных при управлении приоритетными национальными проектами - центр обработки данных информационно технологический и программно технический комплекс, обеспечивающий автоматизацию процедур формирования, ведения, хранения и оперативного представления различным группам пользователей полной и достоверной… … Официальная терминология

модульный центр обработки данных (ЦОД) - [Интент] Параллельные тексты EN RU Data Centers are a hot topic these days. No… … Справочник технического переводчика

Связать? Подземный центр обработки данных расположен в парке Гризинькалнс в Риге (Латвия), и принадлежит оператору … Википедия

- (мобильный ЦОД) или контейнерный центр обработки данных (контейнерный ЦОД) (от англ. Container Data Center), центр обработки данных, размещённый в специализированном транспортном контейнере с размещённым внутри него комплексом информационной … Википедия

динамический центр обработки данных - Динамические центры обработки данных - это концепция аппаратной и программной архитектуры нового поколения. Ее основные принципы - предоставление сервисов для конечных пользователей и гарантированное выполнение соглашений об уровне… … Справочник технического переводчика

интернет-центр обработки данных - Компания, предоставляющая услуги хостинга вычислительных платформ и простых Internet сервисов c немногими расширенными услугами. Тематики ЦОДы (центры обработки данных) EN internet data… … Справочник технического переводчика

- (МЦОД) специализированное мобильное помещение с размещённым внутри комплексом информационной, телекоммуникационной и инженерной инфраструктуры, подключенный к каналам связи и предназначенный для хранения и обработки информации, а также оказания… … Википедия

ЦОД расшифровывается как Центр обработки данных. Многие до сих пор не знают, что это такое. Между тем, он представляет собой целый комплекс, предназначенный для хранения серверов и оборудования и обеспечивающий их бесперебойную работу. Чаще всего такие центры располагаются в крупных зданиях и включают серверы крупных компаний.

Сейчас услуги дата-центра популярны и среди молодых компаний, инвесторами которых выступают иностранцы. В России и странах СНГ популярность подобных центров пока что невысока, но за рубежом они считаются выгодными.

Отличие от базы данных

Практически в любой компании существует база данных для оптимизации рабочего процесса.

Эта база может храниться в разном виде, и доступ к ней должен быть бесперебойным. Однако различные факторы, например, временное отсутствие электричества, или же программный сбой, могут повлиять на скорость обработки данных, или вовсе временно ограничить доступ к информации.

Справка. В центре обработки обеспечиваются условия, в которых оборудование будет работать непрерывно, без подобных сбоев, в комфортных температурных условиях. В этом и есть главное отличие ЦОД от серверного помещения.

Виды

Центры обработки данных бывают двух видов.

1. Локальный. В таком случае помещение с группой серверов находится в частной собственности и под частным контролем. Компания-владелец сервера самостоятельно размещает ЦОД в определенных помещениях и самостоятельно его обслуживает.
2. Коммерческий. Такие центры представляют собой масштабные проекты, направленные на сдачу оборудования в аренду крупным корпоративным заказчикам. Чаще всего услугами коммерческих видов пользуются компании, которые по тем или иным причинам не могут обеспечить бесперебойную работу серверов. Для них выгоднее взять в аренду центр обработки, обеспечив информации надежное хранение и должную защиту.

Цели

Помимо непрерывной работы оборудования, центр обработки данных должен позволять:

• повысить надежность хранения информации;
• обеспечивать работу всех приложений на одном оборудовании;
• иметь достаточную вместимость, необходимые типы оборудования;
• снизить стоимость обслуживания IT-инфраструктуры.

Коммерческие ЦОД, в отличие от локальных, исключают неправильную организацию системы, а также дают возможность сэкономить на содержании штата специалистов. Кроме того, отсутствует необходимость выделять одно или несколько помещений под работу дата-центров.

Что такое дата центр при обработке личных сведений?

Сервер

Работа центра обработки данных обеспечивает высокое качество информации на большой скорости, при этом не теряя деталей и сохраняя целостность этой информации. Производительность сервера – один из главных факторов, на которые обращает внимание компания.

Кроме того, важными функциями ЦОДа как сервера считают:

• возможность справляться с большими нагрузками в реальном времени;
• высокая степень управляемости;
• постоянный доступ;
• перераспределение нагрузок с целью более оперативного решения бизнес-задач.

Как сервис

Компании, предоставляющие услуги дата-центров, предлагают широкий спектр основных и дополнительных услуг. В них входят аренда телекоммуникационных стоек, шкафов, выделенных серверов, колокейшн, виртуальный хостинг и возможность использования облачных платформ.

Важно! Центр должен иметь внешнюю охрану, обеспечивать контроль доступа и предоставлять гарантию надежности.

Кроме того, важным фактором работы ЦОД считаются устойчивые интернет каналы и наличие точек обмена трафиком. Электропитание должно быть не менее надежным, включать независимые вводы электричества и дизельные электростанции.

Благодаря вышеуказанным факторам, ЦОД как сервис можно считать высокоэффективным и надежным, имеющим отказоустойчивую инфраструктуру.

Что такое уведомление о месте нахождения и как указать адрес?

Компания должна направить , в котором необходимо указать сведения о месте нахождения базы данных информации, содержащей граждан Российской Федерации (согласно изменению 152-Ф3 от 21.07.2014 N 242-Ф3).

Направить документ в структуру можно как на бумаге, так и в электронном виде. Обязательна подпись уполномоченного лица. В уведомлении должны содержаться следующие сведения:

• наименование (ФИО) и его адрес;
• категории данных;
• категории субъектов, чьи данные обрабатываются;
• перечень действий с данными, способы обработки;
• сведения о наличии шифровальных средств, их наименования;
• ФИО физического лица или наименование юридического лица, их контактные данные, почтовые адреса, электронная почта;
• дата начала обработки данных;
• срок или условия прекращения обработки;
• информация о трансграничной передаче (ее наличие или отсутствие) в процессе обработки;
• сведения о месте нахождения базы данных информации.

Заполнение последнего пункта должно содержать сведения о местонахождении БД информации с персональными данными граждан РФ. Необходимо указать страну и точный адрес ЦОДа, если он локальный, или предоставить сведения о владельце центра, если он коммерческий. Во втором случае требуется предоставить следующую информацию:

1. тип организации (физическое или юридическое лицо, индивидуальный предприниматель или иностранная организация);
2. организационно-правовая форма;
3. наименование организации;
4. ОГРН;
5. страна и адрес местонахождения организации.

Важно! Указывать необходимо места хранения персональных данных граждан РФ и только.

Рациональное применение ЦОД позволит крупным компаниям сократить затраты времени и средств, обеспечить должную безопасность хранения информации и бесперебойный доступ к ней. Выбирая локальный вид ЦОД, лучше убедиться в соблюдении вышеуказанных целей, а при выборе коммерческого, важно просмотреть все лицензии, подтверждающие качество сервиса.

Не нашли ответа на свой вопрос? Узнайте, как решить именно Вашу проблему - позвоните прямо сейчас:

Стремительное развитие современных технологий приводит к неизбежному росту автоматизации большинства процессов не только на предприятиях различного уровня, но и в быту.

С повышением уровня технологий ускоряются процессы обмена данными между различными субъектами. Появляется необходимость в специальных автоматизированных центрах, где вся информация будет надежно и упорядоченно храниться и обрабатываться.

Лучшим решением в этом вопросе являются ЦОДы (центры обработки данных), которые постепенно становятся неотъемлемой частью инфраструктуры любого предприятия.

Назначение и виды ЦОД

Центры обработки данных – это сложная система, которая включает в себя целый комплекс IT решений, высокотехнологичного оборудования и инженерных конструкций.

Основная задача ЦОД заключается в быстрой обработке любого объема данных, хранении информации и ее выдаче в стандартизированном виде пользователю. Фактически ядром центра являются мощные серверные станции, снабженные необходимым программным обеспечением, системами охлаждения и безопасности.

Существуют две основные разновидности таких центров:

• коммерческого типа. Это целые комплексы, которые сооружают для последующей аренды вычислительных мощностей. Они отличаются высокой производительностью и максимальной скоростью обмена данными. Пользователь, воспользовавшись такой услугой, получает виртуальный ЦОД, который фактически может находиться в другом городе или даже стране. Преимущества такого варианта очевидны – пользователь может самостоятельно настроить конфигурацию системы по определенным параметрам, управление происходит дистанционно, не нужно затрачивать средства на строительство и обслуживание собственного ЦОДа;


• внутренние (корпоративные). Центры, которые устанавливаются в рамках конкретного предприятия. Они предназначены только для внутреннего корпоративного пользования. Несмотря на затраты, связанные с созданием и вводом в эксплуатацию такого центра, главное его преимущество заключается в прямом управлении всей системой. Компания не зависит от стороннего владельца оборудования (поставщика услуг) и сможет более эффективно обеспечить безопасность данных и сохранность коммерческой тайны. В случае выхода из строя определенных систем процесс их восстановления пройдет гораздо быстрее. Не стоит забывать, что предприятие, которое владеет собственным ЦОД, может обеспечить автономную работу оборудования на случай с перебоями в сети электроснабжения и максимально быстро реагировать на различные внештатные ситуации.

Мобильный и модульные ЦОД

Отдельно стоит рассмотреть мобильный ЦОД, который представляет собой готовое решение для небольших компаний. Преимущества очевидны – не нужно проектировать специальное помещение для стационарного дата-центра, учитывать специфику оборудования, температурный режим и другие факторы. Некоторые производители мирового уровня занялись разработкой таких центров и достигли большого успеха.

Конструктивно система представляет собой определенное количество унифицированных модулей, которые легко объединяются в полноценный автономный комплекс и быстро настраиваются.

Модульный ЦОД – это наиболее рациональный и простой способ для многих компаний среднего уровня. Еще одно преимущество такого центра – на его создание и ввод в эксплуатацию уходит существенно меньше времени, чем на стационарную конструкцию.

Такие комплексные решения получили широкое распространение на предприятиях различной сферы деятельности. В первую очередь речь идет об организациях и компаниях, для которых ключевым полем деятельности является быстрый обмен данными. Это различные банковские системы, государственные и коммерческие телекоммуникационные организации, IT компании, call-центры, аварийно-диспетчерские службы.

Правильно обработанная информация, которая оперативно подана, играет первостепенную роль в работе таких компаний. Важным критерием являются также возможные потери прибыли в случае неправильной или слишком медленной обработки данных. Поэтому для крупных организаций такие центры снабжаются новейшим технологическим оборудованием и программным обеспечением.

Что важно знать при выборе ЦОД?

От надежности и скорости обработки информации во многих компаниях зависит построение рабочего процесса и уровень оказания услуг клиентам.

Ключевые требования к ЦОД следующие:

• автономная работа;


• высокий уровень надежности;


• защита данных;


• безотказность;


• высокая производительность, вне зависимости от того, будет это облачный ЦОД (виртуальный) или внутренний корпоративный вариант;
• большой объем для хранения информации;


• возможность расширения и модернизации (закладывается на ближайшие 5-7 лет с учетом прогнозируемого роста компании и развития технологий).

Центры обработки данных в России, который соответствует этим критериям, – лучшее решение для отечественных компаний профильной сферы деятельности. Для большинства заказчиков очень важно совокупное соотношение требований к стоимости.

Сегодня Центры данных в РФ в связи с кризисом в экономике уже не настолько востребованы, как 10 лет назад, и такая тенденция прослеживается во всем мире.

Крупные компании понимают важность таких центров, но при выборе оборудования ориентируются в первую очередь на стоимость, а не на новейшие технологии и расширенные возможности.

Ключевые элементы центров данных

Структура центров обработки данных включает в себя целый ряд компонентов и подсистем, без которых оперативная обработка информации и хранение данных невозможны.

Система включает в себя следующие блоки:

• IT-инфраструктура ЦД;


• инженерные системы различного уровня сложности;


• комплексный подход к безопасности;


• управление и мониторинг.

Чтобы более подробно разобраться в структуре, следует рассмотреть основные блоки более внимательно.

IT составляющая ЦОД;

Первый блок представляет собой комплекс высокотехнологичного оборудования, который объединен в общую систему.

Это своеобразное ядро любого современного ЦОДа, которое состоит из:

• серверного оборудования;


• системы передачи, обработки и хранения данных.

Чтобы повысить эффективность сервера, многие известные компании разрабатывают новые продукты: программное обеспечение, технологии виртуальной реальности и готовые комплексные решения на основе использования блэйд-серверов. Это одно из наиболее востребованных направлений в специализированной IT сфере.

Новые разработки позволяют существенно увеличить производительность оборудования, улучшить энергоэффективность, уменьшить расходы на содержание и максимально оптимизировать рабочие процессы.

Инженерные решения в ЦОД

Чтобы обеспечить бесперебойную работу мощного высокотехнологичного оборудования, необходимо создать эффективную инженерную систему.

Основные инженерные системы ЦОД относятся к двум категориям:

• электроснабжение. Специальное оборудование должно обеспечивать не только бесперебойную подачу электричества к оборудованию, но и в случае аварий на ЛЭП перейти на автономное питание. Для осуществления этого используют различные источники бесперебойного питания и дополнительные генераторы. Очень важно, чтобы напряжение и частота тока соответствовали необходимым параметрам и в сети не было перебоев и резких скачков. Такие перепады негативно воздействуют на серверное оборудование и могут привести к его выходу из строя;


• охлаждение. Мощные серверы во время работы выделяют огромное количество тепла, которое отводится при помощи специальных встроенных радиаторов. Это не решает проблему целиком, так как серверные станции находятся в отдельных закрытых помещениях. Чтобы обеспечить надежное охлаждение, используют различные системы кондиционирования, которые работают в автоматическом режиме, обеспечивая оптимальную температуру в помещении и препятствуя перегреву оборудования. Используя новые технологии в области кондиционирования (инверторные компрессоры, высокоточные тепловые датчики), можно добиться уменьшения затрат потребляемой электроэнергии на 10-15%.

Безопасность центров обработки данных

Одна из важнейших составляющих работоспособности любого ЦОД – это правильно разработанная система безопасности. Для того чтобы обеспечить сохранность данных и предотвратить доступ к ним посторонних лиц через Интернет, компании используют новейшее антивирусное ПО и другие программы защиты данных.

Чтобы предотвратить проникновение посторонних лиц, разрабатывается и внедряется система допуска определенной категории сотрудников, методы противодействия взлому и физическому проникновению к оборудованию, видеонаблюдение, противопожарная система. Комплексный подход к безопасности обеспечивает сохранность важной информации.

Мониторинг ЦОД

Комплексный подход к управлению и мониторингу является важной составляющей любого современного ЦОДа. Такие системы в автоматическом режиме контролируют работоспособность всего оборудования и параметры окружающей среды (температура, влажность, напряжение и частота тока).

Неотъемлемой частью мониторинга являются системы прогнозирования вероятного отказа оборудования и раннего оповещения.

Отдельное место занимает диспетчеризация – это важная составляющая рабочего процесса, которая позволяет организовать информирование персонала о внештатной ситуации при помощи современных технологий связи (отправка данных на электронный адрес, возможность автоматического дозвона абонентам определенной группы или короткие СМС сообщения).

Комплексный подход существенно снижает риск возникновения аварийных ситуаций, а в случае наступления форс-мажора обеспечивает максимально эффективную методику борьбы и восстановление поврежденных участков системы.

Центры обработки данных на выставке

На территории ЦВК «Экспоцентр» пройдет важное мероприятие – выставка «Связь» . Большая экспозиция будет посвящена вопросам оперативной обработки данных и безопасному хранению информации. Это событие международного уровня, где ведущие мировые производители специализированного оборудования и программного обеспечения продемонстрируют свои последние разработки в этой сфере.

Все желающие могут узнать самые актуальные новости о ЦОД, ознакомиться с системами проектирования, новыми мобильными и стационарными комплексами.

Отдельное внимание будет уделено безопасности и необходимому оборудованию для обеспечения охлаждения, вентиляции и бесперебойного электроснабжения центров обработки данных. Это важное событие для всех специалистов в данной отрасли и руководителей компаний, которые хотят модернизировать свое предприятие, используя современные технологии и новейшее оборудование для хранения, передачи и обработки данных.

Читайте другие наши статьи:

Эре компьютеров уже более 50 лет, соответственно, инфраструктуре их жизнеобеспечения столько же. Первые компьютерные системы были очень сложными в использовании и обслуживании, они требовали для функционирования специальной интегрированной инфраструктуры.

Невероятное множество кабелей соединяло различные подсистемы, и для их организации было разработано множество технических решений, применяемых до сих пор: стойки для оборудования, фальш-полы, кабельные лотки и т.п. Кроме того, требовались системы охлаждения для предотвращения перегрева. И поскольку первые компьютеры были военными, вопросы безопасности и ограничения стояли на первых местах. В дальнейшем компьютеры стали меньше, дешевле, неприхотливее и проникли в самые разные отрасли. При этом надобность в инфраструктуре отпала, и компьютеры стали размещать где угодно.

Революция произошла в 90-х годах, после распространения клиент-серверной модели. Те компьютеры, которые стали считать серверами, начали размещать в отдельных помещениях с подготовленной инфраструктурой. Названия этих помещений на английском звучали как Computer room, Server room, Data Center, в то время как в Советском Союзе мы называли их «Машинными залами» или «Вычислительными Центрами». После распада СССР и популяризации английской терминологии наши ВЦ превратились в «серверные» и «Центры Обработки Данных» (ЦОД). Есть ли принципиальные отличия между этими понятиями, или это всего лишь вопрос терминологии?

Первое, что приходит на ум, это масштаб: если маленькая, то серверная, а если большой - то ЦОД. Или: если внутри только свои сервера, то это серверная; а если предоставляются услуги размещения серверов сторонним компаниям - то дата-центр. Так ли это? За ответом обратимся к стандартам.

Стандарты и критерии

Самый распространенный в настоящее время стандарт, описывающий устройство дата-центров, это американский TIA 942. Российского аналога, к сожалению, нет, советский СН 512-78 давно и безнадежно устарел (хоть и была редакция от 2000 г.), его можно рассматривать только с точки зрения общих подходов.

В самом стандарте TIA 942 написано, что цель его создания - сформулировать требования и руководящие указания по проектированию и монтажу ЦОД или машинного зала. Будем считать, что ЦОД - это то, что соответствует требованиям TIA 942, а серверная - просто некое помещение с серверами.

Итак, стандарт TIA 942 классифицирует 4 уровня (TIERs) ЦОД и называет ряд параметров, по которым можно провести эту классификацию. Для примера я решил проверить, является ли моя серверная, построенная вместе с заводом три года назад, настоящим дата-центром.

В качестве небольшого отступления укажу, что завод занимается изготовлением штампованных деталей для автомобильной промышленности. Мы выпускаем кузовные детали для таких компаний, как Ford и GM. Предприятие само по себе небольшое (общий штат порядка 150 человек), но с очень высоким уровнем автоматизации: число роботов сопоставимо с количеством рабочих в цехе. Основным отличием нашего производства можно назвать ритм работы Just-In-Time, то есть мы не можем себе позволить задержку, в том числе по вине ИТ-систем. ИТ являются критичными для бизнеса.

Серверная проектировалась для обеспечения нужд завода, предоставлять услуги сторонним компаниям не предполагалось, соответственно, и сертификации на соответствие каким-либо стандартам не требовалось. Однако, поскольку наш завод является членом крупного международного холдинга, проектирование и строительство шло с учетом внутрикорпоративных стандартов. А эти стандарты, по крайней мере частично, построены на базе международных.

Стандарт TIA 942 весьма обширен и детально описывает подходы к проектированию и построению ЦОД. Кроме того, в приложении к нему есть большая таблица с более чем двумястами параметрами на соответствие четырем уровням ЦОД. Естественно, рассматривать их все в контексте данной темы нецелесообразно, да и некоторые из них, например такие как «Раздельные парковки для посетителей и сотрудников», «Толщина бетонной плиты на уровне земли» и «Близость к аэропортам» имеют не очень прямое отношение к классификации ЦОДов и тем более отличию их от серверной. Поэтому рассматривать будем только самые важные, на мой взгляд, параметры.

Основные параметры классификации ЦОД

Стандарт устанавливает критерии двух категорий - обязательные и рекомендуемые. Обязательные обозначаются словом «должны» (shall), рекомендуемые - словами «следует», «могут», «желательно» (should, may, desirable).
Первый и самый важный критерий - уровень эксплуатационной готовности. Согласно TIA 942, ЦОД высшего - четвертого - уровня должен обладать 99,995% готовности (т.е. не более 15 мин простоя в год). Далее, по нисходящей, 99,982%, 99,749% и 99,671% для первого уровня, что соответствует уже 28 ч простоя в год. Критерии довольно жесткие, однако что из себя представляет эксплуатационная готовность ЦОД? Здесь считается только простой всего ЦОД по вине одной из систем жизнеобеспечения, и простой отдельных серверов на эксплуатационную готовность ЦОД не влияет. А раз так, то самой вероятной причиной отказа справедливо считать перебои в системе энергоснабжения.

В нашей серверной установлен мощный ИБП APC с резервированием N+1 и дополнительным шкафом батарей, который способен поддерживать работоспособность не только серверов, но и всех компьютеров на предприятии до 7 ч (а зачем нам работающие сервера, если к ним некому подключаться). За три года эксплуатации сбоев ни разу не было, так что по этому параметру мы можем претендовать на самый высокий TIER 4.

К слову об энергоснабжении, третий и четвертый классы ЦОД требуют второго энерговвода. У нас его нет, так что максимум - второй класс. Еще стандарт классифицирует потребление мощности на квадратный метр площади. Странный параметр, никогда об этом не задумывался. Померял: у меня 6 кВт на 20 м кв., то есть 300 Вт на квадратный метр (только первый уровень). Хотя возможно, что я неправильно считаю: в стандарте указано, что хороший ЦОД должен иметь свободные площади для масштабирования. То есть получается, чем больше «запас масштабирования», тем ниже уровень ЦОДа, а должно быть наоборот. Здесь у нас самая низкая оценка, но все же стандарту отвечаем.

Для меня важный параметр - узел подводки внешних телекоммуникационных систем. Мы осуществляем онлайн-взаимодействие с клиентами по приему заказов и отгрузке комплектующих, соответственно отсутствие связи может привести к остановке конвейера наших клиентов. А это не только негативно скажется на нашей репутации, но и приведет с серьезным штрафам. Интересно, что в самом стандарте говорится о дублировании точек ввода связи, а в приложении об этом ничего нет (хотя указано, что в уровнях выше первого все подсистемы должны резервироваться). Мы используем два канала подключения с автоматической маршрутизацией в случае отказа в одном из них, плюс резервный GPRS-роутер с ручным подключением. Тут мы опять соответствуем самым высоким требованиям.

Значительная часть стандарта посвящена кабельным сетям и системам. Это пункты распределения главной и вертикальных подсистем общей кабельной системы ЦОД и инфраструктура кабельной разводки. Прочитав несколько частей этого раздела, я понял, что его надо либо выучить наизусть, либо смириться и сконцентрироваться на более важных вещах. Хотя на поверхностный взгляд (категория 6 витой пары, отделение активной аппаратуры от пассивной) мы все же соответствуем стандарту. Хотя я не уверен в таких параметрах, как расстояние между шкафами, углы изгибов лотков и корректность разнесения трасс для слаботочных кабелей, оптики и силовых. Будем считать, что здесь мы требованиям отвечаем частично.

Системы кондиционирования: есть кондиционеры, есть резервирование, можно сказать, что есть даже холодный и горячий коридор (правда, один, в силу размеров комнаты.) Но охлаждение распределяется не под фальш-полом, как рекомендуется, а непосредственно в рабочей зоне. Ну и влажность мы не контролируем, а согласно стандарту - это упущение. Ставим частичное соответствие.

Отдельная часть посвящена фальш-полам. Стандарт регламентирует и высоту, и нагрузку на них. Причем, чем выше класс датацентра, тем выше и мощнее должны быть фальш-полы. У нас они есть, и по высоте и нагрузкам соответствуют второму классу ЦОД. Но мое мнение, что наличие фальш-полов не должно быть критерием, а тем более характеристикой ЦОДа. Я был в датацентре компании «ВестКолл», где от фальш-полов они изначально отказались, разместив все лотки под потолком. Кондиционирование сделано с холодными и горячими коридорами. Здание отдельностоящее, помещение большое, предоставляют специфические услуги. То есть хороший, «настоящий» ЦОД, а получается, что без фальш-полов формально стандарту не соответствует.
Следующий важный момент - система безопасности. Большие дата-центры охраняются почти как сейфовые ячейки в банке, и попасть туда - целая процедура, начиная от согласования на разных уровнях и заканчивая переодеванием и бахилами. У нас с этим попроще, но все присутствует: физическую охрану обеспечивает ЧОП, который охраняет и сам завод, а система контроля доступа гарантирует, что в помещение попадают только авторизованные сотрудники. Ставим плюсик.

Ну и, наконец, система газового пожаротушения. Основной и резервный баллоны, датчики в самом помещении, под полом и над потолком и система управления - все есть. Кстати, интересный момент. Когда компании хотят похвастаться своим дата-центром, в первую очередь показывают систему пожаротушения. Наверное, оттого, что это самый необычный элемент дата-центра, не встречающийся практически нигде, кроме ЦОДов, а остальное оборудование просто выглядит как шкафы разного цвета и размера.

Главное, на мой взгляд, отличие двух верхних уровней ЦОД от более низших - то, что они должны располагаться в отдельном здании. Казалось бы, в этом и есть сакральный смысл отличия серверной от ЦОД: если выделено в отдельное здание, то это ЦОД. Но нет, стандарт говорит, что первые два уровня - тоже ЦОДы.

Нашел я таки параметр, по которому моя серверная на ЦОД не тянет: размер входной двери. По стандарту должно быть минимум 1,0×2,13 м, а лучше 1,2×2,13 м. А у нас дверь обыкновенная: 0,9×2,0 м. Это минус, но считать критерием отличия ЦОДа от серверной размер входной двери - это несерьезно.

Почти настоящий ЦОД!

Итак, что у нас получилось? Маленькая серверная на заводе соответствует практически всем требованиям стандарта по организации ЦОД, пусть с небольшими оговорками. Единственное серьезное несоответствие - размер входной двери. Отсутствие отдельного здания под серверную не оставляет никаких шансов на высшие места. Значит, предположение о том, что ЦОД обязательно большой, а серверная, наоборот, всегда маленькая, неверно. Равно как и второе предположение, что ЦОД обслуживает множество компаний-клиентов. Из всего следует что серверная - всего лишь синоним центра обработки данных.

Понятие ЦОД появилось тогда, когда начали продавать услуги хостинга, аренды стоек и размещения серверов. В то время понятие серверной было девальвировано халатным отношением к инфраструктуре вследствие неприхотливости ПК и невысокой цены простоев. И, дабы показать, что у провайдера все выстроено для удобной и безотказной работы, и они способны гарантировать качество услуги, ввели понятие ЦОД, а затем и стандарты их построения. Учитывая тенденции централизации, глобализации и виртуализации, думаю, что понятие серверной скоро исчезнет или превратится в обозначение телекоммуникационного узла.

Полагаю, примерно на то же рассчитывает наш Президент с законом о полиции. Понятие «милиция» девальвировалось, и создавать новые правила для них уже поздно. Получится ли выстроить грамотные стандарты для новой структуры - посмотрим в недалеком будущем.

- У вас есть ЦОД?
- Да, строим на 100 стоек.
- А мы строим на 200.
- А мы на 400 с независимой газовой электростанцией.
- А мы на 500 с водяным охлаждением и возможностью отводить до 10 кВт тепла с одной стойки.
- А мы наблюдаем за рынком и удивляемся.

Ситуация на московском (да и российском в целом) рынке ЦОД еще два года назад выглядела плачевно. Тотальная нехватка дата-центров как таковых и мест в уже существовавших центрах привела к тому, что стойка на 3-4 кВт, стоившая в 2004-2005 гг. около 700 у.е., в 2007-м стала стоить 1500-2000 у.е. Стараясь удовлетворить растущий спрос, многие операторы и системные интеграторы организовали «стройки века» с целью создания самых лучших и самых больших ЦОД. Эти прекрасные стремления привели к тому, что на текущий момент в Москве есть около 10 дата-центров в стадии открытия и первичного заполнения, и еще несколько находится в проекте. Компании «Теленет», i-Teco, Dataline, «Хостеров», «Агава», «Мастерхост», Oversun, «Синтерра» и целый ряд других открыли собственные дата-центры на рубеже 2008 и 2009 гг.

Желание вкладывать деньги в масштабные телекоммуникационные проекты объяснялось не только данью моде, но и рядом экономических причин. Для многих компаний строительство собственного ЦОД было мерой вынужденной: стимулом к этому, в частности, для хостинг-провайдеров или крупных Интернет-ресурсов стали постоянно растущие расходы на инфраструктуру. Однако не все компании правильно рассчитали свои силы; например, дата-центр одного крупного хостинг-провайдера превратился в долгострой, который ведется уже два года. Другой хостинг-провайдер, построивший дата-центр за МКАД, вот уже полгода старается распродать его хоть каким-нибудь крупным клиентам.

Инвестиционные проекты, запущенные в разгар кризиса, тоже не могут похвастаться стабильным притоком клиентов. Сплошь и рядом стоимость за стойку, заложенная в бизнес-плане на уровне 2000 у.е., в нынешних экономических условиях снижается до 1500-1400 у.е., на годы откладывая выход проекта на самоокупаемость.

Остались нереализованными несколько грандиозных проектов строительства дата-центров на тысячи стоек с газовыми электростанциями за МКАД. Один из таких проектов, в частности, был «похоронен» оператором фиксированной связи (в связи с поглощением компании более крупным игроком).

Таким образом, на сегодняшний день окупились только те дата-центры, которые были построены больше трех лет назад и заполнение которых пришлось как раз на дефицитные 2004-2007 гг. В кризис же - в условиях избытка свободных площадей в дата-центрах - постройка все новых и новых ЦОД, казалось бы, выглядит сущим безумием.

Однако не все так плохо: даже в условиях кризиса, при соблюдении определенных условий, можно и нужно создавать собственный ЦОД. Главное - понять ряд нюансов.

Что заставляет компанию создавать собственный ЦОД

Мотив один - безопасность бизнеса и минимизация рисков. Риски же таковы. Во-первых, класс коммерческих ЦОД в Москве соответствует 1-2 уровню, что означает перманентные проблемы с электропитанием и охлаждением. Во-вторых, коммерческие ЦОД категорически не согласны покрывать убытки от простоя и недополученную выгоду. Уточните максимальный размер штрафа или неустойки, на который вы можете рассчитывать в случае простоя, - он, как правило, не превышает 1/30 от арендной платы за день простоя.

И в третьих, вы не в состоянии контролировать реальное положение дел в коммерческом ЦОД:

• это коммерческая организация, которая должна извлекать прибыль из своей деятельности и порой экономит даже в ущерб качеству своих услуг;
• вы принимаете на себя все риски сторонней компании, например - отключение питания (пусть и кратковременное) за непогашенную задолженность;
• коммерческий ЦОД может расторгнуть договор с вами в любое время.

Экономика ЦОД

Очень важно заранее, правильно и полностью оценить затраты на строительство и эксплуатацию, а для этого необходимо определить класс ЦОД, который вы будете строить. Ниже приведена ориентировочная стоимость строительства площадки «под ключ» на 5 кВт стойку (без учета стоимости электричества).

Уровень 1	От 620 т.р.
Уровень 2	От 810 т.р.
Уровень 3	От 1300 т.р
Уровень 4	От 1800 т.р.

Стоимость эксплуатации ЦОД зависит от множества факторов. Перечислим основные.

1. Стоимость электричества = количество потребляемой электроэнергии + 30% на отвод тепла + потери при передаче и преобразовании (от 2 до 8%). И это при условии выполнения всех мер по снижению затрат - таких, как сокращение потерь и пропорциональное охлаждение (что в некоторых случаях, увы, невозможно).
2. Стоимость аренды помещения - от 10 тыс. рублей за кв. м.
3. Стоимость обслуживания систем кондиционирования - приблизительно 15-20% от стоимости системы кондиционирования в год.
4. Стоимость обслуживания энергосистем (ИБП, ДГУ) - от 5 до 9% от стоимости.
5. Аренда каналов связи.
6. ФОТ службы эксплуатации.

Из чего состоит ЦОД

Существует целый ряд формализованных требований и стандартов, которые должны быть соблюдены при строительстве ЦОД: ведь надежность его работы критически важна.

В настоящий момент широко используется международная классификация уровней (от 1 до 4) готовности (надежности) ЦОД ()см. таблицу). Каждый уровень предполагает определенную степень доступности сервисов ЦОД, которая обеспечивается различными подходами к резервированию питания, охлаждения и канальной инфраструктуры. Самый низкий (первый) уровень предполагает доступность 99,671% времени в год (или возможность 28 ч простоя), а самый высокий (четвертый) уровень - доступность 99,995%, т.е. не более 25 мин простоя в год.

Параметры уровней надежности ЦОД

	Уровень 1	Уровень 2	Уровень 3	Уровень 4
Пути охлаждения и ввода электричества	Один	Один	Один активный и один резервный	Два активных
Резервирование компонентов	N	N+1	N+1	2*(N+1)
Деление на несколько автономных блоков	Нет	Нет	Нет	Да
Возможность горячей замены	Нет	Нет	Да	Да
Здание	Часть или этаж	Часть или этаж	Отдельно стоящее	Отдельно стоящее
Персонал	Нет	Не менее одного инженера в смене	Не менее двух инженеров в смене	Более двух инженеров, 24-часовое дежурство
100	100	90	90
Вспомогательные площади, %	20	30	80-90	100+
Высота фальш- пола, см	40	60	100-120	600	800	1200	1200
Электричество	208-480 В	208-480 В	12-15 кВ	12-15 кВ
Число точек отказа	Много + ошибки оператора	Много + ошибки оператора	Мало + ошибки оператора	Нет + ошибки оператора
Допустимое время простоя в год, ч	28,8	22	1,6	0,4
Время на создание инфраструктуры, мес.	3	3-6	15-20	15-20
Год создания первого ЦОД подобного класса	1965	1975	1980	1995

Данная классификация по уровням была предложена Кеном Бриллом (Ken Brill) еще в 1990-х гг. Считается, что первый ЦОД самого высокого уровня готовности был построен в 1995 г. компанией IBM для UPS в рамках проекта Windward.

В США и Европе существует определенный набор требований и стандартов, регламентирующих постройку ЦОД. Например, американский стандарт TIA-942 и его европейский аналог -EN 50173−5 фиксируют следующие требования:

• к месту расположения дата-центра и его структуре;
• к кабельной инфраструктуре;
• к надежности, специфицированные по уровням инфраструктуры;
• к внешней среде.

В России на текущий момент не разработано актуальных требований к организации ЦОД, поэтому можно считать, что они задаются стандартами на строительство машинных залов и СНиПами на строительство технологических помещений, большинство положений которых были написаны еще в конце 1980-х гг.

Итак, остановимся на трех «китах» строительства ЦОД, которые являются наиболее значимыми.

Питание

Как построить надежную и стабильную систему электроснабжения, избежать в дальнейшем сбоев в работе и не допустить простоев оборудования? Задача не из простых, требующая тщательного и скрупулезного изучения.

Основные ошибки обычно допускают еще на этапе проектирования систем электропитания ЦОД. Они (в перспективе) могут вызвать отказ системы электроснабжения по следующим причинам:

• перегрузка линий электропитания, как следствие - выход из строя электрооборудования и санкции энергонадзорных органов за превышение лимита потребления;
• серьезные энергопотери, что снижает экономическую эффективность ЦОД;
• ограничения в маcштабируемости и гибкости систем электропитании, связанные с нагрузочной способностью линий электропередач и электрооборудования.

Система электропитания в дата-центре должна соответствовать современным потребностям технических площадок. В классификации ЦОД, предложенной Кеном Бриллом, применительно к электропитанию эти требования будут выглядеть следующим образом:

• Уровень 1 — достаточно обеспечить защиту от скачков тока и стабилизацию напряжения, это решается установкой фильтров (без установки ИБП);
• Уровень 2 — требует установки ИБП с байпасом с резервированием N+1;
• Уровень 3 — необходимы параллельно работающие ИБП, с резервированием N+1;
• Уровень 4 — системы ИБП, с резервированием 2 (N+1).

Сегодня на рынке чаще всего можно встретить ЦОД с электропитанием второго уровня, реже - третьего (но в этом случае стоимость размещения обычно резко возрастает, причем далеко не всегда обоснованно).

По нашим оценкам, дата-центр с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны в обоих случаях - либо из-за простоя и сбоев в работе критически важных систем, либо из-за выбрасывания денег на ветер.

Очень важно также проследить, как будет вестись учет потребления электричества.

Охлаждение

Правильно организованный отвод тепла - не менее сложная и важная задача. Очень часто берется общее тепловыделение зала и уже исходя из этого рассчитывается мощность претензионных кондиционеров и их количество. Такой подход, хотя он и очень часто встречается, нельзя назвать правильным, так как он ведет к дополнительным издержкам и потерям в эффективности систем охлаждения. Ошибки в расчетах систем охлаждения - самые распространенные, и свидетельство тому - служба эксплуатации почти каждого ЦОД в Москве, поливающая жарким летним днем теплообменники из пожарных шлангов.

На качество отвода тепла влияют следующие моменты.

Архитектурные особенности здания. К сожалению, не все здания имеют правильную прямоугольную форму с постоянной высотой потолков. Перепады высоты, стены и перегородки, конструктивные особенности строения и воздействие солнечной радиации - все это может привести к дополнительным трудностям при охлаждении отдельных участков ЦОД. Поэтому расчет систем охлаждения должен вестись с учетом особенностей помещения.

Высота потолков и фальшпола. Здесь все очень просто: если высотой фальшпола дело не испортишь, то слишком высокие потолки ведут к застою горячего воздуха (следовательно, его надо отводить дополнительными средствами), а слишком низкие потолки затрудняют движение горячего воздуха к кондиционеру. В случае же низкого фальшпола (> 500 мм) резко падает эффективность охлаждения.

Показатели температуры и влажности воздуха в ЦОД. Как правило, для нормальной работы оборудования требуется соблюдать температурный режим в диапазоне 18-25 градусов Цельсия и относительную влажность воздуха от 45 до 60%. В этом случае вы обезопасите свое оборудование от остановки по причине переохлаждения, выхода из строя в случае выпадения конденсата при высокой влажности, статического электричества (в случае с низкой влажностью) или из-за перегрева.

Каналы связи

Казалось бы, такая «незначительная» составляющая, как каналы связи, не может вызывать никаких затруднений. Именно поэтому на нее и не обращают должного внимания ни те, кто арендует ЦОД, ни те, кто его строит. Но что толку от безупречной и бесперебойной работы ЦОД, если оборудование недоступно, т.е. его фактически нет? Обязательно обратите внимание: ВОЛС должны полностью дублироваться, причем многократно. Под «дублируются» имеется в виду не только наличие двух волоконно-оптических кабелей от разных операторов, но и то, что они не должны лежать в одном коллекторе.

Важно понимать, что действительно развитая коммуникационная инфраструктура требует значительных разовых затрат и отнюдь не дешева в эксплуатации. Следует расценивать ее как одну из весьма ощутимых составляющих стоимости ЦОД.

Собственный ЦОД на «раз-два-три»

Здесь стоит сделать небольшое отступление и рассказать об альтернативном методе создания собственного ЦОД. Речь идет о BlackBox - мобильном центре обработки данных, встроенном в транспортный контейнер. Проще говоря, BlackBox - это дата-центр, размещенный не в отдельной комнате внутри помещения, а в неком подобии автотрейлера (см. рисунок).

BlackBox можно привести в полностью рабочее состояние за месяц, т.е. в 6-8 раз быстрее, чем традиционные ЦОД. При этом не нужно приспосабливать под BlackBox инфраструктуру здания компании (создавать под него особую систему противопожарной безопасности, охлаждения, охраны и т.п.). А самое главное - для него не требуется отдельного помещения (можно разместить его на крыше, во дворе…). Все, что действительно необходимо - организовать подачу воды для охлаждения, систему бесперебойного электропитания и наладить подключение к Интернету.

Стоимость собственно BlackBox — около полумиллиона долларов. И тут надо отметить, что BlackBox - это полностью сконфигурированный (однако с возможностью кастомизации) виртуализационный центр обработки данных, размещенный в стандартном транспортном контейнере.

Две компании уже получили этот контейнер для предварительного тестирования. Это Linear Accelerator Center (Стэнфорд, США) и... российская компания «Мобильные ТелеСистемы». Самое интересное, что МТС запустила BlackBox быстрее, чем американцы.

В целом BlackBox производит впечатление очень хорошо продуманной и надежной конструкции, хотя, конечно, стоит упомянуть и ее недостатки.

Необходим внешний источник энергии минимум в 300 Вт. Здесь мы упираемся в строительство или реконструкцию ТП, монтаж ГРЩ, прокладку кабельной трассы. Это не так просто - проектные работы, согласование и утверждение проекта во всех инстанциях, монтаж оборудования…

ИБП в комплект поставки не входят. Опять упираемся в проектные работы, выбор поставщика, оборудование помещения под монтаж ИБП с климатической установкой (батареи очень капризны к температурному режиму).

Потребуется также покупка и монтаж ДГУ. Без него не решить проблему с резервированием, а это еще один круг согласований и разрешений (средний срок поставки таких агрегатов - от 6 до 8 месяцев).

Охлаждение - необходим внешний источник холодной воды. Придется спроектировать, заказать, дождаться, смонтировать и запустить систему чиллеров с резервированием.

Резюме: вы по сути построите небольшой дата-центр в течение полугода, но вместо ангара (помещения) купите контейнер с серверами, причем сбалансированный и серьезно продуманный до мелочей, с комплектом удобных опций и ПО для управления всем этим хозяйством, и смонтируете его за месяц.

Чем больше ЦОД, тем..?

На текущий момент самый большой ЦОД, о котором есть информация в открытых источниках, - объект Microsoft в Ирландии, в который корпорация планирует инвестировать более 500 млн долл. Специалисты утверждают, что эти деньги будут потрачены на создание первого в Европе вычислительного центра для поддержки различных сетевых сервисов и приложений Microsoft.

Строительство в Дублине конструкции общей площадью 51,09 тыс. кв. м, на территории которой разместятся десятки тысяч серверов, началось в августе 2007 г. и должно завершиться (по прогнозам самой компании) в середине 2009 г.

К сожалению, имеющаяся информация о проекте мало что дает, ведь важна не площадь, а энергопотребление. Исходя из этого параметра, мы предлагаем классифицировать ЦОД следующим образом.

• «Домашний ЦОД» - ЦОД уровня предприятия, которому требуются серьезные вычислительные мощности. Мощность - до 100 кВт, что позволяет разместить в нем до 400 серверов.
• «Коммерческий ЦОД». К этому классу относятся операторские ЦОД, стойки в которых сдаются в аренду. Мощность - до 1500 кВт. Вмещает до 6500 серверов.
• «Интернет-ЦОД» - ЦОД для Интернет-компании. Мощность - от 1,5 МВт, вмещает 6500 серверов и более.

Возьму на себя смелость предположить, что при строительстве ЦОД мощностью более 15 МВт неотвратимо возникнет «эффект масштаба». Ошибка на 1,5-2 кВт в «семейном» ЦОД на 40 кВт, скорее всего, останется незамеченной. Ошибка размером в мегаватт будет фатальной для бизнеса.

Кроме того, можно с полным основанием предположить в этой ситуации действие закона убывающей отдачи (как следствие эффекта масштаба). Он проявляется в необходимости совмещения больших площадей, огромной электрической мощности, близости к основным транспортным магистралям и прокладки железнодорожных путей (это будет экономически целесообразней, чем доставка огромного количества грузов автотранспортом). Стоимость освоения всего этого в пересчете на 1 стойку или юнит будет серьезно выше среднего по следующим причинам: во-первых, отсутствием подведенной мощности в 10 МВт и более в одной точке (придется искусственно выращивать такой «алмаз»); во-вторых, необходимостью строить здание или группу зданий, достаточных для размещения ЦОД.

Но если вдруг удалось найти мощность, скажем, около 5 МВт (а это уже большое везение), с двумя резервируемыми вводами от разных подстанций в здание, которое имеет правильную прямоугольную форму с высотой потолков 5 м и общей площадью 3,5 тыс. кв. м, да еще и в нем нет перепадов высоты, стен и перегородок, а рядом есть около 500 кв. м прилегающей территории… Тогда, конечно, возможно достичь минимальной себестоимости за одну стойку, которых будет примерно 650.

Цифры здесь названы из расчета потребления 5 КВт на стойку, что является на сегодняшний день стандартом «де факто», так как увеличение потребления в стойке неотвратимо приведет к сложностям с отводом тепла, а как следствие - к серьезному увеличению себестоимости решения. Равно как и уменьшение потребления не принесет необходимой экономии, а лишь увеличит арендную составляющую и потребует освоения больших площадей, чем это на самом деле требуется (что тоже печально скажется на бюджете проекта).

Но не нужно забывать, что главное - это соответствие ЦОД поставленным задачам. В каждом отдельном случае необходимо искать баланс, опираясь на те вводные данные, которые мы имеем. Другими словами, придется искать компромисс между удаленностью от основных магистралей и наличием свободной электрической мощности, высотой потолка и площадью помещения, полным резервированием и бюджетом проекта.

Где строить?

Считается, что ЦОД должен размещаться в отдельно стоящем здании, как правило, без окон, оснащенном самыми современными системами видеонаблюдения и контроля доступа. К зданию должно быть подведено два независимых электрических ввода (от двух разных подстанций). Если ЦОД имеет несколько этажей, то перекрытия должны выдерживать высокие нагрузки (от 1000 кг на кв. м). Внутренняя часть должна быть разделена на герметичные отсеки с собственным микроклиматом (температурой 18-25 градусов Цельсия и влажностью 45-60%). Охлаждение серверного оборудования должно обеспечиваться с помощью прецизионных систем кондиционирования, а резервирование питания - как устройствами бесперебойного питания, так и дизель-генераторными установками, которые обычно находятся рядом со зданием и обеспечивают в случае аварии функционирование всех электрических систем ЦОД.

Особое внимание следует уделить системе автоматического пожаротушения, которая обязана, с одной стороны, исключать ложные срабатывания, а с другой - реагировать на малейшие признаки задымления или появления открытого пламени. Серьезный шаг вперед в области пожаробезопасности ЦОД - применение азотных систем пожаротушения и создания пожаробезопасной атмосферы.

Сетевая инфраструктура также должна предусматривать максимальное резервирование всех критически важных узлов.

Как экономить?

Можно начать экономить с качества питания в ЦОД и закончить экономией на отделочных материалах. Но если вы строите такой «бюджетный» ЦОД, это выглядит по крайней мере странно. Какой смысл инвестировать в рискованный проект и ставить под угрозу ядро своего бизнеса?! Одним словом, экономия требует очень взвешенного подхода.

Тем не менее есть несколько весьма затратных статей бюджета, которые оптимизировать не только можно, но и нужно.

1. Телекоммуникационные шкафы (стойки). Устанавливать в ЦОД шкафы, т. е. стойки, где каждая имеет боковые стенки плюс заднюю и переднюю дверь, не имеет никакого смысла по трем причинам:

• стоимость может отличаться на порядок;
• нагрузка на перекрытия выше в среднем на 25-30%;
• охлаждающая способность ниже (даже с учетом установки перфорированных дверей).

2. СКС. Опять-таки нет никакого смысла опутывать весь ЦОД оптическими патчкордами и приобретать самые дорогие и мощные коммутаторы, если вы не намерены устанавливать оборудование во все стойки разом. В среднем срок заполняемости коммерческого ЦОД - полтора-два года. При текущих темпах развития микроэлектроники это целая эпоха. Да и всю разводку так или иначе придется переделывать - либо не рассчитаете требуемого объема портов, либо в процессе эксплуатации линии связи будут повреждены.

Ни в коем случае не стройте «медный» кросс в одном месте - разоритесь на кабеле. Намного дешевле и грамотней ставить рядом с каждым рядом телекоммуникационную стойку и разводить от нее на каждую стойку по 1-2 патч-панели медью. Если необходимо будет подключить стойку, то пробросить оптический патч-корд до нужного ряда - минутное дело. При этом еще и не понадобятся серьезные инвестиции на начальном этапе; наконец, попутно будет обеспечена необходимая маштабируемость.

3. Питание. Да, не поверите, но в питании ЦОД самое важное - КПД. Тщательно выбирайте электрооборудование и системы бесперебойного питания! От 5 до 12% стоимости владения ЦОД можно сэкономить на минимизации потерь, таких как потери на преобразовании (2-8%) в ИБП (у старых поколений ИБП КПД ниже) и потери при сглаживании гармонических искажений фильтром гармоник (4–8%). Уменьшить потери можно за счет установки «компенсаторов реактивной мощности» и за счет сокращения длины силовой кабельной трассы.

Заключение

Какие же выводы можно сделать? Как выбрать из всего многообразия то решение, которое подходит именно вам? Это, безусловно, сложный и нетривиальный вопрос. Повторимся: в каждом конкретном случае необходимо тщательно взвешивать все «за» и «против», избегая бессмысленных компромиссов, - учитесь правильно оценивать собственные риски.

С одной стороны, при сокращении издержек одним из вариантов экономии может стать аутсорсинг ИТ-услуг. В этом случае оптимально использование коммерческих ЦОД, с получением полного комплекса телекоммуникационных сервисов при отсутствии инвестиций в строительство. Однако для больших профильных компаний и банковского сектора с наступлением периода нестабильности и замораживания строительства коммерческих ЦОД остро встает вопрос о строительстве собственного дата-центра…

С другой стороны, кризисные явления, которые мы наблюдаем в течение последнего года, печально сказались на экономике в целом, но в то же время служат акселератором для развития более успешных компаний. Арендная плата за помещения серьезно уменьшилась. Спад ажиотажа вокруг электрических мощностей освободил место более эффективным потребителям. Производители оборудования готовы на беспрецедентные скидки, а рабочая сила упала в цене более чем на треть.

Одним словом, если вы планировали строить свой собственный дата-центр, то сейчас, на наш взгляд, самое время.