Оптимизация распределения питания в стойках

Электроэнергия поступает в центры обработки данных через трансформаторы и затем распределяется по всему объекту. Но способы подачи энергии к серверам и коммутаторам изменились - в основном, из-за эволюции серверов и коммутаторов.

Сервера и коммутаторы становятся все более мощными и устанавливаются в стойках с воздушным охлаждением. Это означает, что увеличение количества кабелей питания становится проблемой – и не только из-за времени и усилий, потраченных на их разводку.

По кабелям под фальшполом поступает питание – и в то же время они препятствуют движению воздуха, который отводит тепло, производимое вследствие нагревания этих кабелей.

Чтобы оптимизировать данный процесс, питание можно подавать по воздушным линиям, либо по кабелям в лотках, либо (все чаще) через шинопроводы, поддерживающие гибкие соединения до стоек, где от блоков распределения питания запитываются отдельные коммутаторы и серверы.

В последние несколько лет были попытки упростить распределение питания в стойках - и применение высокоплотных решений, наряду с переходом к облачным сервисам, может привести к дальнейшим изменениям.

Понижение сложности

Около десяти лет назад Facebook создал проект Open Compute Project (OCP), чтобы поделиться своими разработками для центров обработки данных и позволить коллегам поучаствовать в их оптимизации. Facebook и другие основатели OCP - гипермасштабируемые игроки с большими ЦОДами, работающими с монолитными приложениями. Им действительно подходит стандартизированная система стоек, поэтому члены OCP разработали “Открытую стойку” (“Open Rack”), которая вмещала больше оборудования (в 21 дюйм вместо привычных 19), и заменили PDU шиной постоянного тока с медным разъемом, аналогичным соединению с шинопроводом, которое спускается сверху по задней стенке стойки.

Менно Кортекаасу из Circle B нравится упрощённая система распределения питания стоек OCP, но его заказчики гораздо более мелкие компании, чем большинство членов OCP, и они обращаются к нему за помощью.

У Кортекааса комната с оборудованием Open Compute в центре обработки данных Maincubes AMS01 в Амстердаме. Это обновленное помещение, как и часть его оборудования. В нем несколько стоек с обновленным оборудованием, которые вернулись из Facebook, их предоставила компания ITrenew из сектора циркулярной экономики.

“Заказчики готовы использовать распределение постоянного тока вместо PDU", - говорит Менно. – «Пока сервер работает, они не возражают». Работа с комплектом OCP требует осторожности и понимания, но Кортекаас считает, что традиционные PDU крайне уязвимы. “У нас есть 19-дюймовые стойки, и когда одна сетевая карта вышла из строя, мы пошли ее менять и по ошибке выключили сервер. К счастью, это был резервный.”

Стеллажи OCP отличаются друг от друга, и это делает их специализированными - если только у вас не огромный ЦОД, набитый ими. “Успешность использования стоек с питанием от OCP зависит от навыков персонала",-говорит он. “Компаниям достаточно крупным, чтобы построить собственный центр обработки данных, я не нужен”. Обычно клиенты Менно имеют от 6 до 11 кВт в каждой стойке, стойки Rittal-овские, а Circle B занимается установкой оборудования.

“Мы предоставляем удаленное управление", - говорит он. - Если что-то не так, клиенты входят в систему, а мы исправляем проблемы. Им не нужно иметь никаких специальных знаний об оборудовании.”

Возможно, из-за того, что оборудование OCP является чересчур специализированным, в 2017 году другая компания разработала альтернативу стоечного распределения питания. Проект был рассчитан на средние компании.

Open19 был запущен Ювалем Бакаром (Yuval Bachar), главным архитектором центра обработки данных LinkedIn. Он возглавил инициативу компании, занимающейся социальными сетями, по вводу в эксплуатацию собственного сетевого оборудования и разработке собственной инфраструктуры, чтобы сэкономить деньги, а затем создал Фонд Open19, чтобы поделиться этими разработками с другими пользователями.

“Основное различие между распределением питания OCP и Open19 заключается в том, что у OCP оно является общим, а e Open19 - выделенным”, - говорит Бакар, который сейчас работает над эффективностью центров обработки данных нового владельца LinkedIn - компании Microsoft.

“В OCP мощность распределяется через шину, и на этой шине запитана целая стойка”, - говорит он. - Любая неисправность выведет из строя всю стойку полностью. В стойках Open19 каждый сервер питается непосредственно от полки электропитания (Power shelf), обеспечивающей низкое напряжение постоянного тока.”

Полка электропитания Open19 подает напряжение 12 В в отсеки для серверов и коммутаторов. Блоки IT-оборудования не имеют источника питания, они вставляются в эти отсеки, где крепятся к шине питания.

Из-за того, что все сервера подпитываются индивидуально стойки Open19 могут поддерживать уровень мониторинга серверов, который невозможен с OCP - и который типичным пользователям OCP не нужен, - говорит Бакар: “Основное отличие заключается в том, что условия общего и выделенного распределения питания разные.”

Все зависит от того, с какими компонентами вы имеете дело, говорит Бакар. У Facebook десятки тысяч стоек, поэтому управление осуществляется на уровне стойки, и можно по необходимости перезагрузить всю стойку сразу. “В Open19 важен каждый сервер – поэтому Open19 и был создан.”

Выделенное питание в Open19 позволяет осуществлять контроль и управление серверами традиционным способом, в то время как сервера в стойке OCP могут управляться только фоновым процессом (daemon) на самом сервере.

Шина OCP на уровне стойки подходит не всем участникам проекта OCP, даже тем, кто имеет свои собственные гипермасштабируемые сервисы. Реализации OCP в Facebook и других гипермасштабируемых компаниях идут разными путями, и мы понимаем, что, например, Microsoft в собственной реализации отказывается от шин в пользу более детального контроля.

Open19 предоставил свои спецификации в качестве стандарта в OCP, но на данный момент неясно, видит ли в них необходимость хоть кто-то из членов OCP.

Открытое будущее

Сам Open19 был малозаметным в последний год или около того. Microsoft купила LinkedIn в 2016 году, а в 2019 году объявила, что LinkedIn переходит из своих ЦОДов в облако Microsoft Azure Cloud.

В 2020 году, когда Covid-19 сделал путешествия невозможными, саммит Open19 был отменен, вместо того чтобы переехать в онлайн. А аналогичное событие от OCP провели в Интернете, и некоторые пришли к выводу, что проект Open19 свернулся.

Но эти слухи преувеличены. Open19 по-прежнему имеет отличительные особенности, на которые указывает Бакар, и LinkedIn по-прежнему использует множество стоек Open19. Переход LinkedIn в Azure займет несколько лет, и на некоторое время он продолжит функционировать на стойках Open19. А тем временем – на подходе новый чемпион в системе распределения питания стоек Open19.

В 2019 году, учитывая смену своих обязанностей в Microsoft, Бакар передал пост президента Open19 Закари Смиту, генеральному директору Packet, сетевой компании, которая предоставляла облачные сервисы (Bare Metal Services) с использованием стоек Open19 – концептуально по аналогии с тем, как Circle B планирует предоставлять инфраструктуру как сервис на стойках OCP.

Packet стал самым публичным сторонником конструкции стойки Open19. Но в 2019 году гигант колокации Equinix купил Packet, и на данный момент его будущее не определено. Многие его клиенты занимают места на объектах, и многие из них предлагают облачные сервисы. Будет ли Equinix использовать laaS?

В конце 2020 года стало ясно, что да. Equinix перезапустила сервис Packet, но уже под брендом Equinix Metal. Зак Смит теперь возглавляет этот сектор в Equinix и прогнозирует значительный рост в использовании стандарта Open19.

Смит считает, что Open19 идеально подходит для бизнеса, который хочет быстро предоставить любой объем ИТ-ресурсов корпоративным клиентам в помещениях, где были предварительно проложены кабели питания и сетевые кабели. Магия стандарта Open19 состоит в том, что он может быть подключен заранее, но при этом гибок и управляем вплоть до уровня отдельных компонентов.

“Большинство клиентов Equinix не управляют гигантской серверной фермой из миллиона серверов, где все будет в порядке, даже если некоторые из серверов выйдут из строя.

Для пользователей в пространстве colocation ключевым моментом является установка оборудования, но также важна возможность изменять его и управлять им, как только появится доступ. А для клиентов, имеющих оборудование в нескольких центрах обработки данных, удаленная работа является проблемой.

В последние годы некоторые предприятия стали использовать полностью загруженные стойки по системе под названием “rack and roll”. В специализированном центре в стойки предварительно монтируются все сервера, коммутаторы и кабели, а затем их отправляют в дата-центры, где они уже размещаются на постоянной основе, готовые к работе сразу после подключения кабелей.

Но при детальном рассмотрении этой концепции возникают проблемы. Смит говорит: «Давайте возьмем стандартную стойку. Допустим, вы даже не делаете сумасшедшее высокоплотное решение, пусть в ней будут просто 40 серверов с избыточным питанием на каждый сервер и по 2 сетевых порта 25 Гбит/с на каждый. То есть речь идет о пяти кабелях для каждого сервера, так что у вас получится более 200 кабелей в задней части стойки».

Идея интегрировать целый ряда стоек заранее вне рабочей площадки делает ваш центр обработки данных очень негибким: “Вы вкладываете весь свой капитал, от полумиллиона до миллиона долларов в кремний и память, и продолжаете вкладывать и вкладывать. И надеетесь, что вам никогда не придётся ничего менять. Потому что в момент, когда вам понадобится, чтобы какой-нибудь техник из Мельбурна начал управлять процессами в стойках дистанционно - начнется полный хаос.”

Альтернативный вариант – оплатить выезд высокооплачиваемых технических специалистов, чтобы они всё подключили на месте. “Это очень, очень высокая стоимость одного сервера, и эффективность близка к нулю, когда вы в ЦОДе делаете системную интеграцию с десятком серверов.”

Стандарт Open19 разделяет эти этапы. Силовые и сетевые кабели прокладывают в стойке заранее, а дорогостоящую технику, установка которой требует специальных навыков, монтируют уже потом, на месте постоянного размещения стойки.

«По сути, получается, что вы разделили капитал – малую часть вы вкладываете в листовой металл и кабель, причем не одновременно с большей частью капитала, которую вы вложите в процессоры и память» - говорит Смит. «Мы говорим о тысячах долларов, а не о сотнях тысяч, когда дело касается правильной прокладки кабелей и листовом металле для шкафов. И только после вы будете добавлять необходимые дорогостоящие компоненты в нужной последовательности в нужное время.»

На самом деле это изящное обобщение тех преимуществ, которые Менно Кортекаас обещает со своим обновленным комплектом OCP в Maincubes. Его сотрудники на удаленке в Амстердаме – это уменьшенная армия техников Equinix, с которыми Смит планирует развернуть Equinix Metal. Обе системы предлагают готовую инфраструктуру по запросу.

Эти две модели также будут похожи физически, потому что Амстердам является одним из первых четырех рынков, где Equinix продавали металл.

Equinix купила дата-центр в Амстердаме в 2019 году. В то время AMS1 Switch Datacenters был родным домом для первого экспериментального центра стандарта OCP у Circle B, и эта покупка стала причиной того, что Circle B переехал в свой нынешний дом в Maincubes.

Если IaaS, основанный на предварительно смонтированных стойках, станет популярной, то одна модель (каблирование Open19) сможет заменить другую (шины OCP) там, где раньше было главная витрина магазина OCP в Европе. И Кортекаас криво улыбнется.

Статья написана по материалам сайта https://www.cablinginstall.com/