Meta использует в ЦОД жидкость для охлаждения жестких дисков
Гиперскейлеры, такие как Meta, развертывают в своих центрах обработки данных тысячи жестких дисков. Хотя тепло, выделяемое каждым диском по отдельности ничтожно, оно со временем накапливается, особенно если диски постоянно используются и расположены близко друг к другу.
Десятки жестких дисков хранятся в специальных серверных стойках, которые называются «Just a Bunch Of Disks» (просто куча дисков) или JBOD. Без охлаждения JBOD может перегреваться. До сих пор охлаждение осуществлялось с помощью вентиляторов, но некоторые диски были размещены от вентиляторов дальше чем другие, что вызывало неравномерное охлаждение.
Компания Meta совместно с компанией Iceotope, мировым лидером в области прецизионного иммерсионного охлаждения, провели исследование, подтверждающее эффективность и действенность технологии жидкостного охлаждения для удовлетворения требований к охлаждению жестких дисков высокой плотности. Такие жесткие диски все чаще устанавливаются и используются в гипермасштабных центрах обработки данных у различных поставщиков услуг.
Исследование показывает, что система жидкостного охлаждения успешно охлаждает диски при более низкой и постоянной температуре, что снижает количество их отказов. Жидкостное охлаждение также предлагает более низкую совокупную стоимость владения с улучшенными экологическими, социальными и управленческими требованиями.
Эксперимент стал возможен благодаря изменениям в производстве дисководов. Чтобы уменьшить вибрацию при вращении, новые накопители большой емкости стали заполнять гелием, а для удержания гелия накопители должны быть герметичны. То, что препятствует утечке гелия из дисков, также предотвращает попадание в них жидкости.
В тесте использовалась стандартная система хранения JBOD высокой плотности с воздушным охлаждением. Она вмещала в себя 72 жестких диска 3,5-дюйма в стойке 40U, а также два одиночных сокет-узла, две карты расширения SAS, сетевую карту и плату распределения питания. Эта же система хранения JBOD была модернизирована для однофазного иммерсионного охлаждения.
Компания Iceotope не погружала механизм в баки с охлаждающей жидкостью. Вместо этого она работала на уровне шасси. Небольшое количество диэлектрической жидкости с точностью доставлялось к горячим точкам, а затем каскадом спускалось вниз в шасси для отвода тепла от других компонентов. Это можно рассматривать как частичное погружение в резервуар с использованием части жидкости.
Iceotope использовала фторированную диэлектрическую жидкость с очень высокой температурой кипения, однако после проведения этого исследования компания успешно испытала синтетические углеводородные диэлектрические жидкости. Iceotope утверждает, что ее технология не зависит от жидкости, и компания использует ряд типов диэлектрических жидкостей от разных поставщиков.
Мета обнаружила, что система с жидкостным охлаждением дает разницу в температуре между 72 жесткими дисками всего в 3° C, независимо от их расположения внутри стойки. То есть температура получается более равномерной, чем при воздушном охлаждении.
При низкой нагрузке потребляемая мощность для воздушного и жидкостного охлаждения примерно одинакова, но по мере увеличения нагрузки иммерсионное охлаждение потребляет меньше энергии, чем воздушное.
Теперь компания Meta оценивает преимущества иммерсионного охлаждения Iceotope в своей ИТ-инфраструктуре. Серверные стойки могут быть переоборудованы для поддержки жидкостного охлаждения с минимальными затратами и усилиями, обычно составляющими незначительные проценты от стоимости сервера. Но для жидкостного охлаждения по-прежнему требуются герметичные накопители.
