Изменение режима охлаждения вычислительной мощности ИИ: анализ технологии жидкостного охлаждения центров обработки данных.

Во-первых, вычислительные мощности искусственного интеллекта способствуют трансформации систем теплоотвода в центрах обработки данных.

В связи с высоким спросом на вычислительные мощности для ИИ, количество серверов с графическими процессорами в центрах обработки данных значительно возросло, и проблема энергопотребления, вызванная этим, становится все более актуальной. Известно, что суммарная предельная мощность одного шкафа в центре обработки данных составляет 15 кВт, и рост энергопотребления, обеспечиваемый серверами с графическими процессорами, приближается к предельному значению для одного шкафа при неизменном коэффициенте трансформации шкафа. Однако энергопотребление графических процессоров продолжает расти.

В этом году на конференции NVIDIA GTC2024 компания NVIDIA официально представила флагманский графический процессор GB200. Этот продукт включает в себя два ядра GPU, каждое из которых потребляет около 1200 Вт, а также два процессора Arm, потребляющих около 300 Вт, поэтому общее энергопотребление этого продукта составляет около 2700 Вт. Нетрудно заметить, что в условиях высокого энергопотребления и высокой плотности размещения оборудования традиционное воздушное охлаждение явно не справляется с потребностями в энергосбережении и отводе тепла, и технология жидкостного охлаждения стала необходимым вариантом для интеллектуальных решений по контролю температуры в вычислительных центрах, обладающих сверхвысокой энергоэффективностью и сверхвысокой теплоотдачей.

Во-вторых, основные преимущества и недостатки систем жидкостного охлаждения.

Главными преимуществами систем жидкостного охлаждения являются более высокая эффективность рассеивания тепла и меньшее энергопотребление.

Известно, что в традиционных центрах обработки данных с воздушным охлаждением энергопотребление на охлаждение оборудования и отвод тепла достигает 40%, а эффективность теплоотвода невысока. Из-за этих ограничений традиционное воздушное охлаждение центров обработки данных обычно рассчитано на плотность размещения оборудования в одном шкафу 8-10 кВт. Поскольку теплопроводность жидкостного охлаждения в 25 раз выше, чем у воздуха, отводимое тепло почти в 3000 раз превышает теплоотвод того же объема воздуха, и плотность размещения оборудования в одном шкафу легко может превышать 30 кВт.

В то же время, помимо внедрения системы жидкостного охлаждения, поскольку центру обработки данных больше не нужно развертывать большое количество систем кондиционирования и охлаждения, это позволяет значительно сэкономить место, дополнительно повысить плотность размещения шкафов в одном аппаратном помещении и улучшить коэффициент использования площади центра обработки данных.

Несмотря на множество преимуществ систем жидкостного охлаждения для центров обработки данных, они также сопряжены со многими проблемами . В настоящее время существуют следующие основные проблемы:

1. Отсутствие единых стандартов. Будь то технология жидкостного охлаждения с использованием холодных пластин или технология жидкостного охлаждения под водой, в отрасли до сих пор нет единых технологических и строительных стандартов. Хотя наличие множества стандартов способствует развитию технологий, в то же время различные стандарты создают проблемы выбора для предприятий, а впоследствии — проблемы управления и обслуживания.

2. Стоимость строительства слишком высока. По сравнению с традиционными системами воздушного охлаждения, стоимость строительства центров обработки данных с жидкостным охлаждением по-прежнему слишком высока. Кроме того, инвестиционные затраты на реконструкцию некоторых старых центров обработки данных также слишком высоки.

3. Позднее управление и техническое обслуживание представляют собой сложную задачу. Быстрое развитие технологии жидкостного охлаждения и отсутствие единых технологических и строительных стандартов создают дополнительные проблемы, связанные с поздним управлением и техническим обслуживанием.

4. Безопасность. Из-за влияния многих факторов, таких как материал, производственный процесс, способ соединения, техническое обслуживание и эксплуатация, герметичность между охлаждающей пластиной и аккумуляторным элементом может привести к риску утечки охлаждающей жидкости. Утечка не только ухудшит производительность и надежность системы, но и может представлять опасность для окружающей среды и создать угрозу ее безопасности.

В-третьих, основная технология теплоотвода при жидкостном охлаждении.

В настоящее время основными технологиями жидкостного охлаждения являются непрямое жидкостное охлаждение, представленное системой жидкостного охлаждения с охлаждающей пластиной, и прямое жидкостное охлаждение, представленное системой жидкостного охлаждения с погружением. Поскольку эти две технологии различаются по конструкции системы теплоотвода, эффективность теплоотвода также существенно различается.

1. Технология непрямого жидкостного охлаждения

Технология косвенного теплоотвода предполагает использование охлаждающей пластины и других элементов, контактирующих с поверхностями процессора, памяти, видеокарты, жесткого диска и других устройств, с целью отвода тепла за счет потока охлаждающей жидкости. Помимо охлаждающей пластины и других элементов, технология косвенного жидкостного охлаждения также включает теплообменники, трубопроводы, насосы, охлаждающие жидкости, системы управления и другие компоненты.

В настоящее время система жидкостного охлаждения с охлаждающей пластиной стала основным решением в области непрямого жидкостного охлаждения. Главное преимущество непрямого жидкостного охлаждения заключается в том, что оно не требует изменения формы существующих серверов, имеет низкую стоимость проектирования, относительно небольшую сложность развертывания, а также относительно низкую сложность послеэксплуатационного и технического обслуживания. Кроме того, поскольку в качестве охлаждающей среды чаще всего используется гликолевый раствор, стоимость ниже.

Недостатком является относительно низкая эффективность рассеивания тепла, а также высокая частота отказов из-за большого количества компонентов. В настоящее время системы жидкостного охлаждения с холодными пластинами стали предпочтительным выбором для большинства центров обработки данных.

2. Технология прямого жидкостного охлаждения

Технология прямого жидкостного охлаждения предполагает прямой контакт охлаждающей жидкости с процессором, видеокартой, материнской платой, памятью и т. д., при этом охлаждающая жидкость поглощает и отводит тепло, протекая непосредственно через поверхность оборудования. В настоящее время технология прямого жидкостного охлаждения включает в себя системы погружного и распылительного жидкостного охлаждения и может быть разделена на однофазное погружное и фазоизменяющееся погружное охлаждение в зависимости от наличия фазового перехода у охлаждающей среды.

По сравнению с технологией косвенного теплоотвода, в технологии прямого жидкостного охлаждения отсутствует промежуточная теплопроводящая среда между жидкостью и источником тепла, и тепло передается более непосредственно жидкости, поэтому эффективность теплоотвода выше. Однако технология прямого жидкостного охлаждения сложнее и дороже в реализации из-за необходимости перепроектирования и разработки всего центра обработки данных.

В настоящее время технология прямого жидкостного охлаждения в основном используется в сценариях, требующих высокой эффективности рассеивания тепла.

В конце концов:

Нет сомнений в том, что системы жидкостного охлаждения должны стать основной технологией отвода тепла в будущем для центров обработки данных.

В настоящее время, благодаря большей зрелости систем жидкостного охлаждения с использованием пластинчатых радиаторов, они станут первой распространенной технологией жидкостного охлаждения, которая войдет в состав центров обработки данных. Кроме того, с развитием технологий и унификацией стандартов будут решены проблемы, влияющие на популярность этой технологии, такие как стоимость, эксплуатация и техническое обслуживание, безопасность и другие.

Безусловно, с непрерывным развитием технологий, системы жидкостного охлаждения под водой также будут широко использоваться в новых центрах обработки данных с высокой плотностью размещения оборудования, что позволит еще больше повысить эффективность отвода тепла и значительно увеличить вычислительную мощность.