Коли сервери зі штучним інтелектом вимагають вищих технологій охолодження! Чому тенденція змінюється від «повітряного охолодження» до «рідинного»

 

Генеральний директор NVIDIA Дженсен Хуанг спеціально виступив на COMPUTEX 2023, щоб підтримати промову голови Supermicro Чарльза Лянга. Голова Fanner Лінь Юйшен зазначив, що більшість серверних продуктів, представлених на сцені, представляли модулі водяного охолодження Fanner. Фаннер, який протягом багатьох років інвестував у модулі водяного охолодження, має хороші можливості для отримання прибутку від цієї хвилі ШІ. Однак, оскільки сервери штучного інтелекту вимагають все більш високих стандартів охолодження, чому тенденція зміщується від «повітряного охолодження» до «рідинного»?

 

 

I Від високошвидкісної роботи до рідинного охолодження

 

Що стосується технології охолодження, Лінь Юйшен зазначив, що в сучасних модулях охолодження в основному використовується гібридна технологія охолодження, яка включає теплові трубки. Ці модулі охолодження з тепловими трубками поєднують такі компоненти, як вентилятори, радіатори та теплові трубки, щоб створити збалансоване теплове середовище для внутрішніх електронних компонентів, тим самим підвищуючи стабільність електронних пристроїв. Однак у міру того, як кінцеві електронні продукти, що випускаються далі, стають більш багатофункціональними та компактними, виробники модулів охолодження перейшли до розробки рішень для охолодження, зосереджених на парових камерах і теплових трубках.

 

В даний час модулі охолодження діляться на два види: «повітряне охолодження» і «рідинне охолодження». Повітряне охолодження використовує повітря як середовище з такими матеріалами, як термоінтерфейсні матеріали, парові камери (VC) або теплові трубки, які проводять тепло, яке потім розсіюється через радіатори або вентилятори за допомогою повітряної конвекції. Навпаки, рідинне охолодження розсіює тепло через конвекцію рідини, включаючи охолодження зануренням, яке охолоджує мікросхеми ефективніше. Однак у міру того, як мікросхеми виділяють більше тепла і стають меншими, а теплова потужність (TDP) зростає, повітряне охолодження поступово стає недостатнім.

 

▲ Порівняння технологій повітряного та рідинного охолодження

 

З появою ChatGPT генеративний штучний інтелект призвів до збільшення поставок серверів, що, у свою чергу, призвело до оновлених специфікацій для модулів охолодження, підштовхнувши їх до рідинного охолодження, щоб відповідати суворим вимогам до охолодження та стабільності серверів. Лінь Юйшен підкреслив, що Фаннер почав із технології повітряного охолодження, а ще десять років тому почав придбавати технологію рідинного охолодження через передачу технологій IBM. Вони надали бекдори з водяним охолодженням, які дозволяли клієнтам додавати водяне охолодження до шаф, не змінюючи існуючу інфраструктуру центру обробки даних.

 

 

II До 2025 року нова ера одночасного повітряного та рідинного охолодження

 

Завдяки розвитку напівпровідникових технологій, пов’язаних із застосуванням штучного інтелекту, впровадження GPT-3 у ChatGPT збільшило параметри алгоритму штучного інтелекту до 175 мільярдів, що призвело до стократного збільшення обчислювальної потужності GPU. Промисловість переважно використовує технологію однофазного занурювального охолодження в рідинному охолодженні для вирішення проблем розсіювання тепла серверів або компонентів високої щільності. Однак цей метод має обмеження в 600 Вт, тоді як потреби в охолодженні для ChatGPT або більш просунутих серверів перевищують 700 Вт.

 

▲ Ілюстрація технології однофазного занурювального охолодження

 

З розвитком додатків IoT, периферійних обчислень і 5G штучний інтелект даних переходить у фазу швидкого зростання глобальної обчислювальної потужності. Конструкції модулів охолодження наступного покоління будуть діяти у двох основних напрямках: модернізація існуючих модулів охолодження за допомогою 3D-парових камер (3DVC) або запровадження систем рідинного охолодження, які використовують рідину як теплоконвекційне середовище для підвищення ефективності охолодження. У результаті кількість випробувань рідинного охолодження значно зросла у 2023 році. Однак 3DVC, зрештою, є перехідним рішенням, і очікується, що до 2024-2025 почнеться ера одночасного повітряного та рідинного охолодження.

 

За даними TrendForce, у 2022 році на сервери ШІ, оснащені GPGPU (GPU загального призначення), припадало близько 1% від загального обсягу поставок. Проте завдяки застосуванню ChatGPT очікується, що поставки серверів ШІ зростуть на 38,4% у 2023 році, а сукупний річний темп зростання поставок серверів ШІ між 2022 і 2026 роками досягне 29%.

 

 

III «Рідинне охолодження» стане мейнстрімом для мікросхем ШІ

 

Оскільки TDP нового покоління серверів наближається до меж повітряного охолодження, провідні технологічні компанії починають тестувати рідинне охолодження або збільшувати простір для охолодження. Наприклад, TDP від ​​Intel Eagle Stream і Genoa від AMD 350-400W досягли межі повітряного охолодження, що робить рідинне охолодження основним рішенням для чіпів AI. NVIDIA H100 має TDP 700 Вт, а повітряне охолодження за допомогою 3DVC зазвичай вимагає більше 4U простору, що не підходить для архітектур високої щільності розгортання.

 

▲ NVIDIA H100

 

Враховуючи, що на системи охолодження припадає приблизно 33% загального споживання енергії в центрах обробки даних, зниження загального споживання електроенергії та підвищення ефективності використання енергії (PUE) передбачає оптимізацію систем охолодження, ІТ-обладнання та використання відновлюваної енергії. Оскільки теплоємність води в чотири рази перевищує теплоємність повітря, впровадження систем рідинного охолодження потребує лише 1U простору для пластини рідинного охолодження. Згідно з тестами NVIDIA, щоб досягти тієї ж обчислювальної потужності, рідинне охолодження може зменшити кількість необхідних корпусів на 66%, споживання енергії на 28%, а PUE з 1,6 до 1,15, а також підвищити продуктивність обчислення.

 

 

Використання IV Supermicro вентиляторних модулів охолодження має вирішальне значення

 

Рідинне охолодження далі поділяється на «водяне охолодження» та «масляне охолодження», причому водяне охолодження зараз є найбільш широко використовуваним. Лінь Юйшен зазначив, що зараз майже всі сервери ШІ використовують рішення з водяним охолодженням. Наприклад, NVIDIA GH100 з TDP понад 700 Вт має використовувати водяне охолодження. Хоча водяне охолодження на даний момент становить невелику частку доходу Fanner, середня ціна продажу (ASP) серверів зі штучним інтелектом у десять разів вища, ніж у традиційних серверів, що допоможе трансформувати структуру продуктів Fanner у другій половині року. За оцінками, у 2023 році на сервери штучного інтелекту може припадати 5-10% їхнього бізнесу.

 

Лінь Юйшен підкреслив, що основна причина, чому Supermicro використовує модулі водяного охолодження від Fanner для серверів, оснащених графічним процесором NVIDIA GH100, полягає в тому, що Fanner працює над рішеннями для рідинного охолодження більше десяти років. Хоча проблеми впровадження водяного охолодження пов’язані здебільшого з витратами та запобіганням витокам, Фаннер протягом десяти років досліджень поступово подолав ці проблеми з витоками. Довгострокові інвестиції Фаннера в модулі водяного охолодження дозволили їм отримати вигоду від цієї хвилі ШІ.

 

▲ Спеціальне рідинне охолодження Supermicro

 

Лінь Юйшен підкреслив, що безперервне збільшення TDP завдяки високошвидкісним обчисленням і зростаючі вимоги до охолодження серверів зі штучним інтелектом підштовхнули традиційне охолодження тепловими трубками до своїх меж, що призвело до необхідності впровадження модулів водяного охолодження. Fanner вже має кілька клієнтів, включаючи Supermicro і Meta, які прийняли їхні рішення. Незважаючи на більш швидке, ніж очікувалося, впровадження водяного охолодження, його навряд чи вдасться повністю впровадити в 2023 році. Однак очікується, що до 2024 року станеться значний прорив, а в 2025 році очікується вибухове зростання.