Спеціальний звіт про рідинне охолодження в індустрії ЦОД

 

--Сингулярність прибула серед хвилі штучного інтелекту, внутрішні та міжнародні лідери готові вибухнути

 

I Зростання енергоспоживання мікросхем: рідинне охолодження стає необхідним

 

1. Рідинне охолодження забезпечує нормальну роботу потужних компонентів

Більше половини несправностей електронних компонентів викликані надмірними температурами, причому температура становить 55% відмов. Згідно з «правилом 10-градусів», кожні 10 градусів підвищення температури порівняно з кімнатною подвоюють частоту відмов і скорочують термін служби. Рівень відмов GPU зростає, що впливає на термін служби сервера. Енергоспоживання окремих чіпів швидко зростає, що призводить до збільшення тепла. Мікросхеми основних процесорів, як-от центральні процесори, мають потужність близько 200 Вт, причому потужність останніх процесорів перевищує 350 Вт, а графічних процесорів — понад 1000 Вт. Повітряного охолодження вже недостатньо для охолодження електронних компонентів з високою щільністю тепла, тоді як рідинне охолодження забезпечує набагато вищу ефективність теплообміну. Об’ємна теплоємність рідин у 1000-3500 разів більша, ніж повітря, а їхня теплопровідність у 20-30 разів вища, що дає рідинному охолодженню набагато вищу охолоджувальну здатність у тому самому просторі.

 

Рідинне охолодження ефективно поглинає тепло, що виділяється компонентами, забезпечуючи точне охолодження теплогенеруючих елементів і підтримуючи температуру ядра ЦП нижче 65 градусів (приблизно на 25 градусів нижче, ніж повітряне охолодження). Він також запобігає значним коливанням температури під час раптових високочастотних операцій, забезпечуючи безпеку та надійність системи. Рідинне охолодження дозволяє навіть розганяти мікросхеми, підвищуючи продуктивність приблизно на 10%-30%.

 

▲ Несправності електронних компонентів

 

2. Вітчизняні та міжнародні технології охолодження мікросхем поступово переходять на рідинне охолодження

Рідинне охолодження може максимізувати потенціал чіпа. Наприклад, у серверах однакової продуктивності версія з рідинним охолодженням перевершує версію з повітряним приблизно на 10%. GB200 використовує нову ефективну архітектуру корпусу з рідинним охолодженням, і майбутні продукти NVIDIA можуть повністю перейти від повітряного охолодження до рідинного. Окрім NVIDIA, домашні чіпи, такі як Huawei Ascend, також спостерігали значне збільшення використання рідинного охолодження.

 

NVIDIA GB200 NVL72 — це багатовузлова система розширення стійкового рівня з рідинним охолодженням, яка об’єднує 36 суперчіпів Grace Blackwell, включаючи 72 графічні процесори Blackwell і 36 процесорів Grace, підключених через NVLink п’ятого покоління. Технологія рідинного охолодження, яка використовується в GB200 NVL72, не тільки покращує щільність обчислень і зменшує площу, а й значно скорочує викиди вуглекислого газу та споживання енергії за рахунок високосмугового зв’язку з GPU з низькою затримкою. Порівняно з традиційними інфраструктурами NVIDIA H100 з повітряним охолодженням, GB200 забезпечує в 25 разів більшу продуктивність за того самого енергоспоживання, зменшуючи споживання води. За даними TrendForce, початкова архітектура GB200 NVL36 може містити рішення як для повітряного, так і для рідинного охолодження, але через більш високі вимоги до охолодження NVL72 віддаватиме пріоритет рідинному охолодженню. Ланцюг постачання системи рідинного охолодження кабіни GB200 розділений на п’ять основних компонентів: холодні пластини, блоки розподілу охолоджуючої рідини (CDU), колектори, роз’єми швидкого від’єднання (QD) і теплообмінники задніх дверей (RDHx). CDU, ключова система, регулює потік охолоджуючої рідини в системі, щоб забезпечити контроль температури в камері в межах заданого діапазону TDP. Що стосується рішень NVIDIA AI, Vertiv є основним постачальником CDU, тоді як Chicony, Auras, Delta та CoolIT продовжують свої зусилля з тестування та перевірки.

 

▲ Рідинне охолодження

 

3. Виробники конкурують із серверами з рідинним охолодженням; Обсяги поставок швидко зростають

За даними IDC, індустрія рідинного охолодження Китаю все ще знаходиться на ранніх стадіях, але країна вже усунула технологічний розрив із зарубіжними аналогами. Насправді відповідний промисловий ланцюг Китаю займає передові позиції у великомасштабному комерційному застосуванні. У 2023 році ринок серверів з рідинним охолодженням у Китаї сягнув 1,42 мільярда доларів США, збільшившись на 48% порівняно з попереднім роком, а поставки сягнули 161 одиниці000, тобто збільшилися на 57,3%. За прогнозами IDC, з 2023 по 2028 рік загальний річний темп зростання (CAGR) на китайському ринку серверів з рідинним охолодженням складе 45,8%, а до 2028 року ринок досягне 10,2 мільярда доларів.

Основні виробники серверів активно виходять на ринок рідинного охолодження. З точки зору частки ринку, Inspur, HyperFusion і NingChang увійшли до трійки провідних постачальників у 2023 році, разом утримуючи понад 70% ринку.

 

Незважаючи на те, що ринок відносно концентрований, швидке зростання та диверсифікований галузевий попит поступово скорочують розрив часток ринку серед основних постачальників. Inspur продовжує свою стратегію «Все в рідинному охолодженні», прагнучи досягти паритету цін на повітряне та рідинне охолодження. Його сервери з рідинним охолодженням обслуговують клієнтів у таких галузях, як Інтернет, фінанси, послуги, виробництво та комунальні послуги. Компанія успішно розгорнула сервери з рідинним охолодженням у провідних інтернет-компаніях, а також у фінансовому, освітньому та дослідницькому секторах, встановивши новий глобальний стандарт із першим безвентиляторним сервером із повністю холодною пластиною.

 

▲ Частка ринку виробників серверів з рідинним охолодженням

 

За даними IDC, у 2023 році інтернет-індустрія залишалася найбільшим покупцем серверів з рідинним охолодженням у Китаї, на частку якого припадало 46,3% ринку, причому очікується, що високий попит продовжуватиметься. Крім того, оператори зв’язку та державні користувачі також відчувають швидке зростання попиту на центри обробки даних з рідинним охолодженням. Інші галузі, такі як фінанси, сфера послуг, виробництво та комунальні підприємства, активно вивчають відповідні рішення для рідинного охолодження.

 

 

II Рідинне охолодження підвищує цінність контролю температури, наближається переломний момент у галузі

 

1. Проникнення рідинного охолодження зростає зі зростанням потужності серверів і досягненням цілей нейтрального викиду вуглецю

Центри обробки даних є основними споживачами електроенергії, на них припадає близько 2%-3% національного споживання електроенергії. Політика стає дедалі суворішою щодо споживання енергії в центрах обробки даних. У 2021 році споживання електроенергії центром обробки даних у Китаї досягло 216,6 млрд кВт-год, що становить 2,6% від загального національного споживання електроенергії, з викидами вуглецю в 135 мільйонів тонн, або 1,14% від загальних національних викидів. Завдяки цілям подвійного вуглецю центри обробки даних стикаються з безпрецедентними проблемами споживання енергії та охолодження. Після будівництва витрати на електроенергію становлять 60%-70% загальних витрат на експлуатацію та обслуговування традиційних центрів обробки даних із повітряним охолодженням.

 

PUE (Power Usage Effectiveness) — це показник, який використовується для оцінки енергоефективності в дата-центрах, який є відношенням загальної енергії, споживаної дата-центром, до енергії, споживаної його ІТ-обладнанням. До 2013 року середній PUE для великих дата-центрів у Китаї перевищував 1,7, але до кінця 2019 року він впав до 1,46. «Трирічний план дій щодо розвитку нових центрів обробки даних (2021-2023)» має на меті знизити PUE нових великомасштабних центрів обробки даних до рівня нижче 1,3 до кінця 2023 року з цільовим показником нижче 1,25 для холодних і суворих умов. холодні регіони. Політика «Східні дані, західні обчислення» передбачає, що вузли у Внутрішній Монголії, Ганьсу, Нінся та Гуйчжоу зменшують PUE до рівня нижче 1,2.

 

Енергоспоживання систем кондиціонування повітря в дата-центрах є ключовим для зниження PUE до розумного рівня. Згідно з розрахунками, при енергоспоживанні системи кондиціонування 38%, 26% і 17,5% від загального, відповідні значення ПУЕ становлять 1,92, 1,5 і 1,3 відповідно.

 

Щільність потужності інтелектуальних обчислювальних серверів значно зросла, досягнувши рівня, який не можуть підтримувати системи повітряного охолодження. Раніше системи повітряного охолодження адаптувалися до вищої щільності тепла, наближаючи джерело охолодження до джерела тепла або закриваючи холодні та гарячі проходи, що працювало для шаф, які вимагали охолодження нижче 12 кВт. Однак, оскільки щільність стійки перевищує 20 кВт, ці методи стають менш ефективними. Vertiv вважає, що розгортання об’єктів зі стійками надвисокої щільності (30 кВт або більше) не залишає іншого вибору, окрім використання рідинного охолодження. Незалежно від того, як система налаштована чи оптимізована, повітряне охолодження не може забезпечити потужність охолодження, необхідну для підтримки надійності ІТ-систем.

 

Тому, щоб зменшити PUE центру обробки даних і задовольнити потреби в охолодженні високопотужних шаф, технології охолодження просунулися наступним чином:

 

• Фаза 1 (1998-2004):В основному використовуються системи повітряного охолодження прямого розширення, включаючи компресори, випарники, розширювальні клапани та конденсатори, холодоагентами яких зазвичай є фреон.
• Фаза 2 (2005-2009):В основному використовуються системи з водяним охолодженням, включаючи чиллери, градирні, водяні насоси та термінали для охолодженої води.
• Фаза 3 (2010-2023):Прийнята технологія випарного охолодження, яка виробляє холодне повітря або воду за допомогою сухого повітря. Ця технологія може забезпечити охолодження повітря або води залежно від потреб. Оскільки для нього не потрібні традиційні компресори, він споживає менше енергії та використовується в центрах обробки даних, які потребують цілорічного охолодження. Непряме охолодження через випаровування, найефективніше рішення для використання природних джерел охолодження, може зменшити споживання енергії на охолодження на 30% порівняно з традиційними системами охолодження води.
• Фаза 4 (2024-тепер):Технологія рідинного охолодження істотно покращує спосіб розсіювання тепла основного обладнання. Він краще відповідає потребам в охолодженні стійок і мікросхем високої щільності та пропонує такі переваги, як менше енергоспоживання, вище тепловиділення, нижчий рівень шуму та нижча загальна вартість володіння (TCO). Рідинне охолодження означає використання рідини як охолоджувального середовища для обміну теплом з теплогенеруючими компонентами в сервері, відведенням тепла для забезпечення роботи сервера в безпечному діапазоні температур. Він підходить для сценаріїв, що вимагають підвищеної обчислювальної потужності, енергоефективності та щільності розгортання.

 

2. Рідинне охолодження холодної пластини є дуже зрілим і широко використовується

Залежно від того, як охолоджуюче середовище контактує з сервером, рідинне охолодження можна розділити на непряме охолодження та пряме охолодження. Непряме охолодження в першу чергу включає рідинне охолодження холодної пластини, яке далі поділяється на однофазне та двофазне охолодження холодною пластиною залежно від того, чи зазнає фазова зміна охолоджувального середовища. Пряме охолодження включає охолодження зануренням і розпиленням, коли рідина вступає в безпосередній контакт із мікросхемою або стійкою, і поділяється на однофазне та двофазне охолодження зануренням залежно від того, чи зазнає охолоджуюче середовище фазової зміни.

 

Рідинне охолодження холодної пластини в даний час найбільш широко використовується в індустрії центрів обробки даних, і його основне застосування в індустрії рідинного охолодження — це обчислення з високою щільністю. Рідинне охолодження холодної пластини означає встановлення холодної пластини безпосередньо на мікросхему для теплообміну, при цьому рідина, що керується насосом, циркулює для видалення тепла через теплообмінник. Принцип роботи рідинного охолодження холодної пластини включає в себе вбудовані мікроканальні радіатори поверх джерела тепла, розсіювання тепла через рідину, що протікає через ці мікроканали, а потім передачу його в теплообмінник, який далі розсіює тепло в навколишнє середовище.

 

Рідинне охолодження холодної пластини з розвиненою технологією, перевагами у вартості та робочій стабільності наразі є основним рішенням для високопродуктивних обчислень та обчислень ШІ в центрах обробки даних. Рідинне охолодження холодної пластини зазвичай призводить до PUE 1,2 або нижче, навіть досягаючи 1,05 у деяких випадках. Технології прямого рідинного охолодження, такі як охолодження зануренням, зазвичай забезпечують кращу продуктивність, але використовуються менш широко через вищі технічні ризики та витрати. Рідинне охолодження холодної пластини має кілька переваг перед іншими технологіями рідинного охолодження, включаючи просте встановлення, низьку вартість, масштабованість, легке обслуговування та короткий час будівництва. Наприклад, Meixin припускає, що рідинне охолодження холодної пластини може зменшити енергоспоживання обчислювальної потужності до 30%.

 

На практиці 75% глобальних систем рідинного охолодження центрів обробки даних використовують технологію рідинного охолодження холодних пластин, і рідинне охолодження холодних пластин також стало основним рішенням для обчислювальних центрів ШІ Китаю. Очікується, що рідинне охолодження холодної пластини продовжить стрімке зростання. У наступні п’ять років темпи зростання виробництва серверів з рідинним охолодженням у Китаї перевищать 50%, а на ринку домінуватимуть системи рідинного охолодження з холодними пластинами.

 

3. Рідинне охолодження є більш ефективним і широко пропагується операторами

Наразі швидке збільшення щільності тепла в корпусі через будівництво центрів обробки даних для обчислень ШІ підвищило попит на рішення з рідинним охолодженням. Частка ринку серверів з рідинним охолодженням продовжує зростати, тоді як частка традиційних серверів з повітряним охолодженням стрімко зменшується.

 

▲ Річний дохід від рідинного охолодження порівняно з повітряним

 

У 2022 році було офіційно впроваджено п’ять галузевих стандартів рідинного охолодження під керівництвом Китайської академії інформаційно-комунікаційних технологій. Три основні телекомунікаційні оператори планують пілотувати технологію рідинного охолодження в 10% нових проектів центрів обробки даних у 2024 році, а до 2025 року більше 50% проектів центрів обробки даних використовуватимуть технологію рідинного охолодження. China Telecom вже спланувала та побудувала кластер інтелектуального обчислювального центру в Шанхай, здатний підтримувати масштабне навчання моделі з трильйонами параметрів. Кластер, який базується на внутрішніх обчислювальних можливостях, матиме 10000 карт в одному пулі, що робить його першим вітчизняним великомасштабним обчислювальним кластером із рідинним охолодженням, який підтримує єдиний пул із 10,{{11} } карток.

 

Темпи просування операторами рідинного охолодження перевищують очікування ринку, що сприятиме оптимізації витрат і покращенню стандартів. Щоб підвищити конкурентоспроможність шаф центрів обробки даних і зменшити енергоспоживання при контролі температури, сторонні постачальники центрів обробки даних можуть прискорити застосування рідинного охолодження, що призведе до ширшого регіонального розподілу центрів обробки даних з рідинним охолодженням у Китаї. Оскільки технологія рідинного охолодження центрів обробки даних розвивається та витрати на розгортання зменшуються, все більше постачальників послуг IDC (Інтернет-центр обробки даних) вивчають впровадження рідинного охолодження. На сході користувачі, які вже застосовували центри обробки даних з рідинним охолодженням, спостерігають підвищений попит на рішення з рідинним охолодженням, щоб відповідати суворішим вимогам до енергоспоживання, що сприяє подальшому розвитку ЦОД з рідинним охолодженням у центральних і західних регіонах.

 

4. Швидке зростання ринку рідинного охолодження

Ланцюжок індустрії рідинного охолодження включає постачальників компонентів продукту на першому етапі, постачальників серверів рідинного охолодження та інфраструктури середнього потоку, а також потужних користувачів обчислювальної техніки. Вихідна частина в основному включає постачальників компонентів продукту та рідинного охолоджувального обладнання, такого як холодні пластини, CDU (блоки розподілу охолоджувальної рідини), швидкі роз’єми, електромагнітні клапани, занурювальні резервуари для рідинного охолодження, колектори та продукти охолодження. Середня частина включає виробників серверів з рідинним охолодженням, виробників мікросхем, а також обладнання для інтеграції рідинного охолодження, модулі та шафи. Downstream включає операторів зв’язку, інтернет-компанії та клієнтів у таких галузях, як телекомунікації, Інтернет, уряд, фінанси, транспорт та енергетика.

 

У верхній частині промислового ланцюга теплообмін у системах рідинного охолодження з холодними пластинами поділяється на дві частини: первинну систему теплообміну та вторинну систему теплообміну. Вторинна система отримує тепло від джерел тепла, таких як сервери, через прямий/непрямий теплообмін і передає його до первинної системи. Система первинного теплообміну використовує зовнішнє охолоджувальне обладнання для розсіювання тепла назовні, завершуючи загальний процес охолодження. Дві системи обмінюються теплом через блок розподілу охолоджуючої рідини (CDU).

 

Специфічні поломки компонентів: пристрій швидкого відключення — це штекерний компонент із функціями відсікання рідини як на штекері, так і на гнізді, що забезпечує швидке технічне обслуговування рідинних систем охолодження. Коли вилка та розетка з’єднані, рідина протікає, щоб подати рідину на холодну пластину; при відключенні рідина зупиняється, запобігаючи витоку за межі системи. Колектор — це пристрій, який з’єднує CDU з холодною пластиною в серверах з рідинним охолодженням, які зазвичай встановлюються всередині шафи. Його функція полягає в тому, щоб рівномірно розподіляти охолоджуючу рідину по кожній холодній пластині та збирати нагріту охолоджуючу рідину, відправляючи її назад до CDU через підключені трубопроводи.

 

Блок розподілу теплоносія (CDU) — це модуль, який використовується для обміну теплом між високотемпературним теплоносієм у вторинній системі та первинним джерелом охолодження. Він забезпечує розподіл охолоджуючої рідини та контролює температуру, тиск і витрату для ІТ-обладнання з рідинним охолодженням. CDU в основному складається з теплообмінників/конденсаторів, циркуляційних насосів, фільтрів, резервуарів для зберігання охолоджуючої рідини та аксесуарів (клапанів, трубопроводів, з’єднувачів, датчиків тощо), і виконує такі функції, як теплообмін, циркуляція, очищення охолоджуючої рідини та зберігання.

 

Між 2020 і 2022 роками технологія рідинного охолодження швидко розвивалася, і перевірка прикладних моделей досягла значного успіху, що призвело до зниження витрат на охолодження на одиницю потужності. Згідно з даними CCID Consulting, підхід до холодних пластин зберігає понад 90% частки ринку, тоді як охолодження зануренням і розпиленням разом становлять близько 10%. Після середньозваженого значення трьох методів вартість охолодження 1 кВт у центрах обробки даних із рідинним охолодженням становила приблизно 6500 юанів у 2022 році з очікуваним падінням до 5000 юанів за 1 кВт до 2023 року.

 

Нещодавно генеральний директор Supermicro Чарльз Ліанг передбачив, що протягом наступних 12 місяців 15% нових глобальних центрів обробки даних використовуватимуть технологію прямого рідинного охолодження, і ця частка досягне 30% наступного року, що є значним збільшенням порівняно з лише 1% у минулому році. за останні 30 років, створивши ще одну велику криву зростання хокейної ключки. Порівняно з традиційним повітряним охолодженням пряме рідинне охолодження є більш економічним та екологічним. Якщо припустити, що рівень проникнення рідинного охолодження в нових центрах обробки даних у Китаї досягне 22% до 2026 року, ринковий простір рідинного охолодження становитиме 11,1 мільярда юанів.