Проектування ефективних систем рідинного охолодження для ЦОД

 

I Компоненти системи охолодження центру обробки даних

 

Більшість електричної енергії, споживаної ІТ-обладнанням, перетворюється на відпрацьоване тепло. Щоб забезпечити роботу ІТ-обладнання у відповідному температурному діапазоні, центри обробки даних оснащені системами охолодження та розсіювання тепла, включаючи чиллери, градирні та прецизійні кондиціонери повітря, які відводять відпрацьоване тепло з центру обробки даних. Процес теплопередачі показано на малюнку 1. Основні точки споживання енергії включають чиллери, градирні, насоси та прецизійні кондиціонери.

 

▲ Рисунок 1: Теплопередача в центрах обробки даних

 

В даний час основними теплоносіями в центрах обробки даних є повітря або вода. Вода з питомою теплоємністю постійного тиску 1,004 кДж/(кгК) і питомою теплоємністю 4200 кДж/(кгК) має тепловіддачу приблизно в 1,000 рази більшу, ніж повітря. Тому використання води як охолоджувального середовища є ефективним методом енергозбереження при проектуванні систем охолодження. Щоб підвищити енергоефективність систем охолодження, для захоплення та передачі тепла використовуються такі заходи, як високоефективні радіатори та точна подача повітря.

 

У прецизійному кондиціонуванні повітря охолодження еволюціонувало від кімнатного рівня до модульних кімнат для обробки даних і охолодження на рівні стійки, наближаючись до джерела тепла та зменшуючи споживання енергії під час транспортування охолоджуючої рідини. Генерація джерел охолодження прогресувала від повітряного охолодження до водяного охолодження та природного охолодження, підвищуючи ефективність зовнішньої теплопередачі.

 

 

Традиційні системи охолодження мають незалежні системи керування та робочі стратегії для точного кондиціювання повітря, чилерів і градирень, оптимізуючи ефективність локально. Однак загальна ефективність охолодження все ще потребує покращення.

 

Систематичних удосконалень можна досягти шляхом наскрізного управління та точного контролю збору тепла, підготовки джерела охолодження та зовнішньої теплопередачі, тим самим зменшуючи енергоспоживання системи охолодження.

 

 

II Наскрізна конструкція системи рідинного охолодження

 

1. Конструкція рідинного охолодження на рівні плати

З експоненціальним зростанням попиту на обчислювальну потужність інтеграція та енергоспоживання центральних і графічних процесорів значно зросли, при цьому енергоспоживання одного чіпа досягло 300 Вт. Традиційні радіатори мікросхем і рішення повітряного охолодження стикаються з вузькими місцями охолодження. Оскільки чіп є джерелом тепла, головним завданням системи охолодження центру обробки даних є ефективне видалення тепла зсередини чіпа.

 

З точки зору розсіювання тепла, тепло, вироблене чіпом, має спочатку передаватися до радіатора на рівні плати. Більш ефективні радіаторні рішення сприятимуть кращому збору тепла.

 

Для окремих чіпів із споживаною потужністю менше 200 Вт та ІТ-обладнання з споживаною потужністю менше 20 кВт на стійку повітря може й надалі використовуватися як теплоносій. Радіатори з тепловими трубками та радіатори з паровою камерою (VC) у поєднанні з матеріалами TIM з високою теплопровідністю (такими як графітові листи/графен) ефективно зменшують термічний опір між мікросхемою та основою радіатора, підвищуючи ефективність радіатора.

 

Для одиночних мікросхем із споживаною потужністю понад 200 Вт та ІТ-обладнання із споживаною потужністю понад 20 кВт на стійку повітря більше не є достатнім теплоносієм, і для охолодження потрібно використовувати рідкий охолоджувач. Технологія холодної пластини з рідинним охолодженням наразі є зрілим рішенням для охолодження мікросхем на рівні плати. Холодна плита з рідинним охолодженням складається з вхідного та вихідного з’єднувачів, верхньої кришки та базової плити, які з’єднані за допомогою вакуумної пайки, щоб утворити герметичну рідинну теплообмінну камеру. Камера включає розподільні камери та канали потоку різної ширини, які контролюють потік рідини та збільшують турбулентність, підвищуючи можливості локального охолодження та усуваючи гарячі точки, спричинені потужними мікросхемами. Внутрішня структура показана на малюнку 2.

 

▲ Малюнок 2: Поперечний переріз холодної плити з рідинним охолодженням

 

Різні типи плат в одній стійці мають різні рівні потужності та гарячі точки, але тиск подачі на вхідному з’єднувачі лінії подачі рідини загалом однаковий, тому для контролю дроселювання потрібно розподільну камеру холодної пластини. Для плат із меншим енергоспоживанням мікросхеми дроселювання зменшує потік охолоджуючої рідини. На практиці холодні пластини з рідинним охолодженням покривають процесор, пам’ять та інші потужні компоненти, але такі компоненти, як резистори та конденсатори, які не покриті, створюють залишкове тепло, яке вимагає охолодження вентилятором. Це призводить до поєднання рідинного та повітряного охолодження в системі, залишаючи простір для покращення ефективності охолодження.

 

Використовуючи матеріали TIM для покриття всіх компонентів під час проектування холодної пластини, технічно можна досягти 100% рідинного охолодження, але це збільшує вартість і складність холодної пластини. Прагнучи до ефективного охолодження, необхідно також враховувати початкову вартість інвестицій. Якщо типи вузлових плат однакові, можна розглядати повністю закриту плату з початковими витратами, компенсованими за рахунок масштабування виробництва, досягнення балансу між енергозбереженням та інвестиціями.

 

 

Деіонізована вода зазвичай використовується як теплоносій у рідинному охолодженні через її високу питому теплоємність, що забезпечує швидке поглинання тепла, водночас не викликає корозії, таким чином не впливаючи на надійність трубопроводу. Рідинне охолодження холодної пластини є непрямим, коли мікросхема не контактує безпосередньо з рідиною, що забезпечує високу надійність і сучасну технологію.

 

Однак між мікросхемою та рідиною для охолодження існує термічний опір, через що деякі виробники просувають рішення для охолодження зануренням. При занурювальному охолодженні ІТ-обладнання занурюється в циркулюючу рідину, при цьому чіп безпосередньо контактує з охолоджувачем, зменшуючи термічний опір, водночас використовуючи зміну фази для видалення більше тепла, що робить його новою гарячою точкою рідинного охолодження. Фторовані рідини зазвичай використовуються як охолоджувачі при занурювальному охолодженні, але їх висока вартість є перешкодою для широкомасштабного комерційного використання.

 

2. Рідинне охолодження на рівні стійки

У центрах обробки даних ІТ-обладнання розташовується за допомогою стійок, у яких розміщується інформаційне обладнання центру обробки даних, наприклад сервери, пристрої зберігання та мережеві комутатори. У той час як охолодження на рівні плати відводить тепло від окремих ІТ-пристроїв, охолодження на рівні стійки збирає та передає тепло назовні. Ключові компоненти рідинного охолодження на рівні стійки включають впускний і вихідний колектори, блоки контролю, датчики температури, електромагнітні клапани та зворотні клапани, як показано на малюнку 3.

 

▲ Малюнок 3: Конфігурація рідинного охолодження на рівні стійки

 

Колектор підключається ззовні до розподільного блоку рідинного охолодження на рівні приміщення, а всередині через швидкі з’єднувачі – до вхідних і вихідних роз’ємів холодної пластини з рідинним охолодженням, полегшуючи передачу тепла системи назовні стійки.

Основними функціями електромагнітного клапана та зворотного клапана є контроль над потоком рідини та обмеження ступеня несправності однієї стійки у разі витоку.

 

Основна роль датчика температури полягає в постійному моніторингу температури води на вході та виході. Використовуючи різницю температур між водою на вході та виході, він контролює відкриття електромагнітного клапана, тим самим контролюючи потік води та забезпечуючи узгодження тепла та потоку.

Рідинна система охолодження використовує в якості робочої рідини деіонізовану воду, яка теоретично не викличе коротких замикань.

 

Однак друковані плати або електронні компоненти часто містять частинки пилу, і коли деіонізована вода контактує з друкованою платою, це може спричинити коротке замикання. Це одна з основних перешкод і проблем у впровадженні рідинного охолодження. Щоб вирішити проблему витоку холодної пластини, застосовуються такі заходи, як контроль якості, моніторинг мікровитоків і запобігання раптовим великим витокам.

 

Контроль якості поділяється на етапи виробництва та встановлення. На етапі виробництва забезпечується надійність процесу, 100% холодних пластин проходять випробування тиском, а ультразвук використовується для випадкової вибірки та виявлення дефектів. Фітинги для швидкого з’єднання повинні бути валідовані для ефективного вставлення та тривалої надійності. На стадії застосування вторинний трубопровід необхідно промити перед встановленням, щоб запобігти засміченню швидкоз’ємних фітингів, заклинюванням пружин або поломці гумових кілець, що запобігає витокам під час роботи. Вищезазначені заходи спрямовані на те, щоб максимально запобігти витокам.

 

 

Якщо на холодній пластині виникає мікропротікання, його необхідно виявити та спрацьовувати сигнал тривоги, щоб спонукати обслуговуючий персонал негайно усунути це. Існує два способи виявлення: один використовує датчик занурення у воду, який встановлюється на піддон для крапель. Основна функція піддона для збору крапель – полегшити виявлення витоків і запобігти витоку рідини за межі стійки, зменшуючи поширення несправностей.

 

Хоча виявлення датчика занурення у воду є зрілим і надійним, воно вимагає, щоб рідина, що витікає, накопичувалася в піддоні для крапель після протікання вздовж апаратної плати та фітингів стійки, до цього часу загальна кількість рідини, що витікає, може бути значною та вже пошкодити плату. і компоненти під час потоку.

 

Інший метод - це моніторинг у реальному часі. До робочої рідини підмішується речовина-індикатор з низькою температурою кипіння, а в разі витоку датчик газу, вбудований в плату, фіксує це. Масштабні раптові витоки трапляються рідко, але дуже впливають. Для запобігання подібних інцидентів на стійці на вході і виході колектора встановлені зворотні клапани. Ці зворотні клапани автоматично закриваються при виявленні значної різниці тиску.

 

3. Дизайн рідинного охолодження на рівні приміщення

Охолодження на рівні приміщення призначене для передачі тепла, що відбирається від стелажів, назовні. Рішення для рідинного охолодження на рівні приміщення включає модульну кімнату даних з рідинним охолодженням, чиллери, водяні насоси, градирні, трубопроводи тощо, як показано на малюнку 4.

 

▲ Малюнок 4: Конфігурація рідинного охолодження на рівні приміщення

 

Як правило, модульна кімната даних із рідинним охолодженням містить два резервних блоки розподілу рідинного охолодження (CDU), 10-20 ІТ-стійки, 1-2 кондиціонери повітря на рівні рядів і обладнання джерела живлення, як показано на малюнку 4.

 

Блок розподілу рідинного охолодження (CDU) відповідає за розподіл робочої рідини між стійками IT з рідинним охолодженням, забезпечуючи розподіл потоку на вторинній стороні, контроль тиску, фізичну ізоляцію та функції захисту від конденсації. Під час фактичної роботи CDU подає певний потік і температуру охолоджувальної води в IT-стійки з рідинним охолодженням, яка надходить до холодних пластин з рідинним охолодженням через колектор, відводить тепло, що виділяється процесорами та ключовими компонентами, і повертає нагріте охолодження. води в проміжну теплообмінну установку ЦДУ. Потім тепло виділяється у зовнішній трубопровід зворотної води, і ця частина тепла відводиться у зовнішнє середовище через чиллери або сухі охолоджувачі, завершуючи процес управління теплом для серверів з рідинним охолодженням.

 

CDU регулює температуру та потік охолоджуючої рідини, що надходить у холодні пластини з рідинним охолодженням, тим самим забезпечуючи охолодження ІТ-стійок і розподіляючи потужність охолодження. Внутрішній теплообмінник також відіграє роль в ізоляції контуру подачі рідини між модульною кімнатою даних і зовнішнім середовищем. Через свою критичну роль CDU зазвичай використовує конфігурацію резервування 1+1. CDU контролює потік рідкого теплоносія, визначаючи температуру води на вході та виході, тиск подачі та регулюючи швидкість насоса подачі води.

 

 

Наразі більшість систем керування CDU не пов’язані з датчиками температури в стійках, що призводить до відносно грубого керування. Щоб вирішити цю проблему, деякі програми замінили централізовані CDU на розподілені CDU, які інтегровані в стійки. Таким чином, регулювання потоку CDU повністю базується на робочому стані та коливаннях енергоспоживання стійки. Централізовані CDU підходять для сценаріїв із великою кількістю стелажів із рідинним охолодженням, які можна об’єднати в модульну кімнату даних, тоді як розподілені CDU краще підходять для ситуацій лише з 2-3 стелажами з рідинним охолодженням, що полегшує розгортання.

 

 

III Висновок

 

Керуючись цілями двовуглецевого розподілу, центри обробки даних виконують подвійну місію: з одного боку, завдяки інтенсивним і масштабним операціям вони забезпечують достатню обчислювальну потужність для цифрової економіки. Широке застосування стійок із високою щільністю розміщення та потужних чіпів, зумовлене ефективністю обчислювальної потужності центру обробки даних, призвело до того, що традиційне повітряне охолодження стикається з вузькими місцями. З іншого боку, використовуючи високоефективні теплообмінники, рідинне охолодження та природне охолодження від сухих охолоджувачів, центри обробки даних можуть зменшити власне енергоспоживання.

 

Після впровадження рідинного охолодження ефективність охолодження значно покращилася, а енергоспоживання систем охолодження зменшилося з 37% до приблизно 10%, що призвело до значної економії енергії та скорочення викидів вуглецю. Якщо 50% новозбудованих центрів обробки даних по всій країні запровадять рідинне охолодження, можна щорічно заощаджувати 45 мільярдів кВт-год електроенергії та 3 мільйони тонн CO₂ викиди можна зменшити.