Швидшого GPU вже недостатньо: чому вузьким місцем ШІ стає рух даних

У розмовах про продуктивність штучного інтелекту основна увага зазвичай дістається GPU. Але сучасна AI-система складається не лише з обчислювальних прискорювачів – їй постійно потрібно діставати величезні обсяги даних із пам'яті, передавати їх між компонентами та зберігати проміжні результати. Чим більші моделі та довший контекст, тим сильніше зростає це навантаження. У певний момент швидкий прискорювач просто змушений чекати, поки до нього дістануться потрібні дані.

Чому перенесення даних таке дороге

Кожна операція з великими моделями потребує доступу до ваг, кешу, контексту та проміжних результатів. Дані рухаються між накопичувачами, системною пам'яттю, кешами та обчислювальними блоками. Цей рух додає затримку й споживає енергію.

Особливо помітною проблема стає під час inference – коли вже навчена модель генерує відповідь. Для кожного наступного токена система повинна враховувати попередній контекст, а довгі діалоги збільшують обсяг KV cache. Тому збільшити кількість обчислень – лише половина задачі; потрібно ще встигнути підвести до них дані.

Навіщо AI-серверам HBM

HBM означає High Bandwidth Memory – пам'ять із дуже високою пропускною здатністю, яку розміщують близько до потужних прискорювачів. Вона дозволяє подавати GPU значно більше даних за одиницю часу, ніж традиційні схеми пам'яті. Саме тому HBM стала одним із ключових компонентів сучасних AI-прискорювачів.

Але навіть HBM не вирішує всієї проблеми сама. Сервер також має швидко обмінюватися даними між кількома GPU, системною пам'яттю, мережевими вузлами та накопичувачами. Для цього розвиваються швидкі інтерфейси та з'єднання на кшталт CXL і NVLink/NVSwitch.

Обчислення намагаються перенести ближче до пам'яті

Ще один напрям – не прискорювати нескінченне транспортування даних, а зменшувати його. Для цього частину операцій можна виконувати ближче до місця, де інформація вже зберігається. Такі підходи називають memory-centric або near-memory computing.

У майбутньому AI-сервери можуть дедалі менше нагадувати систему, де "головний GPU робить усе". Навантаження розподілятиметься між різними рівнями пам'яті, прискорювачами та спеціалізованими блоками. Ключовим показником стане не лише те, скільки операцій здатний виконати чип, а й те, скільки зайвого руху даних вдалося прибрати.

Що це означає для звичайного користувача

Людині не потрібно знати різницю між CXL і NVLink, щоб користуватися AI-сервісами. Але архітектура серверів прямо впливає на те, наскільки швидко модель відповідає, скільки коштує її робота і скільки електроенергії витрачає дата-центр. Особливо це важливо для моделей із довгим контекстом та агентів, які виконують багато послідовних операцій.

Тому наступний великий стрибок AI може прийти не лише від нового покоління GPU. Частина прогресу відбуватиметься у компонентах, які користувач майже ніколи не бачить – пам'яті, інтерконектах і способі переміщення даних усередині сервера.