Рада ухвалила закон про мобілізацію: що змінюється для українців
Долар 41.54 ₴ (+0.12), євро 44.98 ₴ (-0.05)
Кременчук: +18°C, ясно. Увечері до +12°C.
День працівників соціальної сфери. Всесвітній день сміху.
Сьогодні святкують: Максим, Віктор, Тамара
Овен: Хороший день для нових починань. Зірки сприяють ініціативі.
2004 — Кіпр, Чехія та 8 інших країн вступили до Євросоюзу
Паливо знову подорожчало: А-95 переступив психологічну межу
Apple iPhone 17 Air: все що відомо про найтоншу модель
MIT представило спосіб, що навчає LLM самостійно дозувати "обчислювальний час" залежно від труднощі запиту. Завдяки каліброваним PRM моделі досягають зіставної точності, витрачаючи до половини ресурсів – і це відкриває шлях для менших моделей.
Коли великі мовні моделі стикаються зі складними питаннями, їхня якість відповіді зростає, якщо дати більше часу на міркування. Проблема в іншому – більшість систем витрачають однаково багато обчислень і на легкі, і на важкі задачі. Дослідники MIT запропонували вихід: динамічний розподіл обчислень залежно від реальної складності запиту та шансів конкретного підходу привести до правильної відповіді. Результат – до половини обчислювальних ресурсів проти типових методів за умов зіставної точності на різнорівневих завданнях.
Команда розробила метод під назвою instance-adaptive scaling. На відміну від фіксованого бюджету обчислень, модель на льоту коригує кількість проміжних розв'язків і кроків міркування. Ключову роль тут відіграє процесна модель винагороди (PRM), яка оцінює перспективність кожного часткового кроку та допомагає вирішити – продовжувати цю гілку чи скоротити пошук. Такий підхід особливо корисний для складних задач, де обґрунтоване "довше мислення" справді окупається.
Втім, дослідники виявили, що наявні PRM часто переоцінюють шанси моделі на успіх. Щоб усунути цю надмірну впевненість, вони додали калібрування: PRM вчиться віддавати не одну точкову оцінку, а діапазон ймовірностей, який краще відображає невизначеність. Таке калібрування підвищує надійність оцінок і робить саме instance-adaptive scaling ефективним.
На серії математичних задач різної складності новий підхід використовував менше обчислень для кожної проблеми за збереження зіставної точності з типовими схемами inference-time scaling. Додатково з'ясувалося: менші, менш ресурсомісткі моделі можуть зрівнятися або перевершити більші в складних сценаріях, якщо правильно розподілити обчислювальний бюджет і вибудувати процес міркування.
Оптимізація інференсу – не лише про швидкість. Це також про гроші й екологію: підхід MIT здатен знизити енергоспоживання генеративного ІІ та витрати на інфраструктуру, а ще – зробити моделі більш надійними у високоризикових і часочутливих сценаріях. Від фінансової аналітики до медичних консультацій – можливість "думати довше там, де треба, і коротше там, де можна" відкриває шлях до ширшого впровадження LLM.
"Тривалість інференсу стала серйозним "вузьким місцем" для провідних моделей… Надавши моделям здатність знати, чого вони не знають, ми дозволяємо їм витрачати більше обчислень на найскладніші проблеми і значно менше – на легкі," – Navid Azizan. "Перевага нашого підходу в тому, що адаптація відбувається на льоту, під час розв'язання задачі, а не задається наперед," – Kristjan Greenewald.
Старший автор – Navid Azizan (Department of Mechanical Engineering; Institute for Data, Systems, and Society; LIDS). Провідний автор – Young‑Jin Park (LIDS/MechE). Співавтори: Kristjan Greenewald (MIT‑IBM Watson AI Lab), Kaveh Alim (IDSS), Hao Wang (MIT‑IBM Watson AI Lab; Red Hat AI Innovation Team). Роботу підтримали MIT‑IBM Watson AI Lab, MIT‑Amazon Science Hub, MIT‑Google Program for Computing Innovation та MathWorks.
Команда планує застосувати підхід до генерації коду та ІІ‑агентів, а калібрування PRM – у підкріплювальному навчанні та тонкому налаштуванні моделей. Це крок до систем, які краще усвідомлюють власну невизначеність і здатні розвиватися безпеки та стабільності.
Instance-adaptive scaling від MIT показує, що розумний розподіл зусиль важить не менше, ніж самі зусилля. Якщо моделі витрачатимуть обчислення там, де це найпродуктивніше, користувачі отримають точніші відповіді швидше, а індустрія – нижчі витрати й нові можливості масштабування.
Без спаму. Лише топ-матеріали Gosta. Відписатись в один клік.