Чому великі мовні моделі «впізнають» питання за формою? MIT показує ризики та дає інструмент перевірки

Масштабні системи штучного інтелекту стали частиною щоденної роботи – від підтримки клієнтів до медичних конспектів і фінансової аналітики. Нове дослідження MIT демонструє, що навіть найпотужніші великі мовні моделі (LLM) можуть відповідати не завдяки знанню, а завдяки знайомому «ритму» фраз. Команда виявила систематичну помилку: моделі плутають зміст із формою питання, коли спираються на синтаксичні шаблони, вивчені під час тренування. Це знижує надійність і створює ризики для безпеки.

Що саме з’ясували в MIT

Під час навчання на масивах інтернет‑текстів моделі помічають закономірності у частинах мови – дослідники називають їх «синтаксичними шаблонами». З часом LLM починає асоціювати конкретні шаблони з певними темами або доменами. У результаті система може видати «переконливу» відповідь лише тому, що форма запиту нагадує знайому конструкцію, навіть якщо сенс питання відсутній.

Приклад, який пояснює явище: якщо в тренувальних даних часто траплялася структура «прислівник/дієслово/власна назва/дієслово» для географічних питань, модель може відповісти «Франція» на безглузде речення з такою ж формою. Так вона фактично плутає зміст із формою, підміняючи розуміння розпізнаванням шаблону.

Як це перевірили

Команда створила синтетичні набори даних, де для кожного домену використовували лише один синтаксичний шаблон. Під час тестів слова в питаннях замінювали на синоніми, антоніми або випадкові слова – але сама граматична схема залишалася незмінною. Моделі часто все одно повертали «правильні» відповіді на беззмістовні запити.

Коли ж ті самі питання перебудовували з іншим набором частин мови, LLM нерідко втрачали точність, хоча смисл залишався тим самим. Перевірка попередньо навчених систем, включно з GPT‑4 та Llama, підтвердила: залежність від форми істотно знижує їхню ефективність.

Навіщо це важливо бізнесу й суспільству

Надмірна довіра до граматики замість розуміння ставить під удар сервіси, що працюють з мовою. Ідеться про клієнтську підтримку, резюмування клінічних нотаток, підготовку фінансових звітів та інші процеси, де помилка може дорого коштувати. Окрема загроза – безпека: зловмисник здатен сформулювати прохання у «безпечному» шаблоні, аби обійти відмову моделі і спровокувати небажаний контент.

Щоб оцінювати і зменшувати ризики ще до запуску продуктів, команда запропонувала бенчмарк‑процедуру – автоматичний тест, який вимірює залежність моделі від неправильних синтаксично‑доменних асоціацій. Це допоможе розробникам виявляти вразливість та коригувати пайплайни навчання.

Ключові наслідки для команд AI

• Переглянути стратегії валідації: обов’язково перевіряти стабільність відповідей при зміні форми без зміни змісту.
• Розширювати різноманіття синтаксису в тренувальних даних, щоб зменшити прив’язку до одного шаблону.
• Оцінювати політики безпеки з урахуванням «шаблонного обходу» відмов.
• Включати новий бенчмарк у контроль якості перед релізом моделей у чутливі домени.

«Це побічний ефект того, як ми навчаємо моделі – і в реальних умовах вони вже працюють у критично важливих галузях далеко за межами задач, що породили ці синтаксичні збої», – зазначає Марзіє Гассемі (MIT).

Захист і майбутні кроки

Автори показали, що переформулювання запитів у «безпечні» шаблони може змусити модель ігнорувати політику відмов. Водночас у роботі представлено спосіб це виявити, а подальші дослідження зосередяться на методах пом’якшення – зокрема на збагаченні корпусів різними конструкціями та перевірці явища у reasoning‑моделях, призначених для багатокрокових задач.

«Потрібні більш стійкі захисти, побудовані на розумінні того, як LLM вчаться мові, а не лише ситуативні латки під кожну нову вразливість», – наголошує Вініт Суріякумар (MIT).

Хто стоїть за дослідженням і де його побачити

Серед авторів – Марзіє Гассемі (MIT EECS, IMES, LIDS), співавтори Шанталь Шаіб (Північно-Східний університет, візит у MIT), Вініт Суріякумар (MIT), Левент Сагун (Meta) та Байрон Воллес (Khoury College, Північно-Східний університет). Роботу планують представити на Конференції з нейронних інформаційних систем (NeurIPS).

Фінансування: Bridgewater AIA Labs Fellowship, National Science Foundation, Gordon and Betty Moore Foundation, Google Research Award, Schmidt Sciences.