Рада ухвалила закон про мобілізацію: що змінюється для українців
Долар 41.54 ₴ (+0.12), євро 44.98 ₴ (-0.05)
Кременчук: +18°C, ясно. Увечері до +12°C.
День працівників соціальної сфери. Всесвітній день сміху.
Сьогодні святкують: Максим, Віктор, Тамара
Овен: Хороший день для нових починань. Зірки сприяють ініціативі.
2004 — Кіпр, Чехія та 8 інших країн вступили до Євросоюзу
Паливо знову подорожчало: А-95 переступив психологічну межу
Apple iPhone 17 Air: все що відомо про найтоншу модель
MIT показало, що великі мовні моделі відповідають за "формою", а не за змістом: синтаксичні шаблони вводять їх в оману, знижують точність GPT‑4 і Llama та відкривають шлях до обходу захистів. Команда пропонує бенчмарк для перевірки.
Масштабні системи штучного інтелекту стали частиною щоденної роботи – від підтримки клієнтів до медичних конспектів і фінансової аналітики. Нове дослідження MIT демонструє, що навіть найпотужніші великі мовні моделі (LLM) можуть відповідати не завдяки знанню, а завдяки знайомому "ритму" фраз. Команда виявила систематичну помилку: моделі плутають зміст із формою питання, коли спираються на синтаксичні шаблони, вивчені під час тренування. Це знижує надійність і створює ризики для безпеки.
Під час навчання на масивах інтернет‑текстів моделі помічають закономірності у частинах мови – дослідники називають їх "синтаксичними шаблонами". З часом LLM починає асоціювати конкретні шаблони з певними темами або доменами. У результаті система може видати "переконливу" відповідь лише тому, що форма запиту нагадує знайому конструкцію, навіть якщо сенс питання відсутній.
Приклад, який пояснює явище: якщо в тренувальних даних часто траплялася структура "прислівник/дієслово/власна назва/дієслово" для географічних питань, модель може відповісти "Франція" на безглузде речення з такою ж формою. Так вона фактично плутає зміст із формою, підміняючи розуміння розпізнаванням шаблону.
Команда створила синтетичні набори даних, де для кожного домену використовували лише один синтаксичний шаблон. Під час тестів слова в питаннях замінювали на синоніми, антоніми або випадкові слова – але сама граматична схема залишалася незмінною. Моделі часто все одно повертали "правильні" відповіді на беззмістовні запити.
Коли ж ті самі питання перебудовували з іншим набором частин мови, LLM нерідко втрачали точність, хоча смисл залишався тим самим. Перевірка попередньо навчених систем, включно з GPT‑4 та Llama, підтвердила: залежність від форми істотно знижує їхню ефективність.
Надмірна довіра до граматики замість розуміння ставить під удар сервіси, що працюють з мовою. Ідеться про клієнтську підтримку, резюмування клінічних нотаток, підготовку фінансових звітів та інші процеси, де помилка може дорого коштувати. Окрема загроза – безпека: зловмисник здатен сформулювати прохання у "безпечному" шаблоні, аби обійти відмову моделі і спровокувати небажаний контент.
Щоб оцінювати і зменшувати ризики ще до запуску продуктів, команда запропонувала бенчмарк‑процедуру – автоматичний тест, який вимірює залежність моделі від неправильних синтаксично‑доменних асоціацій. Це допоможе розробникам виявляти вразливість та коригувати пайплайни навчання.
"Це побічний ефект того, як ми навчаємо моделі – і в реальних умовах вони вже працюють у критично важливих галузях далеко за межами задач, що породили ці синтаксичні збої", – зазначає Марзіє Гассемі (MIT).
Автори показали, що переформулювання запитів у "безпечні" шаблони може змусити модель ігнорувати політику відмов. Водночас у роботі представлено спосіб це виявити, а подальші дослідження зосередяться на методах пом'якшення – зокрема на збагаченні корпусів різними конструкціями та перевірці явища у reasoning‑моделях, призначених для багатокрокових задач.
"Потрібні більш стійкі захисти, побудовані на розумінні того, як LLM вчаться мові, а не лише ситуативні латки під кожну нову вразливість", – наголошує Вініт Суріякумар (MIT).
Серед авторів – Марзіє Гассемі (MIT EECS, IMES, LIDS), співавтори Шанталь Шаіб (Північно-Східний університет, візит у MIT), Вініт Суріякумар (MIT), Левент Сагун (Meta) та Байрон Воллес (Khoury College, Північно-Східний університет). Роботу планують представити на Конференції з нейронних інформаційних систем (NeurIPS).
Фінансування: Bridgewater AIA Labs Fellowship, National Science Foundation, Gordon and Betty Moore Foundation, Google Research Award, Schmidt Sciences.
Дослідження MIT нагадує: якщо LLM звучить упевнено, це не гарантія розуміння. Для розробників – сигнал вбудовувати нові тести та розширювати навчальні корпуси; для користувачів – перевіряти критично важливі відповіді. Стійкий AI починається там, де форму навчаються відокремлювати від змісту.
Без спаму. Лише топ-матеріали Gosta. Відписатись в один клік.