Рада ухвалила закон про мобілізацію: що змінюється для українців
Долар 41.54 ₴ (+0.12), євро 44.98 ₴ (-0.05)
Кременчук: +18°C, ясно. Увечері до +12°C.
День працівників соціальної сфери. Всесвітній день сміху.
Сьогодні святкують: Максим, Віктор, Тамара
Овен: Хороший день для нових починань. Зірки сприяють ініціативі.
2004 — Кіпр, Чехія та 8 інших країн вступили до Євросоюзу
Паливо знову подорожчало: А-95 переступив психологічну межу
Apple iPhone 17 Air: все що відомо про найтоншу модель
MIT презентував SEAL — метод для великих мовних моделей, який перетворює нову інформацію від користувача на "конспекти" і назавжди вбудовує їх у модель. Точність відповідей зросла майже на 15 відсотків, а в навичках — більш як на 50.
Чат-бот, який пам'ятає важливе з вчорашньої розмови, – не фантастика, а новий напрям у штучному інтелекті. Команда MIT запропонувала підхід SEAL, що дозволяє великим мовним моделям не просто тримати контекст, а й постійно оновлювати ваги після взаємодії з новими даними. Модель сама створює "конспекти" зі свіжої інформації, перевіряє себе та закріплює найкращі зміни. Результат – стабільне запам'ятовування без повного перевчання.
SEAL (self-adapting LLMs) – це фреймворк, у якому модель на основі вхідного тексту генерує синтетичні дані – перефразовані й узагальнені "навчальні листи". Кожен такий лист – це саморедагування (self-edit), яке потенційно може покращити її роботу. Далі модель сама себе "екзаменує" на прикладних завданнях – зокрема, на запитаннях-відповідях – і обирає редагування, що дає найбільший приріст якості.
Після відбору найвдалішого варіанту SEAL фіксує нове знання, оновлюючи внутрішні ваги. Це принципово відрізняється від звичного "в контексті" навчання, де інформація зникає після завершення діалогу. Додатково модель може сама задавати параметри, як-то швидкість навчання та кількість ітерацій – фактично, обирає як їй найкраще вчитися.
Ключові факти: SEAL підвищив точність відповідей на запитання майже на 15 відсотків; у низці завдань із опанування нових навичок успішність зросла більш як на 50 відсотків. Невелику модель вдалося налаштувати так, що вона випередила значно більші LLM.
У порівнянні з базовими методами SEAL стабільно покращував результати на різних типах задач – від швидкого опанування нових умінь до інтеграції знань із текстових уривків. На блоках з питаннями та відповідями приріст склав майже на 15 відсотків, а в окремих сценаріях навчання навичок – понад 50 відсотків. Дослідники також повідомляють про випадки, коли менша модель перевершувала більші, що свідчить: грамотне оновлення знань інколи важливіше за кількість параметрів.
Головний виклик техніки – катастрофічне забування: із часом, засвоюючи нові факти, модель може повільно втрачати точність на раніших завданнях. Команда планує працювати над пом'якшенням цього ефекту та тестувати метод у мультиагентних сценаріях, де кілька моделей тренують одна одну. Це має показати, як масштабувати підхід без втрат попередніх знань.
Співавтори роботи – аспірант Джйотіш Парі та студент Адам Цвайґер; до команди входять також Хань Ґо й Екін Акюрек. Старші автори – Юн Кім та Пулкіт Агравал з кафедри електротехніки та інформатики MIT і лабораторії CSAIL. Дослідження представлять на Conference on Neural Information Processing Systems.
Проєкт частково підтримано U.S. Army Research Office, U.S. Air Force AI Accelerator, Stevens Fund for MIT UROP і MIT-IBM Watson AI Lab. Це підкреслює зацікавленість як академічної спільноти, так і індустріальних партнерів у ШІ, що здатен до оновлення без повного перевчання.
Якщо обмеження буде подолано, підхід відкриє шлях до агентів, які надійно інтегрують нові знання з повсякденних взаємодій. Для бізнесу це може означати швидше оновлення внутрішніх політик і баз знань, для науковців – інструменти, що краще вбирають нові результати. Для користувача це перспектива асистентів, які "пам'ятають" життєві контексти й не втрачають їх між сесіями.
SEAL демонструє, що великі мовні моделі можуть навчатися за принципом "прочитав – законспектував – закріпив" і робити це без глобального перевчання. Попереду – робота з ефектом забування, але потенціал очевидний: системи ШІ стають ближчими до динамічного, "людиноподібного" способу навчання, де нове знання не зникає разом із вікном чату.
Без спаму. Лише топ-матеріали Gosta. Відписатись в один клік.