Рада ухвалила закон про мобілізацію: що змінюється для українців
Долар 41.54 ₴ (+0.12), євро 44.98 ₴ (-0.05)
Кременчук: +18°C, ясно. Увечері до +12°C.
День працівників соціальної сфери. Всесвітній день сміху.
Сьогодні святкують: Максим, Віктор, Тамара
Овен: Хороший день для нових починань. Зірки сприяють ініціативі.
2004 — Кіпр, Чехія та 8 інших країн вступили до Євросоюзу
Паливо знову подорожчало: А-95 переступив психологічну межу
Apple iPhone 17 Air: все що відомо про найтоншу модель
MIT показав, що "найкращі" моделі машинного навчання провалюються в нових середовищах: на 6-75 відсотків прикладів вони стають найгіршими. Представлено OODSelect і заклик до тестування моделей у новому сеттингу.
Массачусетський технологічний інститут оприлюднив результати, що змушують переглянути підходи до валідації штучного інтелекту. Навіть якщо система навчається на великих вибірках і показує високі середні показники, в іншому середовищі вона може "спіткнутися" на конкретних групах даних. Йдеться про моделі машинного навчання, які у підмножинах нових наборів помиляються значно частіше, ніж це видно із загальної статистики. Для індустрій, де ставка – здоров'я та безпека, це сигнал діяти негайно.
Команда MIT показала: модель, обрана як "найкраща" за середніми метриками в одній лікарні, може бути найгіршою для 6-75 відсотків пацієнтів у іншій. На агрегованих показниках це не видно – сукупні метрики маскують провали в підгрупах. Результати презентували у грудні на конференції NeurIPS 2025, випустивши код і визначені підмножини для подальших досліджень.
Наслідки особливо відчутні в медицини: на прикладі рентгенографія грудної клітки виявлено, що моделі, які "в середньому" працюють краще, гірше справляються з пацієнтами, що мають плевральні стани або збільшений кардіомедіастинум (збільшення серця чи центральної грудної порожнини). Поза медициною ризики підтверджено на гістопатології раку та в задачах детекції мови ненависті.
"We demonstrate that even when you train models on large amounts of data, and choose the best average model, in a new setting this 'best model' could be the worst model for 6-75 percent of the new data." – Marzyeh Ghassemi (MIT)
Джерелом збоїв стають спотворені кореляції – зв'язки, які модель підхоплює зі специфіки даних першего середовища, а не з релевантних ознак. Наприклад, службові позначки на знімках однієї лікарні можуть "підказувати" діагноз, але в іншій лікарні таких маркувань немає. Подібно й у соцмережах: якщо модель рідко "бачила" певні контексти, вона може хибно класифікувати вміст при переносі на іншу платформу або регіон.
Попередні роботи групи MIT також показували, що моделі іноді підміняють клінічні ознаки демографічними – віком, статтю або расою. Це робить їх вразливими до змін контексту й неочікуваних похибок у нові середовища.
Провідний автор Olawale Salaudeen запропонував алгоритм OODSelect, який системно виявляє підмножини даних, де порушується гіпотеза accuracy-on-the-line – уявлення, що рейтинг моделей за точністю збережеться при перенесенні. Дослідник тренував тисячі моделей на даних "першого" середовища, обчислив їхню точність, а потім порівнював поведінку на "другому" наборі даних.
Якщо моделі з найвищою точністю в першому середовищі масово помилялися в конкретних піднаборах другого, ці піднабори вважали "проблемними". Команда також відфільтрувала "найскладніші для класифікації приклади", аби не змішувати об'єктивно важкі кейси зі справжніми артефактами даних. Публікація містить відкритий код і частину підмножин для відтворення результатів.
Висока середня точність створює хибне відчуття надійності. Коли пацієнтів або користувачів агрегують, слабкі місця розчиняються в масиві. Насправді ж конкретні групи – за патологією, обладнанням, стилем мовлення на платформах – можуть залишатися беззахисними. OODSelect показує, де саме ховаються ці "білі плями", і пропонує цілі для донавчання та перевірки.
Головний висновок простий: тестуйте моделі в тих умовах, де вони працюють, і робіть це не лише за інтегральними метриками. Для практиків це означає зміну процедур приймання рішень на продакшні – з акцентом на підгрупи, контроль версій і моніторинг у реальному часі. Де можливо, варто адаптувати моделі під локальну специфіку та уникати "сліпого" переносу з одного середовища на інше.
Дослідження виконали Olawale Salaudeen (MIT, провідний автор), Marzyeh Ghassemi (MIT EECS, IMES, LIDS), PhD-студенти Haoran Zhang і Kumail Alhamoud та доцент EECS Sara Beery. Роботу представлено на NeurIPS 2025, матеріали містять відкритий код і підмножини для подальших експериментів.
"We hope the released code and OODSelect subsets become a steppingstone toward benchmarks and models that confront the adverse effects of spurious correlations."
Урок від MIT лаконічний: навіть "кращі" моделі можуть зрадити у новому контексті – від медичних знімків до модерації контенту. Щоб зберегти довіру до моделі машинного навчання, перейдіть від перевірки "в середньому" до перевірки "для кожної підгрупи". Це не про перестраховку – це про якість, безпеку та відповідальність.
Без спаму. Лише топ-матеріали Gosta. Відписатись в один клік.