Рада ухвалила закон про мобілізацію: що змінюється для українців
Долар 41.54 ₴ (+0.12), євро 44.98 ₴ (-0.05)
Кременчук: +18°C, ясно. Увечері до +12°C.
День працівників соціальної сфери. Всесвітній день сміху.
Сьогодні святкують: Максим, Віктор, Тамара
Овен: Хороший день для нових починань. Зірки сприяють ініціативі.
2004 — Кіпр, Чехія та 8 інших країн вступили до Євросоюзу
Паливо знову подорожчало: А-95 переступив психологічну межу
Apple iPhone 17 Air: все що відомо про найтоншу модель
Обираєте мовну модель за рейтингами? Дослідження MIT попереджає: інколи достатньо прибрати 2 голоси зі 57 000, щоб змінити лідера. Вчені пропонують швидкий тест чутливості та радять збирати детальніший фідбек.
Компанії дедалі частіше обирають мовні моделі для підсумування звітів чи підтримки клієнтів за допомогою рейтингів LLM. Але свіжа робота дослідників Массачусетського технологічного інституту ставить цьому підхід під сумнів: навіть кілька взаємодій користувачів здатні змістити вершину таблиці. Команда MIT розробила метод швидкої перевірки того, наскільки такі платформи вразливі до краудсорсингового шуму та помилок, і показала масштаб чутливості на реальних даних. Це питання не лише академічне – неправильний вибір моделі може коштувати бізнесу часу, грошей і довіри.
Найпопулярніший формат платформ – порівняння відповідей двох моделей і голос користувача за кращу. Саме ці голоси агрегують у загальний рейтинг для різних завдань – від кодування до аналізу зображень. Дослідники MIT виявили, що кілька голосів можуть змінити лідера, отже верхні позиції не завжди узагальнюються на нові дані й близькі сценарії використання.
Щоб виміряти цей ефект без дорогого повного перебору, команда запропонувала ефективний метод наближення, який знаходить голоси з найбільшим впливом на підсумкове місце моделі. Далі користувач може вручну прибрати ці точки, перерахувати рейтинг і перевірити, чи зміниться розклад сил.
Емпіричні перевірки на популярних платформах здивували навіть авторів. На одному датасеті вилучення лише двох голосів із понад 57 000 (це 0,0035 відсотка) поміняло топ-модель. Інша платформа з експертними анотаторами виявилася стійкішою: там потрібно було прибрати 83 з 2 575 оцінок (близько 3 відсотків), щоб лідери помінялися місцями.
Механіка рейтингів передбачає мільйони можливих комбінацій "а якби ми прибрали N голосів". Наприклад, перевірити всі підмножини на рівні 0,1 відсотка для 57 000 голосів – практично неможливо, адже таких варіантів понад 10^194. Тому команда MIT адаптувала попередні напрацювання і створила швидку оцінку, що вказує на найбільш впливові точки.
Ключова перевага підходу в прозорості: алгоритм повертає конкретні голоси, підозрілі на викривлення результату. Далі платформа або дослідник можуть їх тимчасово прибрати, перерахувати рейтинги LLM і перевірити стабільність лідерів без потреби довіряти теорії "на слово".
"Ми здивовані, наскільки чутливими виявилися рейтингові платформи. Якщо вершина залежать від двох-трьох голосів із десятків тисяч, не можна вважати, що модель-лідер стабільно обходитиме конкурентів після розгортання", – зазначає Тамара Бродерік (Tamara Broderick), MIT.
Під час аналізу найвпливовіші голоси часто виявлялися схожими на помилки користувачів: хибний клік, неуважність або невпевненість у виборі там, де відповідь виглядала очевидно. Такі одиничні відхилення не повинні визначати лідера, однак у сукупності вони можуть зміщувати підсумковий рейтинг. Це важливий сигнал для платформ, які масово покладаються на краудсорсингові дані.
Обирати модель лише за місцем у таблиці – ризиковано, особливо коли на кону витрати на інтеграцію, безпеку і відповідність регуляціям. Для кейсів на кшталт підсумовування звітів продажів чи сортування звернень користувачів важливо, щоб обрана модель демонструвала стабільну перевагу на нових даних, а не завдяки випадковим голосам чи шуму. Результати MIT підштовхують до додаткових перевірок – пілотів, A/B‑тестів і валідації під конкретні задачі.
"Ця робота демонструє, як отримати коректні оцінки впливу окремих даних на подальші процеси за умов, коли повний перебір є нездійсненним. Бачити, як кілька переваг змінюють поведінку моделі, – стимул для обережнішого збору даних", – підкреслює Джессіка Галлман (Jessica Hullman), Northwestern University.
Старша авторка – Тамара Бродерік (MIT EECS; Лабораторія інформації та систем прийняття рішень і Інститут даних, систем і суспільства; афілійована з CSAIL). Провідні автори – аспіранти Дженні Хуанг (Jenny Huang) та Юньї Шень (Yunyi Shen); серед співавторів – Денніс Вей (Dennis Wei), старший науковий співробітник IBM Research.
Роботу буде представлено на Міжнародній конференції з навчання уявлень (ICLR). Фінансування: Office of Naval Research, MIT‑IBM Watson AI Lab, National Science Foundation, Amazon і грант CSAIL.
MIT показав, що навіть мізерний відсоток голосів здатен змінити "золото" в таблицях. Якщо покладаєтеся на публічні ранжування, застосуйте швидку перевірку чутливості, вимагайте прозорого фідбеку й тестуйте модель під власні задачі – це убезпечить від дорогих помилок.
Без спаму. Лише топ-матеріали Gosta. Відписатись в один клік.