Binance
ByBit
WhiteBIT
Дослідницька група з MIT’s Laboratory for Information and Decision Systems (LIDS) розробила новаторський метод для оцінки точності текстових класифікаторів та їх подальшого вдосконалення. Такі класифікатори дедалі частіше використовуються у різних сферах, від новин та оглядів до фінансових та медичних консультацій. Однак їх точність залишається критично важливою, щоб уникнути помилкових оцінок, які можуть мати серйозні наслідки.
Виявлення та усунення вразливостей
Команда розробила програмне забезпечення, яке допомагає не тільки оцінити ефективність класифікаторів, але й покращити їх. Вони використовують синтетичні приклади – речення, які можуть обманути класифікатор, змушуючи його здійснювати помилкові рішення. Це дозволяє виявити слабкі місця у системі. Використовуючи моделі великої мови (LLM), дослідники можуть точно визначити слова, які найбільше впливають на неправильну класифікацію, і спрямовувати зусилля на їх усунення.
Такі перевірки особливо важливі для компаній, що використовують чат-боти для взаємодії з клієнтами, оскільки навіть незначні помилки можуть призводити до серйозних правових наслідків. Дослідження показали, що близько 0,1% слів можуть викликати половину всіх помилкових класифікацій. Це відкриття дозволяє значно зменшити обсяг роботи з аналізу та покращення класифікаторів.
Вам може бути цікаво:
