Вчені з MIT виявили, що великі мовні моделі (LLM) можуть демонструвати так зване "позиційне зміщення", коли вони надають перевагу інформації на початку та в кінці документа, нехтуючи серединою. Це може суттєво вплинути на точність, з якою моделі витягують інформацію з великих текстів.

Як позиційне зміщення впливає на точність

Дослідники створили теоретичну основу для вивчення механізмів, що спричиняють це явище. Вони виявили, що певні архітектурні рішення у моделях, такі як техніки маскування уваги та позиційні кодування, можуть підсилювати зміщення. Зокрема, маскування причинності підсилює увагу до початку тексту, навіть якщо це не виправдано даними.

Експерименти показали, що точність моделей у витяганні правильної інформації має U-подібну форму: найвища на початку, знижується в середині та трохи підвищується в кінці. Це явище може бути шкідливим для застосувань, які вимагають об'єктивного аналізу тексту, наприклад, в юридичних або медичних системах.

Можливі рішення та майбутні дослідження

Вчені запропонували кілька шляхів для зменшення позиційного зміщення, таких як використання інших технік маскування, зменшення кількості шарів уваги або оптимізація позиційних кодувань. У майбутньому планується детальніше дослідити ефекти позиційних кодувань та можливість стратегічного використання цього зміщення у певних застосуваннях.

Це дослідження може сприяти розробці більш надійних та точних моделей, які здатні краще обробляти великі обсяги інформації без втрати її частин у середині тексту.