
Новий ривок для LLM: як PaTH Attention з MIT‑IBM перемагає обмеження RoPE
MIT та MIT‑IBM Watson AI Lab запропонували PaTH Attention – позиційне кодування, яке підлаштовується до контенту. Воно покращило розуміння довгих послідовностей і міркування у тестах, зберігши ефективність трансформерів. Деталі – всередині.























