Трансформери

MIT та MIT‑IBM Watson AI Lab запропонували PaTH Attention – позиційне кодування, яке підлаштовується до контенту. Воно покращило розуміння довгих послідовностей і міркування у тестах, зберігши ефективність трансформерів. Деталі...