ШІ Microsoft навчився розуміти мовлення майже без пауз і підтримує українську

Microsoft розширила власну лінійку голосового ШІ одразу трьома моделями: MAI-Transcribe-2-Streaming перетворює живе мовлення на текст у реальному часі, MAI-Voice-2.1 озвучує текст різними мовами, а MAI-Voice-2.1-Flash створена для сценаріїв, де особливо важлива швидка відповідь. Разом вони мають скоротити незручні паузи під час спілкування з голосовими ШІ-помічниками.

MAI-Transcribe-2-Streaming підтримує 60 мов, включно з українською, автоматично визначає мову та починає формувати текст ще під час розмови. За даними Microsoft, перші попередні фрагменти транскрипції можуть з'являтися трохи більш ніж через 100 мс після отримання аудіо.

Дві інші моделі працюють у зворотному напрямку – перетворюють текст на голос. MAI-Voice-2.1 підтримує 23 мови та 26 локалей, причому той самий голос може переходити з однієї підтримуваної мови на іншу, не перетворюючись на іншого "спікера".

Для користувача це може бути помітно в голосових помічниках, автоматичних субтитрах, онлайн-навчанні, диктуванні, нотатках із зустрічей і службах підтримки. Однак нові моделі ШІ Microsoft насамперед є інструментами для розробників – це не новий режим Copilot, який автоматично з'явився в кожного користувача Windows.

Які нові моделі ШІ Microsoft представила для голосу

Microsoft представила три нові моделі ШІ для розпізнавання та генерації мовлення – MAI-Transcribe-2-Streaming, MAI-Voice-2.1 і MAI-Voice-2.1-Flash. Перша слухає людину та перетворює її слова на текст, а дві інші створюють голосове мовлення з тексту.

Назви схожі, але завдання в моделей різні. Це важливо враховувати, коли йдеться про підтримку мов, швидкість та практичне використання.

Таким чином, нові моделі ШІ Microsoft закривають обидві сторони голосової розмови. Одна модель допомагає машині швидко "почути" людину, а інші дають їй змогу відповісти голосом.

Як MAI-Transcribe-2-Streaming перетворює голос на текст

MAI-Transcribe-2-Streaming перетворює аудіо на текст без необхідності чекати завершення всієї фрази. Модель приймає безперервний аудіопотік і поступово формує транскрипцію паралельно з мовленням людини.

Спочатку ШІ Microsoft видає попередні варіанти почутого. Коли надходить більше контексту, модель може уточнювати ці слова, після чого фіксує остаточний результат для відповідного фрагмента.

Саме ця різниця особливо важлива для живої розмови. Якщо система чекає, поки співрозмовник завершить довге речення, потім розшифровує його, обдумує відповідь і лише після цього починає говорити, виникає помітна неприродна пауза.

MAI-Transcribe-2-Streaming дозволяє застосунку почати обробляти зміст раніше. Голосовий ШІ-помічник потенційно може визначати намір користувача або готувати наступну дію ще до завершення всієї репліки.

Наскільки швидко новий ШІ Microsoft розпізнає мовлення

Перші попередні результати MAI-Transcribe-2-Streaming можуть з'являтися трохи більш ніж через 100 мс після надходження аудіо. Водночас попередній результат не потрібно плутати з остаточно підтвердженою транскрипцією.

Microsoft пояснює, що модель постійно отримує новий контекст і за потреби коригує попередній текст. У документації для розробників тому розділяються проміжні та фінальні результати.

У практичних сценаріях Microsoft також повідомляє, що слова можуть з'являтися в транскрипції приблизно через 320 мс після того, як їх вимовили. Це має значення для субтитрів, диктування та голосових інтерфейсів, де навіть коротка затримка добре відчувається людиною.

Внутрішні оцінювання Microsoft також показали вдвічі швидшу появу слів у сценаріях транскрипції та субтитрів порівняно з найближчим конкурентом компанії. Цей показник варто трактувати саме як результат тестування Microsoft, а не універсальну гарантію для будь-якого запису, мови чи умов.

Які мови підтримує ШІ Microsoft для транскрипції

MAI-Transcribe-2-Streaming підтримує 60 мов, а українська входить до офіційного списку. Модель також може автоматично визначати мову, тому застосунок не обов'язково повинен знати її заздалегідь.

У переліку Microsoft є українська, англійська, польська, німецька, французька, іспанська, італійська, португальська, чеська, словацька, румунська, болгарська, грецька, турецька, японська, корейська, китайська та десятки інших мов.

Це робить нову модель ШІ Microsoft цікавою не лише для англомовних голосових сервісів. Наприклад, транскрипція українською може використовуватися для створення тексту з лекції, зустрічі, інтерв'ю або голосового інтерфейсу, якщо конкретний сервіс інтегрує MAI-Transcribe-2-Streaming.

Чи підтримує новий ШІ Microsoft українську мову

Так, MAI-Transcribe-2-Streaming офіційно підтримує українську для розпізнавання мовлення та перетворення голосу на текст. У документації Microsoft українська позначена кодом uk і входить до переліку 60 підтримуваних мов.

Але тут є принципова відмінність. Підтримка української в MAI-Transcribe-2-Streaming не означає автоматично, що MAI-Voice-2.1 уже може озвучувати текст українською.

Microsoft заявляє 23 мови для нових моделей генерації голосу, тоді як модель транскрипції підтримує 60. Тому можливості "розуміти українську" та "відповідати новим синтезованим голосом українською" не можна вважати одним і тим самим.

Чи може ШІ Microsoft автоматично визначати мову

Так, MAI-Transcribe-2-Streaming підтримує автоматичне визначення мови під час транскрипції. За замовчуванням модель працює в багатомовному режимі й може розпізнавати мову без обов'язкового ручного вибору.

Ця функція особливо корисна для міжнародних дзвінків, багатомовних зустрічей і голосових сервісів. Розробнику не потрібно створювати окремий процес лише для того, щоб спочатку визначити мову, а потім передати аудіо іншій системі розпізнавання.

Для користувача це потенційно означає природніший сценарій. Людина просто починає говорити, а система сама визначає, якою з підтримуваних мов потрібно розшифровувати мовлення.

Що вміє голосова модель MAI-Voice-2.1

MAI-Voice-2.1 перетворює текст на природне синтезоване мовлення та підтримує 23 мови в 26 локалях. Головна особливість моделі – можливість зберігати впізнавану голосову ідентичність під час переходу між підтримуваними мовами.

Наприклад, цифровий викладач може пояснювати матеріал однією мовою, а потім перейти до вправи іншою. При цьому користувач не повинен чути різку зміну на зовсім інший синтезований голос.

Microsoft також заявляє, що модель адаптує вимову та подачу до конкретної мови. Ідея полягає не в тому, щоб один англомовний голос просто вимовляв іноземні слова з тим самим акцентом, а в природнішій вимові підтримуваної мови.

Чим MAI-Voice-2.1 відрізняється від MAI-Voice-2.1-Flash

MAI-Voice-2.1 орієнтована на якісне багатомовне синтезоване мовлення, тоді як MAI-Voice-2.1-Flash оптимізована для швидкості, великих обсягів і сценаріїв, де затримка критично важлива. Обидві голосові моделі підтримують однаковий набір заявлених мов і можливість зберігати один голос між ними.

Для Flash Microsoft заявляє до 45 секунд згенерованого аудіо з наскрізною затримкою близько 150 мс. Компанія також повідомляє про на 55% швидший інференс і приблизно на 60% нижчу вартість порівняно з моделями, з якими проводилося її зіставлення.

Саме Flash логічно поєднувати з потоковою транскрипцією в голосових помічниках. Одна модель швидко розуміє сказане, а друга намагається так само швидко сформувати голосову відповідь.

Чи може новий ШІ Microsoft клонувати голос

Так, MAI-Voice-2.1 та MAI-Voice-2.1-Flash підтримують клонування голосу за коротким зразком аудіо. Microsoft повідомляє, що для цього достатньо кількох секунд еталонного запису.

Клонований голос може використовувати підтримувані моделлю мови. Це відкриває практичні сценарії для брендових голосів, озвучування, навчальних продуктів і багатомовних цифрових помічників.

Водночас клонування голосу створює очевидний ризик зловживань. Microsoft заявляє про вбудовані механізми підтвердження згоди, які мають перешкоджати неправомірному використанню чужого голосу.

Підтримка клонування не означає, що модель дозволяє без дозволу скопіювати голос будь-якої людини. Конкретні правила та обмеження залежать також від сервісу, через який розробник використовує модель.

Для чого потрібні нові моделі ШІ Microsoft

Нові моделі ШІ Microsoft призначені насамперед для голосових застосунків, де важливо швидко почути людину, зрозуміти сказане та відповісти без довгої паузи. Це значно ширший набір сценаріїв, ніж звичайний голосовий чат.

Microsoft прямо називає транскрипцію зустрічей і лекцій, голосові інтерфейси, нотатки в реальному часі, контакт-центри та голосових помічників. На практиці технологія може бути корисною в кількох типових ситуаціях.

1. Субтитри в реальному часі. Текст може з'являтися паралельно з мовленням, а не після завершення довгого фрагмента.

2. Транскрипція зустрічей. Розмова може перетворюватися на текст під час самої зустрічі для подальших нотаток або обробки.

3. Лекції та навчання. Застосунок може створювати текстову версію пояснення викладача майже в реальному часі.

4. Голосові ШІ-помічники. Система може почати розуміти намір людини ще до завершення репліки та швидше підготувати відповідь.

5. Служби підтримки. ШІ може транскрибувати слова клієнта під час дзвінка й передавати текст системі, яка визначає наступну дію.

6. Багатомовні помічники. Голосовий сервіс може визначити мову співрозмовника та відповідати однією з мов, які підтримує голосова модель.

7. Диктування. Мовлення можна перетворювати на текст із мінімальною затримкою для нотаток або документів.

8. Озвучування контенту. Голосові моделі можуть створювати синтезоване мовлення для навчальних матеріалів, застосунків та інтерактивного контенту.

Найважливіша зміна тут полягає не в окремій функції, а в швидкості всього циклу. Голосовий ШІ має не просто розпізнати слова, а встигнути зрозуміти їх, виконати потрібну дію та відповісти до того, як пауза почне здаватися неприродною.

Про те, чому швидкість обчислень сама по собі ще не гарантує кращого результату, детальніше пояснює матеріал про те, чому ШІ може міркувати занадто довго. Голосові системи особливо добре показують цей компроміс: їм потрібна не тільки якість, а й достатньо швидка реакція для природного діалогу.

Чи з'являться нові моделі ШІ Microsoft у Copilot

Microsoft не оголосила, що MAI-Transcribe-2-Streaming, MAI-Voice-2.1 та MAI-Voice-2.1-Flash автоматично стали новими голосовими моделями споживчого Copilot. Їх не варто подавати як уже доступне оновлення голосового режиму для кожного користувача Windows або Copilot.

Нові моделі ШІ Microsoft орієнтовані на розробників, які можуть будувати на їхній основі власні голосові сервіси. MAI-Transcribe-2-Streaming доступна через Microsoft Foundry, а Microsoft також описує інтеграцію через Speech SDK та API реального часу.

Голосові моделі Microsoft пропонує через кілька платформ для розробників. Тому користувач може згодом зустріти цю технологію всередині стороннього застосунку, служби підтримки або нового голосового сервісу, навіть не взаємодіючи безпосередньо з каталогом моделей Microsoft.

Це важливе розмежування і для інших новинок у сфері ШІ. Наприклад, Microsoft LLM-42 також не є новим чат-ботом для користувачів – це технологія, яка вирішує іншу проблему роботи мовних моделей.

Чи можна вже користуватися MAI-Transcribe-2-Streaming

Так, MAI-Transcribe-2-Streaming уже доступна розробникам, але в Microsoft Foundry вона має статус публічної попередньої версії. Microsoft прямо попереджає, що для preview немає угоди про рівень обслуговування і така версія не рекомендована для виробничих навантажень.

Через Microsoft Foundry модель можна використовувати глобально, а запити обслуговуються через підтримувані регіони інфраструктури Microsoft. Для роботи потрібен відповідний ресурс Microsoft Foundry та розгортання моделі.

Окремо Microsoft надає інтеграцію через Azure Speech SDK. Це означає, що нова транскрипція є реально доступним інструментом для розробки, але не звичайною безкоштовною вебсторінкою, куди користувач завантажує аудіофайл.

Скільки коштує транскрипція ШІ Microsoft

Для MAI-Transcribe-2-Streaming Microsoft оголосила вступну ціну 0,54 долара за годину аудіо до кінця року. Це ціна використання моделі як сервісу для розробників, а не підписка на Copilot.

Для голосових моделей використовується інша схема. MAI-Voice-2.1 заявлена за ціною 22 долари за 1 млн символів, а MAI-Voice-2.1-Flash – 15 доларів за 1 млн символів.

Ці тарифи важливі насамперед для компаній і розробників, які планують обробляти великі обсяги дзвінків, субтитрів або озвучування. Для звичайного користувача кінцева вартість залежатиме від застосунку, в який розробник інтегрує нові моделі ШІ Microsoft.

Чим потокова транскрипція відрізняється від звичайної

Потокова транскрипція формує текст паралельно з мовленням, тоді як звичайна транскрипція може обробляти вже записаний або завершений фрагмент аудіо. Для живого діалогу ця різниця визначає, наскільки швидко система здатна реагувати.

Microsoft уже має MAI-Transcribe-2 для високоякісної транскрипції. Потокова MAI-Transcribe-2-Streaming потрібна в ситуаціях, коли застосунок повинен розуміти та використовувати слова ще під час розмови.

Отже, вибір залежить не від того, яка модель "краща" взагалі, а від конкретного завдання. Для готового запису можуть бути важливішими детальні метадані, а для голосового помічника – мінімальна затримка.

Чому швидкість голосового ШІ настільки важлива

Людина дуже швидко помічає неприродні паузи в розмові, тому голосовий ШІ має виконати цілий ланцюжок операцій за короткий час. Він повинен почути мовлення, перетворити його на текст або внутрішнє представлення, зрозуміти намір, за потреби використати інструмент, сформувати відповідь і озвучити її.

Затримка накопичується на кожному етапі. Навіть якщо генерація відповіді швидка, повільне розпізнавання голосу робить всю систему повільною.

Microsoft намагається скоротити затримку з обох боків цього ланцюжка. MAI-Transcribe-2-Streaming прискорює перехід від голосу до тексту, а MAI-Voice-2.1-Flash – від готової відповіді до голосу.

Це також пояснює ширший рух від чат-ботів до систем, які здатні діяти під час взаємодії з людиною. На Gosta вже розібрано, чим ШІ-агенти відрізняються від звичайних чат-ботів: голос стає ще одним способом швидко передавати такому агенту завдання.

Чи безпечно клонувати голос за допомогою ШІ Microsoft

Microsoft заявляє про вбудовані механізми згоди для клонування голосу, але сама можливість відтворити голос за кількома секундами аудіо робить питання безпеки принциповим. Використовувати чужий голос без дозволу не слід незалежно від технічних можливостей конкретної моделі.

Голосові клони можуть бути корисними для локалізації, персоналізованого озвучування та збереження одного голосу в багатомовному продукті. Водночас подібні технології потенційно можуть використовуватися для видавання себе за іншу людину або створення оманливих аудіозаписів.

Тому для користувача корисне просте правило: голос у телефонному дзвінку або аудіоповідомленні більше не можна вважати достатнім доказом особи співрозмовника. Якщо людина просить переказати гроші, назвати код підтвердження або повідомити конфіденційні дані, особу варто перевірити іншим способом.

Чи означає новий голосовий ШІ Microsoft, що помічники стануть "людянішими"

Нові моделі ШІ Microsoft можуть зробити голосову взаємодію швидшою та плавнішою, але це не означає, що система почала розуміти людину так само, як інша людина. Природний голос і коротка затримка перед відповіддю передусім покращують інтерфейс.

Це важливе розмежування. Чим переконливіше звучить синтезований голос, тим легше користувачеві приписати системі здібності, яких вона насправді не має.

Навіть швидкий голосовий ШІ може неправильно розпізнати слово, помилково зрозуміти намір або сформувати неточну відповідь. Тому в критичних сценаріях – від фінансів до важливих робочих рішень – результат усе одно потребує перевірки.

Що змінюють нові моделі ШІ Microsoft для звичайного користувача

Негайної нової кнопки у Windows або Copilot ці моделі не дають, але вони показують, якими можуть стати наступні голосові сервіси. Основна зміна – перехід від схеми "скажіть фразу, зачекайте, отримайте відповідь" до систем, які слухають і починають реагувати практично паралельно з людиною.

Особливо помітним це може бути в субтитрах, перекладі, навчанні, підтримці клієнтів і голосових ШІ-помічниках. Підтримка української в транскрипції також означає, що локальні сервіси технічно можуть будувати на MAI-Transcribe-2-Streaming власні рішення для українського мовлення.

Але нові моделі ШІ Microsoft варто сприймати як платформу для наступного покоління голосових застосунків, а не як уже готового нового помічника для кожного користувача. Саме те, які сервіси інтегрують ці моделі та наскільки добре вони працюватимуть поза демонстраційними умовами, визначить їхню реальну користь.