Проєкт MIT робить ще один крок до інженерії без зайвих бар’єрів. Дослідники представили VideoCAD – набір даних і AI-модель, що взаємодіє з CAD-програмами як живий фахівець. Система бачить 2D-ескіз і перетворює його на 3D, натискаючи кнопки, обираючи інструменти та перетягуючи елементи – усе клік за кліком. Ідея проста: зняти частину рутини з інженерів і відкрити доступ до 3D-дизайну тим, хто не має років підготовки.
Що таке VideoCAD і чому це важливо
Команда MIT зібрала датасет із понад 41 000 прикладів побудови 3D у середовищі CAD. Кожне відео містить покрокову сесію: від вибору інструмента до точних координат кліків і клавіш. На цих даних навчили модель, яка перетворює 2D-ескіз у 3D-модель, керуючи реальним інтерфейсом програми. Такий підхід не лише імітує людську взаємодію, а й формує фундамент для CAD-«копілота», здатного підказувати наступні кроки та брати на себе повторювані операції.
Як це працює – від команди до пікселя
Традиційних журналів команд на кшталт “line”, “circle” чи “extrude” виявилося замало. Дослідники переклали їх у конкретні дії інтерфейсу: де саме клацнути, що виділити, коли масштабувати сцену. Наприклад, «намалювати лінію від точки 1 до точки 2» означає послідовність курсорних дій у заданих піксельних координатах із активованим інструментом лінії. Завдяки такому «земному» опису система опановує роботу в реальному CAD, а не лише текстову абстракцію.
Що вже вміє модель
- Приймає 2D-ескіз і керує CAD «живими» діями: кліки, перетягування, вибір інструментів.
- Відтворює об’єкти різної складності – від простих кронштейнів до складніших макетів будинків.
- Вчиться на відео людських сесій, пов’язуючи інтерфейсні дії з результатом у 3D.
- Спрямована на автоматизацію рутинних дій та підказки наступних кроків під час моделювання.
Де і коли проєкт представлять
Роботу представлять на конференції NeurIPS у грудні. Над дослідженням працюють Фаєз Ахмед (асоційований професор механічної інженерії MIT), аспірант Гаді Нехме, аспірант Брендон Мен та постдок Фердус Алам. Команда продовжує навчати модель на складніших геометріях і бачить перспективу інструментів, здатних працювати у різних галузях дизайну.
Що каже індустрія
“There’s an opportunity for AI to increase engineers’ productivity as well as make CAD more accessible to more people,” – Ghadi Nehme (MIT). “This is significant because it lowers the barrier to entry for design, helping people without years of CAD training to create 3D models more easily,” – Faez Ahmed (MIT). “VideoCAD is a valuable first step toward AI assistants that help onboard new users and automate the repetitive modeling work … I would be excited to see successors that span multiple CAD systems, richer operations like assemblies and constraints,” – Mehdi Ataei (Autodesk Research).
Контекст: чому це може змінити роботу інженера
Сучасні CAD-системи пропонують тисячі команд і режимів – навчання вимагає місяців практики. Інтерфейсні агенти на базі ШІ вже вчаться керувати різними програмами, збираючи дані та виконуючи типові дії замість користувача. У CAD це особливо відчутно: зниження порогу входу означає швидший старт для студентів, проєктантів-новачків і команд, яким потрібні базові 3D-моделі без глибокої експертизи. Для досвідчених інженерів це шлях до підвищення продуктивності – коли рутина автоматизується, більше часу лишається на конструктивні рішення.
Що далі
Команда MIT визнає, що це перший крок. Індустрія очікує можливостей роботи з вузлами, обмеженнями та підтримкою різних CAD-пакетів, а також стійкості до «хаотичних» робочих сесій. Утім, навіть теперішній прогрес окреслює практичний сценарій: CAD-«копілот» супроводжує новачка під час навчання і бере на себе типові послідовності дій у досвідчених команд.









