Уявіть: ви усміхаєтеся перед камерою, а на великому екрані разом із вами усміхається Наполеон. Піднімаєте брови — і знайомий історичний портрет повторює ваш рух. У Празі відвідувачі Фестивалю світла «Сигнал» (Signal Festival) можуть випробувати технологію «ФейсІт» (FaceIt), яку розробляють науковці Чеського технічного університету. Для цього достатньо стати перед камерою.
Серед портретів, на які можна перенести власну міміку, — Наполеон, Альберт Ейнштейн і Мерилін Монро. Побачити інсталяцію можна сьогодні, 18 жовтня, з 19:00 до опівночі на Технічній вулиці в празькому районі Дейвіце. Вхід вільний.
Ви рухаєте обличчям — портрет повторює
Принцип роботи «ФейсІт» на перший погляд простий. Людина стає перед камерою, дивиться на проєкцію, усміхається, хмуриться або повертає голову. Система в реальному часі переносить ці рухи на стилізоване зображення іншої людини.
Портрет при цьому зберігає свій художній вигляд. Якщо на екрані зображений Наполеон, відвідувач не бачить звичайного відео зі своїм обличчям. Він бачить портрет, який реагує на його міміку.
Технологію створюють дослідники факультету електротехніки Чеського технічного університету в Празі (ČVUT). Командою керує професор Даніел Сикора (Daniel Sýkora) із кафедри комп’ютерної графіки та взаємодії.
У повідомленні університету від 7 жовтня науковці пояснили, що їхня мета значно складніша за звичайну анімацію обличчя. Система повинна передавати навіть дрібні зміни виразу, які допомагають розпізнавати емоції людини.
Чому це цікавіше за звичайний фільтр зі смартфона
Сучасні програми вже вміють перетворювати людей на персонажів мультфільмів, змінювати обличчя та створювати відео за допомогою штучного інтелекту.
Але, за словами професора Сикори, під час таких перетворень можуть губитися ледь помітні рухи обличчя. Наприклад, невелика зміна положення брів чи кутиків губ. Зображення виглядає красиво, але вже не зовсім точно повторює емоцію людини.
У «ФейсІт» дослідники намагаються зберегти зв’язок між реальною мімікою та її відображенням на портреті. Водночас система повинна залишати впізнаваними художній стиль і риси зображеного персонажа.
Для створення окремих вихідних зображень можна використовувати й генеративний штучний інтелект. Проте саме перенесення міміки спирається на спеціально розроблені алгоритми обробки зображення.
Несподівана деталь: в основі нового рішення лежить принцип обробки зображень, відомий приблизно двадцять років. Науковці переробили його так, щоб складні обчислення виконувалися достатньо швидко для показу в реальному часі.
За поясненням університету, технологію вдалося пристосувати навіть до мобільних графічних процесорів. А для фестивальної демонстрації використовують камеру, комп’ютер і проєкцію. Відвідувачам не потрібно встановлювати застосунок або користуватися власним телефоном.
Над розробкою працювали дослідники з Чехії, Швейцарії та США
Першим автором наукової роботи став Марек Дворожняк (Marek Dvorožňák), докторант професора Сикори. Над проєктом він працював, зокрема, під час стажування в компанії «Гугл» (Google).
До дослідження також долучилися фахівці Швейцарської вищої технічної школи Цюриха (ETH Zürich) та Університету Вашингтона (University of Washington).
На Фестивалі світла наукова розробка стала інтерактивною інсталяцією. Замість демонстрації формул чи графіків відвідувач отримує можливість самостійно побачити, як працює передавання міміки.
Поруч оживає історія студентських гоночних болідів
За кілька десятків метрів від «ФейсІт» університет показує ще одну технологічну інсталяцію — «Ефорс: ДНК переможців» (EFORCE: DNA vítězů).
Це восьмихвилинна аудіовізуальна проєкція на фасаді факультету електротехніки Чеського технічного університету. Вона присвячена більш ніж п’ятнадцяти рокам роботи студентської команди, яка розробляє гоночні автомобілі.
Історія починається з машин із двигунами внутрішнього згоряння, проходить через появу електричних болідів і доходить до технологій автономного керування.
Автори перетворили фасад університету на своєрідну подорож його коридорами, лабораторіями та майстернями. На проєкції з’являються електродвигуни, акумулятори й електронні плати, а потім із цих деталей складається гоночна машина.
Для створення роботи команда використала спогади нинішніх і колишніх учасників студентського проєкту. Продюсер інсталяції Даніел Мєкота (Daniel Měkota) пояснив, що авторам хотілося передати відчуття роботи над машиною, які неможливо показати лише технічними характеристиками.
За програмою фестивалю, проєкція триває вісім хвилин і повторюється щопівгодини: о 19:15, 19:45 та далі за таким самим розкладом до завершення вечора.
Де побачити портрети Наполеона та Ейнштейна
Обидві інсталяції розташовані в університетському кампусі Дейвіце, на Технічній вулиці (Technická ulice), Прага 6.
- «ФейсІт» (FaceIt) — фасад факультету машинобудування Чеського технічного університету. Інтерактивна проєкція працює безперервно з 19:00 до 24:00.
- «Ефорс: ДНК переможців» (EFORCE: DNA vítězů) — фасад факультету електротехніки, за кілька десятків метрів від першої інсталяції. Покази починаються о 19:15 і повторюються щопівгодини.
Обидва проєкти входять до безкоштовної студентської зони «Студентські візії» (Student Visions). Вони доступні для людей з обмеженою мобільністю.
Людям з епілепсією організатори не рекомендують відвідувати ці інсталяції через інтенсивні світлові ефекти.
Сьогодні, у неділю 18 жовтня, останній день Фестивалю світла «Сигнал» у Празі. Інсталяції працюватимуть до опівночі.
Тим, хто планує побачити також інші світлові роботи, стане в пригоді маршрут фестивалю районами Дейвіце та центром Праги: він допоможе поєднати університетські інсталяції з рештою програми останнього вечора.
