Віртуальний Обама: навіщо людям цифрові клони

Цифровий Обама

У грудні 2015 року вчені з Вашингтонського університету представили технологію «цифрових двійників»: створення «живих» 3D-моделей з фотографій одного персонажа, зібраних в Інтернеті. Вони продемонстрували потенційні можливості на прикладі відомих акторів та політиків: Тома Хенкса, Арнольда Шварценеггера і Джорджа Буша. Їх робота показала, що коли-небудь можна буде створити цифрову копію будь-якої людини за його фотографіями в соціальних мережах.

Для своєї останньої роботи дослідники вибрали Барака Обаму, так як у відкритому доступі знаходиться безліч годин відео високої чіткості з його участю. Нейромережа проаналізувала 17 годин відео і детально вивчила особливості міміки Обами: рухи губ, зморщок біля рота і очей, зміни форми брів і нахилу голови. Потім отримані дані пов’язали зі звуками його промови, які також були оброблені нейромережею. Спочатку з аудіозапису вилучаються окремі звуки мови, за якими відтворюється міміка. На основі цього створюється реалістична форма губ, яка потім накладається на потрібне відео. Відеоряд обробляють так, щоб рухи спікера виглядали природно.

По суті, дослідники придумали систему, яка дозволяє вставляти в відеоряд сторонню мова і відтворювати міміку мовця: відео з сьогоднішнім Бараком Обамою підігнали під слова, які він говорив десятиліття тому: наприклад, про батьківство або про своє обрання головні редактори журналу в 1990-му році.

Раніше для отримання «цифрових двійників» людей змушували багаторазово повторювати одні і ті ж фрази перед камерами, щоб записати всі поєднання морфем і міміки. Тепер це можна робити за відеозаписами в Інтернеті. З часом на кожного користувача мережі будуть припадати гігабайти фото і відео, тому технологія має шанси стати широко поширеною.

Кіно

Розвиток цифрових двійників може істотно змінити кіноіндустрію. У деяких випадках цифровою копією можна замінити акторів, загиблих або розірвали контракт зі студією під час зйомок. За допомогою цієї технології можна буде «оживити» будь-якого персонажа з минулого: актора, музиканта, політика, історичної особи. Ну і нарешті, цифровий двійник дозволяє обійтися взагалі без акторів – наприклад, якщо режисер захоче зняти продовження свого старого хіта з колишнім акторським складом.


Подібні технології вже розробляються. Технологія захоплення руху ” (motion capture) давно використовується в кіно, однак для цього потрібне розміщення безлічі датчиків на обличчі. Також можна побудувати 3D-модель особи з допомогою датчика глибини, яка дозволить замінити обличчя актора на іншу людину. У 2016 році можливості системи face2face представила команда дослідників з Університету Ерланген, яка змусила Джорджа Буша на відеозаписі імітувати міміку сидить поруч людини. А фахівці з лабораторій Disney Research представили систему Makeup Lamps, яка проектує зображення поверх особи людини з мінімальною затримкою в режимі реального часу. Технологія призначена для студій. З її допомогою монтажери зможуть підсилити міміку персонажа або намалювати йому грим прямо поверх відео.

Відеодзвінки і віртуальна реальність

«Цифрові двійники» можуть допомогти в проведенні відеоконференцій. Основні проблеми виникають при передачі відеоряду, в той час як звук передається з меншою затримкою. Нова технологія дозволить повністю абстрагуватися від картинки: можна просто передавати звук і використовувати програмне забезпечення для відновлення зовнішнього вигляду і міміки людини на екрані. Таке застосування пропонує один із співавторів дослідження Айра Кемельмахер-Шлизерман з Вашингтонського університету. Також розробка може допомогти створювати цифрові копії людини для віртуальної, доповненої і змішаної реальності.

Дослідники відзначають, що їх ролики поки недосконалі: можуть виникати «провали в текстурах», які важко виправити за допомогою тривимірного моделювання. Також їх програма не вміє моделювати емоцій. Нейтральний вираз обличчя цифрової копії може виглядати недоречно, якщо необхідно відтворити щасливу, схвильовану або трагічну мова. Проте вчені кажуть, що було б цікаво дізнатися, чи зможе нейромережа прогнозувати емоційні стани по звуку і створювати відповідні зображення.

Фейкові відео

Вчені намагалися не створювати відеоролики, де вони вкладали б у вуста колишнього президента слова, які він не говорив. Однак провідний автор дослідження Супасорн Суваджанакорн впевнений, що такі відео рано чи пізно з’являться. Їх дослідження пропонує не тільки способи створення підроблених відеороликів, але і способи їх виявлення. Наприклад, маніпуляції з відео можуть розмити роти і зуби. Людське око не помітить різниці, однак досить легко розробити програму, яка буде порівнювати розмитість рота з іншою частиною відео.

Свої побажання та побоювання, свої найщиріші вітання та обурення Ви можете надсилати безпосередньо до Столиці Світу на [email protected]. Ми раді допомогти всім, хто радий допомогти нам. Щира подяка, пані та панове!

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *