Deepfake: чем опасно китайское приложение, заменяющее лицо киногероя на ваше селфи?

Приложение на основе искусственного интеллекта Zao, накладывающее изображение пользователя на видео из кино- и телевизионных фильмов (технология deep fake), приобрело вирусную популярность в Китае. При этом возникли опасения по поводу того, как компания использует фотографии людей.

В частности, возникают вопросы о сохранности личной информации пользователей и о возможности применять приложение для обхода систем распознавания лиц.

Программа была выпущена в Китае 29 августа и быстро оказалась в топе скачиваний.

Но издателю Momo пришлось извиняться из-за пользовательского соглашения, в котором пользователи лишались прав на свои фотографии.

Кроме того, приложение оказалось столь популярно, что серверы перестали справляться с наплывом трафика.

Из-за активного распространения приложения платежной системе Alipay, входящей в Alibaba Group, пришлось заверять клиентов, что фейковые видео, созданные с помощью программы, не смогут обмануть систему распознавания лиц Smile to Pay.

Что такое Zao?

Приложение Zao позволяет заменять лица в коротких видео из фильмов и телепрограмм на селфи из смартфона.

Но некоторые пользователи обратили внимание, что по условиям соглашения разработчики получали бессрочное право на бесплатное использование изображений, созданных с помощью программы, заметило гонконгское издание South China Morning Post.

"Более того, у разработчиков появлялось право передавать это разрешение любой третьей стороне без дополнительного разрешения пользователя", - сообщила газета. По мнению экспертов, это нарушает китайские законы.

Momo в итоге пришлось изъять из пользовательского соглашения это условие и извиниться.

Но популярная соцсеть WeChat все же запретила своим пользователям загружать видео из Zao на свою платформу из-за рисков безопасности.

Также приложение, по всей видимости, становится жертвой собственного успеха. В официальном аккаунте программы в сети Sina Weibo говорится, что в первый же вечер после выхода была использована треть доступного трафика сервера, который компания арендовала за 7 млн юаней (около 1 млн долларов).

На следующий день, на фоне жалоб пользователей на медленную работу приложения, компания "с тяжелым сердцем" сообщила, что свободных емкостей серверов уже не осталось.

Можно ли использовать Zao для мошенничества?

Крупнейшая в мире платежная система Alipay, насчитывающая 870 млн пользователей, заявила, что видео, созданные в Zao, не смогут обмануть систему идентификации.

Большое число пользователей Alipay пользуются услугой Smile to Pay ("улыбнись, чтобы заплатить"). Для аутентификации платежа пользователю нужно просто посмотреть в камеру.

Компания Alibaba, которой принадлежит Alipay, утверждает, что использует сложные алгоритмы, которые защищают систему от фотографий или фейковых видео.

"В интернете существует много программ, которые позволяют менять внешность. Но каких бы реалистичных результатов они ни добивались, пробиться через систему распознавания лица не получится", - сообщила компания в Weibo.

Еще до начала процедуры распознавания лица система определяет, не является ли изображение фотографией, видеозаписью или программной симуляцией.

"Это исключает возможность мошенничества с использованием технологий по изменению внешности", - сообщила Alibaba.

Momo также поспешила заверить, что Zao не может быть использовано для мошенничества, поскольку фотографии пользователей используются исключительно для манипуляции "дипфейковыми" видео.

В прошлом году исследователь Пань Хэ Линь сообщил китайскому изданию China Daily, что технология распознавания лица Alipay теоретически является более защищенной системой, чем обычный пароль.

Какова реакция?

От споров вокруг Zao не осталась в стороне даже официальная китайская пресса.

Global Times заявила, что это очередной пример того, как приложение под управлением искусственного интеллекта может быть использовано во вред. Издание отметило, что Китай уже ужесточает законодательство об использовании искусственного интеллекта для "пересадки лиц" другим людям.

Адвокат Чжан Синь Нянь рассказал газете, что необходимо менять законы, регулирующие пользовательские соглашения. Первоначально соглашение Zao нарушало сохранность личной информации, а когда происходит утечка пользовательских данных, их могут использовать злоумышленники для совершения преступлений.

Beijing News даже считает, что приложение может представлять угрозу национальной безопасности. "Необходимо как можно скорее начать регулировать [программы вроде Zao]", - написала газета.