A Disney Research Studios e o Instituto Federal de Tecnologia de Zurique (ETH Zurich) publicaram um estudo detalhando um novo algoritmo capaz de trocar rostos em fotos e vídeos de alta resolução em tempo real. O impressionante desse sistema é a capacidade de automatizar completamente o processo de troca de rosto, apresentando imagens geradas por máquina com uma resolução coerente e fotorrealista.

O novo "algoritmo de otimização" se baseia no rosto de uma pessoa para modificá-lo usando o rosto de outra pessoa. Assim, o sistema acaba misturando os dois para que o resultado seja muito convincente, apresentando as expressões e movimentos do modelo base com as características faciais da segunda cara.

Confira o vídeo abaixo:

O sistema envolve uma rede de "pentes de várias vias" treinada com imagens de várias pessoas, além de um método de mistura de rostos que preserva o contraste e a iluminação para não ficar um face swap esquisito. O estudo compara os resultados de troca de face do novo método com os resultados dos algoritmos existentes, incluindo programas como DeepFaceLab e DeepFakes. 

"Também mostramos que, embora o treinamento progressivo permita a geração de imagens de alta resolução, estender a arquitetura e os dados de treinamento para mais de duas pessoas nos permite obter maior fidelidade nas expressões geradas."
- Pesquisadores da Disney e Instituto 

"Também mostramos que, embora o treinamento progressivo permita a geração de imagens de alta resolução, estender a arquitetura e os dados de treinamento para mais de duas pessoas nos permite obter maior fidelidade nas expressões geradas."
- Pesquisadores da Disney e Instituto 

O alto nível de qualidade se deve ao "algoritmo de estabilização de referência", algo que os pesquisadores da Disney descrevem como um aspecto crucial ao lidar com conteúdo de alta resolução. O estudo desses profissionais aponta que os métodos existentes usados ??para gerar personagens como a princesa Leia Organa no filme Rogue One são demorados e bastante caros.

Gerar faces realistas do zero continua sendo um grande desafio tecnológico, mas produzir um rosto baseado em outros é algo muito mais fácil. Isso mostra que a nova tecnologia da Disney é um avanço na área. Isso dá a possibilidade de criadores gerar trocas de rosto fotorrealistas, de alta resolução e com estabilidade temporal entre duas pessoas. Os pesquisadores explicam:

"Como nosso sistema também pode trocar de maneira múltipla - permitindo que qualquer par de performances (expressões dos atores) e aparências em nossos dados sejam trocados - os possíveis benefícios para os efeitos visuais são extensos, tudo em uma fração do tempo e das despesas necessárias para usar os recursos mais tradicionais."
- Pesquisadores da Disney e Instituto

"Como nosso sistema também pode trocar de maneira múltipla - permitindo que qualquer par de performances (expressões dos atores) e aparências em nossos dados sejam trocados - os possíveis benefícios para os efeitos visuais são extensos, tudo em uma fração do tempo e das despesas necessárias para usar os recursos mais tradicionais."
- Pesquisadores da Disney e Instituto