Algoritmo cria efeitos convincentes de vídeos através de uma única foto - veja
Créditos: UW News/Reprodução

Algoritmo cria efeitos convincentes de vídeos através de uma única foto - veja

Pesquisadores pretendem melhorar a ferramenta para usá-la em situações com movimento mais complexo

Alguns pesquisadores da Universidade de Washington criaram uma ferramenta baseada em deep learning que consegue criar um vídeo realista a partir de uma única foto estática. O algoritmo foi treinado com diversas fotos e vídeos de cenas como cachoeiras, rios e oceanos para "prever" o padrão de movimento dos pixels e animar um pequeno vídeo.

Já existem diversas aplicações que consegue transformar fotos em vídeos, como O Adobe Premiere Pro, Photoshop e After Effecs, mas o desafio dos pesquisadores é transformar um input simples de apenas uma imagem em um vídeo que realmente possa se passar como real. 


Imagem: Sarah McQuate/Universidade de Washington

O que torna nosso método especial é que ele não exige nenhum imput por parte do usuário ou informação adicional. Tudo o que você precisa é de uma imagem. E ela produz como resposta um vídeo de alta resolução, que parece estar em loop e que fica semelhante a um vídeo real com certa frequência".

 

- Aleksander Holynski, líder da pesquisa.

O time responsável pelo desenvolvimento desse recurso descreveu o seu método nesse artigo e irá apresentá-lo na "Conference on Computer Vision and Pattern Recognition" semana que vem, no dia 22 de junho. Aleksander Holynski é o líder da pesquisa e doutorando na Paul G. Allen School of Computer Science & Engineering.

O funcionamento do algoritmo segue duas etapas, primeiro ele prediz qual o movimento esperado na foto mostrada e depois usa esses resultados pra criar o movimento dos pixels. Para isso, o time de pesquisadores treinou uma rede neural com milhares de vídeos de rios, cachoeiras e outras imagens com movimento fluido.

A próxima etapa do treinamento da rede neural foi dá-la o desafio de efetivamente adivinhar qual seria o movimento seguinte do vídeo a partir de apenas um frame. A partir disso, era necessário criar um sistema de animação, então os pesquisadores usavam um método chamado splatting para mover os pixels da foto de acordo com suas posições nos próximos frames.

18/06/2021 às 14:10
Notícia

Pesquisadores criam drone capaz de detectar gritos para situa...

Equipado com IA e microfones, drone filtra ruídos e reconhece pedidos por socorro

Continua após a publicidade

No entanto, vale destacar que usar apenas esse método gera um problema pois, assim que os pixels são movidos, a imagem acaba ficando com "buracos" de onde os pixels saíram. Para isso, os estudantes criaram o symmetric splating, que faz o mesmo processo do splatting mas que reconstrói os pixels no passado, e não os do futuro. Unindo as duas implementações, o algoritmo consegue gerar o vídeo final completo, veja:


Imagem: Reprodução/UW News

Como o treinamento da rede neural foi feito com imagens com movimentos mais fluidos e, de certa forma, mais previsíveis, o algoritmo funciona melhor com fotos de rios ou cachoeiras ou até de nuvens e fumaça. No entanto, o time de pesquisadores pretende trabalhar nessa ferramenta para animar mais coisas como os movimentos de cabelos humanos ao vento, por exemplo.

Via: Diy Photography Fonte: UW News
User img

Diego Amorim

Huawei Band 6: unboxing e breve comparativo com a Honor Band 6

O que você achou deste conteúdo? Deixe seu comentário abaixo e interaja com nossa equipe. Caso queira sugerir alguma pauta, entre em contato através deste formulário.