Eventos

Eventos

Dissertação de Mestrado Nº 1.923: Single Image HDR Reconstruction Using a CNN with Masked Features and Perceptual Loss

27 de Agosto de 2020 às 18:55:51

Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº  1.923

Aluno: Marcel Santana Santos
Orientador: Prof. Tsang Ing Ren
Co-orientador: Prof. Nima Khademi Kalantari (Texas A&M University)
Título: Single Image HDR Reconstruction Using a CNN with Masked Features 
and Perceptual Loss
Data: 31/08/2020
Hora/Local: 10h – Virtual - https://meet.google.com/oyo-fmru-jbc 
Banca Examinadora:
Prof. Sílvio de Barros Melo (UFPE / Centro de Informática)
Prof. Manuel Menezes de Oliveira Neto (UFRGS / Instituto de Informática)
Prof. Tsang Ing Ren  (UFPE / Centro de Informática)


RESUMO:

Câmeras digitais convencionais não são capazes de capturar completamente o alcance de iluminação das cenas (expressa por uma grandeza conhecida por luminância). Consequentemente, as imagens produzidas por estes dispositivos geralmente apresentam regiões com saturação e, portanto, informações da cena são perdidas. Métodos tradicionais para reconstrução desse intervalo perdido pela captura não são capazes de reconstruir as texturas e detalhes das cenas, produzindo resultados com artefatos nas regiões saturadas. No presente trabalho, foram investigados métodos baseados em redes neurais convolucionais para reconstrução de imagens com alto alcance dinâmico (HDR) a partir de apenas uma imagem capturada com câmeras convencionais (LDR). Essas imagens HDR são capazes de expressar com fidelidade os detalhes das cenas e se aproximam do que o sistema visual humano é capaz de capturar. O método proposto é capaz de reconstruir as regiões saturadas das imagens de entrada com um alto grau realismo. Para alcançarmos este resultado, diversas contribuições foram realizadas. Primeiramente, os métodos baseados em redes convolucionais em geral aplicam o mesmo conjunto de filtros convolucionais nas regiões saturadas e não saturadas das imagens. No entanto, as regiões saturadas não contém informação válida, o que causa ambiguidade durante o treinamento causando diversos artefatos no resultado final. Para resolver este problema, foi proposto um mecanismo (apelidado feature masking) para reduzir a contribuição das regiões saturadas no cálculo das convoluções. Além disso as funções de erro perceptual (comumente utilizadas em problemas de síntese de imagens) para o treinamento da rede foram revisitadas e adaptadas para o problema de reconstrução de imagens HDR. Como resultado, o método proposto é capaz de produzir texturas realísticas e com um alto grau de fidelidade a cena original. Além disso, como as bases de dados de treinamento para o presente problema ainda são limitadas, foi proposto realizar o treinamento do método em duas etapas. Especificamente, o método é inicialmente treinado em um número grande de imagens em uma tarefa auxiliar (image inpainting, neste caso) e então refinado para a tarefa de reconstrução de imagens HDR. Por fim, como a maioria das imagens de treinamento contém regiões simples de serem reconstruídas, foi proposto uma estratégia para selecionar regiões difíceis para serem utilizadas durante a etapa de refinamento da rede neural. Essa estratégia simples é capaz de aumentar a robustez e reduzir o tempo de treinamento do método. Diversos experimentos foram conduzidos em uma grande variedade de cenários para demonstrar visualmente e numericamente que o método proposto é capaz de produzir imagens HDR com alto grau de realismo e melhor que os métodos estado-da-arte. Um artigo decorrente do presente trabalho foi aceito na conferência ACM SIGGRAPH 2020.


Palavras-chave: high dynamic range imaging, convolutional neural network, 
feature masking, perceptual loss