Eventos

Eventos

Defesa de Dissertação de Mestrado - Nº 1.879: Análise de Métodos de Otimização de Parâmetros e Tempo de Inferência para Modelos de Aprendizagem Profunda.

09 de Dezembro de 2019 às 15:48:10

Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº  1.879

Aluno: Aline Gondim Santos
Orientador:  Prof. Cleber Zanchettin
Título: Análise de Métodos de Otimização de Parâmetros e Tempo de 
Inferência para Modelos de Aprendizagem Profunda.
Data: 12/12/2019
Hora/Local: 11 h – Centro de Informática – Auditório
Banca Examinadora:
Prof. Adriano Lorena Inácio de Oliveira  (UFPE / Centro de Informática)
Prof. Bruno José Torres Fernandes  (UPE / Escola Politécnica de PE)
Prof. Cleber Zanchettin  (UFPE / Centro de Informática)


RESUMO:

Nos últimos anos as Redes Neurais Profundas ou Deep Neural Networks (DNNs) 
se tornaram o estado da arte em diversos campos de pesquisa como Visão 
Computacional, Processamento de Linguagem Natural, Diagnóstico por Imagem, 
Sistemas de Recomendação, entre outros. O surpreendente é que elas chegaram 
nesse ponto poucos anos após uma Rede Neural Convolucional ou Convolutional 
Neural Network(CNN), a AlexNet, ter ganho notoriedade ao ser a vencedora da 
competição da ImageNet (ILSVRC) em 2012. Além do interesse proveniente dos 
resultados que a AlexNet apresentou na competição, o surgimento de 
bibliotecas de código aberto e a publicação de artigos em conjunto com seus 
códigos-fonte também impulsionaram o crescimento da área. Depois da 
AlexNet, surgiram diversas outras arquiteturas, dentre elas destacam-se, 
por exemplo, redes como a VGG, a GoogleLeNet, a ResNet e a Pix-2-Pix (essa 
última sendo uma Rede Generativa Adversária ou Generative Adversarial 
Network (GAN)). Acompanhando o ritmo acelerado da comunidade acadêmica, 
logo empresas passaram a desejar implantar aplicações baseadas em CNNs. 
Muitas dessas aplicações deveriam ser processadas em dispositivos com 
poucos recursos computacionais e, nesse ponto, os desenvolvedores se 
depararam com problemas relacionados às limitações de suas plataformas. 
Para atender a necessidade de redes mais eficientes, surgiram diversas 
técnicas de otimização de arquiteturas. Essas técnicas podem ser divididas 
entre as que são aplicadas durante ou após o treinamento dos modelos e 
aquelas que são aplicadas antes do seu treinamento. No primeiro dos grupos 
encaixam-se técnicas como a Poda e a Quantização e, no segundo grupo estão 
técnicas como a Convolução Separável em Profundidade ou Dephtwise Separable 
Convolution (DSC), a Mistura de Canais da ShuffleResNet, o Deslocamento de 
Canais da ShiftNet e as Contrações e Expansões da SqueezeNet.
Esta dissertação propõe o estudo comparativo dos efeitos da utilização de 
diferentes técnicas de otimização nos modelos CNNs. Para tal, é proposta a 
implementação da DSC, e dos módulos de Mistura e de Deslocamento de Canais 
nas redes SqueezeNet, ResNet e Pix-2-Pix. Os experimentos são conduzidos 
com as bases de dados CIFAR10 e CIFAR100 nas duas primeiras redes e com a 
base maps←→satellite na última rede. Os resultados obtidos formam um 
conjunto de referência que futuros desenvolvedores podem usar como guia na 
escolha entre as técnicas de otimização aqui apresentadas.

Palavras-chave: Redes Neurais Convolucionais (CNNs). Redes Generativas 
Adversárias(GANs). Técnicas de otimização de arquitetura. Convoluções 
separáveis em profundidade(DSCs). Mistura de Canais. Deslocamento de 
canais. SqueezeNet. ResNet. Pix-2-Pix.