Dissertação
Multi-level Data Representation For Training Deep Helmholtz Machines EVALUATED
A grande maioria dos estudos no âmbito de Machine Learning são feitos usando algoritmos com fortes argumentos que apontam para a sua implausibilidade biológica tais como Backpropagation, desviando assim o foco desta área de entender a sua original inspiração orgânica para uma procura compulsiva por melhor performance. No entanto, existem alguns modelos propostos que respeitam a maioria das restrições existentes no cérebro humano, e são validos candidatos para simulações de algumas das suas propriedades e mecanismos. Nesta tese, iremo-nos focar em guiar a aprendizagem de um modelo generativo biologicamente plausível chamado Helmholtz Machine em espaços de procura complexos, usando uma heurística baseada no mecanismo de percepção de imagens humano. A nossa hipótese é que o algoritmo de aprendizagem deste modelo não é adequado para redes profundas devido à sua regra de aprendizagem local semelhante à regra de Hebb, tornando-o incapaz de tirar partido das propriedades composicionais que redes com várias camadas oferecem. Propomos uma solução para resolver este problema, oferecendo informações visuais a diferentes resoluções às camadas internas da rede do modelo, usando representações dos dados a vários níveis de resolução. Os resultados em diferentes datasets de imagens mostram que o modelo foi capaz de não só obter melhor qualidade, mas também uma maior diversidade nas imagens geradas, o que corrobora a nossa intuição de que ao usar a heurística proposta, o modelo é capaz de tirar maior partido da profundidade da rede. Mais importante, mostram as possibilidades inexploradas por detrás de modelos e técnicas inspiradas no cérebro humano.
novembro 21, 2022, 13:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Auxiliar