Dissertação
Leveraging Deep Unsupervised Models Towards Learning Robust Multimodal Representations EVALUATED
Os modelos de aprendizagem profunda têm sido cada vez mais utilizados em aplicações comerciais, desde a deteção de discursos de ódio na Internet até ao diagnóstico de doenças em pacientes médicos, tendo impacto em quase todas as facetas das nossas vidas. No entanto, as arquitecturas existentes podem não funcionar corretamente com dados com ruído e são vulneráveis a ataques adversariais, em que pequenas perturbações nos dados podem levar os modelos a ter um desempenho muito pior do que o esperado, sendo que isto pode levar a consequências catastróficas. Nova investigação sobre algoritmos de aprendizagem contrastiva tem impulsionado o desenvolvimento de modelos generativos e de técnicas de aprendizagem não supervisionada que têm o propósito de aprender representações significativas a partir de conjuntos de dados com múltiplas modalidades. Em teoria, estes modelos multimodais deveriam ser mais robustos contra perturbações numa só modalidade, mas trabalhos anteriores demonstram que isto não se verifica na prática. Neste trabalho, propomos várias novas arquitetura que usam dados multimodais, combinado com princípios de modelos treinados para remover ruído e para detetar elementos que não pertencem a um conjunto, que são é robustas em cenários no qual uma das suas modalidades foi perturbada por ataques adversariais ou ruído. Para avaliar a robustez destas arquiteturas, testamos vários modelos em conjuntos de dados multimodais com e sem perturbações, e em cenários em que removemos uma das suas modalidades.
novembro 23, 2023, 9:0
Documentos da dissertação ainda não disponíveis publicamente
Orientação
ORIENTADOR
Francisco António Chaves Saraiva de Melo
Departamento de Engenharia Informática (DEI)
Professor Associado
