Dissertação
Towards Augmentative Communication in Virtual Environments EVALUATED
Em Portugal, estima-se que existam 150.000 surdos e cerca de um milhão que sofram de algum tipo de perda auditiva. Estas pessoas comunicam usando LGP, mas apenas cerca de 100.000 pessoas podem falar esta língua. Existem algumas soluções de realidade estendida (XR) que traduzem LGP para texto ou fala ou que ensinam as pessoas a falar LGP. O problema com essas soluções é que demoroso aprender a falar LGP, enquanto as soluções de tradução só ajudam a pessoa que não fala LGP, o que significa que a barreira linguística entre estes falantes continuará a existir. Neste trabalho, propomos uma nova abordagem que utiliza dispositivos de realidade virtual (VR) para possibilitar comunicação aumentativa em VR. A nossa abordagem melhora a comunicação entre surdos e não surdos, permitindo a comunicação bidirecional. A nossa abordagem usa Template Matching para a tradução de gestos para fala e técnicas de linguagem natural e um avatar 3D para traduzir a fala em gestos LGP. Com a nossa abordagem, conseguimos reconhecer um grupo selecionado de gestos LGP e traduzi-los em fala, e traduzir fala em gestos num cenário de conversa em tempo real. Para avaliar a nossa abordagem desenvolvemos um protótipo de VR que permite a comunicação remota entre um falante LGP e um não-falante de LGP num ambiente virtual. Testámos três diálogos diferentes em que um par de participantes trocava informações entre si. Os resultados mostram que a nossa abordagem fornece mecanismos eficazes permitindo a comunicação aumentativa entre um falante LGP e um não-falante de LGP.
novembro 11, 2022, 9:0
Publicação
Obra sujeita a Direitos de Autor
Orientação
ORIENTADOR
Departamento de Engenharia Informática (DEI)
Professor Catedrático
