Banca de DEFESA: RENAN PAIVA OLIVEIRA COSTA

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE: RENAN PAIVA OLIVEIRA COSTA
DATA: 28/02/2024
HORA: 09:00
LOCAL: CI
TÍTULO: Uma Investigação sobre a Aplicabilidade de Redes Transformers no Contexto de Tradução Automática para Língua Brasileira de Sinais
PALAVRAS-CHAVES: línguas de baixos recursos, tradução automática neural, língua de sinais, Transformers, busca randômica, busca por hiperparâmetros
PÁGINAS: 100
GRANDE ÁREA: Ciências Exatas e da Terra
ÁREA: Ciência da Computação
SUBÁREA: Metodologia e Técnicas da Computação
RESUMO: Segmentos significativos da população mundial, incluindo a comunidade surda, não conseguem se beneficiar plenamente dos recursos da tradução automática neural (ou NMT, do inglˆes Neural Machine Translation) devido a vários desafios que os desenvolvedores enfrentam ao construir tais sistemas para linguagens de poucos recursos, como as línguas de sinais. Algumas pesquisas recentes de processamento de linguagem natural (PLN) com poucos recursos focam na criação de novos mecanismos linguísticos e benchmarks, enquanto outra corrente busca personalizar soluções de NMT existentes para novos idiomas e domínios. Adicionalmente, modelos recentes de PLN podem ser igualmente aplicáveis tanto para linguagens de poucos recursos quanto para domínios sem tais limitações e algumas correntes começam a investigar se novas técnicas de NMT também podem ser generalizadas para diferentes recursos - em termos de disponibilidade de dados e disponibilidade de recursos computacionais. Neste contexto, o foco deste estudo foi prospectar modelos de Redes Transformers e analisar a sua potencial aplicabilidade em contextos de poucos recursos, como é o caso das línguas de sinais. Para uma melhor avaliação, alguns dos modelos de Redes Transformers mais promissores foram adaptados e utilizados no componente tradutor da Suíte VLibras e os resultados obtidos comparados com os fornecidos atualmente pela arquitetura LightConv. Nesse contexto, o primeiro conjunto de experimentos foi focado em avaliar se tal adequação poderia também ser aplicada em contextos de low-resources NLP, que é o caso das línguas de sinais. Os resultados obtidos indicam que a adoção de uma das duas arquiteturas melhor classificadas (Transformer Básico ou ByT5) ajudaria a aumentar a precisão e qualidade do componente de tradução da Suíte VLibras, trazendo um aumento percentual máximo de até 12,73% na métrica BLEU. A partir de prospecção e avaliação dos modelos em evidência, considerando que o processo de seleção de modelos candidatos teve um espaço de busca mais amplo, foi realizado um estudo mais aprofundado para tentar otimizar o modelo Vanilla Transformer. Na segunda fase de experimentação, foi realizada uma busca e uma varredura de hiperparâmetros relevantes considerando os seguintes hiperparâmetros: bpe tokens, warmup updates, relu dropout, attention dropout, dropout, augmentation e learning rate, que apontou que os três primeiros respondiam por cerca de 80% da capacidade de predição do modelo. Os resultados médios obtidos para a métrica BLEU usando o modelo Transformer Básico com hiperparâmetros refinados foram superiores em cerca de 17,45% do que média do modelo de referência e 8,95% melhor do que a média obtida pelo modelo melhor classificado na fase de prospecção, ByT5, o que indica um bom potencial da estratégia de refinamento da configuração de hiperparêmetros.
MEMBROS DA BANCA:
Presidente - 2813926 - TIAGO MARITAN UGULINO DE ARAUJO
Interno - 1743917 - THAIS GAUDENCIO DO REGO
Externo ao Programa - 1805780 - DANIEL FAUSTINO LACERDA DE SOUZA
Externo ao Programa - 1827772 - YURI DE ALMEIDA MALHEIROS BARBOSA