Banca de QUALIFICAÇÃO: RENAN PAIVA OLIVEIRA COSTA

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE: RENAN PAIVA OLIVEIRA COSTA
DATA: 28/08/2023
HORA: 14:00
LOCAL: CI
TÍTULO: Avaliação do Uso de Modelos de Aprendizagem Profunda em Tradução Automática de Línguas de Sinais
PALAVRAS-CHAVES: acessibilidade, tradução automática neural, língua de sinais, processamento de linguagem natural, busca por hyperparâmetros.
PÁGINAS: 88
RESUMO: Segmentos significativos da população mundial, incluindo a comunidade surda, não conseguem se beneficiar plenamente dos recursos da tradução automática neural (NMT) devido a vários desafios que os desenvolvedores enfrentam ao construir tais sistemas para linguagens de poucos recursos, como as línguas de sinais. Algumas pesquisas recentes de processamento de linguagem natural (PLN) com poucos recursos focam na criação de novos mecanismos linguísticos e benchmarks, enquanto outra corrente busca personalizar soluções de NMT existentes para novos idiomas e domínios. Adicionalmente, modelos emergentes de PLN podem ser igualmente aplicáveis tanto para linguagens de poucos recursos quanto para domínios sem tais limitações e algumas correntes começam a investigar se novas técnicas de NMT também podem ser generalizadas para diferentes recursos - em termos de disponibilidade de dados e disponibilidade de recursos computacionais. Neste contexto, o foco deste estudo foi prospectar métodos NMT emergentes e analisar a sua potencial aplicabilidade em contextos de poucos recursos, como é o caso das línguas de sinais. Para uma melhor avaliação, alguns dos modelos emergentes mais promissores identificados foram adaptados e utilizados no componente tradutor da Suíte VLibras e os resultados obtidos comparados com os fornecidos atualmente pela arquitetura \textit{LightConv}. Nesse contexto, o primeiro conjunto de experimentos foram focados em avaliar se tal adequação poderia também ser aplicada em contextos de low-resources NLP, que é o caso das línguas de sinais. Os resultados obtidos indicam que a adoção de uma das duas arquiteturas melhor classificadas (Transformer Básico ou ByT5) ajudaria a aumentar a precisão e qualidade do componente de tradução da Suíte VLibras, trazendo um aumento percentual máximo de até 12,73% considerando na métrica BLEU. A partir de prospecção e avaliação dos modelos emergentes, considerando que o processo de seleção de modelos candidatos teve um espaço de busca mais amplo, foi realizado um estudo mais aprofundado para tentar otimizar o modelo Transformer Básico. Na segunda fase de experimentação, foi realizado uma busca por hiperparâmetros relevantes considerando os seguintes hiperparâmetros: bpe tokens, warmup uodates, relu dropout, attention dropout, dropout, augmentation e learning rate, que apontou que os três primeiros respondiam por cerca de 80% da capacidade de predição do modelo. Os resultados obtidos para a métrica BLEU usando o modelo Transforme Básico reconfigurado foram superiores em cerca de 5% que o modelo de referência e mais próxima da média obtida pelo modelo melhor classificado, ByT5, o que indica um bom potencial da estratégia de refinamento da configuração de hyperparâmetros.
MEMBROS DA BANCA:
Presidente - 2813926 - TIAGO MARITAN UGULINO DE ARAUJO
Interno - 1743917 - THAIS GAUDENCIO DO REGO
Externo ao Programa - 1827772 - YURI DE ALMEIDA MALHEIROS BARBOSA
Externo ao Programa - 2023253 - YUSKA PAOLA COSTA AGUIAR