Banca de QUALIFICAÇÃO: ALINE MOURA ARAUJO

Uma banca de QUALIFICAÇÃO de MESTRADO foi cadastrada pelo programa.
DISCENTE: ALINE MOURA ARAUJO
DATA: 26/08/2021
HORA: 17:00
LOCAL: Google Meet
TÍTULO: DETECÇÃO E DESTAQUE EM VÍDEO DE INSTRUMENTOS MUSICAIS UTILIZANDO YOLO
PALAVRAS-CHAVES: Instrumentos Musicais, Detecção de Objetos, Detecção em Vídeo, YOLO
PÁGINAS: 53
RESUMO: A detecção de objetos é um problema clássico relacionado à visão computacional que trata da localização de instâncias de objetos semânticos de uma classe específica. Na última década, a aplicação de redes neurais profundas impulsionou significativamente tarefas como classificação de imagens ou detecção de objetos. Especificamente no âmbito de reconhecimento de instrumentos musicais em vídeos, para humanos essa tarefa exige uma combinação de modalidades de percepção múltipla. Apesar da tarefa ser relativamente fácil de ser executada por humanos, combinar informações multimodais não é trivial para algoritmos de aprendizagem de máquina. Nesse sentido, o objetivo deste trabalho foi implementar um sistema capaz de realizar uma detecção dos instrumentos guitarra elétrica, guitarra acústica e microfone de forma automática em vídeo. Após essa detecção, um novo vídeo é gerado dando ênfase ao instrumento detectado, escolhido pelo usuário, a fim de facilitar a observação de sua execução. Para tanto, a rede neural de código aberto YOLO foi treinada utilizando a base da Imagenet para que seja capaz de fazer a detecção de instrumentos musicais. Além disso, também foi desenvolvido um sistema que, utilizando a rede YOLOv4 treinada, é capaz de identificar instrumentos musicais e fazer um procedimento semelhante a um zoom in no vídeo. Essa detecção foi feita a cada 12 frames. Esse sistema foi posteriormente testado utilizando vídeos recuperados do Youtube. A rede foi treinada no ambiente Google Collaboratory e o sistema foi desenvolvido em Python v 3.8. Em relação aos resultados da rede, foi possível identificar com maior IoU a presença da guitarra acústica e microfone no vídeo. No sistema de zoom in, houve a perda de qualidade em relação à resolução do vídeo original e não houve perda significativa de conteúdo do vídeo devido ao intervalo dos frames na detecção.
MEMBROS DA BANCA:
Presidente - 1743917 - THAIS GAUDENCIO DO REGO
Interno - 1167863 - LEONARDO VIDAL BATISTA
Externo ao Programa - 2476422 - LINCOLN DAVID NERY E SILVA
Externo ao Programa - 3089218 - TELMO DE MENEZES E SILVA FILHO
Externo ao Programa - 1827772 - YURI DE ALMEIDA MALHEIROS BARBOSA