Aplicação de Técnicas de Inteligência Computacional para Análise da Expressão Facial em Reconhecimento de Sinais de Libras

O reconhecimento automatico de expressoes faciais e um problema complexo que requer a aplicacao de tecnicas de Inteligencia Computacional, em especial aquelas relacionadas a area de Reconhecimento de Padroes. A utilizacao destas tecnicas nesse trabalho tem como objetivo estabelecer uma abordagem que permita a diferenciacao de sinais da Lingua Brasileira de Sinais, conhecida por Libras, por meio de um dos seus parâmetros fonologicos: as expressoes nao-manuais. Estas expressoes sao formadas pelo movimento da face, dos olhos, da cabeca e/ou do tronco. O objetivo principal da presente pesquisa foi mensurar a importância da expressao facial durante a execucao do sinal de Libras e verificar se apenas a mudanca na fisionomia e suficiente para identificar um sinal. A partir desta premissa, uma metodologia para o reconhecimento automatico de sinais da Libras foi estruturada e validada por uma base de dados composta por 10 sinais de Libras capturados por um sensor RGB-D (Kinect). Esta base de sinais foi construida para esta aplicacao e nela cada sinal selecionado para sua composicao foi executado por apenas um sinalizador. A base de sinais de Libras disponibiliza as coordenadas (x,y) da posicao de 121 pontos do rosto e os videos de cada gravacao de cada sinal. A partir destas informacoes disponiveis, as etapas a seguir foram implementadas: (i) deteccao e recorte da face, que e a regiao de interesse desse trabalho; (ii) sumarizacao dos videos com as imagens do rosto utilizando o conceito da maximizacao da diversidade em termos de distância temporal e da diferenca de cores no padrao RGB entre os quadros. Esta etapa foi necessaria para eliminar informacoes redundantes e por meio dela foram obtidos os cinco quadros mais significativos das gravacoes de cada sinal; (iii) criacao de dois vetores de caracteristicas: um a partir da concatenacao dos 121 pontos cartesianos disponiveis na base de sinais e outro a partir da informacao obtida pela aplicacao do descritor de textura LBP (...