O Centro Universitário FEI, que celebra 85 anos de atuação acadêmica, apresentou no INOVAFEI, evento institucional destinado à exposição e premiação de Trabalhos de Conclusão de Curso (TCC), uma pesquisa de Inteligência Artificial aplicada à Engenharia de Automação que introduz o conceito de "vocabulário aberto" no monitoramento fabril. Desenvolvido pelo aluno e pesquisador Lucas Teles Thomaz sob a orientação dos professores Carlos Eduardo Thomaz (FEI) e Kunyu Peng (Karlsruhe Institute of Technology), o projeto FACT-CLIP resultou em um sistema que segmenta e identifica ações humanas em vídeos de linhas de produção ao alinhar registros visuais a descrições em texto. O avanço científico do trabalho foi validado por meio de cooperação internacional com foco na otimização de processos industriais complexos.
A validação do algoritmo utilizou o benchmark HA-ViD, base de dados de referência que reúne 86,9 horas de gravação e mais de 1,5 milhão de quadros de vídeo sob diferentes ângulos e condições de iluminação. Na análise de segmentação tradicional, com 75 classes integradas ao treinamento, a arquitetura obteve 42,7% de acurácia média quadro a quadro, superando trabalhos recentes em métricas comumente usadas neste problema (F1 e Edit), indicadores globais que avaliam a precisão, a continuidade e a ordem lógica das ações no vídeo. No teste de vocabulário aberto com cinco classes inéditas e ausentes do treinamento, o modelo FACT-CLIP proposto atingiu 7,8% de acurácia e 10,0% de F1, enquanto os sistemas convencionais mantiveram-se em 0% por não reconhecerem comandos fora de sua lista rígida de programação.
O orientador do projeto e professor Carlos Eduardo Thomaz, explica que o método expande significativamente o limite dos softwares convencionais de monitoramento por câmeras: "O 'vocabulário aberto' busca tornar esse processo mais flexível ao criar uma ponte entre as imagens do vídeo e descrições escritas das ações. Quando o modelo encontra uma ação nova, nunca vista antes durante o treinamento, ele pode reconhecê-la a partir de uma descrição textual de movimentos e objetos cujos elementos já conhece. O sistema deixa então de depender exclusivamente de uma lista rígida e abre caminho para incluir novas ações por meio da linguagem, sem recomeçar todo o treinamento do zero."
O mapeamento temporal gerado pelo FACT-CLIP foi estruturado com foco em ambientes de montagem industrial. O sistema converte os registros visuais em linhas de tempo automatizadas (etapas de posicionamento, inserção e fixação de componentes), o que viabiliza sua aplicação no suporte ao treinamento de operadores, auditoria de qualidade, documentação de processos e na segurança contra falhas de ordenação operacional. Há ainda potencial de integração com robôs colaborativos para antecipação de suporte ao trabalhador humano.
O pesquisador e autor do trabalho, Lucas Teles Thomaz, detalha que o algoritmo foi concebido durante seu intercâmbio na Alemanha e demandou um esforço computacional robusto em cooperação internacional: "A parceria nasceu no Karlsruhe Institute of Technology (KIT), onde surgiu o desafio de aplicar o vocabulário aberto à arquitetura FACT. Unindo a orientação da FEI com a colaboração do KIT, nós acrescentamos um mecanismo de alinhamento com o CLIP. Como a parte computacional era muito pesada, o instituto alemão disponibilizou acesso aos seus clusters com GPUs NVIDIA Quadro RTX 6000 e 8000. Mesmo de volta ao Brasil, consegui realizar todos os treinamentos conectando-me aos servidores deles por VPN e SSH."
Os resultados obtidos qualificam o FACT-CLIP como uma prova de conceito em estágio laboratorial, restrita a câmeras fixas. Fatores como oclusões visuais severas, deslocamento de câmeras e baixos índices de luminosidade não integraram o escopo dos testes atuais e demandam novas etapas de investigação científica antes de uma eventual viabilidade comercial da tecnologia.