Use este identificador para citar ou linkar para este item:
https://hdl.handle.net/20.500.14867/848434| Título: | Detecção e classificação de sons de peixes marinhos utilizando técnicas de inteligência artificial |
| Autor(es): | Barroso, Viviane Rodrigues |
| Orientador(es): | Ferreira, Carlos E. L. Xavier, Fabio Contrera |
| Palavras-chave: | Aprendizado de máquina Embeddings multimodais Classificação de sons |
| Áreas de conhecimento da DGPM: | Biotecnologia marinha |
| Setor(es) da Marinha: | Diretoria-Geral do Desenvolvimento Nuclear e Tecnologia da Marinha (DGDNTM) |
| Data do documento: | 2026 |
| Editor: | Instituto de Estudos do Mar Almirante Paulo Moreira (IEAPM) |
| Descrição: | O estudo da bioacústica de peixes por meio do Monitoramento Acústico Passivo (MAP) é essencial para a compreensão da biodiversidade marinha e a avaliação dos impactos de estressores antropogênicos sobre os ecossistemas aquáticos. No entanto, essa área ainda apresenta lacunas decorrentes da complexidade das paisagens sonoras subaquáticas e da escassez de conjuntos de dados rotulados, validados e específicos por espécie. Esta tese explora a evolução e a aplicação da inteligência artificial (IA) na automação da detecção e classificação de sons de peixes. A fundamentação desta pesquisa estruturou-se a partir de uma análise crítica do estado da arte, que evidenciou a necessidade de métodos que superem a limitação da escassez de dados rotulados e aumentem a interpretação e transparência dos modelos. Diante disso, estabeleceu-se um framework de aprendizado supervisionado para a classificação de sons pulsados de peixes em um ambiente de recife rochoso subtropical. Com a incorporação de técnicas de aumento de dados, os modelos, em particular o Perceptron Multicamadas, alcançaram uma acurácia de 98,1%. A inovação desta etapa reside no uso de Inteligência Artificial Explicável (Explainable Artificial Intelligence – XAI), que ampliou a transparência e a interpretabilidade dos modelos, além da identificação inédita de características acústicas determinantes, conferindo uma base de interpretação biológica às decisões automatizadas dos modelos. Como uma alternativa para superar a lacuna de escassez de dados rotulados, a pesquisa avançou para o uso do Contrastive Language–Audio Pre training (CLAP). Por meio de recuperação cruzada entre modalidades e classificação zero-shot, essa abordagem multimodal demonstrou uma capacidade robusta de reconhecer padrões acústicos sem a necessidade de grandes conjuntos de dados para treinamento. Destaca-se o desempenho expressivo para a família Sciaenidae, que respondeu por mais de 60% das classificações corretas. Em conjunto, esses resultados indicam que, embora modelos supervisionados apresentem alta precisão na classificação desses sons, embeddings multimodais e técnicas de aprendizado zero-shot oferecem maior flexibilidade para um monitoramento acústico marinho escalável e taxonomicamente informado. |
| Abstract: | The study of fish bioacoustics through passive acoustic monitoring (PAM) is essential to understanding marine biodiversity and assessing the impact of human activities on aquatic ecosystems. However, gaps remain in this area due to the complexity of underwater soundscapes and the scarcity of labeled and validated species-specific datasets. This thesis explores the evolution and application of artificial intelligence (AI) for automating fish sound detection and classification. Building on a critical review of the state-of-the-art, this study identified the need for methods capable of overcoming labeled data scarcity and enhancing model transparency and interpretability. Thus, a supervised learning framework was developed to classify pulsed fish sounds in a subtropical rocky reef environment. With the incorporation of data augmentation techniques, the models, particularly the multilayer perceptron, achieved an accuracy of 98.1%. This stage innovates by using Explainable Artificial Intelligence (XAI), which increases the models' transparency and interpretability, as well as the identification of determining acoustic characteristics. This provides a biological basis for interpreting the models' automated decisions. To address the scarcity of labeled data, the research evolved toward the use of Contrastive Language–Audio Pretraining (CLAP). Through cross-modal retrieval and zero-shot classification, this multimodal approach demonstrated a robust capability to recognize acoustic patterns without the need for large training datasets. Notably, the model showed significant performance for the Sciaenidae family, which accounted for over 60% of correct classifications. Taken together, these results indicate that while supervised models yield high precision in sound classification, multimodal embeddings and zero-shot learning techniques offer greater flexibility for scalable and taxonomically informed marine acoustic monitoring. |
| Tipo de Acesso: | Acesso aberto |
| URI: | https://hdl.handle.net/20.500.14867/848434 |
| Tipo: | Tese |
| Aparece nas coleções: | Ciência, Tecnologia e Inovação: Coleção de Teses |
Arquivos associados a este item:
| Arquivo | Descrição | Tamanho | Formato | |
|---|---|---|---|---|
| Tese - Viviane Rodrigues Barroso.pdf | Tese - Viviane Rodrigues Barroso | 7,47 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.