Aplicação de modelos de aprendizagem profunda no reconhecimento de som

A aplicação de modelos de deep learning no reconhecimento de som formou uma estrutura técnica abrangente. Seu valor central reside em alcançar extração de características de som de alta precisão e multi-cenário e compreensão semântica por meio de aprendizado end-to-end. As seguintes são as principais direções de aplicação técnica e arquiteturas de modelos típicas:

• Usando CNNs para aprender automaticamente características locais (como estrutura harmônica e formantes) de mel-espectrogramas, substituindo a engenharia manual tradicional de características usando MFCCs, essa abordagem melhora a precisão da classificação em 27% em ambientes ruidosos no conjunto de dados UrbanSound8K.
• Modelos leves como MobileNetV3, usando convoluções separáveis em profundidade e módulos de atenção PSA, alcançam 100% de precisão de reconhecimento de som de pássaros top-5 com apenas 2,6 milhões de parâmetros.

• A arquitetura híbrida CRNN (CNN + BiLSTM) captura simultaneamente as características espectrais e as dependências temporais de eventos sonoros, alcançando uma pontuação F1 de 92,3% para detectar eventos repentinos, como quebra de vidro.
• Transformer usa um mecanismo de autoatenção para processar longas sequências de áudio, alcançando mais de 99% de precisão na classificação de choro de bebês por fome e dor.

• Fusão Multimodal: Treinamento conjunto do modelo visual YOLOv8 e da rede de áudio LSTM analisa simultaneamente os movimentos do bebê e a frequência do choro, reduzindo os falsos positivos em 38%.
• Implantação Leve: Chips como o WT2605A integram mecanismos de inferência DNN, reduzindo o consumo de energia do módulo de reconhecimento de impressão vocal para 15mW.

(Nota: Os números de referência na tabela são indicados fora da tabela.)