❮ Volver

Digitalización de Obras históricas mediante Reconocimiento adaptativo de Música en Imágenes

DOReMI

Objetivos

El proyecto se centra en la integración de técnicas de adaptación de dominio (DA) en sistemas de reconocimiento óptico de música (OMR) con el propósito de digitalizar partituras musicales de manera generalizada y práctica, sin restricciones sobre su tipo, estilo o formato y sin requerir conjuntos de datos etiquetados específicos. Busca desarrollar y evaluar métodos que permitan adaptarse a variaciones en las partituras, aprovechando conjuntos de datos existentes y ampliando su corpus con datos sintéticos y semisintéticos. La metodología propuesta abordará el análisis de documentos musicales a través de aprendizaje automático y redes neuronales profundas, integrando técnicas de DA en detección de objetos, redes convolucionales recurrentes y binarización.

Equipo

El equipo de investigación junto con el equipo de trabajo está formado por un total de seis investigadores de la Universidad de Alicante:

Antonio Javier Gallego
Antonio Javier Gallego

Investigador Principal

Antonio Pertusa
Antonio Pertusa

Equipo de investigación

Carlos Pérez Sancho
Carlos Pérez Sancho

Equipo de investigación

Francisco J. Castellanos
Francisco J. Castellanos

Equipo de investigación - Personal contratado

Jose Javier Valero Más
Jose Javier Valero Más

Equipo de trabajo

María Alfaro Contreras
María Alfaro Contreras

Equipo de trabajo

Miguel Mirón Alarcón
Miguel Mirón Alarcón

Equipo de trabajo

Publicaciones

A continuación se detalla la lista de publicaciones en revistas y conferencias obtenidas como resultado de este proyecto:

  1. Multilabel Prototype Generation for Data Reduction in k-Nearest Neighbour classification

    Jose J. Valero-Mas, Antonio Javier Gallego, Pablo Alonso-Jiménez, and Xavier Serra

    Pattern Recognition, 2023

    [Artículo] [Código] [Datos]

  2. Kurcuma: a Kitchen Utensil Recognition Collection for Unsupervised Domain Adaptation

    Adrian Rosello, Jose J. Valero-Mas, Antonio Javier Gallego, Javier Sáez-Pérez, and Jorge Calvo-Zaragoza

    Pattern Analysis and Applications, 2022

    [Artículo] [Base de datos]

  3. An Overview of Ensemble and Feature Learning in Few-Shot Image Classification using Siamese Networks

    Jose J. Valero-Mas, Antonio Javier Gallego, and Juan Ramón Rico-Juan

    Multimedia Tools and Applications, 2023

    [Artículo]

  4. Addressing class imbalance in Multilabel Prototype Generation for k -Nearest Neighbor classification

    Carlos Penarrubia, Jose J. Valero-Mas, Antonio Javier Gallego, and Jorge Calvo-Zaragoza

    11th Iberian Conference on Pattern Recognition and Image Analysis (IbPRIA), 2023

    [Artículo] [Código] [Diapositivas]

  5. Test-Time Augmentation for Document Image Binarization

    Adrian Rosello, Francisco J. Castellanos, Juan P. Martinez-Esteso, Antonio Javier Gallego, and Jorge Calvo-Zaragoza

    11th Iberian Conference on Pattern Recognition and Image Analysis (IbPRIA), 2023

    [Artículo] [Póster]

  6. A Few-shot Neural Approach for Layout Analysis of Music Score Images

    Francisco J. Castellanos, Antonio Javier Gallego, and Ichiro Fujinaga

    24th International Society for Music Information Retrieval Conference (ISMIR), 2023

    [Artículo] [Diapositivas] [Póster] [Vídeo] [Código]

  7. A Preliminary Study of Few-shot Learning for Layout Analysis of Music Scores

    Francisco J. Castellanos, Antonio Javier Gallego, and Ichiro Fujinaga

    5th International Workshop on Reading Music Systems (WORMS), 2023

    [Artículo] [Diapositivas]

  8. A region-based approach for layout analysis of music score images in scarce data scenarios

    Francisco J. Castellanos, Juan P. Martinez-Esteso, Alejandro Galán-Cuenca, and Antonio Javier Gallego

    18th IAPR International Conference on Document Analysis and Recognition (ICDAR), 2024

    [Artículo] [Código] [Póster]

  9. Efficient Multi-task Progressive Learning for Semantic Segmentation and Disparity Estimation

    Hanz Cuevas-Velasquez, Alejandro Galán-Cuenca, Robert B. Fisher, Antonio Javier Gallego

    Pattern Recognition, 2024

    [Artículo]

  10. Can Patch Selection Heuristics Enhance Layout Analysis of Music Scores?

    Francisco J. Castellanos, Juan P. Martinez-Esteso, Alejandro Galán-Cuenca, and Antonio Javier Gallego.

    15th International Workshop on Machine Learning and Music, European Conference on Machine Learning, 2024

    [Póster] [Diapositivas]

Demo y Recursos

En los siguientes enlaces puedes encontrar una demo del sistema de layout analysis desarrollado para la digitalización de partituras:


Bases de datos elaborada como referencia para las propuestas de adaptación al dominio:

Financiación y entidades colaboradoras

Este trabajo ha sido financiado por el Ministerio de Ciencia e Innovación de España a través del proyecto de investigación TED2021-132103A-I00, financiado por MCIN/AEI/10.13039/501100011033. El proyecto se ha desarrollado en el Instituto Universitario de Investigación en Informática (IUII) de la Universidad de Alicante (UA). Este proyecto ha sido acogido dentro del grupo de investigación Pattern Recognition and Artificial Intelligence Group (PRAIg) del Departamento de Lenguajes y Sistemas Informáticos (DLSI).