Apple ha presentado Music Understanding Framework en WWDC26, una nueva biblioteca de desarrollo que permite analizar audio musical en seis dimensiones –tonalidad, ritmo, estructura, tempo, actividad instrumental y volumen dinámico o sonoridad (loudness)– directamente en el dispositivo, sin conexión a Internet y en todas las plataformas de la compañía…
En la conferencia de desarrolladores WWDC26 celebrada esta semana, Apple ha presentado Music Understanding Framework, una nueva herramienta para desarrolladores que abre la puerta al análisis musical avanzado dentro de cualquier aplicación del ecosistema Apple.
La propuesta es tan sencilla de enunciar como técnicamente ambiciosa en su ejecución: Dar a cualquier desarrollador acceso a un motor de análisis de audio capaz de extraer información musical significativa a partir de cualquier archivo de sonido, con un nivel de detalle que hasta ahora requería soluciones de terceros, servidores externos o librerías de machine learning complejas.
Lo que hace especialmente notable a Music Understanding framework no es sólo su capacidad de análisis, sino dónde ocurre ese análisis: Por completo en el dispositivo, sin necesidad de conexión a Internet y preservando en todo momento la privacidad del usuario.
Eso lo convierte en una herramienta viable para aplicaciones de producción musical, reproductores, mezcladores en vivo y cualquier contexto en el que la latencia y la privacidad sean factores críticos.
Las seis dimensiones de Music Understanding Framework
El motor de Music Understanding Framework extrae simultáneamente seis tipos de información musical. La tonalidad detecta clave y modo de la pieza analizada. El ritmo identifica el compás y los patrones de pulso. La estructura segmenta el tema en sus secciones formales –introducción, estrofas, estribillos, puentes–.
El tempo o pace determina el BPM y sus variaciones a lo largo del tiempo. La actividad instrumental detecta qué grupos de instrumentos están presentes en cada momento. El volumen dinámico (sonoridad, loudness) mapea la intensidad a lo largo de una canción dada.
Cada una de estas seis dimensiones se puede consultar de forma independiente o combinada, y los resultados se devuelven en formatos estructurados listos para usar directamente en la interfaz de la aplicación (vía API).
La sesión de WWDC26 dedicada a Music Understanding Framework –disponible en el canal oficial de Apple Developer en YouTube (aunque incrustada arriba)– recorre cada dimensión con ejemplos prácticos y deja ver cómo el motor procesa audio real en tiempo real sobre hardware Apple Silicon.
Music Understanding Lab: Un código de muestra para empezar
Apple acompaña el lanzamiento de Music Understanding Framework con una aplicación de muestra llamada Music Understanding Lab, cuyo código fuente completo está disponible en la documentación oficial para desarrolladores.
La aplicación visualiza en tiempo real los resultados de los seis tipos de análisis sobre cualquier tema que el usuario seleccione, y sirve como punto de partida directo para implementar el framework en proyectos reales.
La presentación de Music Understanding Framework supone la primera vez que Apple pone en manos de los desarrolladores un motor de análisis musical tan completo y nativo. La combinación de seis dimensiones analíticas, procesamiento en el dispositivo y privacidad total lo convierte en una herramienta sin equivalente directo en el ecosistema de desarrollo de aplicaciones musicales…
La integración en el flujo de trabajo de desarrollo sigue el patrón habitual de los frameworks modernos de Apple: Swift nativo, compatible con iOS, iPadOS, macOS, tvOS y visionOS.
La documentación completa y el código de Music Understanding Lab están disponibles en el portal oficial de desarrolladores de Apple.
¿Qué aplicación musical construirías con Music Understanding Framework?
Es muy probable que veamos en próximas versiones de Logic Pro o Garageband alguna implementación que aproveche la capacidad de análisis de Music Understanding Framework.
Por lo pronto, si desarrollas apps musicales o tienes ideas sobre cómo aprovechar el análisis de tonalidad, estructura y actividad instrumental a tiempo real, cuéntanos en comentarios. Las posibilidades son grandes y nos interesa tu visión.