Cómo manejar la música en la transcripción (guía honesta 2026)

La música en tu transcripción aparece como uno de dos problemas: pseudo-letras ilegibles donde sonó una canción, o texto de relleno alucinado sobre una sección instrumental. Ambos tienen la misma causa raíz, y ambos tienen soluciones prácticas. La clave está en que ninguno de los principales motores de transcripción, incluidos Whisper, Deepgram Nova-3 o AssemblyAI, cuenta con una capa dedicada y verificada de detección de música que suprima estos segmentos automáticamente. Las soluciones fiables ocurren antes de la transcripción, no dentro de ella.

Lo que tu transcripción te está diciendo realmente

El síntoma casi siempre es una de estas tres cosas.

Pseudo-letras ilegibles sobre una sección vocal. Tu podcast reproduce un fragmento de canción de 30 segundos para reseñarlo. La transcripción llena ese tiempo con letras parciales e incorrectas: palabras de la canción mezcladas con palabras inventadas, puntuación rota y cortes a mitad de frase donde el modelo perdió confianza.

Relleno alucinado sobre música instrumental. Tu jingle de entrada es puramente instrumental. La transcripción produce "so" ("entonces"), "um" ("eh"), "you know" ("ya sabes") o incluso frases inventadas con apariencia coherente. Una investigación publicada en mayo de 2025 descubrió que Whisper large-v3 transcribe "so" para más del 55% de las muestras de audio sin habla, y alucina en casi el 100% de las entradas de sonido ambiental. La música no recibe un tratamiento especial.

Texto ininteligible parcial cuando la música suena bajo el habla. Tu presentador habla sobre una base musical de fondo. La transcripción capta el habla pero destroza palabras en los bordes de las frases musicales, porque el modelo intenta reconciliar dos fuentes de audio a la vez.

Entender qué síntoma tienes te indica qué solución aplicar primero.

Por qué los motores de IA no resuelven esto automáticamente

Un supuesto común es que las herramientas modernas "detectan y etiquetan" la música. Esto no es lo que dice la documentación de los proveedores.

La documentación de Deepgram Nova-3 (consultada en julio de 2026) enumera transcripción multilingüe en tiempo real, personalización de vocabulario y prompting de términos clave. No aparece ninguna función de detección ni supresión de música.

La documentación de inteligencia de audio de AssemblyAI (consultada en julio de 2026) enumera capítulos automáticos, análisis de sentimiento, detección de entidades, detección de temas y resúmenes automáticos. La identificación de música no aparece como función.

La etiqueta "[Music]" que aparece en los subtítulos automáticos de YouTube procede de una capa de clasificación independiente que Google añade a su pipeline, no del decodificador de Whisper. La salida propia de Whisper en segmentos musicales no es una etiqueta limpia.

Lo que Whisper hace realmente con la música está documentado en sus hilos de discusión de GitHub y en investigación publicada: la lista de tokens suprimidos del modelo hace que omita etiquetar los sonidos de fondo como [music], [applause] o similares, por lo que la decodificación continúa sobre audio sin habla hasta que el modelo alucina habla. La salida parece plausible, lo que la hace más difícil de detectar que un silencio.

La detección de actividad de voz (VAD) ayuda pero no resuelve esto. El VAD elimina el silencio de forma fiable. La música lleva energía en las bandas de frecuencia que el VAD trata como habla, así que las secciones musicales suelen pasar por el filtro intactas. WhisperX usa VAD activado por defecto y aun así produce alucinaciones musicales.

Solución 1: Cortar la música antes de transcribir

Para música predecible y estructural (intros, outros, separadores), esta es la solución más rápida y fiable. Mantienes tu archivo original de publicación sin cambios. Creas un "corte de transcripción" aparte sin la música, transcribes ese archivo y añades marcadores manuales en la transcripción donde estaba la música.

Audacity hace esto gratis. Selecciona el segmento musical, elimínalo (o siléncialo si quieres conservar los tiempos), exporta el archivo limpio y transcribe ese archivo limpio. Para una intro de podcast de 10 segundos haces esto una vez y lo estableces como tu flujo de trabajo habitual.

Para contenido con música repartida por todas partes (un programa de reseñas musicales, un podcast educativo que usa ejemplos de canciones), el flujo de trabajo añade un paso de marcas de tiempo:

1. Enumera cada segmento musical con su hora de inicio y de fin.
2. Corta cada segmento de la copia destinada a la transcripción.
3. Transcribe la copia solo con el habla.
4. Pega los marcadores de nuevo en la transcripción en las marcas de tiempo correctas: [Song: "Título" de Artista, 14:22-15:04].

Requiere más esfuerzo inicial, pero produce una transcripción que puedes usar de verdad para SEO, notas del programa, búsqueda o accesibilidad.

Solución 2: Separar la pista de voz con separación de fuentes

Cuando el habla y la música suenan simultáneamente, cortar no es una opción porque ambas están mezcladas. Es el caso de un presentador hablando sobre una base musical, un invitado que habla mientras suena una canción de fondo, o una grabación en vivo en un recinto.

Las herramientas de separación de fuentes dividen un archivo de audio mezclado en sus pistas componentes.

Demucs v4 (Facebook Research, código abierto, también llamado htdemucs) separa el audio en voces, batería, bajo y otros instrumentos. Extrae la pista vocals/other y transcribe esa. Demucs v4 alcanza 9.0 dB SDR en los benchmarks de MUSDB HQ, lo que en la práctica se traduce en un aislamiento del habla razonablemente limpio. Funciona vía Python o a través de servicios en la nube como Replicate para equipos sin capacidad de GPU local.

Spleeter (Deezer, código abierto) ofrece modos de separación de 2 stems (voz, acompañamiento), 4 stems y 5 stems. Es más rápido que Demucs en CPU, pero generalmente se le califica con menor calidad en tareas de separación musical. Para escenarios de habla sobre música, cualquiera de las dos herramientas sirve.

La separación de fuentes añade tiempo de procesamiento e introduce sus propios artefactos. Para una grabación puntual con música de fondo significativa, la ganancia de calidad merece la pena. Para un podcast donde la música solo aparece en breves separadores, cortar es más simple.

Solución 3: Configurar Whisper autoalojado para suprimir el audio sin habla

Si ejecutas Whisper tú mismo, dos parámetros reducen (pero no eliminan) las alucinaciones musicales.

no_speech_threshold establece la probabilidad por encima de la cual Whisper decide que un segmento no contiene habla y suprime la salida. Subirlo (hacia 1.0) hace que el modelo sea más agresivo descartando segmentos de los que no está seguro. La contrapartida es que el habla genuinamente baja también puede descartarse.

initial_prompt moldea las expectativas del modelo antes de que comience la decodificación. Enmarcar el audio como un podcast o una entrevista inclina el prior hacia el habla conversacional. El efecto de initial_prompt solo dura los primeros 30 segundos antes de ser sobrescrito por la decodificación de los segmentos siguientes, por lo que resulta más útil para archivos cortos que para audio de larga duración.

result = model.transcribe(
    audio_file,
    no_speech_threshold=0.8,
    condition_on_previous_text=True,
    initial_prompt="The following is a podcast interview. Music sections are not spoken content."
)

Esto reduce la salida alucinada en segmentos sin habla, pero no produce de forma fiable etiquetas "[Music]" limpias. Con la música vocal en particular, el modelo seguirá intentando transcribir la letra. El preprocesamiento con VAD reduce el audio a ventanas con probable habla antes de la decodificación y es el enfoque más potente de los dos para archivos grandes.

Estos ajustes son relevantes para Whisper autoalojado vía la librería de Python openai-whisper o faster-whisper. Las API alojadas exponen menos parámetros.

Solución 4: Postprocesar para eliminar las secciones musicales

Si no puedes modificar el audio antes de la transcripción, la propia transcripción muestra señales reconocibles de contaminación musical.

Las alucinaciones musicales tienden a aparecer como: frases cortas repetitivas, nombres propios inusuales, frases que no conectan semánticamente con el contenido circundante, o cambios bruscos en la densidad de puntuación. Un script o una lectura cuidadosa pueden marcar estos segmentos para revisión.

Sustituye las secciones marcadas por marcadores explícitos:

[Intro music: 0:00-0:12]
[Song clip: 22:40-23:10]

Esto es más limpio que dejar texto ilegible en una transcripción que usarás para notas del programa, subtítulos o indexación en buscadores. Las herramientas de resumen posteriores tratarán las letras alucinadas como contenido y producirán resúmenes erróneos si las dejas ahí.

Escenarios específicos

Podcast con intro y outro musicales

Corta la música antes de transcribir. Si publicas el mismo formato en cada episodio, crea una plantilla de corte de transcripción que empiece en el punto donde el presentador comienza a hablar. En flujos de trabajo de transcripción de podcasts donde publicas varios episodios por semana, una configuración única ahorra horas.

Contenido de reseñas musicales o educativo

Tendrás fragmentos de canciones repartidos por todo el contenido. Incorpora a tu proceso de producción el flujo de trabajo de lista de marcas de tiempo descrito en la Solución 1. Anota la marca de tiempo de cada fragmento antes de enviar el audio a cualquier herramienta de transcripción. Tras la transcripción, añades los marcadores en los lugares correctos. Este es el único enfoque que produce una transcripción precisa para este tipo de contenido.

Grabación con base musical de fondo

La separación de fuentes es la herramienta adecuada si la calidad del audio importa. Si la música es de bajo volumen y el habla es clara, un no_speech_threshold más alto en Whisper autoalojado a veces ayuda. Aceptar una ligera pérdida de precisión en las palabras cercanas a frases musicales es razonable para casos de uso internos. Para publicación, separa las pistas.

Vídeo de YouTube con banda sonora musical

Extraer el audio de un vídeo de YouTube que tiene música durante toda su duración y enviarlo directamente a un motor de transcripción producirá alucinaciones significativas. La generación de transcripciones de YouTube funciona mejor cuando el vídeo se basa principalmente en el habla. Para contenido de YouTube con mucha música, la separación de fuentes antes de la transcripción es el camino fiable.

Culto religioso o sermón con música

El sermón y la música alternan como segmentos discretos. Cortar las secciones musicales (himnos, cantos de adoración) antes de transcribir es el enfoque práctico. Añade marcadores manuales para cada sección musical. Las partes habladas se transcriben limpiamente.

Un flujo de trabajo para creadores de contenido con mucha música

Para quien produce contenido con música con regularidad, incorporar el paso de corte limpio a la cadena de producción es más barato que reparar las transcripciones después.

1. Produce dos versiones de cada episodio: la mezcla de publicación (con música) y un corte de transcripción (solo habla).
2. Mantén el corte de transcripción como un paso de exportación aparte en tu software de edición.
3. Transcribe únicamente el corte de transcripción.
4. Añade a mano los marcadores de música a la transcripción final, en las marcas de tiempo donde sonó la música.
5. Usa la transcripción limpia para notas del programa, SEO, subtítulos y búsqueda.

Para grabaciones puntuales, la ruta de separación de fuentes (Solución 2) cubre los casos en los que no puedes volver a editar el archivo.

Para contenido grabado con música de fondo leve a bajo volumen, revisa la transcripción en busca de los patrones de alucinación descritos arriba y elimínalos manualmente. La explicación de la diarización de hablantes cubre un problema de precisión relacionado: las voces superpuestas causan síntomas similares de salida ilegible en la transcripción, y el proceso de diagnóstico es comparable.

Si solo necesitas una transcripción limpia de una grabación únicamente de habla sin música involucrada, ConvertAudioToText gestiona la subida sin necesidad de crear una cuenta para empezar.

Preguntas frecuentes

¿Por qué mi transcripción tiene texto sin sentido donde sonó la música?

Los modelos de transcripción con IA están entrenados para mapear audio a palabras. Cuando el audio contiene música, especialmente voces, el modelo la trata como habla e intenta transcribirla. El resultado son pseudo-letras ilegibles, relleno alucinado o frases directamente inventadas. Ningún servicio de transcripción para consumidores actual dispone de una capa verificada y dedicada de detección de música que suprima estos segmentos de forma fiable.

¿Puede el VAD (detección de actividad de voz) filtrar la música automáticamente?

Parcialmente. El VAD filtra bien los silencios y los segmentos de baja energía, pero suele fallar con la música porque esta lleva energía en las bandas de frecuencia que el VAD trata como habla. WhisperX con VAD activado por defecto sigue produciendo alucinaciones en secciones musicales que se cuelan. El VAD es un buen punto de partida, pero no una solución completa para la música.

¿Genera Whisper una etiqueta [Music] para los segmentos musicales?

No de forma fiable. La etiqueta [Music] que quizá hayas visto en los subtítulos automáticos de YouTube procede de una capa independiente que Google añade sobre su propio pipeline de ASR, no del decodificador de Whisper. La salida propia de Whisper ante música va desde letras alucinadas hasta frases inventadas y palabras de relleno. Una investigación publicada en 2025 descubrió que Whisper large-v3 alucina en casi el 100% del audio ambiental sin habla. La separación de fuentes o el corte manual son las únicas mitigaciones fiables.

¿Vale la pena transcribir la letra de una canción desde una grabación?

Casi nunca mediante un motor ASR general. El habla cantada tiene tiempos, tonos y límites fonémicos alterados que confunden a los modelos entrenados con audio conversacional. Obtendrás letras parciales e incorrectas mezcladas con palabras inventadas. Si realmente necesitas letras precisas, un servicio dedicado de reconocimiento de letras o la transcripción manual son la herramienta adecuada. Para la mayoría de los casos de uso de podcasts y entrevistas, cortar la sección musical y sustituirla por un marcador como [Song: Título de Artista] da un resultado mucho más limpio.

Fuentes

• Resumen de modelos e idiomas de Deepgram (consultado en julio de 2026): https://developers.deepgram.com/docs/models-languages-overview
• Documentación de inteligencia de audio de AssemblyAI (consultada en julio de 2026): https://www.assemblyai.com/docs/guides/audio-intelligence
• Calm-Whisper: Reduce Whisper Hallucination On Non-Speech (arXiv, 2025): https://arxiv.org/html/2505.12969v1
• Discusión sobre alucinaciones de Whisper en GitHub #1606: https://github.com/openai/whisper/discussions/1606
• Resumen de Demucs v4 / htdemucs (HuggingFace Spaces): https://huggingface.co/spaces/abidlabs/music-separation
• Spleeter de Deezer (GitHub): https://github.com/deezer/spleeter
• Documentación de VAD de WhisperX (DeepWiki): https://deepwiki.com/m-bain/whisperX/4.1-voice-activity-detection
• Guía de initial_prompt de Whisper (blog de Sotto): https://sotto.to/blog/improve-whisper-accuracy-prompts