Calidad de llamadas con IA: cómo calibrar una ficha de evaluación con supervisores

Una evaluación automática puede aplicar el mismo criterio a muchas conversaciones, pero necesita una referencia que permita comprobar errores. Antes de usar sus puntuaciones para formar al equipo, elige un criterio observable y acuerda qué evidencia lo confirma. Una etiqueta de satisfacción inferida no sustituye una respuesta del cliente.

Vocalcom AI Quality Monitoring / Auto QM presenta evaluación con fichas propias y revisión humana. El ejercicio siguiente calibra un criterio concreto; los números son ficticios y no miden la precisión del producto.

Convierte el criterio en una pregunta verificable

«La llamada fue buena» admite demasiadas interpretaciones. «El agente confirma el siguiente paso antes de despedirse» permite buscar una frase y contrastarla. Escribe qué cuenta como confirmación, qué variantes son aceptables y cuándo el criterio no aplica, por ejemplo si el cliente cuelga antes de poder cerrar.

Dos supervisores deben evaluar primero sin conocer la puntuación automática. Si discrepan, revisan el fragmento y dejan una decisión razonada. Esa decisión es la referencia del ensayo, no una verdad infalible: si el audio no permite decidir, marca el caso como no evaluable en vez de inventar un resultado.

Ejemplo: qué significa una alerta correcta

De las 23 alertas, 15 coinciden con la referencia: precisión de alerta = 15 / 23, aproximadamente 65,2 %. De los 20 incumplimientos, detecta 15: cobertura de detección = 15 / 20, 75 %. Omite cinco incumplimientos y genera ocho falsas alertas. Informar solo de 87 aciertos sobre 100 ocultaría la carga de revisión y las omisiones.

La muestra inicial contiene además seis llamadas con audio insuficiente. El total recibido es 106 y el evaluable, 100; declara esa diferencia. Si todas las llamadas no evaluables se registraran como correctas, el sistema parecería mejorar justamente donde no puede observar el criterio.

Selecciona una muestra que pueda descubrir fallos

Combina una muestra del trabajo habitual con casos difíciles: cambios de idioma, interrupciones, conversación breve y ruido. Separa ambos grupos al informar; una colección preparada de errores sirve para encontrar fallos, pero su porcentaje no estima la frecuencia de errores de toda la operación.

1. Versiona ficha, definiciones y conjunto de referencia.
2. Conserva criterio, resultado humano, resultado automático y fragmento justificativo.
3. Revisa falsos positivos y omisiones por separado.
4. Corrige una regla cada vez y repite los casos anteriores.
5. Reserva conversaciones nuevas para comprobar que la mejora no depende únicamente de los ejemplos ya revisados.

Usa el resultado para formar y revisar

Una alerta debe abrir una revisión concreta: localizar el momento, escuchar contexto y decidir si hay una habilidad que practicar. El agente necesita entender el criterio y poder señalar una transcripción equivocada. Conserva un circuito de discrepancias; ocultar las correcciones impide detectar que una regla está penalizando un acento o una campaña.

Acepta la ficha cuando responsables y revisores entiendan sus límites y la carga de revisión sea viable. Ampliar cobertura no elimina esa revisión. Cambios de guion, canal o idioma requieren otra calibración; conserva la versión anterior para explicar por qué dos periodos pueden no ser comparables.

Fuentes y límites de esta guía

Revisión documental: 8 de octubre de 2026. Tipo de contenido: Guía documental con ejercicio original.

Las fuentes describen condiciones y funciones declaradas por sus responsables. Los protocolos propuestos y los ejemplos ficticios no acreditan pruebas de producto realizadas por CallsIQ.

• Vocalcom AI Quality Monitoring / Auto QMwww.vocalcom.ai

Cómo comunicar una corrección