Detección de Deriva: Definición y significado — Wiki de IA

Monitorear cambios en la distribución de datos o el comportamiento del modelo a lo largo del tiempo que podrían degradar el rendimiento. Deriva de datos: los datos de entrada cambian (la demografía de clientes cambia, aparecen nuevas categorías de productos). Deriva de concepto: la relación entre entradas y salidas correctas cambia (lo que constituye spam evoluciona). Deriva de modelo: las predicciones del modelo gradualmente se vuelven menos precisas aunque el modelo en sí no ha cambiado.

Por qué importa

Los modelos se entrenan con datos históricos, pero el mundo sigue cambiando. Un modelo de detección de fraude entrenado en 2024 no detectará los nuevos patrones de fraude de 2025. Un sistema de recomendaciones entrenado con comportamiento pre-pandemia dará sugerencias pobres post-pandemia. La detección de deriva captura estas degradaciones antes de que se vuelvan costosas — alertándote de que el modelo necesita reentrenamiento o actualización.

En profundidad

Detección de deriva de datos: compara la distribución estadística de las entradas actuales con la distribución de los datos de entrenamiento. Si las características cambian significativamente (usando pruebas como KS, PSI o divergencia de Jensen-Shannon), el modelo podría estar operando fuera de su distribución de entrenamiento. Ejemplo: un modelo de scoring crediticio entrenado con solicitantes de 25–55 años comienza a recibir solicitudes de jóvenes de 18 años — una población que nunca ha visto.

Deriva de concepto

La deriva de concepto es más difícil de detectar porque las entradas se ven igual pero las salidas correctas cambian. Durante el COVID, los patrones de compra "normales" cambiaron dramáticamente — comprar 100 rollos de papel higiénico pasó de "probable fraude" a "martes". Las predicciones del modelo se volvieron incorrectas no porque el modelo se degradó, sino porque la realidad cambió. Detectar deriva de concepto requiere comparar predicciones con la verdad fundamental, que frecuentemente llega con retraso.

Para LLMs

La deriva en LLMs se manifiesta diferente: los patrones de consultas de usuarios cambian (surgen nuevos temas), las actualizaciones del modelo del proveedor cambian el comportamiento (las versiones del modelo API cambian silenciosamente), y el mundo cambia (datos de entrenamiento desactualizados). Las estrategias de monitoreo incluyen: rastrear puntuaciones de calidad del output a lo largo del tiempo, detectar cambios en la distribución de temas de las consultas, alertar sobre aumentos en problemas reportados por usuarios y reevaluar periódicamente en un benchmark fijo para detectar cambios del lado del proveedor.