Saltar al contenido principal
Zubnet AI › Aprender › Wiki › SFT
Entrenamiento

SFT

También conocido como: Supervised Fine-Tuning, Fine-tuning supervisado
El fine-tuning de un modelo preentrenado con ejemplos cuidados de entradas emparejadas con las salidas exactas que quieres que produzca.

Por qué importa

Casi todos los modelos de chat que has usado pasaron por SFT. También es el tipo de fine-tuning que más hacen por su cuenta quienes construyen: cuando una empresa ajusta un modelo para que responda con su estilo propio o genere un formato JSON concreto, eso es SFT, normalmente con LoRA o QLoRA.

El SFT es fácil de montar y muy eficaz para enseñar formato y comportamiento. Es la forma más rápida de lograr que un modelo haga algo concreto de manera fiable, siempre que puedas mostrarle buenos ejemplos.

En profundidad

Tras el preentrenamiento, un modelo de lenguaje es un potente predictor de texto, pero no un asistente útil. Hazle una pregunta y puede que continúe con otras tres preguntas, porque así suele verse el texto en internet. El fine-tuning supervisado lo corrige mostrándole al modelo muchos ejemplos del comportamiento deseado: un prompt y una respuesta ideal escrita o aprobada por una persona (o por un modelo más fuerte). El modelo se entrena para producir esas respuestas, token a token.

El SFT suele ser la primera etapa del post-entrenamiento. Convierte un modelo base en algo que sigue instrucciones, usa un formato de chat y responde con un estilo consistente. Los métodos de preferencias como RLHF o DPO normalmente vienen después.

Cómo funciona

Los datos de entrenamiento son un conjunto de conversaciones, cada una formada por un prompt (y a veces un prompt de sistema y turnos anteriores) y una respuesta objetivo. El modelo ve toda la conversación, pero la pérdida suele calcularse solo sobre los tokens de la respuesta. A esto se le llama enmascarar el prompt: quieres que el modelo aprenda a escribir buenas respuestas, no a predecir las preguntas del usuario.

Cada ejemplo se formatea con la plantilla de chat del modelo, los tokens especiales que marcan dónde empiezan y terminan los turnos del sistema, del usuario y del asistente. Equivocarse con la plantilla es una de las causas más comunes de un fine-tuning roto.

La calidad le gana a la cantidad

Un hallazgo que se repite es que un conjunto pequeño de ejemplos excelentes supera a uno grande de ejemplos mediocres. El artículo LIMA (2023) mostró que unos 1.000 ejemplos elegidos con cuidado podían producir un buen asistente a partir de un buen modelo base. En la práctica, entre unos cientos y unos pocos miles de ejemplos de calidad, variados y consistentes, son un punto de partida sensato para una tarea acotada.

Hoy, gran parte de los datos de SFT son sintéticos: los escribe un modelo más fuerte y luego se filtran. Es eficiente, pero el alumno hereda las costumbres y los errores del maestro, así que el filtrado importa.

SFT frente al entrenamiento por preferencias

El SFT enseña al modelo a imitar. Solo puede ser tan bueno como sus ejemplos, y nunca ve cómo es una mala respuesta. Los métodos de preferencias (RLHF, DPO) le muestran al modelo pares de respuestas mejores y peores, lo que ayuda con cualidades más sutiles como la utilidad, la seguridad y el tono. El aprendizaje por refuerzo con recompensas verificables (RLVR) va más allá en las tareas de razonamiento, al dejar que el modelo descubra soluciones en lugar de copiarlas. Un pipeline moderno típico es: preentrenamiento, luego SFT, luego entrenamiento por preferencias o por refuerzo.

Errores comunes

  • Olvido: demasiadas épocas con un conjunto de datos acotado pueden erosionar las habilidades generales. Lo habitual es de una a tres épocas.
  • Datos inconsistentes: si los ejemplos no coinciden en formato o tono, el modelo tampoco lo hará.
  • Enseñar hechos con SFT: puede hacer que el modelo suene seguro sobre información nueva sin conocerla de forma fiable, lo que puede aumentar las alucinaciones. Para el conocimiento, usa RAG.
← Todos los términos
ESC