PEFT
Por qué importa
PEFT es lo que hizo accesible el fine-tuning. Con métodos como LoRA y QLoRA, la gente ajusta modelos de 7B a 70B en una sola GPU. El resultado es un archivo de adaptador pequeño, a menudo de decenas de megabytes, en lugar de un modelo de varios gigabytes. Puedes mantener un único modelo base e intercambiar adaptadores por cliente o por tarea, y sistemas de servicio como vLLM pueden servir muchos adaptadores LoRA sobre un mismo modelo base al mismo tiempo.
Como los pesos originales quedan congelados, PEFT también reduce el olvido catastrófico: es menos probable que el modelo pierda sus habilidades generales mientras aprende tu tarea.
En profundidad
El fine-tuning completo actualiza todos los pesos de un modelo. En un modelo de 70 mil millones de parámetros, eso significa guardar gradientes y estados del optimizador para 70 mil millones de números, lo que exige un clúster de GPU, y además guardar una copia nueva y completa del modelo por cada tarea. El fine-tuning eficiente en parámetros congela el modelo original y entrena solo un añadido diminuto, a menudo muy por debajo del 1 % de los parámetros.
Los resultados se acercan sorprendentemente al fine-tuning completo en la mayoría de las tareas prácticas, por una fracción del costo. PEFT es también el nombre de la popular biblioteca de Hugging Face que implementa estos métodos.
Los métodos principales
- LoRA (Low-Rank Adaptation): añade pequeñas matrices de bajo rango junto a las matrices de pesos existentes y entrena solo esas. Es, con diferencia, el método más usado.
- QLoRA: LoRA sobre un modelo base cuantizado a 4 bits, para que incluso los modelos grandes quepan en una VRAM modesta.
- Adaptadores: pequeñas capas de cuello de botella insertadas en cada bloque del transformer. Uno de los primeros métodos PEFT (2019), pero añaden un poco de latencia en la inferencia, a diferencia de LoRA, que se puede fusionar con los pesos base.
- Prefix tuning y prompt tuning: aprenden unos pocos «tokens virtuales» que se anteponen a la entrada. Muy baratos, pero en general más débiles que LoRA en tareas difíciles.
- IA³ y similares: aprenden vectores de escala por canal. Son extremadamente pequeños y útiles cuando necesitas miles de adaptadores.
- DoRA y otras variantes de LoRA: ajustan cómo se aplica la actualización de bajo rango para lograr una calidad algo mejor.
En qué es bueno PEFT y en qué no
PEFT destaca al enseñar estilo, formato y comportamiento: una voz propia, un esquema JSON, un esquema de clasificación concreto, convenciones para llamar herramientas. Es más débil para inyectar grandes cantidades de conocimiento nuevo. Si necesitas que el modelo conozca tu documentación, RAG suele ser la mejor herramienta, a veces combinada con un fine-tuning ligero para el formato.
Decisiones prácticas
Los ajustes principales en los métodos tipo LoRA son el rango (el tamaño del adaptador, normalmente de 8 a 64), qué capas adaptar (todas las capas lineales suele dar el mejor resultado), la tasa de aprendizaje (más alta que en el fine-tuning completo, a menudo entre 1e-4 y 2e-4) y el número de épocas. Empieza en pequeño y evalúa con ejemplos reservados antes de escalar.
Dónde encaja
PEFT se sitúa entre el prompt engineering y el fine-tuning completo. Prueba primero con prompts y ejemplos few-shot. Si eso toca techo, un entrenamiento PEFT es el siguiente paso. El fine-tuning completo queda sobre todo para los laboratorios y para cambios grandes, como enseñar un idioma nuevo.