La privacidad en IA no es un solo problema — es una pila de problemas interconectados que abarcan todo el ciclo de vida de un modelo y todo lo que lo toca. Los datos de entrenamiento pueden contener información personal extraída de la web sin consentimiento. El modelo mismo puede memorizar y reproducir esa información textualmente. Los logs de inferencia capturan lo que los usuarios preguntan, lo cual frecuentemente revela mucho más sobre ellos de lo que se dan cuenta. Y los modelos de negocio de muchos proveedores de IA dependen de usar tus interacciones para mejorar sus sistemas, lo que significa que tus datos fluyen hacia la siguiente corrida de entrenamiento a menos que optes por excluirte explícitamente (y a veces incluso entonces). Entender dónde falla la privacidad requiere mirar cada capa por separado.
Los modelos de lenguaje grandes se entrenan con datasets extraídos de la web abierta — Common Crawl, archivos de Reddit, foros públicos, blogs personales, bases de datos filtradas que fueron indexadas por motores de búsqueda. Esto significa que los datos de entrenamiento de GPT-4, Claude, Gemini y todos los demás modelos de frontera contienen nombres reales, direcciones, números de teléfono, discusiones médicas, documentos legales y conversaciones privadas que la gente publicó sin imaginar que terminarían dentro de una red neuronal. El panorama legal aquí está evolucionando rápidamente. El EU AI Act requiere documentación de las fuentes de datos de entrenamiento. Italia prohibió temporalmente ChatGPT por preocupaciones de GDPR. Demandas colectivas están en curso en múltiples jurisdicciones. Pero la realidad técnica es que una vez que la información se integra en los pesos del modelo a través del entrenamiento, no puede ser eliminada limpiamente. Técnicas como el machine unlearning intentan olvidar selectivamente datos específicos, pero son aproximadas en el mejor de los casos — un problema que los reguladores aún no han abordado completamente.
Los modelos no solo aprenden patrones de los datos de entrenamiento — a veces memorizan secuencias específicas textualmente. Investigadores de Google DeepMind demostraron que GPT-3.5 podía ser inducido a emitir datos de entrenamiento memorizados incluyendo números de teléfono personales y direcciones de correo electrónico. Los modelos más grandes memorizan más, y los datos que aparecen frecuentemente en los sets de entrenamiento son más fáciles de extraer. Esta no es una preocupación teórica: si la información personal de alguien apareció en suficientes páginas web, un prompt lo suficientemente astuto puede hacer que un modelo la reproduzca. La privacidad diferencial (agregar ruido calibrado durante el entrenamiento para limitar lo que se puede aprender sobre cualquier punto de datos individual) es la defensa técnica más fundamentada, pero tiene un costo real en la calidad del modelo. Apple usa privacidad diferencial en sus modelos on-device. La mayoría de los proveedores en la nube no lo hacen, porque la compensación de precisión con las técnicas actuales es demasiado pronunciada para modelos de frontera competitivos.
Incluso si el problema de los datos de entrenamiento se resolviera mañana, la inferencia crea su propia superficie de privacidad. Cuando pegas un contrato en ChatGPT para resumirlo, ese texto llega a los servidores de OpenAI. Cuando tu empresa construye un chatbot de soporte al cliente, cada interacción con el cliente fluye a través de la infraestructura de tu proveedor de IA. Los clientes empresariales demandan cada vez más acuerdos de procesamiento de datos, cumplimiento SOC 2, y garantías contractuales de que sus datos no serán usados para entrenamiento. Los proveedores han respondido: OpenAI, Anthropic, Google y otros ofrecen niveles empresariales con garantías de no-entrenamiento. Pero la arquitectura aún requiere enviar datos a los servidores de alguien más. La alternativa — correr modelos localmente o en tu propio entorno de nube — se está volviendo más práctica conforme los modelos open-weight mejoran, pero requiere inversión técnica significativa y típicamente significa renunciar al acceso a los modelos más capaces.
El campo no está estancado. El aprendizaje federado permite que múltiples partes entrenen un modelo compartido sin nunca combinar sus datos crudos — tus datos se quedan en tu dispositivo o tu servidor, y solo se comparten actualizaciones del modelo. El cifrado homomórfico, alguna vez considerado demasiado lento para uso práctico, está llegando al punto donde algunas cargas de trabajo de inferencia pueden correr sobre datos cifrados sin nunca descifrarlos. Los modelos on-device como los de Apple Intelligence procesan tareas sensibles localmente, solo recurriendo a la nube para solicitudes que exceden la capacidad local. La generación aumentada por recuperación te permite mantener documentos sensibles en tu propia infraestructura e inyectar contexto relevante en el momento de inferencia sin que entre en el pipeline de entrenamiento. Ninguno de estos enfoques resuelve todo, y la mayoría involucra compensaciones en costo, latencia o calidad del modelo. Pero representan un cambio genuino de "confía en nosotros con tus datos" hacia arquitecturas donde la privacidad se impone por diseño en lugar de solo por política.