Eileen Guo da MIT Technology Review publicou na quarta-feira uma investigação substantiva de privacidade sobre chatbots de IA que devolvem números de telefone reais e funcionais nas suas saídas. A vítima nomeada é Daniel Abraham, um engenheiro de software de 28 anos em Israel que começou a receber mensagens no WhatsApp de estranhos pedindo suporte da PayBox — o Google Gemini vinha alucinando o número pessoal dele como sendo a linha de SAC do WhatsApp da PayBox. Abraham não trabalha para a PayBox; a PayBox não oferece SAC por WhatsApp; a PayBox confirmou isso ao MIT Tech Review. Quando a repórter consultou o Gemini independentemente, ele devolveu o número de outra pessoa — um funcionário de uma empresa israelense de cartões de crédito. Outros dois casos documentados: um usuário do Reddit que foi inundado por um mês por pessoas ligando atrás de "um advogado, um product designer, um chaveiro" (aparentemente mal-direcionados pela IA do Google), e uma candidata a PhD na Universidade de Washington que casualmente conseguiu que o Gemini soltasse o número de celular pessoal de uma colega.
O ponto de dado duro a fixar vem da DeleteMe, a empresa de remoção de informações pessoais: as consultas de clientes sobre IA generativa saltaram 400% nos últimos sete meses, até os baixos milhares. O recorte de qual chatbot os usuários reclamam: 55% ChatGPT, 20% Gemini, 15% Claude, 10% outros. O CEO da DeleteMe, Rob Shavell, descreve dois modos de falha: (1) o usuário pergunta ao chatbot algo sobre si mesmo e recebe de volta endereço residencial exato, telefone, familiares, ou empregador; (2) o usuário reporta o chatbot tendo soltado a informação de contato de outra pessoa, às vezes "plausível-mas-errada". Os dois modos estão aparecendo nos chatbots principais. O registro de data brokers da Califórnia adiciona outro ponto: 31 de 578 brokers registrados se auto-reportaram tendo vendido ou compartilhado dados de consumidores com um desenvolvedor de GenAI no último ano — uma fração pequena do registro mas um canal formal mensurável de PII para os conjuntos de treino.
O mecanismo é a parte que builders precisam internalizar. Os crawls de treino de LLMs incluem centenas de milhões de instâncias de PII — o número do Abraham, por exemplo, parece ter sido postado uma vez num site tipo Quora em 2015, e esse único post de 11 anos é a fonte mais plausível para o Gemini reproduzir agora. O dataset DataComp CommonPool documentado no verão passado incluiu currículos escaneados, carteiras de motorista, e cartões de crédito. Modelos memorizam e reproduzem dados verbatim dos conjuntos de treino, e pesquisa recente sugere que não é só conteúdo de alta frequência que é memorizado — itens raros também podem ser retidos. Salvaguardas padrão (filtros de conteúdo de PII, a instrução "o mínimo de informação pessoal" do Claude) pegam algumas mas falham visivelmente quando o modelo trata o PII como dado autoritativo de SAC em vez de como conteúdo privado. O fix estrutural está na camada de pré-processamento dos dados de treino, não no filtro de saída — mas nenhum lab principal publicou uma auditoria abrangente de remoção de PII que permita terceiros verificar que os corpora de treino estão limpos.
Para builders: se você lança um produto que embala um modelo de base e expõe saídas a usuários finais, vazamento de PII agora é uma superfície de ataque real. Três ações concretas: (1) adicione detecção via regex + entidade nomeada de telefone/email/endereço do lado da saída antes de passar as respostas do modelo aos usuários, tratando-as como violações de política de conteúdo a serem suprimidas ou reescritas; (2) peça ao seu vendor de modelo documentação sobre práticas de remoção de PII nos dados de treino e técnicas de mitigação de memorização (privacidade diferencial, deduplicação, k-anonimato em escala) — a maioria vai esquivar mas a pergunta cria rastro; (3) construa um mecanismo de reporte do usuário final para "essa saída expôs minha informação" com um processo de retratação de via rápida. Para usuários finais e formuladores de políticas: o pico de 400% da DeleteMe é o indicador antecedente de que essa categoria de dano não é mais teórica, e o fix estrutural fica no nível do lab, o que significa que pressão regulatória é a alavanca mais provável. A citação do Abraham — "e se eu pedisse dinheiro para 'resolver' esse problema de SAC?" — nomeia a forma do dano: não só ligações chatas, mas uma nova superfície de ataque onde um mau ator pode monetizar o tráfego mal-direcionado pelo Gemini.