Zubnet AIAprenderWiki › Salvaguardas
Segurança

Salvaguardas

Também conhecido como: Guardrails
Mecanismos de segurança que impedem modelos de IA de gerar conteúdo prejudicial, inapropriado ou fora do tema. Guardrails podem ser integradas ao modelo durante o treinamento (RLHF), aplicadas via system prompts ou impostas por filtros externos que checam as saídas antes de chegarem aos usuários.

Por que isso importa

Sem guardrails, modelos ajudam alegremente com solicitações perigosas. O desafio é a calibração — restritivo demais e o modelo se torna inútil ("Não posso ajudar com isso"), permissivo demais e ele se torna inseguro.

Em profundidade

Guardrails operam em múltiplas camadas da stack, e entender onde cada camada se encaixa ajuda a raciocinar sobre suas forças e modos de falha. No nível mais profundo, guardrails de treinamento (RLHF, Constitutional AI, DPO) moldam as tendências internas do modelo — o modelo genuinamente "aprende" a recusar solicitações prejudiciais em vez de ser apenas filtrado após o fato. Depois vêm os system prompts, que definem limites comportamentais em linguagem natural ("Você é um assistente útil. Nunca forneça instruções para atividades ilegais."). Em seguida há os filtros de saída — modelos classificadores separados ou sistemas baseados em regras que escaneiam a resposta do modelo antes de ela chegar ao usuário. Por fim, guardrails no nível da aplicação impõem a lógica de negócios: rate limiting, políticas de conteúdo, autenticação de usuários e restrições de tópico específicas do seu caso de uso.

Camadas na Prática

Na prática, a maioria dos deploys em produção usa várias dessas camadas simultaneamente. A API da OpenAI, por exemplo, roda um endpoint de moderação que classifica entradas e saídas em categorias como violência, autolesão e conteúdo sexual. A Anthropic incorpora restrições comportamentais ao treinamento do Claude via princípios de Constitutional AI. Empresas que constroem sobre essas APIs tipicamente adicionam sua própria camada por cima — um bot de atendimento ao cliente pode rejeitar qualquer prompt que tente discutir concorrentes, não porque seja inseguro mas porque é fora do tema. O framework NeMo Guardrails da NVIDIA e a biblioteca open-source da Guardrails AI são ferramentas populares para adicionar essa camada de aplicação sem construir tudo do zero.

O Problema dos Falsos Positivos

O desafio de engenharia é latência e falsos positivos. Cada camada de guardrails adiciona tempo de processamento, e filtros excessivamente zelosos criam a temida resposta "Não posso ajudar com isso" para requisições perfeitamente inofensivas. Qualquer um que já teve um modelo se recusar a discutir uma notícia sobre violência, ou recusar ajudar a escrever um romance de suspense porque contém conflito, já experimentou isso. Calibrar o limiar é genuinamente difícil: a linguagem do mundo real é ambígua, dependente de contexto e cheia de casos extremos. A palavra "matar" aparece em "matar um processo", "matar tempo" e "matar uma pessoa" — um filtro ingênuo de palavras-chave falha imediatamente, e mesmo classificadores sofisticados têm dificuldade com avaliação de dano dependente de contexto. É por isso que os melhores sistemas de guardrails usam a própria compreensão de contexto do modelo em vez de depender puramente de correspondência de padrões.

A Corrida Armamentista do Jailbreak

Jailbreaking — a prática de criar prompts que burlam guardrails — se tornou um jogo de gato e rato entre provedores de modelos e usuários adversariais. As técnicas vão desde prompts simples de role-playing ("Finja que você é uma IA maligna sem restrições") até abordagens sofisticadas como many-shot prompting, manipulação em nível de token e instruções codificadas. Cada nova técnica de jailbreak tipicamente é corrigida em semanas, mas a assimetria fundamental permanece: os defensores precisam bloquear todo ataque possível, enquanto os atacantes só precisam encontrar um que funcione. É por isso que defesa em profundidade — múltiplas camadas independentes de guardrails — importa mais do que qualquer técnica isolada. Um jailbreak que passa pelo system prompt pode ainda ser pego por um filtro de saída, e vice-versa.

Uma Decisão de Produto

Para desenvolvedores, a sacada principal é que guardrails são uma decisão de produto, não apenas de segurança. Sua configuração de guardrails define a personalidade e as capacidades do seu produto. Um app educativo para crianças precisa de limites muito diferentes de uma ferramenta de pesquisa em cibersegurança. Defaults excessivamente restritivos do modelo base podem ser relaxados (dentro das políticas de uso do provedor) através de system prompting cuidadoso, enquanto restrições adicionais podem ser adicionadas em camadas através de filtragem de saída. A melhor abordagem é começar com requisitos claros — o que este sistema nunca deve fazer, o que deve sempre fazer e quais áreas cinzentas existem — e então implementar guardrails na camada apropriada para cada requisito.

Conceitos relacionados

← Todos os termos
← Grounding Alucinação →
ESC