OpenAI a élargi son programme bug bounty existant pour inclure les vulnérabilités d'usage abusif d'AI aux côtés des failles de sécurité traditionnelles. Le programme récompense maintenant les chercheurs qui trouvent des façons d'exploiter leurs modèles à des fins nuisibles—de la génération de contenu dangereux au contournement des garde-fous de sécurité. Ceci marque un changement des bogues de sécurité purement techniques vers les problèmes comportementaux et de sécurité inhérents aux large language models.
Le timing n'est pas coïncidentel. Alors que les modèles d'OpenAI deviennent plus capables, la surface d'attaque pour l'usage abusif croît exponentiellement. Le red teaming traditionnel par les équipes internes ne peut pas s'adapter à l'échelle pour égaler la créativité de millions d'usagers qui sondent pour des faiblesses. Externaliser ce travail par des primes fait du sens, mais ça révèle aussi à quel point l'approche d'OpenAI à la sécurité reste réactive. Ils admettent essentiellement qu'ils ne peuvent pas prédire toutes les façons dont leurs modèles vont briser avant le lancement.
Ce qui manque dans l'annonce d'OpenAI, ce sont les spécificités qui comptent le plus. Aucun détail sur les gammes de paiement, ce qui constitue un cas d'usage abusif valide, ou comment ils vont gérer les cas limites où le comportement du modèle se situe dans des zones grises. L'entreprise n'a pas non plus expliqué comment elle va prévenir les soumissions dupliquées ou la manipulation du système—détails critiques pour tout programme bug bounty sérieux.
Pour les développeurs qui bâtissent sur les APIs d'OpenAI, ceci crée à la fois une opportunité et de l'incertitude. Bien que le programme élargi puisse attraper plus de problèmes de sécurité avant qu'ils affectent les systèmes de production, ça signale aussi qu'OpenAI s'attend à des problèmes d'usage abusif continus. Les bâtisseurs intelligents devraient assumer que les garde-fous des modèles vont continuer d'évoluer et planifier leurs applications en conséquence, plutôt que de se fier aux mesures de sécurité actuelles comme des éléments permanents.