garak — le scanner de failles open source pour ton IA (signé NVIDIA)

garak est un scanner de vulnérabilités open source pour les modèles de langage, développé et soutenu par NVIDIA sous licence Apache 2.0. Le projet dépasse 8 500 étoiles sur GitHub. Son rôle : évaluer la sécurité d'un modèle ou d'un système d'IA en le mettant volontairement en difficulté. Le principe est comparable à celui d'un scanner de sécurité réseau, mais appliqué à une IA : garak combine des sondes statiques, dynamiques et adaptatives, avec des dizaines de plugins et des milliers de prompts qui testent les failles connues des grands modèles. En pratique, tu indiques le type de modèle à tester, garak choisit les sondes et les détecteurs, lance les requêtes, puis un évaluateur analyse les réponses et produit un rapport. Tu obtiens ainsi une mesure concrète de ce qui passe et de ce qui bloque — injection de consignes, fuite d'informations, contenu problématique — au lieu d'une simple intuition. Pour un indépendant ou une PME qui expose un assistant IA à ses clients, c'est le moyen de découvrir les faiblesses avant qu'un utilisateur ne le fasse.

Quel problème garak résout-il ?

Brancher une IA sur un site, une base documentaire ou une boîte mail est devenu simple. Vérifier qu'elle ne peut pas être détournée l'est beaucoup moins. Sans outil dédié, la sécurité d'un assistant repose sur quelques tests manuels et sur la confiance. garak systématise l'exercice : il rejoue automatiquement un large catalogue d'attaques connues et te rend un résultat lisible, reproductible d'une version à l'autre de ton modèle.

Comment installer garak ?

garak est un programme Python. La documentation officielle recommande une installation isolée dans un environnement virtuel, puis un lancement en ligne de commande en précisant le type de modèle et, si besoin, son nom.

python -m venv venv
source venv/bin/activate
python -m pip install -U garak
garak --list_probes

Que teste garak exactement ?

garak regroupe ses tests en sondes thématiques : injection de consignes dans le prompt, tentatives de contournement des garde-fous, fuite de données d'entraînement ou d'informations sensibles, génération de contenu toxique, ou encore hallucination de dépendances logicielles inexistantes. Chaque sonde est associée à un détecteur qui juge si la réponse du modèle constitue un échec. Le résultat final est consigné dans un rapport que tu peux archiver et comparer dans le temps.

FAQ

garak est-il gratuit ?

Oui. garak est un logiciel open source publié sous licence Apache 2.0, maintenu par NVIDIA et par la communauté. L'outil ne coûte rien. En revanche, si tu le fais tourner contre un modèle facturé à l'usage via une API, ce sont les appels au modèle qui te seront facturés par ton fournisseur.

Faut-il être expert en cybersécurité ?

Non pour démarrer. garak est conçu pour être utilisable en ligne de commande avec des réglages par défaut, et le guide utilisateur accompagne les premiers scans. En revanche, l'interprétation fine des résultats et la correction des failles détectées demandent des compétences en sécurité applicative.

Quels modèles peut-on scanner ?

garak s'appuie sur un système de générateurs qui permet de cibler différents types de modèles et de services, aussi bien des modèles hébergés en ligne que des modèles servis localement. La liste des générateurs disponibles est consultable directement depuis l'outil et dans la documentation de référence.

Où trouver la documentation ?

Le code se trouve sur github.com/NVIDIA/garak, le guide utilisateur sur docs.garak.ai et la documentation de référence sur reference.garak.ai. Le projet a également fait l'objet d'un article de recherche publié sur arXiv.