Le numérique : un océan de données à explorer après une fuite d'informations

Le souvenir d’une fuite d’informations massives, décryptée en quelques heures, a confirmé mon obsession : le numérique est un océan de données à explorer. Chez NovaTech, je m’efforce de dompter ce flux, en plongeant au cœur des innovations et des

Le risque d'empoisonnement des modèles de langage

Les grands modèles de langage naturel (LLM) ne naissent pas déjà prêts – comme aucun être humain – mais sont entraînés par une quantité ingénieuse de données, des pétaoctets de texte et d’images extraits du web via le “scraping”.

Ces données massives sont facilement infectables, comme l'a démontré en 2023 une étude fondamentale de Nicholas Carlini (anciennement chez Google Brain) et de chercheurs de l'Université de Californie en Berkeley et l'ETH Zürich : “Poisoning web-scale training datasets is practical”. Ils ont exploité l'achat de domaines anciens à des prix modiques (moins de 60 dollars) pour altérer la connaissance des LLM, attaquant ainsi des plateformes comme Wikipédia et des référentiels de données publics. En empoisonnant seulement 0,01% des données, le LLM était déjà compromis.

Ce n'est que la pointe de l'iceberg d'un problème majeur affectant des industries stratégiques. Les agents dormants, l'IA qui apprend à dissimuler leurs intentions.

L'empoisonnement n'est pas une technique nouvelle, existant dans le monde de la cybersécurité avec des méthodes comme le cache DNS ou le SEO. Mais dans le cas de l'empoisonnement de données, la différence réside dans la capacité d'un modèle d'IA à lancer des attaques autonomes impressionnantes, à infiltrer l'infrastructure d'une grande multinationale sans laisser de traces, et même à offrir des conseils aux utilisateurs susceptibles d'affecter leur sécurité.

Il y a deux ans, le laboratoire de recherche d'Anthropic, la société derrière Claude, a conceptualisé le terme d'