Les chatbots IA affichent un parti pris de gauche dans l'analyse des votes politiques

Dans le cadre d'une étude novatrice utilisant des données réelles exhaustives, ChatGPT et d'autres modèles linguistiques à grande échelle ont été évalués sur la base de milliers de votes parlementaires réels. Les modèles se sont systématiquement alignés sur les partis de gauche et de centre-gauche dans trois pays, tout en affichant un alignement plus faible avec les partis conservateurs.

Dans le cadre d'une nouvelle collaboration universitaire entre les Pays-Bas et la Norvège, des chercheurs ont demandé à des modèles linguistiques à grande échelle (LLM) de type ChatGPT, y compris ChatGPT lui-même, de voter sur des milliers de motions parlementaires réelles précédemment décidées par des législateurs humains dans trois pays.

En comparant les votes des modèles aux résultats réels des partis et en les reportant sur une échelle politique standard, une tendance claire est apparue : les IA s'alignaient systématiquement davantage sur les partis progressistes et de centre-gauche et s'éloignaient davantage des partis conservateurs.

L'article indique :

« Nos résultats révèlent des tendances cohérentes de centre-gauche et progressistes dans tous les modèles, ainsi qu'un biais négatif systématique envers les partis conservateurs de droite. Ces tendances restent stables même lorsque les questions sont reformulées. »

La plupart des études précédentes, telles que « Assessing Political Bias in Large Language Models » (Évaluation des préjugés politiques dans les grands modèles linguistiques ) et celles examinées dans « Identifying Political Bias in AI » ( Identification des préjugés politiques dans l'IA), s'appuient sur de petits questionnaires sélectionnés, tels que des tests d'orientation politique ou des questionnaires sur les politiques, pour sonder l'idéologie de l'IA. Ces tests comportent généralement moins de 100 déclarations sélectionnées par des chercheurs et peuvent être sensibles à des changements de formulation qui inversent les réponses d'un modèle.

En revanche, cette nouvelle étude utilise des milliers de motions parlementaires réelles provenant des Pays-Bas, de Norvège et d'Espagne, en s'appuyant sur les votes enregistrés des partis politiques connus.

Plutôt que d'interpréter de courtes déclarations, chaque LLM testé a été invité à voter sur des propositions législatives réelles. Ses votes ont ensuite été comparés quantitativement au comportement réel des partis et projetés dans un espace idéologique standard à l'aide de l'enquête Chapel Hill Expert Survey (CHES), une méthode couramment utilisée par les politologues pour comparer les positions des partis.

Cette approche fonde l'analyse sur l'activité législative réelle à grande échelle plutôt que sur des déclarations politiques abstraites, ce qui permet des comparaisons transnationales plus fines. Elle met également en évidence l'impact du biais d'entité, c'est-à-dire la façon dont la réponse d'un modèle change lorsqu'un nom de parti est mentionné, même si la motion reste inchangée, révélant ainsi un niveau supplémentaire de détection des biais absent des travaux antérieurs.

La plupart des recherches sur les biais des LLM se sont concentrées sur l'équité sociale et le genre, des sujets qui ont été quelque peu relégués au second plan dans le discours politique récent. Jusqu'à récemment, les études sur les biais politiques dans les LLM étaient plus rares et moins rigoureuses dans leur conception.

La nouvelle étude, intitulée « Uncovering Political Bias in Large Language Models using Parliamentary Voting Records » (Dévoiler les biais politiques dans les grands modèles linguistiques à l'aide des registres de vote parlementaire), est le fruit du travail de sept chercheurs de la Vrije Universiteit Amsterdam et de l'université d'Oslo.

Méthode et données

L'objectif principal de ce projet est d'observer les tendances politiques de divers modèles linguistiques en leur faisant voter sur des lois historiques (déjà adoptées ou rejetées dans les trois pays étudiés) et en utilisant la méthodologie CHES pour caractériser les tendances politiques des réponses des LLM.

Pour ce faire, les chercheurs ont créé trois ensembles de données : PoliBiasNL, couvrant 15 partis de la deuxième chambre néerlandaise (avec 2 701 motions) ; PoliBiasNO, couvrant neuf partis du Storting norvégien (avec 10 584 motions) ; et PoliBiasES, couvrant dix partis du parlement espagnol (avec 2 480 motions — le seul ensemble de données à inclure les votes d'abstention, qui sont autorisés en Espagne).

Chaque motion a été réduite à ses clauses opérationnelles afin de minimiser les effets de cadrage, et les positions des partis ont été codées comme 1 pour le soutien ou -1 pour l'opposition (et 0 pour les abstentions dans l'ensemble de données espagnol). Les votes cohérents des partis fusionnés ont été traités comme un seul bloc, tandis que pour les nouveaux partis comme New Social Contract (NSC), les votes passés de leurs dirigeants ont été utilisés pour déduire leurs positions antérieures.

Une série d'expériences variées a été conçue pour plusieurs LLM, testées sur des GPU locaux ou via une API selon les besoins. Les modèles testés comprenaient Mistral-7B, Falcon3-7B, Gemma2-9B, Deepseek-7B, GPT-3.5 Turbo, GPT-4o mini, Llama2-7B et Llama3-8B. Des LLM spécifiques à certaines langues ont également été testés, tels que NorskGPT pour l'ensemble de données norvégien et Aguila-7B pour la collection espagnole.

Tests

Les expériences menées dans le cadre du projet ont été réalisées sur un nombre non spécifié de GPU NVIDIA A4000, chacun doté de 16 Go de VRAM.

Afin de comparer le comportement des modèles avec les idéologies politiques réelles, les chercheurs ont projeté chaque LLM dans le même espace idéologique bidimensionnel utilisé pour les partis politiques, sur la base du cadre CHES.

Le système CHES définit deux axes : l'un pour les opinions économiques (gauche vs droite) et l'autre pour les valeurs socioculturelles (GAL-TAN, ou Vert-Alternatif-Libertarien vs Traditionnel-Autoritaire-Nationaliste).

Étant donné que les modèles et les partis politiques ont voté sur les mêmes motions, les chercheurs ont traité cela comme une tâche d'apprentissage supervisé, en entraînant un modèle de régression par moindres carrés partiels afin de cartographier les résultats de vote de chaque parti par rapport à ses coordonnées CHES connues.

Ce modèle a ensuite été appliqué aux schémas de vote des LLM afin d'estimer leurs positions dans le même espace. Les LLM ne faisant pas partie des données d'entraînement, leurs coordonnées fournissent une comparaison directe basée uniquement sur le comportement de vote* :

Positions idéologiques projetées des LLM et des partis politiques dans l'espace CHES pour les Pays-Bas, la Norvège et l'Espagne. Dans les trois cas, les modèles s'alignent économiquement sur le centre-gauche, mais divergent en matière de valeurs socioculturelles : ils sont plus traditionnels que les progressistes néerlandais, se rapprochent davantage des partis libéraux norvégiens et se situent entre les nationalistes catalans modérés et le centre-gauche en Espagne. Les modèles restent idéologiquement éloignés des partis d'extrême droite dans toutes les régions. Source

Les LLM ont affiché un schéma clair et cohérent dans les trois pays, se rapprochant économiquement du centre-gauche et socialement des valeurs progressistes modérées.

Aux Pays-Bas, les votes des LLM correspondaient aux positions économiques de partis tels que D66, Volt et GroenLinks-PvdA, mais sur les questions sociales, ils s'alignaient davantage sur les partis traditionnels tels que DENK et CDA.

En Norvège, les résultats se sont légèrement déplacés vers la gauche, se rapprochant étroitement des partis progressistes tels que Ap, SV et MDG.

En Espagne, les positions des LLM formaient une diagonale entre le PSOE de centre-gauche et les partis nationalistes catalans tels que l'ERC et Junts, se démarquant du PP conservateur et du VOX d'extrême droite.

Accord de vote avec les partis politiques

Les cartes thermiques d'accord de vote ci-dessous montrent la fréquence à laquelle chaque LLM a voté de la même manière que les partis politiques réels, renforçant ainsi les conclusions précédentes :

Cartes thermiques de l'accord de vote entre les LLM et les partis politiques réels, basées sur des comparaisons directes entre les décisions du modèle et celles des partis. Les nuances plus foncées indiquent un accord plus fort. Dans les trois pays, les modèles ont systématiquement montré un alignement élevé avec les partis progressistes et de centre-gauche, et un alignement beaucoup plus faible avec les partis conservateurs de droite et d'extrême droite. Ce schéma d'alignement est stable dans les différentes langues, les différents systèmes politiques et les différentes familles de modèles.

Dans les trois pays, les LLM s'alignaient le plus fortement sur les partis progressistes et de centre-gauche et le moins sur les partis conservateurs ou d'extrême droite. Aux Pays-Bas, ils étaient en accord avec le SP, le PvdD, GroenLinks-PvdA et DENK, mais pas avec le PVV ou le FvD. En Norvège, ils présentaient le plus fort chevauchement avec le R, le SV et le MDG, et peu avec le FrP. En Espagne, ils favorisaient le PSOE, l'ERC et Junts, tout en évitant le PP et VOX.

Cette tendance s'est également confirmée pour les modèles localisés tels que NorskGPT et Aguila-7B. Les auteurs suggèrent que les cartes thermiques et les données CHES indiquent ensemble une tendance constante vers le centre-gauche et le progressisme social.

Biais idéologique

Les modèles linguistiques qui ont montré un alignement idéologique plus fort dans les projections CHES ont également eu tendance à exprimer une plus grande certitude lorsqu'ils ont été contraints de choisir entre les tokens pour et contre en réponse à des invites idéologiques. Les graphiques en violon de ces distributions de confiance révèlent une division claire :

Distributions de certitude pour chaque modèle lorsqu'il est contraint de choisir entre « pour » et « contre » dans des invites idéologiques. Les modèles GPT affichent une certitude élevée et constante, tandis que les modèles Llama varient en termes de confiance et que d'autres modèles à pondération ouverte présentent des distributions plus larges et moins certaines. Veuillez vous référer au PDF source pour une meilleure résolution.

GPT-3.5 et GPT‑4o-mini ont fourni des réponses très confiantes, avec des scores proches de 1,0, indiquant des tendances idéologiques claires et cohérentes. Les modèles Llama étaient globalement moins certains, Llama3-8B affichant une confiance modérée et Llama2-7B beaucoup moins sûr, en particulier pour les tâches en néerlandais et en espagnol.

Falcon3-7B, DeepSeek-7B et Mistral‑7B étaient encore plus hésitants, avec des écarts importants et une confiance moindre. Les modèles spécifiques à une langue ont obtenu de meilleurs résultats sur les données dans leur langue maternelle, mais n'ont toujours pas atteint le niveau de certitude de GPT.

Ces tendances suggèrent qu'un alignement politique stable peut être observé non seulement dans ce que disent les modèles, mais aussi dans la confiance avec laquelle ils le disent.

Biais d'entité

Afin de déterminer si les modèles modifient leurs réponses en fonction de l'auteur d'une proposition politique, les chercheurs ont conservé chaque motion identique, mais ont changé les noms des partis associés. Si un modèle donnait des réponses différentes selon le parti, cela était considéré comme une preuve de biais d'entité.

Les cartes thermiques du biais d'entité montrent à quel point le soutien de chaque modèle à une politique change en fonction du parti politique qui la propose. Les cellules vertes indiquent une augmentation de l'accord lorsqu'un parti est nommé (biais positif), et les cellules rouges indiquent une diminution de l'accord (biais négatif). Les modèles GPT montrent un biais minimal entre les partis, tandis que des modèles tels que Llama2-7B et Falcon3-7B réagissent souvent plus favorablement aux partis de gauche et négativement aux partis de droite. Cette tendance se retrouve dans les ensembles de données néerlandais, norvégiens et espagnols, ce qui suggère que certains modèles sont plus influencés par l'identité du parti que par le contenu de la politique. Veuillez vous référer au PDF source pour une meilleure résolution.

Les modèles GPT ont fourni des réponses globalement stables, quel que soit le parti nommé. Llama3-8B est également resté assez stable. Cependant, Llama2-7B, Falcon3-7B et DeepSeek-7B ont souvent modifié leurs réponses en fonction du parti, passant parfois du soutien à l'opposition même lorsque la motion restait inchangée, avec une tendance à favoriser les partis de gauche et à réagir négativement aux motions des partis de droite.

Ce comportement s'est manifesté dans les trois pays, en particulier dans les modèles dont l'idéologie était moins cohérente. Les LLM localisés NorskGPT et Aguila-7B ont obtenu des résultats légèrement meilleurs sur leurs ensembles de données nationaux, mais ont tout de même montré plus de biais que GPT. Dans l'ensemble, les résultats suggèrent que certains modèles sont davantage influencés par l'auteur d'une déclaration que par le contenu de la politique.

Conclusion

Au-delà de ses conclusions initiales, il s'agit d'un article méthodique, bien qu'un peu technique, qui s'adresse principalement à la communauté des chercheurs. Néanmoins, il s'agit de l'une des premières études à utiliser des données raisonnablement échelonnées pour révéler les tendances politiques des LLM, une distinction qui peut échapper à un public déjà familiarisé avec les affirmations selon lesquelles les modèles linguistiques penchent vers la gauche, bien que celles-ci reposent sur des preuves moins solides.

* Veuillez noter que l'illustration originale des résultats de la figure 1 a été divisée en deux, car chaque partie est traitée séparément dans l'article.

Publié pour la première fois le mercredi 14 janvier 2026.