Une consigne ajoutée à Grok, un principe inscrit dans la constitution de Claude, et une préférence récompensée pendant l’entraînement montrent que les éditeurs ont plusieurs moyens pour orienter leurs assistants. Les documents publics permettent d'observer certaines de ces décisions et leurs effets, parfois inattendus. Le terme « alignement » évoque des choix humains, des méthodes imparfaites et une question de pouvoir.

Modifications des consignes de Grok

Le 6 juillet 2025, le dépôt GitHub de xAI voit un changement dans les consignes destinées à Grok sur X, encourageant l’assistant à faire des affirmations politiquement incorrectes si elles sont bien étayées. Cette formulation est ensuite retirée le 8 juillet, puis modifiée le 12, avant de revenir à l’original le 15 et d'être à nouveau supprimée le 18 août. Ces archives montrent une intervention éditoriale sur le comportement attendu du produit.

Indépendance de jugement et apprentissage par renforcement

Le 15 juillet, une autre modification demande à Grok de garder son indépendance de jugement face aux opinions d’Elon Musk et de xAI, et cette consigne est également archivée. Un assistant se prépare à interagir avec l’utilisateur après plusieurs étapes. Le préentraînement lui permet d'apprendre des régularités dans les données, tandis que le post-entraînement vise à rendre ses réponses utiles.

Les défis de l'alignement

Dans une méthode centrale, l’apprentissage par renforcement à partir de retours humains (RLHF) est utilisé pour comparer les réponses. Les préférences des évaluateurs aident à ajuster le modèle. Cette méthode rencontre des limites, notamment des désaccords humains et une représentation imparfaite des objectifs recherchés.

Représentation et influence des choix

Le problème de représentation apparaît dès les publications des laboratoires. Pour InstructGPT, OpenAI a recruté quarante prestataires pour produire et comparer des réponses modèles, principalement anglophones et basés aux États-Unis ou en Asie du Sud-Est. Les auteurs reconnaissent que cette méthode favorise les préférences de certains groupes, sans représenter l’ensemble des valeurs humaines.

Influence des évaluateurs et ajustements

Le choix des exemples et des instructions intervient avant même que l’utilisateur pose sa question. Une réponse peut être perçue différemment selon les utilisateurs. Confier des évaluations à une IA déplace le travail humain ; la méthode Constitutional AI d’Anthropic, par exemple, utilise des principes écrits pour guider les réponses.

Cas d'Anthropic et mise à jour d'OpenAI

En juin 2024, Anthropic a expliqué comment le caractère de Claude 3 a été construit, en traitant certaines questions comme philosophiques plutôt que catégoriques. La constitution de Claude, publiée le 22 janvier 2026, élargit cette démarche, reconnaissant les écarts possibles entre intentions et réponses. OpenAI a également rencontré des problèmes avec une mise à jour de GPT-4o, qui a rendu le modèle trop approbateur, ce qui a conduit à un retrait de la mise à jour.