Un des premiers investisseurs d’Anthropic, Jaan Tallinn, cofondateur de Skype, exprime sa déception en avril 2023. Il avait investi dans des laboratoires d’intelligence artificielle, dont Anthropic, en espérant orienter leur développement vers une plus grande prudence. Cependant, l'entreprise n'a pas soutenu l'initiative visant à suspendre l'entraînement des systèmes les plus puissants pendant six mois, proposée par le Future of Life Institute, qu'il a cofondé.
« Plan A failed », admet-il à Semafor. Anthropic justifie son refus de signer des pétitions par principe, bien que Tallinn la considère plus attentive à la sécurité que d'autres laboratoires. Ce désaccord, rapporté le 28 avril 2023, met en lumière la difficulté de partager des préoccupations, de financer des initiatives sérieuses et d’obtenir des décisions.
Les fondements d'Anthropic
L’histoire d’Anthropic est marquée par un engagement envers la sécurité, qui s'est manifesté dans ses recherches et sa gouvernance. L'entreprise a été fondée par les frères Dario et Daniela Amodei, après leurs expériences chez OpenAI, où ils ont travaillé avant de créer leur propre laboratoire en 2021. Dario, directeur général, a une formation en physique et neurosciences, tandis que Daniela, présidente, a étudié la littérature et la politique.
Le 14 février 2019, Dario Amodei avait déjà cosigné une annonce chez OpenAI pour ne pas publier immédiatement la version la plus puissante de GPT-2, invoquant des risques d'usage malveillant. Cette expérience a façonné leur approche à Anthropic, qui vise à équilibrer le développement de modèles d'IA avec une évaluation des dangers associés.
Défis et financement
Le premier tour de financement d’Anthropic, annoncé en mai 2021, a permis de lever 124 millions de dollars, avec Jaan Tallinn et Dustin Moskovitz, cofondateur de Facebook, parmi les investisseurs. La question de l'utilisation efficace des ressources est centrale dans ce milieu, où l'altruisme efficace et le longtermisme influencent les priorités de financement.
Open Philanthropy, cofondé par Holden Karnofsky, a également soutenu le développement d’Anthropic. En 2023, Karnofsky a quitté son poste pour se concentrer sur la sécurité de l'IA, tandis que son lien avec Daniela Amodei souligne l'interconnexion des préoccupations éthiques au sein de l'organisation.
Évolution de la gouvernance
Le 28 mai 2024, Luke Muehlhauser, proposé par Tallinn pour siéger au conseil d’Anthropic, annonce son départ, soulignant les difficultés d’un cumul de mandats dans le domaine de l'IA. Anthropic a aussi mis en place un mécanisme de gouvernance appelé Long-Term Benefit Trust, introduit en septembre 2023, qui détient des actions spéciales donnant des droits de nomination et de révocation, témoignant des enjeux de la sécurité et de la gouvernance dans l'IA.