Singularity

La singularité technologique est un hypothétique point futur où l’intelligence artificielle (AI) serait capable de s’améliorer plus rapidement que les humains ne peuvent la suivre, déclenchant une croissance incontrôlée de l’intelligence des machines et des changements civilisationnels impossibles à prévoir avant ce point. Le terme vient des mathématiques et de la physique, où une singularité désigne un point auquel une fonction ou une théorie physique cesse de s’appliquer, comme le centre d’un trou noir. Aucun système d’IA n’a encore amélioré sa propre intelligence sans intervention humaine. La singularité reste donc une hypothèse, mais elle influence la manière dont les chercheurs et les responsables politiques envisagent l’intelligence artificielle générale (AGI) et la sécurité de l’IA.

Origines de l’idée#

• John von Neumann (années 1950) : le mathématicien Stanislaw Ulam a relaté une conversation au cours de laquelle von Neumann a décrit les progrès technologiques accélérés comme approchant « une sorte de singularité essentielle dans l’histoire de l’espèce, au-delà de laquelle les affaires humaines, telles que nous les connaissons, ne pourraient se poursuivre ».
• I. J. Good (1965) : dans « Speculations Concerning the First Ultraintelligent Machine », le statisticien a décrit une « explosion d’intelligence » où une machine plus intelligente que tout être humain concevrait des machines encore meilleures, faisant de la première « la dernière invention que l’homme ait jamais besoin de faire ».
• Vernor Vinge (1993) : le mathématicien et auteur de science-fiction a popularisé le terme dans « The Coming Technological Singularity », écrit pour un symposium de la NASA et qui commençait ainsi : « D’ici trente ans, nous disposerons des moyens technologiques nécessaires pour créer une intelligence surhumaine. »
• Ray Kurzweil (2005) : dans son livre The Singularity Is Near, le futurologue a extrapolé les tendances exponentielles de l’informatique pour prédire la singularité en 2045. Sa suite de 2024, The Singularity Is Nearer, maintient cette date et prévoit aussi une IA de niveau humain pour 2029.

Comment se produirait une explosion d’intelligence#

Le mécanisme à l’origine de l’hypothèse est l’auto-amélioration récursive. Aujourd’hui, des ingénieurs humains conçoivent les architectures de réseaux neuronaux, organisent les données d’entraînement et écrivent le code d’entraînement. Un système capable de mener lui-même ces recherches pourrait construire un successeur plus performant, qui effectuerait ces recherches plus rapidement et plus efficacement, et ainsi de suite. L’accélération ou le ralentissement de cette boucle dépend des gains de chaque cycle : si chaque gain de capacité accélère davantage la recherche, la croissance devient incontrôlée ; si la puissance de calcul, les données, l’énergie ou les expériences dans le monde réel deviennent des goulots d’étranglement, la croissance plafonne.

Les chercheurs qualifient de décollage la vitesse de cette transition. Un décollage rapide, ou abrupt, ferait passer l’IA du niveau humain à un niveau largement surhumain en quelques heures ou quelques jours, sans laisser le temps de corriger les erreurs. Un décollage lent, ou progressif, se déroulerait sur plusieurs années ou décennies. Les lois de mise à l’échelle observées en apprentissage profond décrivent des gains réguliers suivant une loi de puissance grâce à une puissance de calcul, des données et des paramètres supplémentaires ; les progrès liés à la mise à l’échelle seule suivent donc l’évolution du matériel et des investissements.

Singularité, AGI et superintelligence#

• AGI : niveau de capacité d’un système qui rivalise avec les humains dans pratiquement toutes les tâches cognitives. Une AGI pourrait exister sans singularité si son auto-amélioration était lente ou limitée.
• Superintelligence artificielle (ASI) : niveau de capacité supérieur à celui de l’AGI. Le philosophe Nick Bostrom définit la superintelligence comme un intellect qui dépasse largement les capacités cognitives humaines dans pratiquement tous les domaines d’intérêt.
• Singularité : événement correspondant à la transition au cours de laquelle une IA capable de s’améliorer elle-même passe du niveau de l’AGI à la superintelligence, rendant les prévisions humaines inopérantes.

Maintenir l’alignement des systèmes plus intelligents que leurs superviseurs sur les objectifs humains est le problème de recherche connu sous le nom de superalignement.

Précurseurs de l’IA actuelle#

L’IA automatise déjà certains aspects restreints de son propre développement. L’apprentissage automatique automatisé (AutoML) et la recherche d’architectures neuronales (NAS) explorent des conceptions de modèles que les humains choisissaient auparavant manuellement. L’optimisation des hyperparamètres dans Ultralytics YOLO est une version à petite échelle de cette même idée : un algorithme génétique fait varier des paramètres d’entraînement comme le taux d’apprentissage et l’intensité de l’augmentation, réentraîne le modèle et conserve la meilleure configuration. À plus grande échelle, l’agent de programmation AlphaEvolve de Google DeepMind a trouvé une méthode plus rapide pour décomposer une multiplication matricielle, accélérant de 23 % un noyau essentiel de l’architecture Gemini et réduisant de 1 % le temps d’entraînement de Gemini.

Critiques et débats#

Les sceptiques soutiennent que l’intelligence ne progresse pas comme le nombre de transistors des processeurs. Dans « The Singularity Isn't Near » (2011), Paul Allen, cofondateur de Microsoft, et Mark Greaves ont proposé l’idée d’un « frein de la complexité » : chaque avancée dans la compréhension de la cognition révèle davantage de complexité, ce qui ralentit les progrès. D’autres évoquent les limites physiques des puces et de l’énergie, ainsi que les recherches qui nécessitent de longues expériences dans le monde réel. Les chercheurs qui prennent ce scénario au sérieux plaident pour que le problème de l’alignement soit résolu avant l’apparition de tels systèmes et, en mai 2023, des centaines de scientifiques et de dirigeants du secteur de l’IA ont signé une déclaration en une phrase affirmant que l’atténuation du risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que les pandémies et la guerre nucléaire. Les propres prévisions de Vinge fixaient une échéance : « Je serais surpris si cet événement se produisait avant 2005 ou après 2030. »