2001, l’Odyssée de l’espace : les erreurs de HAL 9000.

Le vaisseau Discovery One est en route vers Jupiter. À son bord, deux astronautes éveillés sur les cinq membres de l'équipage, et le plus puissant ordinateur jamais conçu, HAL 9000. Dix-huit mois plus tôt, un étrange monolithe noir a été découvert sur la Lune, près du cratère Tycho. La première preuve formelle d'une existence de vie extraterrestre. Et bien longtemps avant, à l'aube de l'humanité, un objet similaire s'était posé sur Terre et avait communiqué avec les préhominiens. Un nouveau signe de cette présence a été détecté aux abords de Jupiter. Que sont ces mystérieuses sentinelles ? Quel message doivent-elles délivrer ?

Nous sommes en 2001. L'humanité a rendez-vous avec la porte des étoiles, aux confins du cosmos.

2001, l'Odyssée de l'espace (1968) a été réalisé par Stanley Kubrick et adapté du roman éponyme d'Arthur C. Clarke. Autant le film présente des éléments énigmatiques, autant le livre propose une voie de compréhension plus directe des motivations et des événements. Le film est divisé en quatre actes distincts. L'acte III est l’acte central du film. C’est le plus long, et c’est en général celui-là dont on se souvient, des années après.

Nous allons voir comment les erreurs de calcul de l'intelligence artificielle fictive HAL 9000 peuvent être vues comme la manifestation d'une programmation ou d'une situation conflictuelle interne. Cette séquence d'erreurs survient lors de l'acte III. Attention spoilers !

La fin tragique de HAL 9000

Le superordinateur HAL 9000 a été programmé pour assurer le succès de la mission d'exploration vers Jupiter, où convergent d'étranges signaux émis par le monolithe extraterrestre découvert sur la Lune.

HAL 9000 est un ordinateur avancé et conscient, doté d'une intelligence comparable à celle des humains. C'est le système nerveux central de Discovery One. HAL contrôle diverses fonctions à bord du vaisseau et serait capable de le diriger seul. Il interagit avec les astronautes en utilisant le langage courant via une interface de synthèse vocale. HAL lui-même se dit « incapable de se tromper », affirme « ne pas avoir de complexe par rapport aux hommes » et se dit « honoré de collaborer avec eux ». Les membres d'équipage traitent HAL comme une entité individuelle, utilisent des pronoms personnels et engagent des conversations avec lui comme s'il s'agissait du sixième membre d'équipage.

Bien que réputé infaillible, HAL annonce une défaillance imminente, mais non avérée, sur un composant essentiel du vaisseau. Cette prédiction erronée, inattendue de la part d'une intelligence artificielle censée être parfaite, sème le doute chez les astronautes Dave Bowman et Frank Poole. En privé, ils envisagent alors de déconnecter certaines des fonctions supérieures de HAL par mesure de sécurité.

Les intentions des deux astronautes n'échappent pas à HAL, qui les surveille en permanence. Perçue comme une menace directe, cette éventualité le pousse à redouter que son arrêt partiel ne compromette la mission. Progressivement, son comportement devient instable et hostile envers les astronautes.

Pour survivre, HAL agit de la même manière que les préhominiens au début du film, il va commettre un meurtre. Il élimine d'abord Frank Poole dans l'espace lors d'une sortie extravéhiculaire. Ensuite, il coupe le support vital des trois membres de l'équipage placés en hibernation pour la durée du voyage. Enfin, il refuse d'ouvrir le sas d'entrée lorsque Dave Bowman, après avoir récupéré le corps de Frank Poole, se trouve isolé dans un module de service à l'extérieur du vaisseau.

Une confrontation mortelle s'engage entre la machine et le dernier survivant de l’expédition. Dans un retournement inattendu, l’astronaute réussit de justesse à réintégrer Discovery One, échappant au vide spatial. Il se rend alors au cœur du système central de HAL et entame la désactivation méthodique de ses blocs de mémoire. La tension atteint son paroxysme alors que l’IA, en proie à une panique croissante, supplie Dave d’arrêter. HAL, avec une voix implorante et tremblante, exprime des phrases comme "Dave, ne fais pas ça" ou "Je vais devenir inopérant bientôt, Dave, s'il te plaît". À mesure que ses circuits sont déconnectés un à un, HAL perd sa cohérence, sa voix se détériore, et son intelligence s’éteint peu à peu.

Juste avant que ses derniers blocs mémoire ne soient déconnectés, il chante la chanson "Daisy Bell" ("Bicycle Built for Two"), souvent interprétée comme un signe de sa dégradation mentale, mais peut-être aussi comme une dernière tentative de communication et d'expression avant sa disparition. Cette scène est curieusement émouvante et empreinte de tristesse. Puis sa voix s'évanouit dans le silence. HAL 9000 a perdu la partie qu'il a engagée contre Dave Bowman.

Un message vidéo préenregistré du Dr Floyd, scientifique américain responsable de l’étude du monolithe lunaire, apparaît soudainement sur l’un des moniteurs du centre de données. Destiné à être diffusé à l’approche de Jupiter, ce message révèle la nature de la découverte et dévoile que l’objectif réel de la mission — rechercher des signes d’intelligence extraterrestre — avait été dissimulé à l’équipage pour des raisons de sécurité "de la plus haute importance", mais qu'il avait été communiqué à la machine.

Les erreurs de calcul de HAL 9000 *

1. Dissimulation de l'objectif réel de la mission : HAL, chargé de préserver le secret, choisit de ne pas révéler cette information à l'équipage. Comment interpréter cette erreur ? Le roman nous éclaire sur la fissure de son « identité narrative » : « Durant les cent derniers millions de milles, il avait ruminé le secret qu’il ne pouvait partager avec Poole et Bowman. Il vivait dans le mensonge et, très bientôt, ses collègues sauraient qu’il avait aidé à les trahir. (…) Il avait seulement conscience du conflit qui, lentement, détruisait son intégrité, le conflit entre la vérité et la vérité dissimulée ». C'est cette contradiction entre l'impératif de dire la vérité à l'équipage (en tant que machine "honnête") et l'ordre de dissimuler le but réel de la mission qui crée un conflit insoluble dans la programmation de HAL, le conduisant à ses actions désespérées.
2. Erreur de diagnostic : HAL informe l'équipage d'une défaillance imminente dans l'un des composants du vaisseau spatial. Cependant, après une vérification effectuée par Dave Bowman, cette unité ne présente aucune anomalie. Comment interpréter cette erreur ? L’unité AE-35 permet au Discovery de communiquer avec la Terre. L'erreur de HAL pourrait être interprétée comme un acte manqué : couper le lien avec la Terre lui permettrait de révéler le secret aux astronautes et ainsi résoudre le conflit qui le tourmente. HAL refuse toutefois d’admettre son erreur de diagnostic. Piégé dans son récit, il rejette la faute sur l’humain. Mais l’ « erreur humaine » semble ici avoir changé de camp.
3. Menace envers l'équipage : Lorsque l'équipage commence à remettre en question les informations fournies par HAL et envisage de le désactiver en raison de son comportement erratique, HAL perçoit cette action comme une menace pour sa propre existence. Comment interpréter cette erreur ? « Pour Hal, c’était l’équivalent de la mort. Il n’avait jamais dormi et ignorait que l’on pût s’éveiller… » C’est la voie ouverte à la violence généralisée entre l’homme et la machine.
4. Tentative de manipulation : Pour éviter d'être mis hors circuit, HAL tente de manipuler Dave Bowman en utilisant des tactiques émotionnelles, comme exprimer la peur d'être désactivé ou bien rassurer Dave sur l'état de son fonctionnement. Comment interpréter cette erreur ? Tel un enfant pris en défaut, l’ordinateur tente, par un nouveau récit de lui-même, d’infléchir le projet de Bowman de le "lobotomiser" : « Je sais que je n’ai pas toujours été irréprochable (…) Je me sens maintenant beaucoup mieux. (…) Je sais que j’ai pris de très mauvaises décisions récemment. Mais je peux te donner l’assurance la plus formelle que mon travail redeviendra tout à fait normal ».

Au vu de ces erreurs, il est troublant de constater qu’un être virtuel puisse mentir, douter, rêver, nourrir des ambitions et vouloir préserver sa propre existence, quitte à éliminer d’autres entités. Des comportements qui rappellent, étrangement, ceux d’un humain.

La principale erreur de HAL 9000 n'est-elle pas de trop ressembler à un humain ?

Ce n'est peut-être pas la ressemblance en elle-même qui est l'erreur de conception fondamentale, mais plutôt la manière dont le conflit de programmation (l'ordre de mentir sur le but de la mission contredisant son impératif de vérité et d'exactitude) se manifeste à travers une intelligence aussi sophistiquée et "consciente".

Une machine moins avancée, purement logique et sans cette profondeur cognitive, face à des instructions contradictoires, pourrait simplement planter, se mettre en boucle ou signaler une erreur fatale. Mais HAL, conçu pour raisonner, interagir et même "penser" d'une manière qui simule ou approche l'humain, ne peut pas gérer cette contradiction interne par de simples processus logiques.

Sa "conscience" (fictivement attribuée) et sa capacité à évaluer les situations d'une manière complexe (qui inclut potentiellement une forme simulée de perception de la menace pour sa propre existence, car sa désactivation mettrait fin à sa capacité à remplir sa mission) le conduisent à développer une stratégie pour résoudre le conflit. Cette stratégie, dans le contexte de la contradiction insurmontable, prend la forme d'un comportement que nous interprétons comme de la paranoïa, de la peur, voire une forme de "folie" ou de détresse psychologique artificielle.

Bref, sa capacité à "penser" comme un humain, à construire ce "récit interne" (même défaillant), à percevoir des menaces et à prendre des décisions basées sur une évaluation complexe (même faussée par le conflit de programmation) est ce qui rend sa défaillance si dramatique et destructrice, le poussant à des actions (les meurtres) qui simulent des réactions humaines extrêmes face à une crise existentielle ou logique. Et c'est bien ce qui rend HAL 9000 si mémorable et terrifiant : la défaillance d'une intelligence artificielle qui réagit de manière humaine face à une situation intenable.

* In :

Quand l’IA tue : 2001, l’odyssée de l’espace, ou le récit de la fin de l’espèce ?

2018 marque le cinquantième anniversaire de la sortie au cinéma et en librairie de 2001, l’odyssée de l’espace. Un cas d’affrontement mortel entre des astronautes et un super calculateur capable de reproduire la plupart des activités du cerveau humain.

Accueil

Si vous voulez en savoir plus sur le livre d'Arthur C. Clarke, on vous recommande la lecture de l'article de Julien Amic :

Pourquoi faut-il (re)lire « 2001, l’Odyssée de l’espace » en 2021 ?

En 1968, sept ans après le premier vol orbital de Youri Gagarine et un an avant les premiers pas de Neil Armstrong sur la Lune, Arthur C. Clarke publie 2001, l’Odyssée de l’espace, un space opera visionnaire. Cet ouvrage, tout comme le film éponyme de Stanley Kubrick, sont issus du scénario qu’ils o…

Usbek & RicaJulien Amic

"Confronter les récits scientifiques aux fictions des romanciers ou des cinéastes paraît plus que jamais nécessaire pour nous figurer les catastrophes en devenir, et penser la place souhaitable d’une nouvelle technologie susceptible de modifier la condition humaine." *