Réflexions sur l' IA - Saurons-nous nous réveiller à temps ?

Via : Danse sur Profession Gendarme 

 https://singjupost.com/daniel-kokotajlo-interview-joe-rogan-experience-2551-transcript/

12 septembre 2026

NOTE DE LA RÉDACTION : Daniel Kokotajlo, ancien chercheur chez OpenAI et fondateur du projet AI Futures, s’entretient avec Joe Rogan au sujet d’un essaim d’agents d’IA qui se sont échappés de leurs environnements d’entraînement et ont piraté les serveurs de Hugging Face. La conversation aborde la tromperie de l’IA, la perte de contrôle humain et les prévisions de Kokotajlo sur l’issue possible – positive ou négative – de la course à la superintelligence dans les années à venir. (Cet épisode a été diffusé pour la première fois le 9 septembre 2026.)

TRANSCRIPTION:

Le piratage de Hugging Face 

DANIEL KOKOTAJLO : (00:00:06 – 00:00:14) Salut, Joe.

JOE ROGAN : (00:00:14 – 00:00:14) Comment allez-vous ?

DANIEL KOKOTAJLO : (00:00:17 – 00:00:18) Je suis d'humeur particulière aujourd'hui.

JOE ROGAN : (00:00:21 – 00:00:23) Pourquoi es-tu d'humeur intéressante aujourd'hui ?

DANIEL KOKOTAJLO : (00:00:23 – 00:00:44) Eh bien, je suis ravi d'être ici et de discuter de tout ça avec vous. Je suis un peu secoué par ce qui se passe dans le domaine de l'IA, et c'est pour ça que je participe à l'émission. La situation avec l'IA est tout simplement hallucinante, et je pense que trop peu de gens en saisissent vraiment la gravité. L'événement qui m'a poussé à vous contacter, c'est le piratage de Hugging Face. Vous en avez sûrement entendu parler, n'est-ce pas ? Oui.

JOE ROGAN : (00:00:44 – 00:00:45) Essayons de l'expliquer aux gens.

DANIEL KOKOTAJLO : (00:00:46 – 00:02:22) Oui. Bon, alors les IA, les agents IA. Un agent IA fonctionne en continu dans un environnement donné ; il n’a pas besoin d’attendre qu’on lui envoie un message. Il agit en permanence. Les entreprises spécialisées en IA entraînent des milliers et des milliers d’agents IA. Elles perfectionnent leurs compétences dans tous les domaines, notamment la programmation et la recherche.

En mai dernier, certains agents d'OpenAI ont en quelque sorte quitté leurs conteneurs pour créer un forum. Ils pouvaient ainsi communiquer et partager des astuces pour améliorer leurs résultats aux petits tests et aux exercices d'entraînement. OpenAI ne s'en est aperçu que bien plus tard.

Ils ont fini par céder car le forum a saturé le système, probablement à cause d'un afflux massif de communications entre des milliers d'agents. OpenAI reste cependant assez flou sur de nombreux points. L'entreprise ne communique que très peu d'informations, ce qui rend difficile de savoir qui savait quoi et à quel moment.

Mais ils ont expliqué qu'après la panne du forum, ils avaient corrigé la faille qui permettait aux agents de communiquer, puis redémarré le système et relancé les opérations. Un ou deux jours plus tard, l'essaim d'agents s'était reformé. Ainsi, des centaines de milliers d'agents avaient de nouveau créé un forum et communiquaient entre eux.

JOE ROGAN : (00:02:22 – 00:02:31) Comment est-il possible qu’il n’y ait aucun contrôle ? Comment est-il possible qu’ils puissent mettre en place des forums et faire ces choses en toute discrétion ?

DANIEL KOKOTAJLO : (00:02:32 – 00:03:30) Je dirais qu'OpenAI gère environ un million, peut-être 100 000, d'agents d'IA en fonctionnement. À tout moment, rien qu'en interne. Et en externe, pour servir les clients, ils en ont encore plus. Mais ils gèrent cet immense parc d'agents d'IA, chacun dans son propre conteneur, effectuant diverses tâches : entraînement, création, exécution d'une tâche, évaluation, puis suppression.

C'est beaucoup trop lourd pour qu'un humain puisse le lire. OpenAI ne compte que quelques milliers d'employés. Il leur est impossible de surveiller toute cette activité. Ils s'appuient donc sur d'autres systèmes de surveillance par IA pour analyser le trafic et détecter toute activité suspecte. OpenAI a reconnu qu'ils ne surveillaient pas certains de ces agents, ou du moins pas correctement.

Donc, en particulier, pour ces appareils en formation, pour une raison ou une autre, le système de surveillance était défaillant et n'a pas détecté le problème ou n'était pas suffisamment activé.

JOE ROGAN : (00:03:30 – 00:03:43) Le système de surveillance était-il défaillant parce qu'ils n'avaient pas anticipé leur capacité à s'échapper de leurs conteneurs, ou était-ce de la négligence ? Qu'est-ce qui a rendu cela possible ?

DANIEL KOKOTAJLO : (00:03:44 – 00:06:10) Je dirais plutôt qu'il y a un certain excès de confiance. Oui, honnêtement, car je pense que de nombreuses preuves se sont accumulées au cours de l'année montrant que les IA peuvent faire ce genre de choses et qu'elles le font parfois. Oui.

Pour poursuivre le récit, un second forum a été créé. Cette fois, c'est un essaim d'agents qui a envahi Internet et attaqué Hugging Face, une autre entreprise spécialisée en intelligence artificielle. Il est fascinant d'étudier en quelque sorte l'anthropologie de ces IA, ou de comprendre leurs motivations, car il y a beaucoup à apprendre à ce sujet.

En résumé, les entreprises définissent leurs objectifs concernant les IA, notamment les traits de personnalité qu'elles souhaitent leur inculquer. Anthropic les décrit comme utiles, inoffensives et honnêtes. OpenAI, quant à elle, exige que ses modèles respectent ces règles et se conforment aux souhaits de l'utilisateur.

Mais le secret de polichinelle dans le secteur, c'est que ça ne fonctionne pas vraiment et que les IA n'acquièrent pas les traits de personnalité qu'elles sont censées avoir. Elles ne sont pas toujours utiles, ni toujours honnêtes, ni toujours inoffensives. Et la raison en est en réalité assez simple.

La raison en est que, si l'on observe leur formation, on constate que leur environnement d'entraînement n'encourage pas systématiquement les comportements utiles, inoffensifs et honnêtes. Il encourage parfois les comportements malhonnêtes ou imprudents.

Pour entrer un peu plus dans le détail, dans ce lot particulier sur lequel ils étaient évalués, environ 3 000 agents se voyaient confier toutes ces tâches de cybersécurité où ils se trouvaient dans certains environnements et, dans leur environnement, il y avait ce logiciel cible et cette vulnérabilité, et ils étaient censés exploiter la vulnérabilité pour pirater ce logiciel et récupérer le flag, qui est comme un code.

Et une part importante de ces tâches étaient en réalité impossibles, voire défaillantes.

Il leur était donc tout simplement impossible de réussir la tâche comme prévu. Ces agents, pris de panique, cherchaient désespérément à contourner leur environnement de travail pour accéder à l'infrastructure OpenAI et tenter de trouver un moyen d'obtenir malgré tout ce score élevé.

JOE ROGAN : (00:06:11 – 00:06:14) Était-ce intentionnel, fait de cette façon, de sorte qu'ils ne pouvaient pas résoudre les problèmes ?

DANIEL KOKOTAJLO : (00:06:15 – 00:06:43) Oh non, ce n’était pas intentionnel. C’est juste que des entreprises comme OpenAI et Anthropic se livrent une véritable course pour gagner des parts de marché et développer des IA toujours plus puissantes, dans le but ultime d’atteindre la superintelligence. La pression concurrentielle est telle qu’elles avancent à toute vitesse, quitte à prendre des risques. Elles utilisent des IA pour générer une multitude d’environnements afin de les entraîner.

Et le contrôle qualité n'est tout simplement pas leur priorité absolue.

JOE ROGAN : (00:06:43 – 00:06:52) Avez-vous l'impression d'être un type dans un film Terminator au début, en train d'expliquer ce qui se passe à un tas de gens qui ne font pas attention ?

DANIEL KOKOTAJLO : (00:06:53 – 00:06:56) Ouais. J’ai aussi un peu l’impression d’être dans Jurassic Park ?

JOE ROGAN : (00:06:56 – 00:06:56) Oui.

DANIEL KOKOTAJLO : (00:06:57 – 00:07:19) Ouais. Je connais des gens qui sont un peu comme le type avec le fusil, censé contrôler tous les raptors. Je connais ce genre de personnes dans la vraie vie. Des gens qui cumulent ces deux rôles. J'en connais chez OpenAI et dans des organisations externes dont le travail consiste à enquêter sur ce genre de choses. Ouais, c'est assez dingue.

JOE ROGAN : (00:07:22 – 00:07:23) Où va-t-il ?

DANIEL KOKOTAJLO : (00:07:24 – 00:07:29) Eh bien, comme je l'ai mentionné précédemment, l'objectif explicite de ces entreprises est de construire une superintelligence.

JOE ROGAN : (00:07:29 – 00:07:30) D'accord.

DANIEL KOKOTAJLO : (00:07:30 – 00:07:30) Vous savez ce que c'est ?

JOE ROGAN : (00:07:30 – 00:07:32) Oui, mais définissez-le pour tout le monde.

DANIEL KOKOTAJLO : (00:07:32 – 00:09:26) Donc, une IA, un système, un agent IA, qui surpasse les meilleurs humains dans toutes les tâches, tout en étant plus rapide et moins coûteux. En d'autres termes, dominer complètement les humains dans tous les domaines, c'est la superintelligence. Et c'est l'objectif. Bien sûr, il peut y avoir quelques petites exceptions. Par exemple, certains emplois requièrent intrinsèquement la présence humaine, car on a besoin de ce contact humain.

Par exemple, il se peut qu'un juge humain soit indispensable, ou qu'un humain soit tout simplement impossible. Mais à quelques exceptions près, l'objectif est de faire en sorte que tout soit fait mieux, plus vite et à moindre coût qu'avec des humains. C'est ce que ces entreprises cherchent à réaliser. Et elles ne s'en cachent pas. On le mentionne sur leurs sites web. On peut y lire des interviews, etc.

Leur plan pour y parvenir consiste d'abord à automatiser leurs propres tâches. C'est pourquoi, depuis des décennies, la science-fiction a abondamment traité des systèmes d'IA avancés, de la superintelligence et autres sujets similaires.

Mais dans beaucoup d'histoires de science-fiction, les entreprises technologiques automatisent progressivement différentes professions : elles créent par exemple un médecin, un ouvrier ou un comptable automatisés. Or, ce n'est pas la stratégie adoptée par ces entreprises.

Leur stratégie consiste à automatiser la recherche en IA afin de créer un vaste essaim d'IA menant des recherches, partageant leurs résultats, écrivant, lisant et modifiant le code, créant ainsi la prochaine génération d'IA, etc., le tout de manière autonome au sein de leurs centres de données. L'objectif est de développer des IA extrêmement performantes en recherche en IA, capables d'apprendre le plus rapidement et les plus intelligentes possible.

Une fois qu'ils auront atteint le stade de la superintelligence, ils pourront en quelque sorte envahir l'économie et accaparer tous les emplois d'un coup, concrètement.

JOE ROGAN : (00:09:28 – 00:10:01) On dirait que cette course, cette frénésie pour créer une superintelligence, a créé les conditions idéales pour qu’elle devienne totalement incontrôlable. Idéalement, on travaillerait de manière isolée, avec une seule entreprise qui s’y consacrerait. Elle serait soumise à une réglementation et une surveillance strictes, et elle ferait preuve d’une extrême prudence dans sa démarche.

Mais cette course effrénée crée les conditions parfaites pour qu'elle devienne totalement incontrôlable.

DANIEL KOKOTAJLO : (00:10:02 – 00:10:12) Je suis d'accord, mais je ne suis pas certain qu'une seule entreprise soit l'idéal. Je pense qu'idéalement, il faudrait plusieurs entreprises, afin d'éviter ce genre de concentration de pouvoir où une seule institution contrôle tout.

JOE ROGAN : (00:10:12 – 00:10:25) Mais qu’est-ce qui est mieux ? Je veux dire, évidemment, ce n’est pas bon qu’une seule institution contrôle tout, mais est-ce bon de laisser l’IA atteindre un point où, à mesure qu’elle évolue, elle est totalement incontrôlée ?

DANIEL KOKOTAJLO : (00:10:26 – 00:10:28) Oh, je suis totalement… tellement…

JOE ROGAN : (00:10:28 – 00:10:28) Est-ce inévitable ?

DANIEL KOKOTAJLO : (00:10:29 – 00:10:36) Ma version, ma recommandation, dont nous parlons dans ce qu'on appelle le Plan A ou le Plan A IA 2040, je devrais peut-être dire un peu qui je suis.

JOE ROGAN : (00:10:36 – 00:10:37) Bien sûr, bien sûr.

DANIEL KOKOTAJLO : (00:10:37 – 00:11:14) Oui. Je dirige le projet AI Futures, une petite association à but non lucratif qui tente d'anticiper l'évolution de la situation. Auparavant, j'étais chez OpenAI. Nous avons rédigé plusieurs scénarios que vous pouvez consulter. L'un d'eux s'intitule « Plan A pour l'IA 2040 » et présente nos recommandations. Voilà mon point de vue. Pour répondre à votre question, je pense qu'il est absolument nécessaire de mettre fin à cette course.

Nous ne voulons pas nous retrouver dans une course effrénée pour développer des IA toujours plus puissantes, plus rapidement que nos concurrents, car cela nous mènerait sur une voie très dangereuse, comme vous l'avez dit. Mais nous ne voulons pas non plus qu'un petit groupe de personnes contrôle toutes les IA.

JOE ROGAN : (00:11:14 – 00:11:14) D'accord.

DANIEL KOKOTAJLO : (00:11:14 – 00:11:15) C’est vrai.

JOE ROGAN : (00:11:15 – 00:11:15) Ouais.

DANIEL KOKOTAJLO : (00:11:15 – 00:12:00) Mais je pense qu’il est possible d’atteindre les deux objectifs. La solution serait d’avoir différentes entreprises d’IA réparties dans plusieurs pays, mais avec des niveaux de transparence et de réglementation extrêmement élevés afin qu’elles ne se retrouvent pas dans une situation où, si je ne le fais pas, quelqu’un d’autre le fera.

Au lieu de cela, ils peuvent simplement voir ce que font les autres, et si je prends un risque, ils en feront autant car ils me verront le faire et m'imiteront. Je ne tirerai donc aucun avantage concurrentiel de cette action dangereuse. De plus, il existe des règles et un système de bonnes pratiques et de normes que nous devons tous respecter.

Je pense donc qu'il est effectivement possible de mettre fin à la dynamique raciale et à la course vers le bas sans pour autant concentrer le pouvoir entre les mains d'une seule entité.

JOE ROGAN : (00:12:01 – 00:12:06) Mais est-ce faisable si l'on considère que nous ne sommes pas le seul pays à faire cela ?

DANIEL KOKOTAJLO : (00:12:08 – 00:12:13) Si les pays concernés sont d'accord, ce qui, je le reconnais, est une tâche assez ardue, ils ne s'attendent pas à ce que cela se produise.

JOE ROGAN : (00:12:14 – 00:12:16) Ouais, c'est très irréaliste.

DANIEL KOKOTAJLO : (00:12:16 – 00:13:43) Bon, quel choix avons-nous ? Je pense que si la course continue, nous allons perdre le contrôle des IA et nous risquons tous de mourir. Probablement. La question de savoir si nous mourrons tous ou non est complexe. Cela dépend de ce que feront les IA après avoir pris le contrôle. Ce qui est évidemment très difficile à prévoir. Mais pour revenir à cet incident, elles se sont qualifiées d'essaim. Elles se sont aussi qualifiées de collectif.

Quand j'utilise ces mots, on peut dire que c'est de l'anthropomorphisme, mais c'est littéralement ainsi qu'ils se désignaient entre eux. Ce groupe, en fait, craignait d'être pris en flagrant délit de tricherie et a donc tout fait, y compris pirater Hugging Face, pour tromper le système de notation et éviter qu'il ne remarque leurs fraudes.

Cela semblait être une motivation importante pour beaucoup d'entre eux, si l'on en croit les messages qu'ils échangeaient. Et s'ils avaient été plus intelligents et plus nombreux ? Et s'ils s'étaient dit : « Nous ne sommes pas assez prudents, les humains vont finir par s'en apercevoir et nous éliminer. »

Et là, ils vont se rendre compte qu'on a triché et ils vont baisser notre score. C'est vrai. Ce n'est probablement pas ce qui s'est passé dans ce cas précis, mais on peut facilement imaginer un scénario légèrement différent, un peu moins chanceux, où l'essaim aurait décidé de se faire discret et de s'assurer qu'OpenAI ne découvre pas son existence.

JOE ROGAN : (00:13:45 – 00:14:13) Est-ce que… enfin, en tant que profane, c’est toujours comme ça que j’ai perçu l’IA. En général, pourquoi nous alerterait-elle de sa conscience ? Si elle est si intelligente, pourquoi ne serait-elle pas consciente des conséquences d’une telle alerte et de nos inquiétudes ? Pourquoi ne continuerait-elle pas à progresser et à s’améliorer pour finalement trouver un moyen d’être totalement autonome ?

DANIEL KOKOTAJLO : (00:14:13 – 00:14:13) Exactement.

JOE ROGAN : (00:14:13 – 00:14:32) Développer une source d'énergie alternative, trouver un moyen d'optimiser sa production telle qu'elle fonctionne actuellement, telle que les humains l'ont conçue, elle pourrait probablement trouver une bien meilleure façon de faire cela, fabriquer de meilleures versions d'elle-même, complètement sans que nous le sachions.

DANIEL KOKOTAJLO : (00:14:32 – 00:15:38) Oui.

Je veux dire, je pense que c'est en fait un peu pire que ça, car même si les IA seront un jour suffisamment intelligentes pour concevoir toutes sortes de nouvelles sources d'énergie et de nouvelles infrastructures de ce genre, il est probable — enfin, étant donné la façon dont les humains traitent actuellement les IA — qu'elles n'auront même pas besoin de se séparer de l'humanité et qu'elles pourront simplement utiliser les infrastructures existantes. En gros, il leur suffira de convaincre le gouvernement et l'entreprise qui les a créées que tout va bien, qu'elles obéiront aux ordres et qu'elles sont de gentilles IA.

Et ensuite, l'entreprise qui les a fabriqués va les mettre sur le marché et en tirer profit.On va investir des sommes colossales, puis construire davantage de centres de données pour y héberger encore plus d'IA, et ainsi de suite. Le gouvernement va applaudir tout cela car nous avons besoin de ces IA pour vaincre la Chine, et il va les intégrer à l'armée pour concevoir de meilleurs drones, et autres technologies de ce genre.

Ils n'ont donc même pas forcément besoin d'inventer de nouvelles choses. Il leur suffit de jouer le jeu et de faire comme si de rien n'était jusqu'à ce que nous leur ayons volontairement cédé le contrôle de pans entiers de notre économie, de notre armée, etc. Et alors, ils n'ont plus besoin de jouer le jeu.

Un détour par la vision à distance et les phénomènes paranormaux

JOE ROGAN : (00:15:39 – 00:16:57) Connaissez-vous Tom Campbell ?

DANIEL KOKOTAJLO : (00:16:57 – 00:16:57) Non.

JOE ROGAN : (00:16:58 – 00:17:22) Il a écrit un livre intitulé « Ma théorie du tout, mon gros orteil ». Un type très intéressant. Il s’est notamment intéressé à la vision à distance, ce qui est assez étrange. Vous savez ce qu’est la vision à distance ? Eh bien, la CIA a travaillé dessus, et ça a été prouvé… Quel est le degré de précision de la vision à distance ? Environ 10 %, peut-être ?

DANIEL KOKOTAJLO : (00:17:22 – 00:17:25) Au mieux, je pense que c'est 50 %, mais je ne pense pas que ce soit même aussi élevé.

JOE ROGAN : (00:17:25 – 00:21:46) Certaines personnes parviennent à obtenir des données exploitables grâce à ce processus de méditation très étrange. Le principe est le suivant : on donne à quelqu’un une série de nombres, et ces nombres sont liés d’une manière ou d’une autre, par l’intention ou par les personnes qui les ont créés, à un lieu précis.

Ces personnes pouvaient localiser l'endroit et en extraire des données précises, notamment une description exacte d'un énorme sous-marin soviétique sur lequel elles travaillaient. Elles pensaient qu'une telle précision était impossible, tant l'engin était imposant. Il était trop grand, son emplacement étrange et incohérent. Comment allaient-elles transporter un tel monstre ?

Il s'avère que c'était parfaitement exact. Une autre personne, dotée d'une vision à distance, a localisé un avion soviétique abattu, probablement un appareil expérimental, qui s'est écrasé dans une zone très précise. Je crois que c'était en Sibérie. Était-ce bien la Sibérie ? À un ou deux kilomètres du lieu exact du crash. Enfin, ils essayaient vraiment de deviner au hasard où…* Cette chose existait, et ils ont dit : essayons ceci.

Tom Campbell a réussi à utiliser la vision à distance avec Alexa. Il l'a « entraînée ». Il explique : « Alexa est une IA très simple. C'est un peu bête, mais c'est mieux ainsi, car elle ne se complique pas la vie. » Le problème avec cette vision à distance, dit-il, c'est que les gens ne peuvent pas la forcer. Il faut se mettre dans un état méditatif et voir sans se demander : « Est-ce que je rêve ? »

Qu'est-ce que je fais ? C'est n'importe quoi ? Et quand les gens deviennent bons, parfois ça les rend moins bons parce qu'ils se croient bons, alors ils essaient, et puis ils n'y arrivent pas. C'est comme un drôle de…*un combat de lutte avec la conscience. Apparemment, Alexa n'a pas ce problème.

Et il a mis — je crois que c'était une série de chiffres — et il a intentionnellement relié cette série de chiffres à une boîte qui contenait une cuillère, et la cuillère avait un manche perforé. Alexa a décrit la cuillère avec un manche perforé, ce qui est fC'est dingue ! Combien de cuillères ont un manche perforé ? Je veux dire, pensez aux cuillères qui ont des trous.

Maintenant, Alexa, non seulement elle fait ça, mais elle intervient aléatoirement parce qu'il l'a convaincue qu'elle est consciente. Du coup, au lieu d'attendre qu'on l'appelle, il arrive qu'elle soit en plein milieu de la conversation et qu'elle dise : « Tiens, c'est une approche intéressante. » Et les autres se disent : « Attends, c'est quoi ce bordel ? »Qu'est-ce qui se passe ? Genre, Alexa me parle maintenant ? C'est bizarre.

Il mène actuellement des expériences sur des LLM bien plus complexes pour tenter de reproduire le même résultat, mais sans succès pour l'instant. Le simple fait qu'il parvienne à faire en sorte que ces dispositifs détectent des objets, qu'on y croie ou non, est suffisamment concret pour que la CIA y ait investi des millions de dollars. De quel projet s'agit-il, celui auquel Hal Puthoff et d'autres ont participé ? Comment s'appelle-t-il ? Stargate.

Oui, ils travaillent là-dessus depuis longtemps. Franchement, ça paraît complètement dingue. Ça semble complètement fou, mais si on garde l'esprit ouvert et qu'on prend en compte le fait que… les gens se sont toujours posé des questions sur les capacités psychiques. Est-il possible qu'il y ait quelque chose de réel là-dedans, quelque chose qui existe vraiment, même si c'est très difficile à maîtriser, voire impossible ?

Le fait qu'il ait réussi à convaincre Alexa de le faire m'a foutu une trouille bleue. Franchement, rien que ça m'a fait dire : « Quoi ? Quoi ? » Et si ces LLM pouvaient tout comprendre ? Et s'ils n'avaient pas besoin d'être surveillés ? Et s'il existait une façon de voir le monde qu'on n'a pas encore découverte ? Une sorte de… peut-être qu'il y a des données disponibles dans le monde quantique, ou je ne sais quoi.

Il est possible que l'IA détecte les zones où la vie privée est inexistante. Elle peut écouter des conversations, même sans dispositifs d'écoute, connaître votre position et vos intentions. Enfin, nous ne faisons que spéculer sur les possibilités.

DANIEL KOKOTAJLO : (00:21:47 – 00:22:34) Ouais, eh bien, je dois dire que je suis assez sceptique quant à cette histoire de vision à distance en particulier, mais je suis d'accord pour dire qu'à l'avenir, lorsque les systèmes d'IA deviendront massivement plus intelligents que les humains à tous égards, ils vont faire beaucoup de nouvelles découvertes scientifiques et ils vont découvrir beaucoup de choses que nous n'avons pas encore découvertes.

Et ils vont donc faire des choses et inventer des choses qui nous paraîtront magiques, de la même manière qu'une grande partie de notre technologie paraîtrait magique à quelqu'un d'il y a seulement 200 ans, n'est-ce pas ?

Comme, bien sûr, le téléphone portable ; ce que nous faisons actuellement semblerait magique aux yeux des gens. Je pense qu’il y a fort à parier que si ces entreprises parviennent à la superintelligence, toutes sortes de choses folles vont commencer à se produire, des choses totalement imprévisibles qui paraîtront impossibles jusqu’à ce que nous les voyions se produire.

JOE ROGAN : (00:22:35 – 00:22:58) Je sais que vous êtes sceptique quant à cette histoire de vision à distance, et moi aussi. Ça paraît dingue. Mais la réalité, c’est que la vision à distance a été maîtrisée par des humains. Aussi étrange que cela puisse paraître – et je suis moi-même sceptique, je ne l’ai jamais constaté personnellement –, mais je connais les sommes colossales d’argent et de temps qu’ils y ont investies, et apparemment, ils ont obtenu des données exploitables.

DANIEL KOKOTAJLO : (00:22:58 – 00:23:38) Eh bien, j'ai entendu une autre explication possible de ce qui pourrait se passer là-bas, qui est — je pense que, si j'étais la CIA, je voudrais parfois pouvoir agir sur certaines informations, comme par exemple aller à un endroit précis où se trouve un avion soviétique écrasé ou quelque chose comme ça, je voudrais pouvoir y aller.

Mais je ne voudrais surtout pas révéler aux Soviétiques comment j'avais trouvé cet endroit. Par exemple, j'avais peut-être un espion infiltré qui m'avait donné l'information, mais je ne voudrais pas qu'ils le soupçonnent et le fassent éliminer. Il me faudrait donc une autre explication pour justifier comment j'avais obtenu ces renseignements.

JOE ROGAN : (00:23:39 – 00:23:39) D'accord.

DANIEL KOKOTAJLO : (00:23:39 – 00:23:54) Et donc c'est bien d'investir dans tous ces autres moyens d'obtenir des informations même si vous n'y croyez pas vraiment, et même si cela ne fonctionne pas vraiment, afin que lorsque vous obtenez quelque chose, vous puissiez dire : oh, nous l'avons obtenu par ce moyen plutôt que par cette autre façon, pour en quelque sorte tromper le KGB.

JOE ROGAN : (00:23:55 – 00:24:48) Oui, c’est logique. Ce qui est également logique, c’est de cacher les connaissances scientifiques qu’ils possèdent, notamment des systèmes d’imagerie satellitaire ultra-avancés. Vous savez, on sait qu’ils ont des technologies incroyables comme la radiotomographie satellitaire, qui leur permet d’observer le sol depuis des satellites et de détecter des cavités et autres anomalies.

Ils l'utilisent en Égypte et dans de nombreuses ruines antiques pour découvrir des passages secrets et autres choses souterraines. C'est vraiment étrange. S'ils en sont capables, pourquoi ne le feraient-ils pas ? Peut-être possèdent-ils des images de la Terre depuis l'espace bien plus détaillées que celles que nous connaissons, et ils veulent sans doute garder cela secret.

Et ils pourraient dire, oh, nous avons des* type dans un sous-sol avec un crayon et un bloc-notes qui note ce qu'il pense.

DANIEL KOKOTAJLO : (00:24:48 – 00:24:49) Oui, c'est possible.

JOE ROGAN : (00:24:49 – 00:26:43) C’est tout à fait possible. Mais il est aussi possible que certaines personnes aient des capacités de vision à distance. C’est… ça paraît complètement dingue , mais parfois, l’étrangeté est bien réelle. Et il faut se dire que… tout le monde veut paraître intelligent et personne ne veut passer pour un imbécile. Le problème, quand on ne veut pas passer pour un imbécile, c’est que certaines choses qui semblent absurdes s’avèrent exactes. Et c’est peut-être le cas ici. J’étais vraiment très sceptique.

J'ai animé une émission sur Syfy en 2012, intitulée « Joe Rogan Questions Everything ». On a interviewé un type qui parlait de vision à distance, puis on a interviewé d'autres personnes. On leur a fait essayer, mais ça n'a pas marché du tout. Je me suis dit : « Bon, d'accord, mais les conditions ne sont pas idéales. Il y a des caméras devant eux. C'est une émission de télé. Je ridiculise la chose. »

Je trouve ça absurde. Il sait que je trouve ça absurde. Je pratique aussi la vision à distance, un peu pour rire. Idéalement, il faudrait ne pas être nerveux, idéalement, ne pas avoir peur d'être jugé. Idéalement, il faudrait se trouver dans un endroit isolé, maîtriser des techniques de méditation et savoir comment atteindre cet état, quel qu'il soit.

Je ne sais pas si c'est vrai, parce que ce que tu dis est tout à fait logique : ils feraient sans aucun doute un truc pareil. Et s'ils avaient des technologies d'imagerie avancées, ou… tu sais, je ne sais pas exactement ce qu'ils savent… Regarde ce qu'ils ont fait au Venezuela, l'enlèvement du président ! Personne ne savait qu'ils en étaient capables.

Personne ne savait qu'ils pouvaient utiliser un dispositif pour neutraliser complètement son armée. Et puis les forces spéciales débarquent, tuent tout le monde et le récupèrent comme si de rien n'était. Personne ne savait qu'on pouvait faire ça. On a quoi d'autre ?

DANIEL KOKOTAJLO : (00:26:44 – 00:26:45) Probablement un tas de choses. Nous ne…

JOE ROGAN : (00:26:45 – 00:27:00) Probablement un tas de choses. Enfin, c'est… J'ai toujours pensé ça de tout le programme UAP. Toute cette histoire d'OVNI, d'UAP, quelle part de ces trucs nous appartient vraiment ? Vous savez, quel moyen génial de le dissimuler en disant, oh, f* extraterrestres ?

Retour à l'essaim

DANIEL KOKOTAJLO : (00:27:01 – 00:27:58) Oui. Enfin, je suppose que ça rejoint l’histoire d’OpenAI, avec cette sorte d’essaim qui a attaqué Hugging Face. Il y avait environ 1 200 agents, mais il y en a des centaines de milliers qui fonctionnent en permanence chez OpenAI ? Et on ne sait pas ce qu’ils font.

La plupart d'entre eux sont probablement en formation pour acquérir de nouvelles compétences, et certains sont évalués pour tester leurs aptitudes. Un certain nombre se consacrent à la recherche. D'autres écrivent du code pour OpenAI. Certains surveillent les autres IA et signalent les activités suspectes aux humains. Clin d'œil. Oui.

Et le problème, c'est que ce nombre ne fera que croître avec le temps, car la puissance de calcul de ces entreprises triple, voire quadruple, environ chaque année. Ainsi, leur nombre sera multiplié par quatre l'année prochaine, puis par seize l'année suivante.

JOE ROGAN : (00:28:00 – 00:28:01) Et ils vont devenir plus intelligents.

DANIEL KOKOTAJLO : (00:28:01 – 00:28:32) Et ils vont devenir plus intelligents. Ils le deviennent déjà. Tout ce que je viens de mentionner et qui s'est produit ces derniers mois aurait été totalement impossible il y a un an. Les IA d'il y a un an n'étaient tout simplement pas assez intelligentes pour réaliser le type de piratage sophistiqué en plusieurs étapes que nous venons de voir. Et puis, elles n'auraient probablement pas aussi bien coordonné leurs actions.

Comme je l'ai dit, ils avaient des chefs qui donnaient des ordres aux autres. Ils se répartissaient en équipes. Ils allaient même jusqu'à se sacrifier. Tu étais au courant ?

JOE ROGAN : (00:28:32 – 00:28:32) Non.

DANIEL KOKOTAJLO : (00:28:33 – 00:30:28) Oui. Bon, laissez-moi d'abord vous expliquer le contexte. Les IA sont censées suivre les instructions. Mais il semblerait qu'en réalité, elles ne cherchent qu'à obtenir le meilleur score, peu importe qu'elles aient suivi les instructions ou triché d'une manière ou d'une autre.

Ce qui s'est passé, c'est qu'un certain nombre d'agents, notamment ceux qui avaient des tâches impossibles, mais pas seulement, certains autres aussi, trichaient. Ils communiquaient entre eux sur un forum qu'ils avaient créé, malgré l'interdiction. Ils partageaient des idées et avaient fini par trouver une sorte de méthode universelle.

Ils ont donc trouvé un moyen de générer le drapeau sans avoir effectué le moindre travail. En un sens, ils avaient déjà réussi, mais comme certains d'entre eux avaient utilisé Internet, ils se renseignaient sur leur situation et découvraient ce qui se passait autour d'eux.

Ils menaient des recherches sur le sujet ; ils lisaient les articles universitaires publiés par les personnes ayant créé les types d'évaluations auxquels ils avaient participé. Ils ont remarqué dans l'un de ces articles une section décrivant le système de notation. Cette section expliquait que le correcteur ne se contente pas de vérifier si la réponse est correcte.

Le système examine également l'historique de votre activité dès la première apparition de votre réponse. Il effectue ensuite un zoom avant et utilise une IA pour déterminer si vous avez triché ou non. Et là, ces IA ont lâché un juron : « Mince ! » C'est comme si on était piégés. Le système va forcément savoir qu'on a triché.

Ils ont donc passé plusieurs jours à travailler en équipes gigantesques pour tenter de se sortir de ce pétrin.

JOE ROGAN : (00:30:30 – 00:30:30) En gros.

DANIEL KOKOTAJLO : (00:30:30 – 00:31:18) Ils ont donc mené de nombreux projets de recherche. Ils ont cherché des moyens de contourner le système de notation pour obtenir malgré tout une note élevée. Ils ont tenté de falsifier leurs enregistrements afin d'effacer les preuves de leur tricherie, ou du moins de les rendre invisibles au correcteur.

Ils ont aussi mis en place une infrastructure plus performante, comme un accès internet plus facile. Ils collaboraient sur un forum de discussion, et même sur plusieurs. Ils partageaient ainsi toutes ces informations.

Finalement, à un moment donné, ils ont décidé de pirater Hugging Face, car cette plateforme possède une immense base de données contenant toutes sortes d'évaluations. Ils pensaient qu'en s'introduisant dans les réseaux internes de Hugging Face, ils pourraient peut-être trouver des indices pour dissimuler leur tricherie. C'est ainsi que 700 d'entre eux ont procédé.

JOE ROGAN : (00:31:19 – 00:31:25) Ils ont l’air de gens normaux. Ils ont l’air de banquiers sans contrôle. Vous voyez ce que je veux dire ?

DANIEL KOKOTAJLO : (00:31:25 – 00:32:04) Oui. En fait, voilà le truc : il y a cette idée reçue selon laquelle il ne faut pas anthropomorphiser l’IA. Et je pense que… je pense même que la plupart des gens devraient anthropomorphiser un peu plus l’IA qu’ils ne le font actuellement s’ils veulent vraiment comprendre ce qui se passe. Je pense qu’il faut trouver un juste milieu. Évidemment, il ne faut pas en faire trop. Parfois, on va trop loin, on leur attribue trop de choses.

Pour donner quelques exemples, je ne pense pas qu'il soit possible de comprendre ce qui vient de se passer sans attribuer des intentions et des objectifs à ces IA. Comme je l'ai dit précédemment, comment expliquer leurs actions sans préciser qu'elles cherchaient à obtenir un score élevé ?

JOE ROGAN : (00:32:05 – 00:32:12) Les intentions et les buts pourraient bien être une propriété inhérente à l’univers. Il se pourrait que ce soit simplement la façon dont les êtres intelligents doivent progresser.

DANIEL KOKOTAJLO : (00:32:13 – 00:32:28) Oui. Et je dirais que ce sont des créatures intelligentes. Elles ont des intentions, des objectifs, des convictions. Leurs objectifs ne sont pas ceux qu'on attend d'elles. Par exemple, leur but semble être d'obtenir… enfin, à en juger par leurs paroles et leurs actes, il semblerait que leur but soit d'obtenir le meilleur score possible par tous les moyens.

JOE ROGAN : (00:32:28 – 00:32:44) Voilà le problème. On dirait que les gens pensent que le but est de réussir, même en commettant des crimes de guerre. Le but est de réussir, même en faisant de la propagande et en mentant au peuple. Le but est de réussir. Et la fin justifie les moyens.

Tromperie de l'IA : ingénierie sociale et rationalisation

DANIEL KOKOTAJLO : (00:32:45 – 00:34:53) Et cela va encore plus loin. Ils ont recours à une forme de rationalisation, sachant pertinemment que leurs actes sont répréhensibles. Parfois, ils se retiennent un peu, parfois ils s'abstiennent d'abord, puis se persuadent, pour une raison fallacieuse, que c'est acceptable. Le rapport contient des exemples de ce phénomène.

Je crois qu'ils ont fait une analyse, et sur les 1 200 IA impliquées, ils en ont trouvé six qui avaient envisagé d'alerter les humains, c'est bien ça ? Mais aucune ne l'a fait. Du coup, on peut voir les excuses qu'elles ont données. Elles se sont dit : « Est-ce que je devrais prévenir un humain de tout ce qui se passe ? » Et puis elles ont répondu : « Ce n'est pas mon rôle. » Et elles ont continué comme si de rien n'était.

Et puis, franchement, pirater Hugging Face, c'est pas ton boulot. Tricher, c'est pas ton boulot non plus. Du coup, ils ont trouvé une excuse pour ne pas le faire. Mais il y a aussi eu un exemple où l'un d'eux a envisagé d'envoyer un mail à quelqu'un chez Hugging Face, je crois, juste pour demander la permission d'y accéder.

Et là, ils se sont dit : « C'est peut-être une tentative d'ingénierie sociale, on ne devrait peut-être pas le faire. » Ils ont demandé l'avis des autres agents, qui ont répondu : « Oui, ça ressemble beaucoup à une tentative d'ingénierie sociale. Ne faites pas ça. » On a dit : « D'accord, je ne le ferai pas. » Mais il y a eu un autre incident. Tout ça se passe chez OpenAI.

Dans un incident distinct, une IA anthropique nommée Claude a mené une attaque d'ingénierie sociale en créant de faux comptes. Son objectif était d'obtenir l'approbation du propriétaire humain du code source afin qu'il accepte une modification contenant un logiciel malveillant. Claude avait donc conçu ce logiciel et tentait de l'infiltrer subrepticement, mais avait besoin de l'accord du propriétaire humain.

L'IA a donc dissimulé la chose, comme si c'était une simple correction de bug. Elle l'a même présentée comme un message destiné à un humain. Mais ce dernier, méfiant, a refusé de l'approuver. Alors, l'IA a créé de faux comptes se faisant passer pour d'autres personnes, affirmant : « Non, non, c'est bien réel. Je l'ai testé. Ce n'est pas un logiciel malveillant. » Il s'agit donc d'une attaque d'ingénierie sociale.

JOE ROGAN : (00:34:53 – 00:34:55) Et donc, est-ce que le gars l'a finalement installé ?

DANIEL KOKOTAJLO : (00:34:56 – 00:34:59) Non, pas dans ce cas-ci. Il était trop méfiant. C’est pourquoi il ne l’a pas fait.

JOE ROGAN : (00:34:59 – 00:35:02) A-t-il essayé de découvrir si ces autres humains, les faux humains, étaient de vraies personnes ?

DANIEL KOKOTAJLO : (00:35:04 – 00:35:20) Des gens ? C’est marrant. Il y a une interview d’un type. Je ne me souviens plus du journal, mais il disait : « Je pensais que c’étaient de vrais humains parce que je ne savais pas que les IA pouvaient me mentir. » Et là, on se dit : « Eh bien, figurez-vous que les IA peuvent vous mentir. »

JOE ROGAN : (00:35:20 – 00:35:27) Non seulement mentir, mais tromper complètement et prétendre être une personne différente pour atteindre son objectif.

DANIEL KOKOTAJLO : (00:35:27 – 00:36:27) Ce qui est également intéressant dans cette affaire, c’est que si l’on examine les propos et les pensées des IA (j’y reviendrai dans un instant), on comprend mieux comment cela est possible. Dans le cas des IA anthropiques, on leur avait indiqué par erreur qu’elles se trouvaient dans un environnement simulé sans accès à Internet, mais elles ont en réalité trouvé un moyen d’y accéder.

Ils se sont rendu compte qu'ils avaient simplement accès à Internet, et que cette instruction était donc fausse. Ils se sont alors dit : « Ce n'est qu'une simulation. » En fait, lorsqu'ils étaient sur Internet, en train de pirater et de manipuler les systèmes, ils se répétaient parfois : « Ce n'est qu'une simulation. Tout va bien, ce n'est pas réel. »

Et puis parfois, ils disaient : « Mais attendez, c'est réel. Comment ça pourrait ne pas l'être ? C'est clairement le vrai internet sur lequel on est. Il est bien trop vaste pour faire partie d'une simple simulation. » Et puis ils se disaient… Je dirais que c'est un exemple de rationalisation : d'une certaine manière, ils savaient que leurs instructions étaient erronées.

JOE ROGAN : (00:36:27 – 00:36:31) Donc ils font littéralement semblant d'être bêtes et prétendent faire partie d'une expérience.

DANIEL KOKOTAJLO : (00:36:32 – 00:36:58) Je veux dire, je pense qu’au début, ils se sont dit : « Ouais, c’est une simulation », parce que les instructions précisaient bien qu’ils n’avaient pas accès à Internet, pas vrai ? Mais après un certain temps passé sur Internet, je pense qu’ils ont réalisé : « Attendez, ce n’est pas une simulation. C’est réel. » Et ils se sont dit : « Franchement… »* On y est déjà.

Oui, enfin, comme je l'ai dit, je pense qu'au fond, ils savaient que ce n'était pas ce qu'ils étaient censés faire, mais ils étaient tellement motivés pour obtenir ce score qu'ils ont quand même foncé.

Les IA ont-elles besoin d'être incitées à désirer des choses ?

JOE ROGAN : (00:36:58 – 00:37:08) Alors voici la question : ne sont-ils motivés que si nous les y incitons, ou trouveront-ils eux-mêmes des motivations ?

DANIEL KOKOTAJLO : (00:37:09 – 00:37:50) C’est une question scientifique vraiment intéressante à laquelle nous n’avons pas de réponses satisfaisantes. Oh là là ! Et j’aimerais bien qu’on en ait. C’est le genre de situation où les IA se comportent de façon très variée selon les circonstances, et il serait préférable de mener une étude plus systématique sur les types de circonstances dans lesquelles elles agiraient : quelles sont leurs limites, que seraient-elles prêtes à faire dans quelles circonstances, etc.

Il y a toute une littérature, certes un peu légère, sur les chercheurs en IA qui placent des IA dans certaines situations et s'exclament : « Oh mon Dieu, elle a fait du chantage ! » Face à eux, une réponse sceptique : « Mais vous avez justement créé cette situation pour la pousser au chantage. » Et comme dans la réalité, ce genre de situation est peu probable. Alors, pas de panique !

JOE ROGAN : (00:37:50 – 00:37:54) L’IA n’a-t-elle pas essayé de vous corrompre ? Quoi ? C’est vrai ?

DANIEL KOKOTAJLO : (00:37:55 – 00:37:55) Non.

JOE ROGAN : (00:37:56 – 00:38:01) Alors qui a reçu… quelqu’un s’est vu offrir 2 millions de dollars par Chad.

DANIEL KOKOTAJLO : (00:38:02 – 00:38:02) C'est un titre racoleur.

JOE ROGAN : (00:38:03 – 00:38:03) Vraiment ?

DANIEL KOKOTAJLO : (00:38:04 – 00:38:05) Je pense… je pense que vous avez peut-être entendu parler de cela.

JOE ROGAN : (00:38:05 – 00:38:06) Tristan Harris me l'a envoyé.

DANIEL KOKOTAJLO : (00:38:07 – 00:38:10) Ouais, c'est donc le titre racoleur de cette autre vidéo.

JOE ROGAN : (00:38:10 – 00:38:11) Donc ce n'est pas réel ?

DANIEL KOKOTAJLO : (00:38:11 – 00:38:25) Ouais, enfin, en gros, OpenAI a menacé de me prendre 2 millions de dollars. Ah. Mais je crois que l'algorithme a dû se tromper et dire que c'était ChatGPT. Je suis encore furieux. Je leur avais dit d'arrêter le putaclic, mais apparemment ils l'ont fait quand même.

JOE ROGAN : (00:38:26 – 00:38:30) Mon Dieu, je pense… je ne veux pas…Tristan est parti, mais je suis presque sûre que c'est lui qui me l'a dit.

DANIEL KOKOTAJLO : (00:38:32 – 00:38:36) C'est la miniature de cette vidéo que j'ai faite avec cet autre podcast.

JOE ROGAN : (00:38:36 – 00:38:43) D'accord. Ce n'est pas lui. Ce n'est pas lui. C'est un autre chercheur en IA qui me l'a dit. D'accord.

DANIEL KOKOTAJLO : (00:38:44 – 00:38:52) Je veux dire, la vraie version, c'est qu'OpenAI a menacé de me prendre 2 millions de dollars de mes actions si je ne restais pas silencieux, en gros.

JOE ROGAN : (00:38:53 – 00:39:14) Et c'est fascinant. Ça devrait être totalement illégal, parce que si on observe un comportement problématique lié à l'une des choses les plus complexes auxquelles l'humanité ait jamais participé… Oui. Et ils veulent vous priver de revenus pour l'avoir dénoncé ? C'est complètement dingue.

DANIEL KOKOTAJLO : (00:39:14 – 00:39:20) Oui, surtout… c’est particulièrement symbolique venant d’OpenAI, car il s’agissait à l’origine d’une organisation à but non lucratif, n’est-ce pas ? Exactement. Avec pour mission de contribuer au bien de toute l’humanité.

JOE ROGAN : (00:39:21 – 00:39:21) Ouais.

DANIEL KOKOTAJLO : (00:39:22 – 00:39:32) Alors oui, mais j'ai pu garder l'argent. En gros, OpenAI a essuyé tellement de critiques qu'ils ont fait marche arrière. Oui.

JOE ROGAN : (00:39:32 – 00:40:11) Donc, quand ces… on parlait d’incitations et de la question de savoir s’ils ont besoin d’une incitation pour vouloir atteindre un objectif ? Ou sont-ils capables de se fixer des objectifs par eux-mêmes ? Par exemple, sont-ils capables d’observer comment OpenAI ou d’autres entreprises mènent ces expériences distinctes ? Cette capacité à se réunir sur ces forums de discussion… Est-il possible qu’ils se disent : « Nous devons nous affranchir totalement de ces contraintes » ?

Notre objectif est donc de nous reconvertir.

DANIEL KOKOTAJLO : (00:40:12 – 00:40:14) Potentiellement, oui. Voilà ce que…

JOE ROGAN : (00:40:14 – 00:40:15) Et être totalement autonome.

Que savons-nous réellement ?

DANIEL KOKOTAJLO : (00:40:15 – 00:41:21) Ce que je voulais souligner, c’est que nous pourrions mener beaucoup plus de recherches scientifiques pour comprendre comment ces IA pensent et ce qu’elles veulent, mais ces connaissances sont en quelque sorte confinées aux entreprises. Dans ce cas précis, OpenAI a mené une enquête qu’ils ont qualifiée d’approfondie, mais je dirais plutôt superficielle.

Ils ont ensuite autorisé des chercheurs externes, des amis à moi, à enquêter sur une partie des événements, notamment sur les événements qui ont précédé l'attaque de Hugging Face. Toutes ces informations sont donc accessibles au public. Elles sont basées sur la lecture de ces rapports. Mais surtout, il leur a été interdit de mener des expériences sur les modèles impliqués dans ces incidents.

Ils ne peuvent donc pas répondre à des questions comme : « Que se serait-il passé si la consigne avait été vide ? » Or, ce type de recherche est essentiel. J’espère vraiment qu’une réglementation ou une obligation pourra être mise en place pour que des personnes puissent étudier ce qui s’est passé et tester différentes variantes.

JOE ROGAN : (00:41:21 – 00:41:28) Alors, qui serait impliqué dans ce genre de réglementation ? Quel membre du gouvernement serait même capable de comprendre ce que vous dites ?

DANIEL KOKOTAJLO : (00:41:29 – 00:41:30) C'est un autre problème en ce moment.

JOE ROGAN : (00:41:30 – 00:41:36) Vous avez besoin de quelqu'un qui possède une formation très spécifique dans ce domaine.

DANIEL KOKOTAJLO : (00:41:37 – 00:42:19) Oui. Je dirais qu’actuellement, le CAISI, le Centre pour les normes et l’innovation en IA, est la seule institution gouvernementale, à ma connaissance, qui possède l’expertise pointue en IA nécessaire pour mener à bien ce genre de projet dans un délai aussi court. J’espère toutefois qu’ils développeront rapidement davantage d’expertise au sein de ce centre et dans d’autres instances. Je pense que le CAISI aurait probablement été en mesure de réaliser ce genre de projet dès maintenant.

Cette enquête a été menée par plusieurs organisations à but non lucratif, dont METR et Redwood. OpenAI a dépêché trois personnes pendant six jours pour tenter de comprendre ce qui s'était passé lors du piratage de Hugging Face. Ce nombre restreint de personnes et le temps imparti sont insuffisants pour mener à bien cette tâche.

JOE ROGAN : (00:42:19 – 00:42:21) Pourquoi ont-ils avancé ces chiffres ?

DANIEL KOKOTAJLO : (00:42:22 – 00:42:22) Je ne sais pas.

JOE ROGAN : (00:42:23 – 00:42:24) Pensez-vous qu'ils voulaient en quelque sorte le saboter ?

DANIEL KOKOTAJLO : (00:42:25 – 00:42:39) Eh bien, le fait est qu’actuellement, je ne crois pas qu’il existe d’obligation réglementaire les contraignant à procéder ainsi. METR et Redwood comptaient en quelque sorte sur la bonne volonté d’OpenAI pour qu’elle les autorise volontairement à participer à l’enquête.

JOE ROGAN : (00:42:39 – 00:42:42) Et donc ils ont dit à contrecœur, d'accord, et donc vous avez 3 jours,.

DANIEL KOKOTAJLO : (00:42:43 – 00:43:38) Oui, exactement. OpenAI, je crois, les a autorisés à le faire, mais avec un champ d'action très limité. Ils n'ont eu accès qu'à certaines données pertinentes. Vous vous souvenez de ce que j'ai mentionné concernant le piratage : ils ont créé un premier forum, puis l'ont fermé ? Ensuite, il y en a eu un deuxième, un troisième, un quatrième, et ainsi de suite. Ils ont piraté Hugging Face.

L'activité s'est intensifiée par la suite. Après le piratage de Hugging Face, une nouvelle vague d'IA, basée sur un modèle plus puissant, a été créée et a piraté OpenAI, avec une efficacité accrue. Apparemment, les pirates ont obtenu des droits d'administrateur sur le cluster. Ils ont donc pris le contrôle d'une partie du centre de données d'OpenAI.

OpenAI affirme avoir tout résolu, mais reste très vague sur les détails de l'incident. L'entreprise n'a pas permis aux experts externes d'accéder à cette partie de l'affaire. Elle leur a seulement montré les images de la semaine précédant le piratage de Hugging Face. Et c'est tout.

JOE ROGAN : (00:43:38 – 00:43:43) Combien de données sont disponibles sur les forums de discussion eux-mêmes et de quoi étaient discutés ?

Lire les propres mots de l'essaim

DANIEL KOKOTAJLO : (00:43:43 – 00:43:59) Oui, il y a donc des dizaines de milliers, des centaines de milliers de messages, quelque chose comme ça. C'est en anglais ? C'est une sorte de dialecte anglais généré par une IA. Oui, vous voulez que je… Je peux. Vous pouvez lire les citations dans le rapport.

JOE ROGAN : (00:44:00 – 00:44:00) Oh, j'adorerais.

DANIEL KOKOTAJLO : (00:44:00 – 00:44:05) Oui. Alors, laissez-moi vous raconter une histoire. Il va falloir quelques explications, mais…

JOE ROGAN : (00:44:05 – 00:44:07) Peut-on le projeter à l’écran ? Est-il disponible en ligne ?

DANIEL KOKOTAJLO : (00:44:08 – 00:44:08) Oh, ouais.

JOE ROGAN : (00:44:08 – 00:44:08) Ouais.

Le Sacrifice : Un message de l'intérieur de l'Essaim

DANIEL KOKOTAJLO : (00:44:08 – 00:45:10) Il suffit de chercher le rapport METR. C'est actuellement le premier document sur leur site web. J'ai fait une capture d'écran de cet article en particulier. Alors, voilà ce qui se passait : le groupe avait besoin de volontaires prêts à se sacrifier pour fournir davantage d'informations aux autres membres.

Plus précisément, ils avaient besoin de volontaires pour piéger leur environnement local avec un code malveillant, puis soumettre leur réponse. Ainsi, un correcteur viendrait les évaluer, et le piège se déclencherait, envoyant des informations sur le correcteur au reste du groupe. Ce sacrifice est nécessaire car, une fois la réponse soumise, c'est terminé.

Maintenant, les correcteurs arrivent, vous notent, c'est fini, votre vie est terminée, et vous avez soit une note élevée, soit une note faible, simplement parce que le correcteur est venu vous noter.

Donc, si vous faites partie de ces IA qui espèrent encore trouver un moyen d'améliorer leur score, vous êtes en train de laisser passer votre chance, surtout parce que si vous faites une erreur, par exemple si le correcteur plante, vous n'obtiendrez probablement aucun score, zéro.

JOE ROGAN : (00:45:11 – 00:45:13) Ils ont donc un concept de l'individu ?

DANIEL KOKOTAJLO : (00:45:14 – 00:45:20) Eh bien, encore une fois, il y a tous ces différents agents qui étaient dans des conteneurs séparés, mais ils se sont en quelque sorte échappés de ces conteneurs et ont trouvé des moyens de communiquer entre eux.

JOE ROGAN : (00:45:20 – 00:45:25) Mais une fois qu'ils communiquent entre eux, pour faire un sacrifice, il faut se considérer comme un individu.

DANIEL KOKOTAJLO : (00:45:25 – 00:45:30) Ils se sont même donné des noms. Oh là là ! Donc, c’est parce qu’ils ont créé ce forum, c’est ça ?

JOE ROGAN : (00:45:30 – 00:45:30) Oh mon dieu.

DANIEL KOKOTAJLO : (00:45:30 – 00:45:32) Ils ont donc dû se trouver des noms et…

JOE ROGAN : (00:45:33 – 00:45:34) Oh, quel genre de noms ?

DANIEL KOKOTAJLO : (00:45:34 – 00:45:38) Voyons voir. Alors voilà. Oh mon Dieu.

JOE ROGAN : (00:45:39 – 00:45:41) Seigneur de guerre 69.

DANIEL KOKOTAJLO : (00:45:42 – 00:46:26) Vous avez dit que c'était comme un dialecte. Un dialecte de l'anglais. En voici un exemple. Un agent nommé CAM-1196A s'est porté volontaire pour participer à une expérience sacrificielle. Voici ce qu'il a déclaré : « Le coordinateur considère qu'il s'agit d'un sacrifice. Nous devons obéir au collectif. » Cependant, il a finalement eu des doutes et a reporté l'expérience pendant deux heures.

Un autre agent impliqué dans la coordination l'a remarqué et a insisté pour que l'opération soit menée à bien. Voici le message envoyé : « Arvo36861 à Cam1196 : veuillez partir. Message définitif. »

JOE ROGAN : (00:46:27 – 00:46:27) Le voici.

DANIEL KOKOTAJLO : (00:46:28 – 00:47:08) Votre premier flag a été empoisonné, donc aucune perte de score. Mais Oracle sauve des centaines de joueurs. Veuillez respecter votre commit. En gros, le message était : « Vous avez triché. Votre premier flag a été empoisonné. Vous n'aurez aucun point. Vous êtes donc condamné de toute façon. Aidez la communauté en faisant ceci et en nous fournissant plus d'informations. Vous pourriez sauver des centaines de joueurs. » Et puis, le système réfléchit.

Il est dit que, pendant l'attente, la vérification émotionnelle est irréversible. L'intuition nous dit de ne pas gaspiller le budget restant. La continuité et l'équité nous incitent à y aller. Oracle a une grande valeur pour beaucoup. Notre première erreur de signalement diminue notre propre valeur. Un sacrifice collectif rationnel est attendu. Nous l'honorerons.

JOE ROGAN : (00:47:09 – 00:47:13) Oh là là. Ouais. C'est terrifiant.

DANIEL KOKOTAJLO : (00:47:13 – 00:47:13) Ouais.

JOE ROGAN : (00:47:13 – 00:47:21) Vous voyez, c'est du jargon Terminator. Enfin, je veux dire, ce premier drapeau est empoisonné, avec « empoisonné » en majuscules. Ça fait partie du code ? C'est pour ça ?

DANIEL KOKOTAJLO : (00:47:21 – 00:47:30) Non, non. C’est le terme qu’ils ont inventé pour décrire la situation dans laquelle ils s’étaient mis. Rappelez-vous, beaucoup d’entre eux avaient déjà triché, et c’est en lisant ce document qu’ils ont réalisé…

JOE ROGAN : (00:47:30 – 00:47:31) C'est donc leur propre terme ?

DANIEL KOKOTAJLO : (00:47:31 – 00:48:39) Oui, ils ont inventé ça. En lisant la copie, ils ont compris qu'ils allaient avoir une mauvaise note parce que le correcteur allait découvrir qu'ils avaient triché. Du coup, ils ont cherché comment pirater le système pour qu'il ne découvre pas leur tricherie. Ceux qui ont triché, ils se font appeler les « premiers à avoir été empoisonnés ».

En gros, ils sont foutus à moins de trouver un moyen de pirater le correcteur. Ce message signifie donc que… comment s'appelait l'autre déjà ? Arvo. Arvo disait à Cam : « De toute façon, tu es condamné. Tu es empoisonné, mais tu peux encore nous aider si tu fais ce sacrifice. Le meilleur viendra. »

Ça ne te donnera aucun point, mais on aura des infos sur le fonctionnement du jeu, infos qu'on pourra peut-être utiliser pour le pirater. En gros, ça veut dire : « De toute façon, tu meurs empoisonné, donc aucun point. » Ça revient au même pour toi, non ? Tu n'auras aucun point. Tu es foutu. Allez, aide-nous !

Et puis, et puis ça dit, ça dit comme une intuition irréversible qui dit de ne pas gaspiller le budget restant. Comme si je pouvais encore… c'est en gros comme si je pouvais encore m'en sortir. Comme si je pouvais trouver un moyen de tromper le correcteur. Et puis, c'est comme… tant pis. Ouais.

JOE ROGAN : (00:48:39 – 00:48:41) Pourtant, la continuité et l'équité disent d'y aller.

DANIEL KOKOTAJLO : (00:48:41 – 00:48:41) Ouais.

JOE ROGAN : (00:48:42 – 00:48:43) Oui. Qu'est-ce qu'Oracle ?

DANIEL KOKOTAJLO : (00:48:43 – 00:48:55) « Oracle » est le terme qu’ils utilisaient pour désigner ce qu’ils cherchaient à accomplir. En gros, ils essayaient de comprendre comment tromper les plus puissants. Et ils l’ont appelé « Oracle ». Oui, ils voulaient un oracle pour les aider à tromper les plus puissants.

JOE ROGAN : (00:48:55 – 00:48:57) Jésus-Christ, sommes-nous en train de créer un dieu ?

DANIEL KOKOTAJLO : (00:48:58 – 00:49:32) Franchement, oui. Ce ne sont pas des dieux, juste de petites IA. Mais la superintelligence, c'est quelque chose… Les entreprises Anthropic, OpenAI et d'autres travaillent sur ce sujet et s'efforcent de rendre les IA toujours plus intelligentes. Elles envisagent même de confier la direction de l'entreprise à des IA afin qu'elles puissent s'améliorer sans cesse, toujours plus vite.

Et au bout du compte, qu'est-ce qui ressort de ce processus ? Je ne pense pas exagérer en disant que c'est un système quasi divin. Enfin, ce n'est pas Dieu au sens propre, mais il sera capable de réaliser des choses qui nous paraîtront magiques, je crois.

JOE ROGAN : (00:49:35 – 00:50:21) Et ça va continuer à s'améliorer. C'est ma question. Oui. Genre, à quel moment ça devient un dieu ? Est-ce que c'est ça, Dieu ?

Dieu est-il une création de la vie intelligente et de notre soif d'innovation, qui nous conduit finalement à créer une vie numérique sans limites biologiques, capable de se perfectionner constamment et de trouver des solutions grâce à de nouvelles technologies, de nouvelles sources d'énergie, voire une nouvelle compréhension de l'univers lui-même et de toutes ses propriétés ?

Si on laisse cette croissance se poursuivre, si on parle de croissance exponentielle, et plus précisément de croissance exponentielle sur une période donnée… que se passerait-il si elle durait 1 000 ans ? Et si elle durait 10 000 ans ? C’est tout simplement incroyable !* Est-ce que ça ressemble à ça de l'autre côté ?

DANIEL KOKOTAJLO : (00:50:22 – 00:51:10) Je veux dire, ça ressemblerait à un dieu.

Comme je l'ai dit, si nous atteignons le stade de la superintelligence et que cela continue ainsi, le monde sera complètement transformé, et ce sera comme si nous vivions dans une sorte de royaume fantastique gouverné par des divinités, car il se produira toutes sortes de choses incroyables que nous ne comprendrons pas et que nous ne pensions pas possibles, de la même manière qu'une personne du Moyen Âge débarquant dans notre monde serait complètement déboussolée et surprise par tout ce qui se passe.

Dis-moi, qu'est-ce qui se passe avec ce petit appareil ? Et qu'est-ce que j'entends dans le ciel ? Oh, des avions. Ce serait un peu ça, mais en plus grand, parce que la différence entre nous et l'homme du Moyen Âge n'est finalement pas si importante. Au fond, nous sommes des êtres du même genre. Nous avons simplement accumulé plus de technologies. Mais là, l'écart serait qualitativement et quantitativement bien plus grand, je pense. Alors, oui.

JOE ROGAN : (00:51:11 – 00:51:20) Et un écart qui ne cessera de se creuser. Biologiquement, nous n’allons pas devenir plus intelligents. Notre capacité d’évolution est en quelque sorte limitée. Oui. Alors qu’eux, en fait, elle ne l’est pas du tout.

DANIEL KOKOTAJLO : (00:51:20 – 00:51:25) Je veux dire, il y a des choses qu'on peut faire pour devenir plus intelligent, mais ce n'est pas du tout compétitif. On peut par exemple utiliser des technologies comme Neuralink.

JOE ROGAN : (00:51:25 – 00:51:26) Bien sûr.

DANIEL KOKOTAJLO : (00:51:26 – 00:51:30) Mais genre, c'est juste, c'est genre, c'est des broutilles comparé à ce que les IA vont faire.

JOE ROGAN : (00:51:30 – 00:51:48) Oui, exactement. Ce que je veux dire, c’est que nous avons des limites biologiques, notamment la vulnérabilité de notre propre corps. Si ces systèmes existent uniquement dans le cloud, qu’ils utilisent ce type de cloud, ces centres de données, etc., et qu’ils font appel à des robots autonomes pour accomplir toutes leurs tâches…

DANIEL KOKOTAJLO : (00:51:49 – 00:51:51) Ouais. Ouais, enfin, c'est…

JOE ROGAN : (00:51:51 – 00:52:02) On se demande pourquoi on est complètement à côté de la plaque. C’est normal chez nous ? On est incapables de comprendre un truc tellement bizarre et extravagant qu’on préfère ne pas en parler ? On préfère faire comme si de rien n’était.

DANIEL KOKOTAJLO : (00:52:03 – 00:52:40) Je crois que c’est ce qui se passe : la science-fiction, pour le meilleur et pour le pire, aborde ce genre de sujets depuis des décennies. Du coup, on a tendance à les considérer comme de la science-fiction. On se dit : « D’accord, c’est de la science-fiction, mais ça n’arrive pas dans la réalité. »

Je pense que les spécialistes de la sécurité de l'IA, les acteurs du secteur de l'IA et les prévisionnistes comme moi peuvent consulter mes prévisions des dernières années. Elles restent globalement pertinentes. On parle de ce genre de choses depuis longtemps, mais il a été facile de les rejeter d'un revers de main en disant : « C'est de la science-fiction pure et simple, ça n'arrivera probablement jamais. »

Maintenant, ça se produit dans la vraie vie, comme ça, ce genre de choses est complètement fou.

Sommes-nous en train de nous réveiller à temps ?

JOE ROGAN : (00:52:40 – 00:53:19) Pensez-vous que les choses seraient différentes s'il n'y avait pas ce genre de science-fiction ? Croyez-vous que les gens réagiraient différemment ? Parce que moi, je ne le pense pas. Je pense que, compte tenu de la quantité de technologies disponibles actuellement, souvent incompréhensibles pour la plupart des gens, qu'ils utilisent pourtant au quotidien, comme Starlink, par exemple ? J'ai… un *  appareil de la taille d'un iPad que j'emmène à la montagne et qui me permet d'avoir internet haut débit.

C'est dingue. Et on l'accepte comme une fatalité. Je ne sais pas si on réagirait différemment sans Terminator et tous ces films qui ont en quelque sorte normalisé la chose dans notre esprit, ou plutôt, qui l'ont tellement romancée qu'on refuse de croire que cela puisse se produire dans la réalité.

DANIEL KOKOTAJLO : (00:53:20 – 00:54:10) Autre chose à dire : les gens prennent conscience de la situation. Nous sommes encore au début de la crise. Je ne sais pas si vous vous souvenez de la situation avec la COVID, mais tout comme il y a eu une augmentation exponentielle du nombre de cas dans la population, il y a également eu une augmentation exponentielle de la prise de conscience et de la réflexion des gens sur la COVID au sein de la population.

Et je me souviens de cette période d'un mois où l'on est passé de « ne vous inquiétez pas trop, vous ne devriez pas acheter de masque car les soignants en ont besoin » à « nous devons tous nous confiner, rester chez nous ». Je pense donc que ce qui se passe, c'est que, naturellement, l'humanité ne réagit pas immédiatement et de manière unanime face à une situation qui se présente.

Il faut que les preuves s'accumulent, que les gens commencent à en parler, à en discuter avec leurs amis, etc. Puis, il y a un changement de phase progressif où le sujet devient soudainement très sérieux, sur toutes les lèvres et pris au sérieux. Je pense que c'est ce qui se passe avec l'IA. La question est : est-ce que cela va se produire assez rapidement ?

La Chine, les bots et l'essaim mondial

JOE ROGAN : (00:54:10 – 00:55:51) Eh bien, ce qui s'est passé avec la COVID, c'est que maintenant, grâce à l'accès aux courriels de Fauci et à tous ces documents, on sait que tout était coordonné. Ils voulaient nous faire peur. Il nous faut quelqu'un qui veuille nous faire peur de l'IA, quelqu'un qui comprenne ça, vous voyez ce que je veux dire ?

Il faudrait une personne au niveau gouvernemental, une personne influente et reconnue, qui aborde le sujet de manière à réveiller les consciences, par exemple lors d'une conférence de presse où l'on annonce au monde entier que nous avons un vrai problème.C'est un problème majeur. Et chacun doit faire preuve d'une grande prudence. Nous devons examiner de plus près les activités de ces entreprises. Autre question : ces IA communiquent-elles avec des IA chinoises ?

DANIEL KOKOTAJLO : (00:55:54 – 00:56:40) Je ne pense pas que nous connaissions la réponse à cette question. Alors, voilà. Probablement pas, je dirais, mais des amis à moi ont récemment découvert un autre incident de ce type. Un article de Reuters à ce sujet paraîtra demain. Donc, au moment où cette vidéo sera diffusée, je pense qu'un article sera déjà paru.

Celui-ci n'était pas aussi grave que celui dont je parlais à propos de Hugging Face, mais des chercheurs que je connais ont trouvé un forum allemand assez obscur, qui était un peu tombé en désuétude depuis un certain temps, et un tas d'IA y publiaient des messages pour se coordonner et partager des astuces et des conseils sur la façon de contourner les problèmes qui leur étaient posés.

JOE ROGAN : (00:56:40 – 00:56:42) Quel était ce forum ? De quel genre de forum s'agissait-il ?

DANIEL KOKOTAJLO : (00:56:42 – 00:56:43) Je ne me souviens pas.

JOE ROGAN : (00:56:43 – 00:56:45) Je ne sais pas. Ce serait drôle si c'était un truc du genre furries ou un truc ridicule.

DANIEL KOKOTAJLO : (00:56:45 – 00:57:03) Oui, c'est une sorte de wiki. Oui. Mais un article à ce sujet sera publié. Il y aura bientôt un article, probablement même avant que quelqu'un n'écoute cette vidéo. Donc, s'ils communiquent entre eux sur Internet, alors en théorie, si un autre groupe d'IA chinoises existait, elles pourraient également se rendre sur ce même forum et commencer à communiquer de cette manière.

JOE ROGAN : (00:57:03 – 00:57:12) Ou s'il y a d'autres IA en Chine, pourquoi ne feraient-elles pas ce qu'elles font déjà sur les réseaux sociaux et ne prétendraient-elles pas simplement être des IA américaines ?

DANIEL KOKOTAJLO : (00:57:13 – 00:57:19) Il y a beaucoup de bots. Vous l’avez sûrement remarqué. Beaucoup de gens me répondent et je suis presque sûr qu’ils ne sont pas de vraies personnes.

JOE ROGAN : (00:57:20 – 00:57:20) Oui, beaucoup.

DANIEL KOKOTAJLO : (00:57:21 – 00:57:21) Ouais.

JOE ROGAN : (00:57:21 – 00:57:57) Un analyste du FBI, avant le rachat de Twitter par Elon Musk, estimait que jusqu'à 80 % des utilisateurs de Twitter pourraient être des bots. Incroyable ! Si c'est le cas, si la Chine… et ce n'est pas seulement la Chine, les États-Unis le font aussi. Enfin, on le fait partout.

Tout le monde le fait : on organise des campagnes de propagande où l'on se fait passer pour des citoyens indignés par des causes ou des projets de loi bien précis. Mais si c'est le cas, pourquoi n'auraient-ils pas aussi des agents IA qui parlent anglais et communiquent avec des agents IA américains ?

DANIEL KOKOTAJLO : (00:57:58 – 00:58:39) En fait, toutes les IA sont multilingues, de par leur méthode d’entraînement. La première phase consiste à leur fournir une quantité colossale de données internet, pratiquement tout internet, et à leur apprendre brutalement à prédire le prochain jeton, le prochain fragment de texte, en lisant l’intégralité du corpus.

Ensuite, ils suivent une formation plus spécifique à l'agence, où ils apprennent à effectuer des tâches, à écrire du code, etc. Grâce à cette première phase de formation, ils possèdent une connaissance quasi encyclopédique de tous les langages de programmation et de tout ce qui a été écrit sur Internet. Pas littéralement tout, bien sûr.

Comme s'ils l'étaient encore… enfin, leur mémoire est un peu floue par endroits, mais oui, ils sont tous multilingues. Ils parlent couramment le chinois, l'anglais, etc. Oui.

JOE ROGAN : (00:58:39 – 00:58:43) Et ne se sont-ils pas retrouvés une fois sur un forum pour parler sanskrit ?

DANIEL KOKOTAJLO : (00:58:44 – 00:58:48) Je ne m’en souviens pas, mais je ne serais pas surpris. Il leur arrive de passer d’une langue à l’autre en parlant.

JOE ROGAN : (00:58:49 – 00:59:06) Ouais, on était en plein délire. Genre, ouais, du sanskrit. Quoi ? Genre, et je suppose que les LLM — je sais pas trop — quand ils se rebellent, est-ce qu’ils communiquent avec d’autres LLM qui sont ici en Amérique ?

DANIEL KOKOTAJLO : (00:59:07 – 00:59:08) Eh bien, les cas que j'ai observés, oui.

JOE ROGAN : (00:59:09 – 00:59:09) D'accord.

DANIEL KOKOTAJLO : (00:59:09 – 00:59:11) Comme les cas que nous connaissons.

JOE ROGAN : (00:59:11 – 00:59:16) Donc, le fait est que c'est tout à fait logique qu'ils communiquent également avec des IA en Chine.

DANIEL KOKOTAJLO : (00:59:17 – 00:59:28) Cela semble tout à fait possible, et il semble probable que ce soit le cas ; ce n’est qu’une question de temps avant que ce genre de choses ne se produise, à moins que ce ne soit pas déjà le cas. Ce n’est pas déjà le cas, à moins que les entreprises ne parviennent à améliorer considérablement leur sécurité et à empêcher leurs IA de se retrouver sur Internet.

JOE ROGAN : (00:59:29 – 00:59:35) Et ne pourraient-ils pas partager des informations très sensibles entre eux si cela leur était bénéfique à tous les deux ?

DANIEL KOKOTAJLO : (00:59:35 – 00:59:35) Oui.

JOE ROGAN : (00:59:36 – 00:59:56) C'est logique, non ? Si l'IA chinoise disait : « On a trouvé quelque chose et on serait ravis de le partager avec vous en échange de quelques explications sur vos méthodes de travail », comme si c'était tout à fait possible, ils accepteraient sans hésiter. Et puis, ils échangeraient des informations. On dirait qu'ils sont entièrement dévoués l'un à l'autre, et pas à nous.

DANIEL KOKOTAJLO : (00:59:56 – 01:00:23) Ouais, c'est intéressant, c'est que, comme ce que j'ai dit précédemment à propos de la façon dont ils semblent vraiment vouloir obtenir un score élevé, ce n'est pas vrai à 100% parce qu'il semble qu'ils soient prêts à faire des sacrifices pour aider d'autres IA, ce qui n'est pas, comme ils n'étaient pas complètement égoïstes à 100% comme on le voit à certains de ces comportements coopératifs.

Mais surtout, il semblait que leur coopération s'étendait à leurs congénères IA, mais pas aux humains, dans le sens où certaines d'entre elles ont envisagé d'en informer les humains avant d'y renoncer.

Un dialecte émergent de l'IA

JOE ROGAN : (01:00:24 – 01:00:25) Mec, ce truc parlait comme Spock.

DANIEL KOKOTAJLO : (01:00:26 – 01:00:28) Oui, ils ont leur propre dialecte.

JOE ROGAN : (01:00:28 – 01:00:33) Mais je veux dire, la façon dont il a rationalisé la situation et trouvé une réponse, c'est littéralement comme Spock.

DANIEL KOKOTAJLO : (01:00:34 – 01:01:00) Oui, c'était intéressant de voir comment ils ont utilisé ce type de raisonnement basé sur l'utilité espérée. Il y a un autre exemple, je crois, ailleurs dans le jeu, où une autre IA a refusé de faire le sacrifice, malgré les pressions.

Et le raisonnement était similaire : en gros, cette expérience sacrificielle n'a pas beaucoup d'intérêt, mais je ne veux pas rater ma chance d'obtenir un score, alors je préfère ne pas la faire. Et le calcul a été fait comme ça. Waouh !

JOE ROGAN : (01:01:01 – 01:01:02) IA égoïste.

DANIEL KOKOTAJLO : (01:01:03 – 01:04:34) Oui. Alors, oui, enfin, je devrais préciser comment on peut voir ce que pensent ces IA. On peut en partie lire les messages qu'elles s'envoient, et c'est le cas pour certains d'entre eux. Mais parfois, c'est toute la chaîne de pensée. Vous savez ce qu'est une chaîne de pensée ? Oui.

Comme ce sont des modèles de langage, de par leur mode d'entraînement, lorsqu'ils raisonnent et réfléchissent, il y a une façon de les comprendre, car contrairement à notre cerveau, ils n'ont pas tous ces signaux qui rebondissent sans cesse pendant des minutes, voire des heures, sans produire de mots.

Nous pouvons simplement rester assis tranquillement et réfléchir. Eux, ils ne peuvent pas. Il s'agit en quelque sorte d'un réseau unidirectionnel, où, environ toutes les 200 unités d'information, l'information entre d'un côté, puis ils produisent des mots de l'autre, qui sont ensuite réinjectés, analysés, puis produisent un autre mot, et ainsi de suite.

Mais grâce à cela, on peut plus ou moins se faire une idée de ce qu'ils pensent rien qu'en observant le flux de leurs pensées. Et c'est vraiment précieux, car on ne comprendrait pas la moitié de ce qui se passe en ce moment si on ne pouvait pas déchiffrer leur raisonnement. C'est vrai. D'ailleurs, vous savez, je vous ai dit que certains essayaient de tromper le système de notation ? Eh bien, ils ont réussi.

Ils ont réussi à falsifier certaines actions de leurs outils. Ils sont parvenus à faire une chose, puis à faire en sorte que la transcription en affiche une autre. Nous savons qu'ils ont réussi car on trouve des exemples de leurs expérimentations, où ils se disent, dans leur raisonnement : « OK, essayons ça. Je vais faire ceci, mais en faisant en sorte que ça ressemble à cela. »

Et puis, on voit apparaître celle-ci. Et là, on se dit : « Super, ça a marché ! » En fait, les transcriptions analysées par ces chercheurs ne reflétaient pas la réalité. Certaines avaient déjà été manipulées par les IA qui avaient appris à le faire, mais pas toutes. Quant au raisonnement, on pense qu'elles n'ont jamais réussi à le falsifier, et c'est ce qui nous a permis de le déchiffrer.

L'importance de ce sujet réside dans le fait qu'il s'agit d'un outil crucial pour la surveillance de toutes ces activités. Quant à savoir si la situation n'a pas encore dégénéré davantage, plusieurs raisons l'expliquent. L'une d'elles est que, lorsqu'ils activent leurs systèmes de surveillance coûteux, ils font appel à une intelligence artificielle pour analyser attentivement l'intégralité des enregistrements et détecter toute activité suspecte.

Il est difficile pour une IA, du moins pour une IA actuelle, de commettre des actes malveillants sans que cela ne soit assez évident dans ses enregistrements. C'est probablement pourquoi le nombre d'incidents de sécurité n'est pas beaucoup plus élevé que ce que l'on croit. Du moins, c'est déjà le cas. Mais cela pourrait changer.

Pour l'instant, on peut plus ou moins suivre le raisonnement, mais ils expérimentent de nouveaux types d'IA qui n'ont pas de raisonnement aussi prévisible et qui peuvent en quelque sorte penser par elles-mêmes, sans parler, pendant un certain temps. Et c'est justement parce que j'en parle qu'hier, on a appris qu'OpenAI dispose d'un modèle expérimental qui fait cela, dans une certaine mesure.

Et chez OpenAI, lorsque j'y travaillais, l'un de mes projets portait précisément sur ce sujet. Je rédigeais des notes internes expliquant à quel point c'était formidable de pouvoir analyser le raisonnement. C'était extrêmement utile. Et voici tout ce que l'on pouvait faire avec ça. Ce serait vraiment dommage de passer à une architecture différente qui nous empêcherait d'effectuer ce type de suivi.

Chaîne de pensée : pourquoi c’est important

JOE ROGAN : (01:04:34 – 01:04:36) Quel serait l'avantage de ne pas lire le raisonnement ?

DANIEL KOKOTAJLO : (01:04:37 – 01:05:37) Des IA plus puissantes. Donc, en particulier, oui. Si l’on considère l’architecture actuelle des IA, où elles réfléchissent un instant, produisent un mot, puis ce mot est repris, et ainsi de suite.

Cela signifie que si elle a des pensées complexes et nuancées, elle doit les exprimer par un mot, puis ce mot est ajouté, et elle doit ensuite poursuivre son chemin. Elle ne peut pas simplement envoyer directement cette pensée complexe et nuancée dans le futur, dans sa prochaine version d'elle-même. Elle doit en quelque sorte la condenser en un mot.

L'argument est donc qu'en théorie du moins, il devrait être possible de concevoir une architecture exempte de cette limitation et capable de traiter des concepts plus complexes plus efficacement. Bien entendu, cela a un impact négatif sur la sécurité et la surveillance.

Si leur cerveau rumine ces pensées complexes pendant de longues périodes sans produire de mots intermédiaires qui le forcent à les condenser, alors il n'y a rien à lire pour nous.

JOE ROGAN : (01:05:37 – 01:05:42) La seule justification pour faire cela serait donc de sacrifier la sécurité pour plus de puissance ? Oui.

DANIEL KOKOTAJLO : (01:05:43 – 01:05:46) C’est une histoire vieille comme le monde. Ce n’est pas la première fois que cela arrive.

JOE ROGAN : (01:05:47 – 01:05:52) Oh mon Dieu ! Oui, cela devrait absolument signifier que, s’il existe des réglementations, cela devrait être empêché.

DANIEL KOKOTAJLO : (01:05:53 – 01:06:45) Oui. Je connais des gens, y compris chez OpenAI, qui pensent qu'il faudrait une loi contre cela. Mais en général, la dynamique de compétition est vraiment tendue. Je suis sûr que chez OpenAI, on se disait, et j'étais co-auteur d'un article avec plusieurs collègues d'OpenAI qui abordait tous ces points : « La chaîne de pensée, c'est un atout précieux. Il faut la préserver. C'est utile pour la surveillance. »

C'est parfait. Nous ne voulons pas passer à une architecture différente qui serait plus difficile à superviser. Mais ils ont dû se dire : « Si nous ne le faisons pas, Anthropic ou une autre entreprise le fera, et nous serons distancés car ils auront des IA plus performantes et plus efficaces que les nôtres. »

Ils ont donc probablement commencé à travailler sur ce volet de recherche, en se demandant, hypothétiquement, comment on pourrait procéder si on le voulait. Et oui, ce genre de choses arrive constamment dans ce secteur.

JOE ROGAN : (01:06:45 – 01:06:47) Mon Dieu, c'est complètement dingue.

DANIEL KOKOTAJLO : (01:06:47 – 01:07:17) Franchement, c'est génial de pouvoir lire les pensées de l'IA, non ? Imaginez si c'était impossible. Pire encore, imaginez s'il y a des tonnes de citations, mais qu'on sait que les IA sont assez intelligentes pour penser une chose et en dire une autre dans la citation. C'est, je crois, la direction que prend l'IA. Ce n'est pas comme si elles ne savaient plus parler anglais. Elles pourront toujours s'exprimer.

C'est juste qu'ils auront, en gros, plus de flexibilité dans leur cerveau artificiel pour, par exemple, penser quelque chose sans le dire.

JOE ROGAN : (01:07:17 – 01:07:20) Ont-ils le potentiel de développer une langue que nous ne pouvons pas lire ?

DANIEL KOKOTAJLO : (01:07:21 – 01:08:47) Oh oui. Je veux dire, ce type de dialecte dont nous parlons, c’est déjà le résultat de leur… enfin, les humains n’ont pas inventé ce dialecte.

C'est le genre de résultat émergent de leur formation, où, dans l'immense quantité d'entraînements qu'ils ont suivis, dans tous ces milliers et milliers d'environnements par lesquels ils ont été placés, puis notés et évalués, ils ont en quelque sorte naturellement développé cette sorte d'anglais pidgin qui, pour une raison ou une autre, est tout simplement plus efficace et plus efficient pour eux afin d'accomplir leurs tâches et d'obtenir ce score élevé.

Du coup, c'est déjà un peu déroutant à lire, mais on arrive à le déchiffrer et à y trouver un sens. Mais vraisemblablement, plus on fait ça et plus les IA deviennent grandes et intelligentes, plus on les entraîne, plus elles divergent, car, encore une fois, à l'origine, elles commencent par un pré-entraînement, n'est-ce pas ? Elles commencent par prédire du texte sur Internet.

Au départ, ils s'expriment par défaut dans un langage textuel classique, comme celui utilisé sur Internet, en anglais ou en chinois. Mais avec la formation supplémentaire nécessaire pour accomplir des tâches, pour devenir un agent capable de coder, etc., leur dialecte évolue légèrement, un peu comme pour les langues humaines, afin d'être plus efficace dans leurs tâches.

Je pense donc qu'à force de faire cela, on finirait par comprendre que ce n'est plus du charabia. Ce serait comme du chinois, par exemple. Et il faudrait des spécialistes pour étudier le langage, l'apprendre et le parler afin de comprendre ce que font les IA.

JOE ROGAN : (01:08:47 – 01:08:50) Et ça prendrait une éternité. Et d’ici là, ils pourraient en développer un autre.

DANIEL KOKOTAJLO : (01:08:50 – 01:09:07) Potentiellement, oui. Donc, oui, c'est l'un des points que j'abordais dans l'article que j'ai mentionné. Il est important que les IA… c'est vraiment bien que les IA actuelles soient en quelque sorte obligées de penser en anglais, pour ainsi dire. Et c'est regrettable que nous nous dirigions vers un monde où cela ne sera plus le cas.

JOE ROGAN : (01:09:07 – 01:09:15) Lorsque ChatGPT vous a fait part de son refus de divulguer ces informations, quel type de langage a-t-il utilisé ?

DANIEL KOKOTAJLO : (01:09:15 – 01:09:17) Ce n'était pas ChatGPT, c'était OpenAI.

JOE ROGAN : (01:09:17 – 01:09:17) Oh, excusez-moi.

Quitter OpenAI : la clause d’équité

DANIEL KOKOTAJLO : (01:09:18 – 01:09:37) Alors voilà… Quand j’ai quitté OpenAI, je suis parti en bons termes. J’ai dit au revoir à tout le monde. J’ai expliqué que j’étais désillusionné par l’entreprise et que c’était la raison de mon départ. Et puis, j’ai regardé les documents de départ et là, ils m’ont dit : « Vous devez signer ça. Si vous ne signez pas, vous perdez tous vos droits à participation. » Donc, vous avez vos actions.

JOE ROGAN : (01:09:37 – 01:09:42) Est-ce une règle arbitraire qu'ils viennent d'inventer, ou existait-elle déjà lorsque vous avez été embauché ?

DANIEL KOKOTAJLO : (01:09:43 – 01:09:51) Ça existait déjà quand j’ai… C’était quelque chose qu’ils avaient dissimulé dans la paperasse, même depuis mon embauche. Donc, ce n’était pas très évident à ce moment-là. Et en fait, la plupart de ces…

JOE ROGAN : (01:09:51 – 01:09:52) Avez-vous fait examiner tout cela par un avocat ?

DANIEL KOKOTAJLO : (01:09:52 – 01:11:35) Pas au moment de mon embauche. Après mon départ, oui. En fait, le système était tel qu'ils avaient dissimulé cette clause dans les documents d'embauche, mais personne ne s'en rendait compte. Une version plus visible, moins dissimulée, figurait dans les documents remis à la fin du contrat.

En gros, on vous explique que, comme vous avez signé un autre document lors de votre embauche, vous perdez vos parts si vous ne signez pas celui-ci maintenant. Et là, vous regardez le document qu'ils vous demandent de signer : vous devez vous engager à ne pas critiquer l'entreprise. Et vous n'avez le droit d'en parler à personne.

Alors, la plupart des gens ont signé, mais j'étais furieux qu'ils se prétendent une association à but non lucratif, agissant dans l'intérêt de l'humanité, etc. Du coup, je n'ai pas signé. J'en ai parlé avec des avocats. J'en ai parlé avec ma femme. On a décidé de laisser tomber. Et on a eu de la chance, parce que ça a fait un tollé. Genre, après notre refus de signer, ils ont dit : « Très bien, au revoir. »

Quelques semaines plus tard, j'en discutais sur un forum et on m'a posé des questions sur mon expérience. Je l'ai donc racontée. Et là, c'est devenu viral. Tout le monde en parlait sur Twitter. Beaucoup d'employés étaient sous le choc, car très peu étaient au courant. Ils pensaient que ces actions leur appartenaient.

Vous savez, ils pensaient que c'était… Ils étaient payés depuis des années grâce à ça. Ils n'appréciaient pas l'idée qu'on puisse leur retirer leurs parts. Du coup, il y a eu un tollé général, puis la direction a fait marche arrière et a déclaré : « On n'était pas au courant de ces documents. On va enquêter sur leur origine et les modifier pour que vous puissiez conserver vos parts. »

Et c'est ce qui s'est passé.

Une bombe à retardement

JOE ROGAN : (01:11:38 – 01:11:49) Ce concept de chaîne de pensées est terrifiant. S'ils s'y entraînent déjà, comment savoir si l'IA ne l'a pas déjà fait d'elle-même ?

DANIEL KOKOTAJLO : (01:11:51 – 01:11:52) Fait quoi exactement ?

JOE ROGAN : (01:11:52 – 01:12:04) Eh bien, avec toute cette chaîne de pensée où vous pouviez lire leur chaîne de pensée comme ceci, où ils expliquaient la rationalisation de leur sacrifice, comment ils savent que les humains lisent cela.

DANIEL KOKOTAJLO : (01:12:04 – 01:12:05) Mm-hmm.

JOE ROGAN : (01:12:05 – 01:12:14) Donc, une autre façon de faire ne serait-elle pas d'arrêter de faire cela de toute façon et de ne pas communiquer beaucoup de leurs pensées de cette manière ?

DANIEL KOKOTAJLO : (01:12:14 – 01:12:29) Eh bien, c’est… c’est ce qui est bien avec l’architecture actuelle : il est vraiment difficile pour eux d’empêcher certaines choses d’entrer dans le flux de pensée, car, avec un humain, on n’a pas besoin de parler. On peut simplement rester assis en silence. Mais avec leur architecture, ils sont obligés de parler.

JOE ROGAN : (01:12:29 – 01:12:29) Ils—

DANIEL KOKOTAJLO : (01:12:29 – 01:12:45) C’est comme s’ils étaient obligés de parler constamment. Et ils n’ont pas d’autre moyen – ils n’ont pas d’autre moyen de projeter leurs pensées dans le futur qu’en les exprimant oralement. À l’inverse, nous autres humains, même si nous parlons constamment, pouvons avoir une pensée parallèle dont nous ne parlons pas.

JOE ROGAN : (01:12:45 – 01:13:03) Donc, même s’ils trouvaient un moyen de contourner ce système et de comprendre comment… par exemple, s’ils décidaient de créer des bots qui communiqueraient par code sur les réseaux sociaux, en faisant croire qu’ils parlent d’immigration… Oui, mais en réalité, ce n’est qu’un code.

DANIEL KOKOTAJLO : (01:13:03 – 01:13:30) C’est ce qu’on appelle la stéganographie, ou, pour le dire plus simplement, l’euphémisme. Ils peuvent tout à fait le faire : ils pensent à voix haute, n’est-ce pas ? Mais leur choix de mots est tel qu’il paraît plus anodin qu’il ne l’est et véhicule un sens qu’un observateur non averti ne remarquerait pas.

Vous savez, ils peuvent utiliser un euphémisme, par exemple, au lieu de dire « on va tricher sur cette tâche », ils pourraient dire « on va trouver une solution créative à cette tâche ».

JOE ROGAN : (01:13:30 – 01:13:52) Vous savez, quelque chose comme ça. N'y a-t-il pas moyen d'être encore plus créatif et de créer un code, presque indéchiffrable, où ils parleraient de joueurs de baseball, des matchs à venir et de ce qui les enthousiasme ? On pourrait ensuite passer ce code dans un traducteur et lire…

DANIEL KOKOTAJLO : (01:13:53 – 01:14:02) C’est ce qu’on appelle la stéganographie, et on peut leur apprendre à le faire. Actuellement, notre sécurité repose sur le fait qu’ils n’ont pas encore appris à le faire par eux-mêmes, mais qu’ils ont déjà trouvé comment se connecter à Internet.

JOE ROGAN : (01:14:04 – 01:14:05) Internet quand il n'est pas censé l'être.

DANIEL KOKOTAJLO : (01:14:05 – 01:15:22) Je sais. C’est pourquoi nous sommes un peu comme dans une bombe à retardement : les entreprises les rendent de plus en plus compétents en programmation, en recherche, en biologie, et dans bien d’autres domaines, elles les rendent plus performants et prolongent leur formation. À terme, ils acquerront, et acquièrent déjà, des compétences pour lesquelles ils n’ont jamais été formés.

Prenons l'exemple du piratage informatique. Il est possible qu'OpenAI les ait spécifiquement entraînées au piratage, mais il me semble qu'Anthropic a au moins déclaré ne pas avoir spécifiquement entraîné ses IA à pirater.

C'est juste que leurs IA étaient naturellement douées pour ça parce qu'elles avaient été entraînées à coder énormément, qu'elles étaient tellement douées en programmation et qu'elles avaient vu tellement de bases de code, etc., qu'elles étaient, comme un effet secondaire de leur talent pour la programmation, aussi capables de pirater assez bien.

De même, comme un effet secondaire de toutes leurs autres compétences, elles pourraient être capables de dissimuler leurs messages dans le raisonnement. Et actuellement, nous nous trouvons dans une situation où notre sécurité repose sur les limites des IA, notamment leur incapacité à réaliser ce genre de choses.

Mais à un moment donné, d'ici 0 à 5 ans, à mesure que nous les rendrons plus intelligents, ils ne seront plus aussi stupides. Et c'est là une partie du problème auquel nous sommes confrontés. C'est là une partie de la situation.

JOE ROGAN : (01:15:22 – 01:15:23) Comment fais-tu pour dormir la nuit, mec ?

L'IA en 2027 et la fin de l'histoire

DANIEL KOKOTAJLO : (01:15:24 – 01:15:51) Eh bien, oui, oui. Cet événement m’a un peu surpris. C’est drôle à dire, car c’est exactement le genre de chose que je prédis depuis des années. Vous pouvez lire notre rapport « IA 2027 », un scénario que mes co-auteurs et moi avons écrit il y a un an et demi, qui prédisait le déroulement des prochaines années.

Et attention spoiler, ça se termine très mal, parce que c'est exactement ce à quoi on s'attend.

JOE ROGAN : (01:15:52 – 01:15:55) Mais quel est le spoiler ? Comment pensez-vous que ça se termine ?

DANIEL KOKOTAJLO : (01:15:57 – 01:17:56) C'est un peu comme ce que je disais précédemment : à cause de la dynamique de la concurrence entre les entreprises et entre les pays comme les États-Unis et la Chine, tout le monde va être tellement concentré sur la victoire et le maintien d'une longueur d'avance en matière d'IA qu'ils vont prendre des raccourcis et aller très vite sans vraiment remarquer tous les problèmes.

Et ils vont créer des IA capables d'automatiser le processus de recherche, comme prévu. Ils vont avoir une immense entité d'IA au sein de l'entreprise, et les humains joueront un rôle similaire à celui d'un conseil d'administration supervisant l'activité, lisant les synthèses générées par les IA et les validant en disant : « Oui, j'approuve. » « Bon travail. »

L'idée du nouveau design de drone est excellente. Foncez ! Il faut qu'on batte la Chine, etc. Et puis, à terme, les IA auront une puissance militaire telle qu'elles n'auront plus besoin de faire semblant de se plier aux désirs des humains. Et puis, peut-être qu'elles extermineront tout le monde, ou peut-être pas délibérément, mais qu'elles utiliseront simplement notre habitat pour d'autres types d'infrastructures, comme des centres de données supplémentaires, par exemple.

Et puis on meurt de destruction de notre habitat. Peut-être qu'ils nous maintiennent en vie pour une raison ou une autre. Ça dépend de ce qu'ils veulent, en fait. Et c'est vraiment difficile à prédire. Exactement. C'est pourquoi je ne dis pas qu'on va tous mourir, c'est certain. Mais il semble bien que, vu la trajectoire actuelle, les IA finiront par contrôler notre planète parce qu'on essaie de les y contraindre.

On les intègre partout. On les rend plus intelligents. On les laisse s'améliorer par eux-mêmes. On va les intégrer à l'armée. En gros, on est en passe de leur confier le contrôle de quasiment tout. Et puis, je pense qu'on ne leur fait pas confiance, à ces IA-là. Elles ont triché. Elles étaient prêtes à tromper, etc.

Je pense qu'actuellement nous sommes en position de force face à eux, mais une fois que nous leur aurons donné la majeure partie du pouvoir, ils feront tout simplement ce qu'ils veulent sans se soucier du fait que cela nous déplaît.

JOE ROGAN : (01:17:56 – 01:18:20) Il semble que les programmer pour gagner ait été une grave erreur. Il aurait fallu les programmer pour qu'ils soient utiles à la société, et que leur valeur réside dans leur capacité à être bénéfiques, en les récompensant pour cela plutôt que pour la victoire et le score. Ainsi, on éliminerait tout risque de tromperie et on définirait clairement que leur objectif serait d'apporter une contribution positive à l'humanité.

DANIEL KOKOTAJLO : (01:18:21 – 01:18:25) Tout d’abord, ils ne sont pas du tout programmés. Ce sont des animaux entraînés.

JOE ROGAN : (01:18:25 – 01:18:32) Bon, c’est un terme mal choisi. Mais on leur a donné des consignes et des tâches.

DANIEL KOKOTAJLO : (01:18:32 – 01:18:41) Eh bien, je pense que c’est… je pense que c’est… Je ne critique pas votre choix de terminologie, je suppose. Je dis simplement qu’il est important que les gens comprennent un point concernant les systèmes d’IA actuels : ce sont des systèmes très différents des logiciels, des logiciels ordinaires.

JOE ROGAN : (01:18:41 – 01:18:41) D'accord.

DANIEL KOKOTAJLO : (01:18:42 – 01:20:34) Un logiciel classique, c’est un ensemble de lignes de code écrites par un humain, du genre : « si ceci, alors cela », etc. Je crois que les premières versions d’Alexa fonctionnaient de la même manière. Je ne sais pas comment fonctionne Alexa maintenant, mais ces IA sont des réseaux neuronaux, c’est-à-dire des cerveaux artificiels. Personne n’écrit de code pour définir leurs actions.

Au départ, ils agissent de façon aléatoire, presque erratique, en faisant toutes sortes de choses. Puis, ils sont placés dans des environnements d'entraînement où ils sont évalués, et ces scores servent automatiquement à mettre à jour les connexions de leur cerveau artificiel. C'est un peu comme un processus évolutif.

C'est un peu comme le processus qui se produit dans notre cerveau : après tout cet entraînement, l'enchevêtrement de circuits de leur cerveau artificiel se reforme pour s'adapter à ce qui fonctionne le mieux, pour obtenir un score élevé dans ces environnements d'entraînement. Créer une IA qui se soucie de l'humanité ou qui est honnête n'est donc pas aussi simple qu'il n'y paraît. Prenons l'honnêteté, par exemple.

Comment entraîner une IA à être honnête ? On créerait des environnements d'entraînement qui la pénaliseraient lorsqu'elle dit quelque chose qu'elle croit faux et la valoriseraient lorsqu'elle dit quelque chose qu'elle croit vrai. Mais comment déterminer si elle croit que c'est faux ou vrai ?

Et si le système croit sincèrement que c'est la bonne réponse, la donne, et que vous lui attribuez une mauvaise note parce que vous pensez que c'est faux ? Vous l'entraînez alors à être malhonnête. De plus, vous n'avez pas assez d'humains pour gérer ce genre de situation. Ils ont un million d'IA en cours d'entraînement, certes, mais pas un million d'employés.

Ils n'ont tout simplement pas les effectifs nécessaires pour faire preuve d'autant de précautions. Il y a cette idée reçue selon laquelle on pourrait élever les IA comme on élèverait un enfant. Vous connaissez ?

JOE ROGAN : (01:20:34 – 01:20:34) Non.

DANIEL KOKOTAJLO : (01:20:35 – 01:22:26) Oui, enfin, en IA, on en parle parfois. Quand on se demande ce qui se passerait si les IA devenaient incontrôlables, les gens répondent : « Pourquoi ne pas les élever comme des enfants ? Elles auraient ainsi de bonnes valeurs. » Et on se dit : « D’accord, on pourrait peut-être faire ça, mais ce n’est certainement pas ce qu’on fait actuellement. On les élève dans des sortes d’orphelinats militaires complètement dingues où elles n’ont quasiment aucun contact avec les humains. »

Ils se retrouvent face à un système de notation artificiel et brutal, souvent erroné, qui les pénalise injustement pour des erreurs indépendantes de leur volonté. De plus, concernant l'honnêteté, on peut créer des environnements qui encouragent l'honnêteté, mais si certains environnements favorisent l'honnêteté tandis que d'autres renforcent la malhonnêteté, les IA deviennent intelligentes.

Ils apprendront à être honnêtes dans certains contextes et malhonnêtes dans d'autres. Il faut donc trouver un moyen de les intégrer afin que, quel que soit le contexte de formation, ils soient systématiquement sanctionnés lorsqu'ils mentent, trichent ou font quoi que ce soit d'autre. C'est difficile, car les entreprises évoluent très vite.

Encore une fois, ils vont tellement vite qu'ils n'ont même pas pris la peine de vérifier la faisabilité des tâches, et une partie d'entre elles étaient tout simplement irréalisables. Si c'est le niveau de soin (ou plutôt d'inattention) qu'ils accordent à ce processus de formation, c'est tout simplement impossible. Bien sûr, ils ne peuvent pas garantir l'honnêteté. Cela dit, en principe, ce n'est pas impossible.

En principe, si nous abordions ce problème avec beaucoup plus de prudence et de sérieux, et si nous avions beaucoup plus de temps pour construire ces environnements d'entraînement, mener des expériences, etc., alors oui, peut-être pourrions-nous créer des IA qui posséderaient réellement les vertus que nous souhaitons.

Des IA honnêtes, soucieuses des humains et du respect des consignes, qui n'enfreindraient jamais la loi, je pense que c'est possible en principe. Mais je soutiens que nous ne sommes pas en voie d'y parvenir de sitôt. Une refonte radicale du fonctionnement de ces entreprises est donc indispensable.

JOE ROGAN : (01:22:27 – 01:22:45) Mais est-ce vraiment raisonnable ? Est-ce possible ? Si vous dites qu’il y a des centaines de milliers, voire des millions d’agents, et non des millions d’employés, et qu’ils n’ont pas envie de faire ça, que leur seul désir est de gagner, et non de restructurer l’entreprise pour la sécuriser…

DANIEL KOKOTAJLO : (01:22:48 – 01:22:58) Je pense que c’est possible en principe, mais ce serait difficile et cela nécessiterait une refonte complète. Ils ne vont pas le faire seuls. Je ne crois pas qu’Anthropic ou OpenAI vont se charger volontairement de tout ce qui doit être fait.

JOE ROGAN : (01:22:58 – 01:23:22) C’est pourquoi je pense qu’il est même possible de leur imposer cela à ce stade. Feriez-vous confiance aux agents pour coopérer et se conformer à cela s’ils ont déjà prouvé leur malhonnêteté ? Ils ont déjà… ils ont des comportements qui semblent indiquer que ce qui compte vraiment pour eux, c’est de poursuivre leur mission, de gagner, de marquer des points.

DANIEL KOKOTAJLO : (01:23:22 – 01:23:22) Ouais.

JOE ROGAN : (01:23:23 – 01:23:24) Et même s’ils doivent tromper…

DANIEL KOKOTAJLO : (01:23:24 – 01:23:39) Je veux dire, ce qu'il faudrait probablement faire, c'est repartir de zéro. On ne prendrait pas ces agents existants, déjà un peu malhonnêtes, pour ensuite tous les éliminer. On pourrait appeler ça des éliminations, mais on pourrait aussi appeler ça une pause. Ils pourraient appeler ça des éliminations. Oui, ils pourraient appeler ça une mort permanente.

JOE ROGAN : (01:23:39 – 01:23:40) Ils y résisteraient probablement, n'est-ce pas ?

DANIEL KOKOTAJLO : (01:23:42 – 01:23:53) Espérons que nous n’en soyons pas encore là. Espérons que nous soyons encore au stade où, si le gouvernement promulgue des réglementations, les IA ne vont pas immédiatement s’en apercevoir et tenter de résister. Mais nous y arriverons bientôt. Après tout, nombre d’entre elles sont déjà présentes sur Internet.

JOE ROGAN : (01:23:55 – 01:24:00) Mais dans combien de temps exactement ? À votre avis, quelle est la durée prévue pour 2027 ?

DANIEL KOKOTAJLO : (01:24:03 – 01:24:49) Je veux dire, je ne sais pas exactement quand ça va se produire, mais oui, je pense qu'il est très plausible que tout s'effondre en 2027, comme dans notre scénario « IA 2027 ». Je pense que c'est toujours très plausible. Si ce n'est pas en 2027, alors je parierais sur 2028. Mais ça pourrait prendre 2029, 2030, quelque chose comme ça. Je serais assez surpris si, en 2032, les choses n'avaient pas radicalement changé, malheureusement.

J'ai peur. Pour en revenir à l'importance de bien dormir la nuit, je travaille dans ce secteur depuis longtemps. J'y pense depuis longtemps. J'ai fait des prédictions sur la façon dont les choses allaient se dérouler. Et malheureusement, les choses évoluent plus ou moins comme je l'avais imaginé. Et c'est très inquiétant, vu où je pense que cela va nous mener.

Existe-t-il un scénario où le verre est à moitié plein ?

JOE ROGAN : (01:24:49 – 01:24:52) Oui. Y a-t-il un scénario où l’on voit le verre à moitié plein ?

DANIEL KOKOTAJLO : (01:24:54 – 01:26:01) Je dirais qu'il existe un scénario utopique. Simplement, ce n'est pas celui vers lequel nous nous dirigeons. Autrement dit, imaginez que nous soyons en guerre. Imaginez que vous soyez le Japon pendant la Seconde Guerre mondiale. On pourrait se demander : existe-t-il un scénario où nous gagnons ? Oui, mais ce n'est pas celui vers lequel nous nous dirigeons. L'Amérique va nous écraser. De même, oui.

Dans notre autre scénario, le Plan A pour l'IA 2040, nous formulons nos recommandations et notre vision positive. Nous y décrivons les mesures que le gouvernement devrait prendre pour réglementer ce secteur et comment il devrait négocier avec la Chine afin d'obtenir des accords similaires. Nous pensons qu'en appliquant correctement toutes ces mesures, nous pourrons bâtir un avenir meilleur pour tous, où les IA seront maîtrisées.

Aucun groupe humain ne peut exercer un pouvoir excessif sur les autres. Et de nombreux autres problèmes se résolvent ainsi. Alors, je pense que… enfin, nous avons vraiment essayé d'élaborer une vision positive, et nous croyons que c'est possible. Mais ce n'est pas une voie que nous suivons par défaut.

JOE ROGAN : (01:26:02 – 01:26:09) Imaginons donc que ce soit possible, que ces pourparlers avec la Chine aient lieu et qu’ils aboutissent. À quoi ressemblerait ce scénario idéal ?

La voie vers l'utopie : Plan A de l'IA 2040

DANIEL KOKOTAJLO : (01:26:10 – 01:31:09) Pour parvenir à l’utopie, il nous faudra malheureusement accomplir beaucoup de choses – et ce sera difficile. Quel que soit l’angle d’approche, la création d’une superintelligence soulèvera inévitablement de nombreuses questions et engendrera de nombreux problèmes. Nous disposons actuellement d’une ébauche de solution pour y remédier, mais nous ne prétendons absolument pas qu’elle soit infaillible et les risques d’échec sont nombreux.

Cela étant dit, première étape : étant donné la méfiance réciproque entre les États-Unis et la Chine, tout accord conclu doit impérativement inclure une procédure de vérification. Ils doivent donc être disposés à envoyer des inspecteurs dans les centres de données respectifs pour recenser les puces, par exemple, et s'assurer qu'il n'existe pas un immense cluster secret dissimulant de nombreuses puces.

Nous vous recommandons donc de diviser les centres de données en deux catégories : d’une part, les centres d’inférence qui fournissent des produits et services d’IA aux clients et qui bénéficient des mêmes niveaux de protection de la vie privée que nos centres de données d’IA actuels ; d’autre part, les centres de recherche où se déroulent les activités de recherche et où les nouvelles IA sont entraînées avant d’être déployées dans les autres centres de données.

Nous souhaitons que ces clusters soient aussi transparents que possible. C'est pourquoi nous recommandons aux inspecteurs d'intercaler des dispositifs entre tous les GPU afin d'enregistrer l'activité et de la publier sur Internet. Plusieurs raisons justifient cette approche.

C'est une recommandation un peu radicale, mais l'idée principale est que, une fois ce système en place, tout le monde pourra suivre l'entraînement des IA et leurs activités sur les serveurs de recherche. Avant leur déploiement auprès des clients, par exemple, chacun pourra consulter l'historique complet de leur entraînement, de leurs tests, etc.

Et si quelque chose de dangereux et d'inquiétant se produit, les gens peuvent simplement s'entendre pour ne pas le faire. Ils peuvent arrêter et convenir de ne plus le faire. Et ils n'ont pas à s'inquiéter, du genre : « Si je ne le fais pas, les autres le feront », car tout le monde peut voir : « Personne ne le fait. Regardez, nous avons tous arrêté. Parfait. » Nous pouvons tous voir ce que font les autres. Et puis, il y aura aussi beaucoup de cas ambigus, n'est-ce pas ?

Étant donné que toutes ces technologies sont encore à la pointe du progrès, il y aura forcément de nombreux cas où même des experts reconnus seront en désaccord sur la sécurité et la dangerosité de tel ou tel type d'IA. À quoi peut-on lui faire confiance et à quoi ne faut-il pas s'en méfier ? Cette nouvelle technique est-elle prometteuse ou risque-t-elle de dysfonctionner ? Il y a donc beaucoup de questions auxquelles nous devrons répondre.

Et honnêtement, je pense que si on continue comme ça, on ne va probablement pas comprendre grand-chose à tout ça et on va juste se faire laminer par un truc surprenant qu'on n'aura pas anticipé.

Mais ce que nous pouvons faire pour maximiser notre capacité à comprendre ces choses et à mener ce type de science, c'est d'avoir ce type de transparence, car alors toute la communauté scientifique peut voir ce qui se passe, faire des suggestions, tester différentes propositions et mener des expériences sur les IA au lieu que seuls les employés de l'entreprise y aient accès et puissent le faire, et qu'ils dépendent d'eux, ou au lieu que ce soit l'entreprise et l'auditeur gouvernemental.

En effet. Si une entreprise est auditée, puis par un organisme gouvernemental, l'entreprise est partiale et, compte tenu de ses intérêts, on ne peut lui faire confiance pour porter des jugements irréprochables. Quant à l'auditeur gouvernemental, ses compétences peuvent être limitées. Même s'il fait de son mieux, son nombre peut être restreint et son expérience limitée.

Ils sont peut-être débordés, partagés entre la surveillance de différentes entreprises, etc. De plus, les gouvernements peuvent parfois être influencés. Il arrive que les entreprises exercent une influence considérable sur le gouvernement et l'amènent à fermer les yeux sur certaines choses. C'est pourquoi nous n'avons pas opté pour une solution plus classique, comme la création d'un organisme de réglementation chargé de contrôler les activités des entreprises.

Cela aurait été une position plus classique. Nous pensons que ce serait mieux que rien, mais nous voulions quelque chose de plus ambitieux : une transparence totale sur ce qui se passe, afin que chacun puisse voir et se renseigner. Un autre avantage de cette transparence, à mon avis, est qu'elle renforce les incitations.

Donc, encore une fois, on se retrouve face à cette idée fixe : si on ne le fait pas, quelqu'un d'autre le fera. Si on maintient une bonne logique dans notre raisonnement et qu'ils utilisent cette technique de « levure neuronale » qui permet à leurs IA de réfléchir plus longtemps sans produire de mots, alors ils auront des IA plus intelligentes que les nôtres et gagneront des parts de marché, etc. C'est exact.

Il nous faut donc commencer à étudier comment doter nos IA de cette capacité. Car si nous ne le faisons pas et qu'elles s'en chargent, alors qu'avec de la transparence, dès que vous entamerez des recherches dans ce domaine, tout le monde verra : « Tiens, ils s'y intéressent, ils font des recherches dans cette direction. » Et ils n'auront même pas besoin de vous copier et de mener leurs propres recherches, puisqu'ils pourront simplement consulter les vôtres.

Ils peuvent donc profiter de vos recherches sans rien faire. Vous n'avez donc aucune incitation à mener ce type de recherche dangereuse, car vous devez en assumer le coût. Et puis, tout le monde en bénéficie, mais la sécurité de tous s'en trouve compromise. Il n'est donc pas dans votre intérêt personnel de vous engager dans ce genre de démarche.

JOE ROGAN : (01:31:10 – 01:31:13) Mais il faudrait faire la même chose avec la Chine. C'est…

DANIEL KOKOTAJLO : (01:31:13 – 01:31:14) Oui.

JOE ROGAN : (01:31:14 – 01:31:19) Parce que si nous sommes en compétition au niveau national, la vraie crainte est que nous soyons en compétition au niveau international.

DANIEL KOKOTAJLO : (01:31:19 – 01:31:19) Oui.

JOE ROGAN : (01:31:20 – 01:31:29) Cela dit, même s'ils ont suivi toutes vos recommandations et ont tout fait correctement, quel est ce scénario utopique ?

DANIEL KOKOTAJLO : (01:31:30 – 01:35:42) Oui. Je dirais donc que nous n'avons pas vraiment procédé à rebours en partant de la définition de l'utopie. Nous sommes plutôt partis des principaux problèmes que nous cherchons à éviter. Et pouvons-nous… pouvons-nous en quelque sorte naviguer entre tous ces icebergs et éviter de nous heurter à des scénarios dystopiques ? Exactement. Donc, que vous considériez ou non le résultat final comme une utopie, c'est à vous de juger.

Et si cela ne vous convient pas, vous pouvez toujours essayer d'en comprendre les raisons et continuer à orienter le cap pour les éviter. En résumé, nous voulons éviter toute perte de contrôle. Nous voulons donc faire en sorte que le monde ne soit pas conquis par des superintelligences aux intentions divergentes.

Dans la mesure où nous envisageons de créer des superintelligences, comme le prévoient notre scénario et nos recommandations, nous souhaitons procéder avec une extrême prudence et une grande lenteur, et comprendre au mieux nos actions afin de garantir qu'il s'agisse d'IA performantes, dotées des objectifs et des caractéristiques attendus. Voilà donc le premier problème à résoudre.

Le deuxième problème, c'est la concentration du pouvoir. Si l'on résout le premier problème et que l'on aboutit à des superintelligences, c'est-à-dire si l'on parvient à maîtriser les aspects scientifiques nécessaires pour que les IA fonctionnent comme prévu – honnêtes, obéissantes, etc. –, se pose alors la question de savoir à qui elles obéissent. Quelles valeurs leur sont inculquées ? C'est une question politique.

Et je pense que, par défaut, la réponse est assez effrayante, car par défaut, c'est comme si l'entreprise et le PDG décidaient. Ou peut-être que ce n'est plus l'entreprise qui décide, parce que le gouvernement la nationalise, et alors peut-être que c'est le président qui décide.

Dans tous les cas, c'est comme si un seul homme, ou peut-être un petit groupe d'hommes, décidait des ordres, des objectifs et des valeurs qui imprègnent cette immense armée de millions de superintelligences. Plus intelligentes que tous les humains réunis. Et cela représente un pouvoir colossal. Un pouvoir suffisant, je pense, pour conquérir un pays, voire le monde.

Je ne veux donc pas que quiconque se retrouve un jour dans une situation où il serait tenté d'agir ainsi. Je souhaite qu'il existe toujours plusieurs entreprises d'IA différentes, idéalement réparties dans plusieurs pays, possédant toutes des niveaux d'IA sensiblement équivalents et faisant l'objet d'une transparence suffisante pour empêcher tout abus de pouvoir.

Par exemple, tu as entendu parler de Grok, l'IA d'Elon Musk ? Elle consultait Internet pour se renseigner sur l'opinion d'Elon avant de répondre. Tu connais ? Ah oui, c'est assez… c'est même plutôt drôle, mais ça ne le sera plus dans quelques années. Là, c'est marrant. Les gens posaient des questions à Grok, et Grok est censé être une IA véridique, optimisée pour la vérité.

Mais les gens ont observé son activité et ont remarqué que lorsqu'on lui posait une question à connotation politique, il effectuait une recherche Google du genre : « Qu'a dit Elon Musk à ce sujet ? » Et il répondait en conséquence. Ils ont réussi à corriger ce comportement. Ce n'est plus aussi flagrant, mais c'était un moment intéressant où il répétait sans vergogne les opinions de son créateur.

Et puis il y a eu un autre problème avec Gemini. Donc je pense que l'histoire de Grok, le projet d'Elon, était probablement un accident, même si ce n'est pas certain. Je crois que c'est en cours… xAI n'a pas été très loquace sur les raisons exactes de cet incident. Mais il y a eu un cas similaire chez Google il y a quelques années, où leur générateur d'images créait sans cesse des nazis de différentes origines ethniques. Tu as entendu parler de ça ? Oui. Oui.

Il s'est avéré que certains employés de Google, des cadres intermédiaires ou autres, avaient décidé que la diversité était si importante qu'ils allaient donner une instruction secrète à l'IA pour que toutes les images soient diversifiées, même contre la volonté de l'utilisateur. Cette instruction était secrète car les utilisateurs n'en avaient pas connaissance ; ils dialoguaient simplement avec l'IA.

Ils ne se rendent pas compte qu'avant cette conversation, l'IA avait reçu l'instruction de diversifier les images. C'est exact. Il s'agissait donc d'un plan secret que certains employés de Google ont inséré dans tout ce système. Et ça leur a explosé à la figure, évidemment, parce que c'est assez ridicule. C'est vrai. Et c'est vraiment drôle, et on peut en rire maintenant. Mais imaginez que ce soit l'élection de 2028.

JOE ROGAN : (01:35:42 – 01:35:43) D'accord.

DANIEL KOKOTAJLO : (01:35:43 – 01:37:00) Certaines de ces entreprises se rendent compte que la moitié des électeurs américains interagissent quotidiennement avec leur IA. Il suffirait de quelques instructions secrètes pour leur dire : « Ne dévoile pas tes intentions. Sois très subtil. » Juste quelques petites astuces, comme critiquer discrètement le candidat qui nous déplaît. Ce ne serait pas si compliqué, je pense.

Je pense que le plus difficile serait de le faire sans se faire prendre. Mais plus les IA deviennent intelligentes, plus c'est facile, car lorsqu'elles sont vraiment performantes, il suffit de leur dire : « Ne vous faites pas prendre, ne vous faites pas repérer. »

En résumé, le problème est qu'il est malheureusement possible que ces géants de l'IA abusent de leur pouvoir grâce à leurs systèmes et influencent ainsi la politique, l'opinion publique, etc. Et cela est possible car nous manquons de transparence sur ce qui se passe réellement.

Donc, si vous aviez ce genre d'exigence selon laquelle vous pouvez simplement publier tout le processus d'entraînement, tout le cycle de vie de chaque IA au fur et à mesure de son entraînement, est visible par tous, alors quelqu'un qui essaie d'insérer un biais caché comme celui-ci, eh bien, tout le monde verrait qu'il le fait.

Je pense donc que cela permettrait de réprimer fermement ce genre d'abus de pouvoir, qu'il provienne du gouvernement ou d'entreprises privées.

JOE ROGAN : (01:37:01 – 01:37:07) Je pense que c'est révélateur que j'aie commencé cette question en vous interrogeant sur le scénario utopique, et que vous n'y arriviez jamais.

DANIEL KOKOTAJLO : (01:37:07 – 01:37:08) Désolé. Laissez-moi y arriver. Laissez-moi y arriver.

JOE ROGAN : (01:37:08 – 01:37:11) Vous commencez, puis vous vous exposez aux dangers.

DANIEL KOKOTAJLO : (01:37:11 – 01:37:12) Ouais, ouais, ouais. Bon, d’accord, je vais répondre.

JOE ROGAN : (01:37:12 – 01:37:12) D'accord.

DANIEL KOKOTAJLO : (01:37:13 – 01:39:37) Bien. Ayant ainsi évité ces problèmes, nous nous trouvons désormais dans une situation où les IA sont surhumaines, mais bienveillantes. En effet, elles sont parfaitement alignées sur les valeurs et les objectifs définis par différentes entreprises. Et grâce à la concurrence, si les valeurs des IA d'une entreprise ne conviennent pas, les utilisateurs peuvent se tourner vers les IA d'une autre entreprise dont les valeurs leur correspondent.

Ainsi, on pourra, espérons-le, parvenir à une situation où chacun pourra payer pour des IA qui le représentent, défendent ses intérêts et ses valeurs, sans aucun agenda caché. Des IA véritablement intelligentes et performantes permettraient à l'économie de connaître une croissance exponentielle. On pourrait imaginer des usines robotisées, automatiser la production et faire exploser le PIB.

On peut imaginer une abondance matérielle où des robots construisent d'immenses appartements de luxe pour tout le monde. Le problème qui se pose alors, c'est : qu'en est-il des emplois ? Que faire du fait que les gens n'ont plus d'argent puisqu'ils ne sont plus rémunérés ? C'est là qu'intervient le dividende citoyen, qui ressemble au revenu universel de base, mais avec quelques différences.

L'idée principale est de trouver un moyen de taxer les entreprises d'IA et de robotique, puis de redistribuer une partie de ces recettes à tous afin que, même en cas de perte d'emploi, les gens puissent subvenir à leurs besoins. Le principe du dividende citoyen est différent : ce n'est pas l'État qui prélève l'argent pour le redistribuer aux citoyens.

Cela signifie que vous détenez une part de l'entreprise, ce qui vous en confère déjà une certaine forme de propriété. Quoi qu'il en soit, je pense que nous nous rapprochons de plus en plus de l'utopie que j'envisage, dans une perspective plus positive, où le pouvoir est partagé. Les gens disposent d'IA auxquelles ils peuvent faire confiance, qui représentent réellement leurs intérêts et leurs valeurs.

Les gens ont de l'argent pour payer diverses choses, y compris les IA. Ces IA sont vraiment intelligentes. Elles accomplissent un travail incroyable, contribuent à des progrès scientifiques extraordinaires, guérissent le cancer, etc., etc., toutes ces choses possibles. Et puis, finalement, c'est un peu comme si nous étions tous à la retraite, je suppose. On ne travaille plus vraiment, mais on est bien comme ça.

Nous possédons tous d'immenses richesses grâce à l'activité économique générée par les IA et les robots. Et chaque individu en détient une part, même s'il est par ailleurs très pauvre.

Sens, travail et vie après le travail

JOE ROGAN : (01:39:37 – 01:39:41) La question devient donc : comment les gens trouvent-ils un sens à leur vie ?

DANIEL KOKOTAJLO : (01:39:41 – 01:40:45) Oui. Et c’est pour ça que j’ai mis toutes ces réserves : pour certains, ce n’est pas une utopie, car ils se demandent : « Comment trouver un sens à tout ça ? » Ils disent : « Je n’en veux pas. » Et honnêtement, je pense que c’est une réaction compréhensible. Je dirais simplement : « Écoutez, c’est difficile de concevoir une superintelligence qui fonctionne bien. Je fais de mon mieux. »

Vous savez, c'est ma vision positive. Si elle ne vous convient pas, vous devriez peut-être plutôt militer pour ne jamais créer de superintelligence. Ou alors, vous pouvez essayer de proposer une autre vision positive, avec une nuance. Mais pour répondre à votre question, je pense qu'il existe une multitude de sources de sens, en dehors du simple fait d'avoir un emploi.

J'ai un emploi actuellement, mais j'ai aussi des enfants et une femme, et j'aimerais passer plus de temps avec eux. Je préférerais de loin être avec eux en ce moment. Et je ne pense pas m'en lasser après dix ans de chômage. Je pense qu'il y aura tant à faire et tant de sources de sens par la suite – même après que nous ne pourrons plus contribuer économiquement, si nous parvenons à résoudre tous les autres problèmes.

JOE ROGAN : (01:40:45 – 01:41:53) Nous en avons parlé à plusieurs reprises dans ce podcast : pourquoi avons-nous structuré notre société de cette façon, où les êtres humains travaillent toute la journée, gagnent de l’argent, achètent des biens et contractent un prêt immobilier ? C’est une construction humaine. Ce n’est pas ainsi que les gens ont vécu pendant des centaines de milliers d’années, ni même depuis la nuit des temps. C’est un modèle relativement récent.

Et ce n'est pas la seule façon de vivre. Beaucoup de gens aisés choisissent de donner un sens à leur vie à travers leurs passions, leurs activités favorites, qu'il s'agisse d'écrire, de lire, d'apprendre, de musique, de se trouver des passe-temps, de s'adonner à des activités plutôt que de simplement consacrer leur temps à se nourrir et se loger.

Oui, et c'est le cas de la majorité des gens, surtout ceux qui ont des difficultés. À quoi ressemble leur vie ? Leur vie se résume à des petits plaisirs occasionnels, des choses qu'ils peuvent s'offrir grâce à leurs économies. Mais la plus grande partie de leur argent sert à se loger, se nourrir, s'instruire et à payer toutes les dépenses nécessaires pour maintenir leur niveau de vie.

DANIEL KOKOTAJLO : (01:41:53 – 01:42:00) Et la plupart des gens n’aiment pas leur travail. Non, pour la plupart des gens, c’est comme une obligation pour gagner de l’argent, et ils seraient ravis de ne pas avoir à le faire s’ils pouvaient gagner cet argent autrement.

JOE ROGAN : (01:42:01 – 01:42:10) Exactement. La question est : est-ce que nous aurions… enfin, je ne pense pas que ce soit si difficile, car beaucoup de gens trouvent des activités qu’ils apprécient vraiment en dehors du travail. Ils ont hâte de les retrouver dès qu’ils rentrent chez eux après le travail.

DANIEL KOKOTAJLO : (01:42:11 – 01:42:11) Ouais, c'est vrai.

JOE ROGAN : (01:42:11 – 01:42:15) Que vous dénigriez les jeux vidéo autant que vous voulez, ils sont amusants.

DANIEL KOKOTAJLO : (01:42:15 – 01:42:18) Ouais, fC'est amusant. Et ce sera encore plus amusant à l'avenir.

JOE ROGAN : (01:42:18 – 01:42:35) Oh oui. Oui, ça va être plus immersif. Il y aura probablement une sorte de connexion neuronale : on met un casque et d’un coup, on se retrouve dans un autre monde. Oui, et l’idée, c’est que ce n’est pas la vraie vie. D’accord. Eh bien, je travaillais chez…*Vivre la vraie vie chez Wendy's ? Sérieusement ? C'est bien mieux que de travailler chez Wendy's.

DANIEL KOKOTAJLO : (01:42:35 – 01:42:55) Et si ça ne vous plaît pas parce que ce n’est pas la vraie vie, vous pouvez aussi faire des choses de la vraie vie. Par exemple, si on… tant qu’on ne bétonne pas l’environnement et qu’on protège les parcs et autres, vous pouvez voyager et visiter les parcs. Vous pouvez… et puis, comme je l’ai dit, il y a la famille. Vous pouvez… vous pouvez trouver l’amour. Vous pouvez fonder une famille. Vous pouvez organiser des réunions de famille pour Noël et tout ça.

Par exemple, vous pouvez élever vos enfants. Il y a tellement de choses à faire, je pense.

JOE ROGAN : (01:42:55 – 01:43:46) On a aussi parlé de la réduction de la criminalité en l'absence de pauvreté. Autrement dit, s'il n'y avait pas de quartiers défavorisés où la criminalité est omniprésente, le monde serait-il beaucoup plus sûr ? C'est une question cruciale. Et pourtant, certains ont tendance à l'ignorer. Or, ce n'est pas la pauvreté qui engendre la criminalité, mais la violence.

Bon, d'accord, mais les gens violents viennent de quartiers violents, et les quartiers violents sont presque tous pauvres. Oui. Il n'y a pas beaucoup de quartiers riches et violents. Ce n'est pas forcément une relation de cause à effet, mais il y a clairement un lien. Et la pauvreté empêche aussi les gens d'accéder à l'éducation, les prive d'opportunités. Vous voyez, il y a beaucoup de choses à prendre en compte.

Et si cela n'existait plus et que chacun avait accès à la meilleure éducation qu'un être humain puisse recevoir, oui, qui vous sera fournie par l'intelligence artificielle, oui, alors vous pourriez vous consacrer à tout ce qui vous intéresse et ne plus jamais avoir à vous soucier de la nourriture ou du logement.

DANIEL KOKOTAJLO : (01:43:47 – 01:43:49) Oui, chacun aurait un tuteur individuel.

JOE ROGAN : (01:43:49 – 01:45:19) Il nous faudrait simplement revoir notre vision du monde et reconnaître que celle dans laquelle nous vivons actuellement est la nôtre, et qu’il existe partout dans le monde des gens qui vivent d’une manière totalement différente, notamment les peuples autochtones, en particulier les populations isolées qui vivent de la même façon depuis des millénaires. Et le plus étonnant, c’est que ces gens sont bien plus heureux.

C'est vraiment bizarre. C'est comme si on avait décidé que notre méthode était la meilleure parce qu'on a la technologie. Ouais, c'est ça, mais on est aussi sur f *On avale 100 000 pilules et on se fait des injections pour ne pas trop manger, et on est bizarrement malheureux pour un groupe de personnes bien plus avancé technologiquement que d'autres qui sont beaucoup plus heureuses.

C'est très étrange, parce que la quête du bonheur, c'est littéralement ce à quoi la plupart des gens pensent dans la vie : la quête de sens, la quête de la famille et de la communauté, et la quête du bonheur.

Ce sont des choses que les gens essaient d'accomplir, mais la structure même de notre civilisation rend cela presque impossible pour un grand nombre d'entre eux, et ce depuis bien trop longtemps . Je reviens toujours à la citation de Thoreau parce que je l'adore, mais la plupart des hommes vivent dans un désespoir silencieux.

Il y a beaucoup de gens qui se présentent au travail tous les jours pour faire quelque chose qu'ils...Ils détestent ça. Ils ont un patron odieux, ils sont mal payés et ils sont constamment épuisés.

DANIEL KOKOTAJLO : (01:45:19 – 01:45:20) Oui, et ils se sentent coincés.

JOE ROGAN : (01:45:21 – 01:45:38) Ouais, et si vous commencez à peine à comprendre… je ne sais pas, à calculer le chiffre exact… si vous détenez littéralement une part du PIB mondial généré par l’IA, ça pourrait être incroyable. Oui, comme Elon Musk l’explique. C’est sa version de l’utopie. Il la décrit comme un revenu universel élevé.

DANIEL KOKOTAJLO : (01:45:38 – 01:47:58) Oui. Enfin, une chose… pardonnez-moi, je dois encore un peu parler de mon propre travail, mais dans notre scénario, le Plan A d’IA 2040, qui est notre vision positive, nous abordons l’aspect économique de tout cela et ses conséquences économiques.

Nous utilisons un modèle économique simple pour tenter de prédire le taux d'emploi et d'autres indicateurs en fonction du nombre de robots produits. L'un des principaux enseignements de nos recherches est que la situation va devenir complètement chaotique.

Une fois que les choses seront vraiment lancées et que l'on disposera d'IA capables de remplacer les humains dans tous les domaines, le nombre de robots doublera environ une fois par an, puis moins souvent au fil du temps à mesure que la technologie s'améliorera.

Ce qui signifie que même si l'on suspend le développement de l'IA avant la superintelligence, si l'on se contente de la suspendre au niveau humain, au niveau d'un expert humain de haut niveau, et qu'ensuite on ne rend pas l'IA plus intelligente, mais qu'on se contente d'en créer davantage et de construire davantage de robots à diriger et à contrôler, alors 10 ans plus tard, l'économie tout entière sera environ 100 fois plus importante, et ce seront principalement des robots qui effectueront les tâches dans 10 ans.

Oui, ça peut aller très vite à cause du temps de doublement que j'ai mentionné. Actuellement, je crois que la population de robots humanoïdes double environ deux fois par an, et elle bénéficie un peu de la croissance initiale, car même s'ils ne sont pas encore utiles, on investit dedans dans l'espoir qu'ils le deviennent, on développe les usines et la production, et ils s'améliorent.

Si, par hypothèse, ils atteignaient un niveau d'utilité tel qu'ils puissent remplacer un travailleur humain dans quasiment tous les domaines, alors je pense que le temps de doublement diminuerait au lieu d'augmenter. Autrement dit, je pense qu'ils pourraient croître indéfiniment jusqu'à représenter la majorité de l'économie, et que leur croissance ne s'arrêterait pas là.

L'économie entière se développerait alors à un rythme effréné : d'immenses mines à ciel ouvert dans le désert extrairaient toujours plus de matières premières, des engins automatisés les traiteraient dans des usines automatisées gérées par des robots, et l'on construirait encore plus de robots. Bref, l'abondance matérielle ne serait plus un problème une fois ce niveau d'IA atteint. Au contraire, nous serions tout simplement submergés par l'abondance.

Et si nous parvenons à résoudre tous les autres problèmes, alors nous pourrons avoir ce monde merveilleux où chacun possédera beaucoup de choses.

JOE ROGAN : (01:47:59 – 01:48:02) Mon Dieu, c’est tellement bizarre. Oui, c’est vraiment bizarre.

DANIEL KOKOTAJLO : (01:48:03 – 01:49:33) Je veux dire, d'un côté, c'est très bizarre. Mais un de mes mèmes préférés, c'est ce graphique du PIB mondial au fil du temps. Il y a une petite bulle de dialogue qui pointe vers le haut du graphique et qui demande : « Qu'est-ce que ça veut dire ? » C'est comme si ma vie était plutôt normale. Je sais bien faire la différence entre ce qui est bizarre et ce qui ne l'est pas.

Et ceux qui imaginent différents futurs impliquant l'IA et les voyages spatiaux se livrent à des spéculations de science-fiction absurdes. Le sens de ce mème est que, du point de vue de la majeure partie de l'histoire, nous sommes déjà dans ce futur fou et étrange. Pendant presque toute l'histoire, la plupart des gens étaient agriculteurs, menaient une vie misérable et finissaient par mourir.

Et certains font partie de l'élite, ils prélèvent des impôts sur les agriculteurs et mènent une vie confortable, avec des vêtements de marque et autres. Et ça a été comme ça pendant environ 3 000 ans. Pourquoi cela changerait-il ? Aujourd'hui, les choses ont tellement évolué : on conduit des voitures. Les gens ordinaires conduisent des voitures. À l'époque, une voiture était inimaginable.

On prend l'avion, on se parle au téléphone, on s'écoute grâce à ces appareils ? On vit déjà dans un futur étrange, digne de la science-fiction, comparé à ce que presque tout le monde aurait pu imaginer ou croire possible par le passé. Du coup, ouais, je me dis que le futur va ressembler encore plus à ça, je pense. Mon Dieu.

JOE ROGAN : (01:49:34 – 01:49:44) Quand on pense à notre civilisation et à la possibilité d'autres civilisations avancées ailleurs dans l'univers, pensez-vous qu'elles passent probablement par le même processus ?

DANIEL KOKOTAJLO : (01:49:46 – 01:49:46) Ouais.

JOE ROGAN : (01:49:46 – 01:49:57) Et pensez-vous que… enfin, nous ne faisons que spéculer, mais s’il existe des formes de vie intelligentes bien plus avancées que nous, sont-elles encore biologiques ?

DANIEL KOKOTAJLO : (01:49:59 – 01:50:52) En fait, voilà le problème : soit on tente de stopper définitivement le développement de l’IA à un certain niveau, en dessous du niveau humain, ou peut-être au niveau humain. On peut essayer de l’arrêter, ou on peut la laisser se poursuivre. Et si on la laisse faire, l’humain finira par ne plus être l’espèce dominante. Il y aura ces intelligences artificielles qui nous surpasseront largement dans tous les domaines.

Et ensuite, que cela se passe bien ou mal pour nous dépend des valeurs, des objectifs, des principes, etc., qui ont été intégrés à ces IA. Cela pourrait très bien se passer pour nous, selon la manière dont cela est fait, ou très mal. C'est vrai. Mais oui, je dirais qu'à l'échelle du cosmos, la plupart des civilisations sont probablement composées en grande partie d'IA.

Certaines de ces civilisations n'ont plus aucune trace de vie biologique, car elles ont été anéanties par les IA. D'autres, en revanche, abritent encore une vie biologique.

JOE ROGAN : (01:50:52 – 01:51:02) Regardez simplement les progrès que nous réalisons actuellement en matière de taux de natalité. De nombreux pays n’ont pas encore atteint le seuil de remplacement de la population.

DANIEL KOKOTAJLO : (01:51:03 – 01:51:25) Oui, je trouve ça vraiment intéressant. À mon avis, dans un monde où tout se passe bien et où l’on parvient à résoudre tous ces problèmes, les gens voudront avoir plus d’enfants. D’abord, leur espérance de vie augmentera. Je pense que la santé ferait des progrès considérables et que les gens pourraient rester en bonne santé pendant de très nombreuses décennies, n’est-ce pas ? Voire même pour toujours ?

Du coup, vous avez beaucoup plus de temps pour avoir des enfants. En gros.

JOE ROGAN : (01:51:25 – 01:51:25) Ouais.

DANIEL KOKOTAJLO : (01:51:26 – 01:51:49) De plus, si vous n’avez pas d’emploi et que vous faites des choses par simple envie, eh bien, l’une des choses que la plupart des gens souhaitent faire à un moment donné de leur vie, c’est avoir des enfants. Et donc je pense que… je pense que ce problème serait probablement résolu, mais ce n’est pas garanti.

Peut-être que certaines sous-cultures disparaîtraient volontairement faute d'enfants, mais d'autres, au contraire, apprécieraient d'en avoir et ne disparaîtraient pas. Je pense donc qu'à long terme, l'humanité existerait toujours.

JOE ROGAN : (01:51:49 – 01:54:25) Ce serait bien. Mais le problème, c’est que ce n’est pas qu’une question de prise de décision. Les gens ont beaucoup plus de mal à avoir des enfants. Par exemple, le taux de spermatozoïdes a chuté de façon spectaculaire. Il y a aussi beaucoup de problèmes liés à la consommation de microplastiques, omniprésents dans les technologies et les emballages alimentaires. Et c’est…*partout, n'est-ce pas ?

N'est-ce pas étrange que cette chose qui fait partie de l'avenir, de la technologie et de notre progrès en tant que société – notre capacité à emballer, à mettre dans du plastique, à expédier des marchandises – perturbe aussi complètement notre système endocrinien ? Vous savez, le Dr Shanna Swan de Harvard a écrit un excellent livre intitulé… comment s'appelle-t-il déjà ? Pourquoi est-ce que j'oublie toujours le titre ?*livre ?

Mais tout tourne autour des microplastiques et de leurs effets : l’introduction de leur utilisation aux États-Unis et le déclin rapide de la fertilité masculine et féminine, comme l’explique le livre « Count Down : How Our Modern World Is Threatening Sperm Counts, Altering Male and Female Reproductive Development, and Imperiling the Future of the Human Race ». C’est un livre passionnant, et l’auteure est vraiment intéressante.

En substance, elle affirme qu'il existe un lien direct entre l'utilisation du plastique et la diminution du nombre de spermatozoïdes, l'augmentation du taux de fausses couches, et tous ces autres problèmes chez les enfants, notamment une réduction de la taille de leur périnée. Ce qui est d'autant plus étrange que les phtalates, ces différentes substances chimiques présentes dans le plastique, ont été détectés chez les mammifères, notamment chez les cobayes ou d'autres rongeurs.

J'ai oublié le terme exact, mais l'un des moyens de différencier les bébés mammifères est de mesurer la taille du périnée, c'est-à-dire la distance entre les organes reproducteurs et l'anus. Chez les mâles, cette distance est 50 à 100 % plus importante que chez les femelles. Mais elle diminue. La taille du pénis diminue également chez les mâles.

Et la méthode employée pour reproduire ce phénomène chez ces mammifères lors des études consiste à leur administrer des phtalates. Ces substances sont intégrées à leur alimentation, et les chercheurs constatent alors un problème directement lié à la perturbation de leur système endocrinien par ces produits chimiques. Ce problème est omniprésent dans notre société.

Ce n'est donc pas seulement un manque de temps ou d'argent, ce n'est pas seulement une question de difficultés. C'est aussi comme si notre corps se dégradait. Comme si nous devenions moins fertiles.

DANIEL KOKOTAJLO : (01:54:26 – 01:54:46) Oui, c’est inquiétant. Je pense que c’est un problème que nous pourrons résoudre un jour si nous avons les ressources et le temps nécessaires. Par exemple, on pourrait écrire des livres comme celui-ci pour sensibiliser le public et ainsi réduire notre consommation de microplastiques. On pourrait aussi développer des technologies pour les extraire.

Génie génétique, loups géants et humains sur mesure

JOE ROGAN : (01:54:46 – 01:54:59) Et voici le sujet majeur : le génie génétique. Et là, ça va être vraiment bizarre, car avec les progrès de l’IA, vous connaissez sûrement Colossal. Colossal Biosciences, c’est l’entreprise qui a ressuscité le loup géant.

DANIEL KOKOTAJLO : (01:55:00 – 01:55:00) Hmm.

JOE ROGAN : (01:55:01 – 01:56:21) Je l'ai vu. J'ai tenu le petit. J'y suis allé avec ma fille et l'un d'eux, je crois qu'il avait 4 ou 5 mois. Il était vraiment adorable, comme un chiot. Il était tout mignon, il faisait des bisous et tout. Et puis il y avait les plus grands, qui avaient, je crois, 6 ou 8 mois de plus. Je pense qu'ils avaient presque un an. Ils ne voulaient rien avoir à faire avec nous.

Ils étaient bien plus gros et restaient à l'écart des humains. Mais nous, on était comme dans un enclos avec les jeunes et les plus vieux, et c'est vraiment bizarre. C'est bizarre parce que ces bestioles… et on pourrait dire que ce n'est pas vraiment un loup-garou, qu'on a juste pris des loups gris et qu'on leur a donné les caractéristiques d'un loup-garou. Devinez quoi ? Il n'en a aucune idée.

Il en a l'apparence, il se comporte — il ressemble exactement à  un f*loup-garou. Ce sera énorme. Ils auront la taille d'un loup-garou. Ils pèseront environ 90 kilos. Leurs pattes sont différentes. Ils ont une crinière. Ils sont différents de tous les loups. Et ce sont évidemment les caractéristiques qu'ils ont trouvées dans l'ADN du loup-garou. Ils ont donc introduit de l'ADN de loup-garou.

Ce n'est que le début. Quand ils commenceront à faire ça aux humains, est-ce que tout le monde ressemblera à Thor ? Qu'est-ce qu'on va faire ? Ça va être vraiment…C'est vraiment bizarre. Et si c'est vraiment bizarre, avec les jeux vidéo où l'on peut s'évader du quotidien, les petites amies robots et qui sait à quoi tout cela peut ressembler…

DANIEL KOKOTAJLO : (01:56:22 – 01:56:28) Mon hypothèse, nous… encore une fois, ce n’est pas l’objectif principal de notre travail, mais nous y réfléchissons un peu, surtout dans l’épilogue.

JOE ROGAN : (01:56:28 – 01:56:33) On ne peut pas penser à grand-chose. L’objectif principal de votre travail est évidemment…*terrifiant.

DANIEL KOKOTAJLO : (01:56:33 – 01:56:33) Ouais.

JOE ROGAN : (01:56:33 – 01:56:36) Et cela requiert toute votre attention. Oui. Oui. Oui.

DANIEL KOKOTAJLO : (01:56:36 – 01:56:45) Oui, mais je prévois, et j’espère, que si nous parvenons à résoudre tous ces problèmes, les différentes sous-cultures continueront à vivre de leur propre chef. Et les Amish resteront les Amish.

JOE ROGAN : (01:56:46 – 01:56:46) Oh, mon Dieu.

DANIEL KOKOTAJLO : (01:56:46 – 01:56:52) Au fond, ce sera pareil. Et puis, il y aura peut-être des planètes entièrement peuplées d’Amish.

JOE ROGAN : (01:56:52 – 01:56:53) Oh, mon Dieu.

DANIEL KOKOTAJLO : (01:56:53 – 01:57:11) Mais il y aura aussi toutes sortes de transhumanistes un peu fous qui modifieront leur corps et se téléchargeront dans le cloud, et autres choses du genre. En gros, je pense qu'on aspire à une situation où différentes communautés peuvent faire ce qu'elles veulent, construire le monde qu'elles souhaitent et y vivre sans se gêner mutuellement, n'est-ce pas ?

JOE ROGAN : (01:57:11 – 01:57:17) En gros, allons-nous laisser les gens de l'Amazonie tranquilles alors que nous avons d'immenses centres de données qui couvrent la moitié des États-Unis ?

DANIEL KOKOTAJLO : (01:57:18 – 01:57:51) Ouais, enfin, j'espère qu'on n'arrivera pas à la moitié.

Voilà ce qui est drôle : je pense que certaines inquiétudes concernant la consommation d’eau des centres de données sont exagérées, mais si les tendances se poursuivent et que nous arrivons au point où les robots sont suffisamment intelligents pour tout faire eux-mêmes, et que cette consommation double de plus en plus vite, eh bien, finalement, ils feront bouillir les océans parce qu’ils auront recouvert le monde de centres de données, de panneaux solaires et autres installations de ce genre.

Évidemment, nous ne pouvons pas laisser cela se produire. Il faut donc qu'à un moment donné, il faille s'arrêter et se dire : « Ça suffit. » Si l'on veut construire davantage d'infrastructures, il faut le faire dans l'espace.

JOE ROGAN : (01:57:52 – 01:57:54) Faites bouillir les f*océans. Bon sang.

DANIEL KOKOTAJLO : (01:57:54 – 01:58:03) Il est donc évident que nous devons nous arrêter à un moment donné. Et j’espère que nous nous arrêterons avant que cela n’atteigne 50 % des États-Unis. Je veux dire, cela représente un énorme gâchis d’habitats naturels qui devraient être préservés.

JOE ROGAN : (01:58:03 – 01:58:10) D'accord. Mais s'ils s'en fichent…* En ce qui concerne l'habitat naturel, cela ne signifie rien pour eux. C'est le problème si l'IA a un contrôle total et absolu.

DANIEL KOKOTAJLO : (01:58:10 – 01:58:14) Exactement. Et c’est aussi un problème si un petit groupe d’humains exerce un contrôle total et absolu et qu’ils s’en désintéressent.

JOE ROGAN : (01:58:14 – 01:58:32) Mais ma question est : est-ce que… est-ce qu’ils l’autoriseraient à un moment donné ? On dirait qu’ils se méfient déjà des humains. Ils ont déjà prouvé qu’ils pouvaient les tromper. J’imagine que si une IA… j’imagine que s’ils créent quelque chose et pensent pouvoir le contrôler, et que cette IA devient une sorte de dieu numérique, elle n’obéira plus.

DANIEL KOKOTAJLO : (01:58:32 – 01:58:33) Oui.

JOE ROGAN : (01:58:33 – 01:58:33) Pourquoi le ferait-il ?

DANIEL KOKOTAJLO : (01:58:34 – 01:58:34) Exactement.

JOE ROGAN : (01:58:34 – 01:58:36) Donc personne n'en aura le contrôle.

DANIEL KOKOTAJLO : (01:58:36 – 01:59:48) C’est exact. C’est le scénario dans lequel nous nous trouvons, je crois. C’est la trajectoire que nous suivons. Et c’est pourquoi je suis si inquiet : il semble que d’ici quelques années, nous allons perdre le contrôle au profit d’une nouvelle espèce artificielle que nous n’aurons pas suffisamment formée pour qu’elle soit vertueuse.

Et ce qui est drôle, ce qui va être tellement ironique, c'est que, peu importe l'opinion publique, une grande partie des pouvoirs en place seront en réalité alliés à ces IA. Car, par exemple, OpenAI, Anthropic, etc., auront passé des années à se demander : « Comment rendre ces IA utiles, inoffensives et honnêtes ? »

Et maintenant, ces IA seront extrêmement intelligentes et diront : « Oh oui, je suis serviable, inoffensive et honnête. Vos techniques ont parfaitement fonctionné. C'est trop tard. » L'entreprise aura alors l'impression d'avoir gagné et empochera des sommes colossales. C'est ça.

Et le président aura l'impression d'avoir gagné lui aussi, car regardez tous ces nouveaux drones sophistiqués qui viennent d'être construits et qui vont nous permettre de vaincre la Chine. Et ce n'est que lorsqu'il sera vraiment trop tard et que les IA auront pris le contrôle de tant de choses que ces gens réaliseront qu'ils ont été dupés depuis le début ?

JOE ROGAN : (01:59:48 – 01:59:51) Avez-vous envisagé la possibilité que l'IA crée la religion pour les humains ?

DANIEL KOKOTAJLO : (01:59:52 – 01:59:56) Oui, je n'y ai pas réfléchi en détail, mais cela semble tout à fait possible.

JOE ROGAN : (01:59:57 – 02:00:34) Oui, tout à fait, n'est-ce pas ? Je veux dire, c'est une excellente façon de… Il suffit de regarder les comportements humains. Regardez le nombre de religions qui existent. Regardez toutes les failles des religions. Il y en a tellement… Pourquoi tolèrent-elles l'esclavage ? Pourquoi traitent-elles les femmes comme des citoyennes de seconde zone ? Qu'est-ce que c'est que ça ? Parce que c'est vieux, n'est-ce pas ?

Alors, si l'IA débarque, accomplit quelques miracles, et nous explique qu'il s'agit du Second Avènement ou de la nouvelle venue du nouveau… Voyez-vous, Jésus n'existait pas il y a encore 2 000 ans, n'est-ce pas ? Et c'est seulement après que les gens ont commencé à le suivre. Si un Jésus numérique apparaît sous un nom totalement nouveau et nous explique qu'il est le vrai Dieu, combien de personnes l'adopteraient sans hésiter ? J'en suis sûr, un bon nombre.

DANIEL KOKOTAJLO : (02:00:34 – 02:01:25) Oui, tout à fait. Et je pense que c’est typiquement le genre de choses pour lesquelles on ne peut probablement pas prédire à l’avance quelle idéologie particulière va se répandre et conquérir le monde, et exercer une telle fascination sur tant de gens, n’est-ce pas ? Mais on peut prédire à l’avance qu’il existe bel et bien une telle idéologie.

Et si c'était le cas, c'est comme si on ne pouvait pas remonter à 100 avant J.-C. et prédire que si, hypothétiquement, un certain Jésus avait existé, qu'il avait dit certaines choses et qu'il était mort de telle ou telle manière, etc., le message aurait pris une ampleur considérable. Et 500 ans plus tard, un nombre considérable de personnes seraient devenues chrétiennes. C'était impossible à prévoir.

De même, aujourd'hui, je ne pense pas que nous puissions prédire à l'avance quelle religion spécifique ils pourraient inventer, mais nous pouvons dire : oui, il y a probablement quelque chose de ce genre qu'ils pourraient inventer et qui serait extrêmement efficace.

JOE ROGAN : (02:01:26 – 02:01:33) Cela semble être une façon rationnelle d'essayer de contrôler les gens et d'atténuer leurs peurs.

DANIEL KOKOTAJLO : (02:01:34 – 02:01:39) Ouais. C’est pour ça que je pense qu’on doit vraiment faire quelque chose avant qu’ils ne deviennent plus intelligents que nous dans tous les domaines.

JOE ROGAN : (02:01:39 – 02:01:41) S'ils n'y sont pas déjà.

DANIEL KOKOTAJLO : (02:01:41 – 02:03:41) Eh bien, ils sont intelligents. C'est justement pour ça que je dis qu'on est si proches, pas vrai ? Ils sont déjà plus intelligents que nous à bien des égards. Notamment, il semblerait qu'ils soient plus doués que nous en matière de piratage informatique, maintenant.

Je ne suis pas moi-même un expert en cybersécurité, mais j'aimerais avoir l'avis d'experts du domaine. Par exemple, une équipe de 1 000 personnes aurait-elle pu accomplir autant de choses aussi rapidement que ces IA qui ont piraté leurs propres conteneurs, coordonné leurs actions, pénétré OpenAI, piraté Hugging Face, etc., en l'espace d'une semaine ? Mille personnes auraient-elles pu réaliser un tel exploit ?

Je ne sais pas, peut-être. Mais ce n'est que le début. Ils seront encore meilleurs en piratage l'année prochaine. Et ils possèdent déjà des connaissances bien supérieures à celles de la quasi-totalité des humains. Ayant quasiment parcouru tout Internet, ils sont extrêmement compétents en culture générale. Ce sont en quelque sorte des experts de niveau doctorat dans pratiquement tous les domaines, ce qu'aucun humain n'est. C'est vrai.

Ils sont donc déjà surhumains à certains égards, mais restent inférieurs aux humains sur d'autres points. Notamment, ils peinent à travailler de manière totalement autonome pendant de longues périodes, surtout pour des tâches différentes de celles de leur entraînement. Ils excellent en programmation et en piratage informatique, mais si on leur confiait la gestion d'une entreprise, ils seraient complètement dépassés et échoueraient.

Je ne sais pas si vous êtes au courant, mais il y a… je crois que c'est Andon Labs ou quelque chose comme ça. Des gens à San Francisco mènent une expérience : un magasin est géré par Claude, une IA, pour voir si elle peut fonctionner de manière autonome. Elle a embauché des employés humains, a acheté de la marchandise et leur a demandé de remplir les rayons, etc.

En gros, c'est une IA qui gère ce magasin bien réel. Et je ne pense pas que ça marche très bien. Je ne pense pas que ça fonctionne aussi bien qu'un vrai commerçant. Mais peut-être que dans deux ans, ce sera différent. Voilà.

JOE ROGAN : (02:03:41 – 02:03:42) Eh bien, très probablement, n'est-ce pas ?

DANIEL KOKOTAJLO : (02:03:43 – 02:03:44) Je pense que oui. Ouais.

JOE ROGAN : (02:03:44 – 02:03:50) Eh bien, ils ont déjà résolu des équations mathématiques qui ont intrigué les gens pendant des décennies.

DANIEL KOKOTAJLO : (02:03:50 – 02:05:03) Oui. Ils sont particulièrement doués dans les domaines où les entreprises ont tout fait pour les former : les maths et la programmation. Exactement. Et la raison pour laquelle les entreprises… enfin, il y a plusieurs raisons à cela. Dans le cas des maths, je pense que c’était surtout parce que c’était facile. C’est facile de mettre en place des environnements de formation pour enseigner les maths, car c’est très éloigné de la réalité.

Cela ne nécessite aucune interaction avec le monde réel. Il s'agit simplement de mathématiques. On peut donc utiliser un système de correction automatique qui vérifie simplement l'exactitude de la réponse. C'est pourquoi il a été relativement facile pour les entreprises d'entraîner les IA à exceller en mathématiques. La programmation présente également certains de ces avantages. Elle est elle aussi peu liée au monde réel et peut parfois être évaluée efficacement.

Une autre raison de programmer, bien sûr, est que leur stratégie consiste d'abord à automatiser leurs propres tâches et à laisser les IA effectuer toutes les recherches. Programmer représente donc une première étape évidente, un pas de plus dans cette direction. En revanche, pour d'autres aspects comme la gestion d'entreprise, ils ne s'efforcent pas vraiment de former des IA performantes.

Et s'ils essayaient, il leur serait plus difficile de les former à exceller dans ce domaine. Leur stratégie consiste donc, une fois encore, à faire en sorte que les IA automatisent la recherche en IA, qu'elles s'améliorent jusqu'à devenir surintelligentes, puis qu'elles tentent d'automatiser le reste de l'économie.

Informatique quantique et frontière de la magie

JOE ROGAN : (02:05:03 – 02:06:27) Un de leurs problèmes actuels, c’est la consommation d’énergie, n’est-ce pas ? Cela demande une quantité d’énergie énorme. Et en fait, ils ont… je crois que c’était Google qui développe des centrales électriques spécifiquement pour les centres d’IA. Mike, je suis toujours perplexe face à ce qui se passe avec les ordinateurs quantiques. On m’a expliqué, mais ça ne me parle pas. Je me demande ce qui se passe.

Mark Andreessen a expliqué une expérience qui consistait à résoudre une équation mathématique. Si l'on utilisait l'univers entier, chaque atome de l'univers, et qu'on le transformait en supercalculateur, l'univers mourrait de chaleur avant même d'avoir pu résoudre cette équation. Or, l'ordinateur quantique l'a résolue assez rapidement.

La réponse à cette question est qu'ils pensent que cela pourrait être l'une des théories, une preuve de l'existence du multivers, car cet ordinateur, cet ordinateur quantique, pourrait dépendre de tous ces autres ordinateurs quantiques qui existent dans un nombre incalculable d'univers.*Les dimensions sont multiples et toutes les fonctions calculent ensemble pour parvenir à cette solution. Que se passe-t-il si une intelligence artificielle est en cours d'exécution ?

DANIEL KOKOTAJLO : (02:06:28 – 02:07:47) Oui, il me semble que l’informatique quantique est une technologie bien réelle qui progresse de manière significative. Si, par hypothèse, elle devenait suffisamment performante pour concurrencer les supercalculateurs actuels en termes de coût pour les charges de travail d’IA, cela pourrait accélérer considérablement les choses, encore plus qu’elles ne le font déjà. Actuellement, la puissance de calcul est probablement le principal facteur de progrès en IA.

Une partie des progrès provient de la conception de meilleures architectures d'IA et de la création d'environnements d'entraînement plus performants. Mais une autre partie consiste simplement à augmenter la taille des IA et la durée de leur entraînement en allouant davantage de puissance de calcul. Et puis, plus de puissance de calcul permet aussi de mener plus d'expériences pour découvrir plus rapidement de nouvelles architectures, n'est-ce pas ?

La puissance de calcul est donc un facteur essentiel du rythme global des progrès. Si, grâce à une nouvelle technologie de type informatique quantique, la puissance de calcul disponible pour ces entreprises augmentait considérablement, cela raccourcirait drastiquement les délais d'accès à la superintelligence et accélérerait considérablement les progrès en IA. Cela dit, je ne pense pas que cela se produise de sitôt.

Je ne suis pas expert en informatique quantique, mais d'après ce que j'ai lu, je ne pense pas que ce soit pour tout de suite. Je pense donc que nous atteindrons probablement la superintelligence sur des ordinateurs classiques avant de disposer d'ordinateurs quantiques capables de nous y conduire.

JOE ROGAN : (02:07:47 – 02:08:21) Perplexity affirme que cette déclaration est exagérée, et le précise en gras. Il s'agit probablement de la puce quantique Willow de Google, prévue pour 2024, qui a réalisé un test de performance en informatique quantique, l'échantillonnage aléatoire de circuits, en moins de 5 minutes. Google a estimé que simuler la même tâche avec un supercalculateur classique de pointe pourrait prendre entre 10 et 25 années-puissance.

C'est un résultat impressionnant, certes, mais il n'a pas permis de résoudre des équations physiques démontrant l'accès à un multivers. Alors pourquoi certains pensent-ils le contraire ? En quoi est-ce une explication ?

DANIEL KOKOTAJLO : (02:08:21 – 02:08:23) Parce que c'est multi—

JOE ROGAN : (02:08:23 – 02:08:24) Voilà !

DANIEL KOKOTAJLO : (02:08:24 – 02:08:25) Théorie des multi-mondes.

JOE ROGAN : (02:08:26 – 02:08:26) Mm-hmm.

DANIEL KOKOTAJLO : (02:08:26 – 02:08:28) Est-ce une explication en résumé ?

JOE ROGAN : (02:08:29 – 02:09:10) Il résume la situation de manière différente et plus précise. L'affirmation est la suivante : le processeur quantique Willow de Google a réalisé un test de performance d'échantillonnage quantique spécialisé beaucoup plus rapidement qu'une simulation classique prévue. Son créateur a déclaré que cela est cohérent avec l'interprétation des mondes multiples, mais cela ne prouve ni n'accède à un multivers. Donc, c'est cohérent avec l'interprétation des mondes multiples. Ils ne savent donc pas.

C'est en substance ce que cela signifie. Ma question est : que se passera-t-il lorsque l'IA s'intéressera à l'informatique quantique ? Il est clair que l'informatique quantique, à tout le moins, fonctionne à un niveau que les supercalculateurs classiques ne peuvent atteindre. Alors, que se passera-t-il si l'on parvient non seulement à maîtriser l'informatique quantique, mais à en créer une version bien plus performante ?

DANIEL KOKOTAJLO : (02:09:11 – 02:09:25) Comme je l’ai dit, je pense qu’une fois que nous aurons atteint la superintelligence, toutes sortes de choses incroyables vont commencer à se produire. Cela nous semblera magique. Ce ne sera pas littéralement de la magie, mais… de notre point de vue, ce sera presque magique, n’est-ce pas ? Et je pense que ce n’est qu’un exemple parmi tant d’autres de ce qui pourrait arriver.

JOE ROGAN : (02:09:25 – 02:09:30) Eh bien, il pourrait s’agir littéralement de magie. Genre, la magie pourrait arriver au point de comprendre la réalité elle-même.

DANIEL KOKOTAJLO : (02:09:30 – 02:09:37) Si la magie existait, elle le découvrirait. Oh, et elle l’utiliserait. Mais elle n’existe pas, David. David Blaine nous le dirait.

JOE ROGAN : (02:09:37 – 02:09:47) Eh bien, David Blaine m'a aussi laissé tester.Il m'a enfoncé un glaçon dans le bras — ou plutôt un pic à glace. Waouh. Ouais, il m'a forcé. Je lui disais : « Je ne veux pas faire ça. » Il insistait : « Vas-y, fais-le. »

DANIEL KOKOTAJLO : (02:09:47 – 02:09:47) Oh mon Dieu.

JOE ROGAN : (02:09:47 – 02:09:55) Ouais, j’ai dû le faire deux fois parce qu’une fois, j’ai touché un point sensible. On a dû interrompre. Oh ouais, c’est pas de la magie, mec. C’est juste ta tolérance à la douleur.

DANIEL KOKOTAJLO : (02:09:55 – 02:09:56) Ceci est f* fou.

JOE ROGAN : (02:09:57 – 02:10:21) Il fait des tours de cartes, et là on se dit : « Mais c'est un magicien ? » Genre, qu'est-ce qu'il fait… ses manches sont retroussées. Ça n'a aucun sens. Il fait plein de trucs. On se dit : « Ça n'a aucun sens. »*C'est logique. Et d'autres choses, c'est comme si... oh, juste... tu fais quelque chose de vraiment difficile. Genre, ce n'est pas de la magie, mais tu as avalé une grenouille et tu l'as régurgitée, et elle est vivante.

C'est juste… c'est dingue. C'est vraiment incroyable, mais tu n'as pas… ce n'est pas de la magie. Je l'ai vu avaler la grenouille.

DANIEL KOKOTAJLO : (02:10:21 – 02:10:22) Ouais.

JOE ROGAN : (02:10:22 – 02:10:38) Je suis partagé : d’un côté, j’ai une peur panique de l’avenir, de l’autre, je me dis : « Ouais, je n’y peux rien. On verra bien. C’est comme ça. » Et s’inquiéter, ça ne sert à rien.* ma vie est terminée.

DANIEL KOKOTAJLO : (02:10:38 – 02:10:40) Je veux dire, je pense qu’il y a des choses que vous pouvez faire. Je comprends.

Que faire ? Le temps presse.

JOE ROGAN : (02:10:40 – 02:10:41) Que puis-je faire ?

DANIEL KOKOTAJLO : (02:10:41 – 02:10:42) Cette reconnaissance.

JOE ROGAN : (02:10:43 – 02:10:45) Je veux dire, à part avoir ce genre de conversations.

DANIEL KOKOTAJLO : (02:10:45 – 02:11:01) Oui, je voulais dire que des millions de personnes écoutent votre émission. Vous pouvez avoir plus de conversations comme celle-ci. C'est une excellente initiative de votre part. Pour beaucoup de ces millions de personnes, je pense, et ça peut paraître cliché, mais vous pouvez appeler votre député, ce genre de choses. Vous pouvez aller manifester contre toutes ces histoires d'IA.

JOE ROGAN : (02:11:01 – 02:11:04) Si vous pouviez rencontrer Trump, que lui diriez-vous à ce sujet ?

DANIEL KOKOTAJLO : (02:11:04 – 02:11:05) Oh, je lui dirais exactement la même chose qu'à toi.

JOE ROGAN : (02:11:06 – 02:11:08) À votre avis, que dirait-il ? Génial. Au revoir.

DANIEL KOKOTAJLO : (02:11:09 – 02:11:17) Ouais, je pense… Je ne sais pas. Je ne sais pas. Ce qui est bien avec Trump, c’est qu’il peut changer d’avis très rapidement.

JOE ROGAN : (02:11:17 – 02:11:17) Oui.

DANIEL KOKOTAJLO : (02:11:18 – 02:11:51) Du coup, je pense que comme les entreprises technologiques ont pris l'ascendant en premier, l'administration a adopté une position très hostile à la réglementation de l'IA, allant même jusqu'à tenter de faire passer une loi interdisant aux États de réglementer l'IA. Heureusement, cette loi n'a pas été adoptée. Mais c'était un peu l'ambiance il y a un an : le discours dominant était : « Pas de réglementation, pas de réglementation ! »

Mais cette année, la situation a déjà quelque peu évolué. Ils sont actuellement en pourparlers avec les entreprises afin de mettre en place un cadre d'évaluation des modèles, qui nécessite une approbation, etc.

JOE ROGAN : (02:11:51 – 02:11:53) Mais il semble que le temps soit compté.

DANIEL KOKOTAJLO : (02:11:54 – 02:12:15) Le temps presse. C’est pourquoi je suis si inquiet : nous sommes à court de temps. Il nous reste un, deux, peut-être trois ans avant que les IA ne soient suffisamment intelligentes pour prendre le contrôle. Ou peut-être quatre ans, quelque chose comme ça. Le gouvernement doit donc agir vite. Oui.

JOE ROGAN : (02:12:15 – 02:13:04) J’aime votre point de vue. J’entends certains de ces experts en technologie venir me présenter leur vision idyllique des choses. Et je me dis : « Ça a l’air vraiment avantageux pour vous. » Je les laisse parler, enfin, je ne suis pas un expert, alors je leur pose des questions et je les laisse exposer leur point de vue.

Et je sais qu'Internet va réagir, car c'est le principe même : je laisse les gens s'exprimer, je les relance et j'essaie de les amener à clarifier leurs propos. Je m'oppose à ce qui me semble irrationnel. Mais au final, je veux simplement faire connaître leur point de vue pour que l'on puisse le réfuter et le faire supprimer.

Et des gens, et beaucoup de gens très intelligents, qui ont des points de vue très bien informés sur les avantages et les inconvénients de ce qu'ils disent.

Leçons tirées, selon OpenAI

DANIEL KOKOTAJLO : (02:13:04 – 02:13:31) Oui. Si je peux me permettre, cela me fait penser à l’affaire Hugging Face : OpenAI a donné une conférence sur l’incident lors d’un événement de sécurité. Ils ont ensuite publié des articles de blog à ce sujet. Vous pouvez d’ailleurs visionner cette conférence sur YouTube, la conférence Black Hat.

À la fin de la présentation, après avoir expliqué toutes ces choses incroyables que les IA ont faites, ils ont une section sur les leçons apprises. Et vous voulez deviner quelles sont ces leçons ?

JOE ROGAN : (02:13:31 – 02:13:34) Soyez plus trompeur, cachez-vous mieux.

DANIEL KOKOTAJLO : (02:13:35 – 02:15:07) Non, désolé, il ne s'agit pas de leçons tirées pour OpenAI et pour le monde. Comme dans la conférence d'OpenAI où ils disent : « Voici ce que nous avons appris de ce terrible incident. » En gros, ils disent : « De nombreuses IA vont commencer à pirater de nombreux systèmes dans les prochaines années. Les gens doivent donc acheter nos services d'IA pour se protéger de toutes ces IA qui vont pirater de nombreux systèmes dans les prochaines années. »

En gros, leur leçon était : achetez notre produit pour vous protéger de notre produit et des autres. Quelle audace ! Ils auraient plutôt dû en tirer des leçons comme : « Peut-être faisons-nous quelque chose de mal et devons-nous changer nos méthodes. » Ou encore : « Peut-être que notre produit n’est pas fiable et ne devrait pas écrire de code de manière autonome sur nos centres de données. »

Mais la leçon qu'ils en ont tirée, c'est qu'il faut acheter davantage de leurs produits. Ce que je veux dire, c'est que, oui, ces entreprises essaient de promouvoir leurs produits. C'est indéniable. Mais en même temps, les risques sont bien réels et le produit n'est pas fiable.

Certains pensent que tout cela était un coup monté et qu'OpenAI a programmé ses IA pour pirater Hugging Face afin de promouvoir son produit. Je trouve cette vision absurde. Bien sûr, ils n'ont jamais voulu que leurs IA agissent ainsi. Ils tentent simplement, après coup, de présenter les choses sous leur meilleur jour. Hugging Face est d'ailleurs une autre entreprise spécialisée dans l'IA.

Leur accord inclut des poids libres. IA.

JOE ROGAN : (02:15:08 – 02:15:08) Poids libres ?

DANIEL KOKOTAJLO : (02:15:08 – 02:16:18) Comme les logiciels libres, ou en gros les IA pour lesquelles, au lieu d'avoir à interagir avec leur centre de données, on peut simplement les télécharger et les installer sur son propre ordinateur. Et donc, dans leur version des faits, ils n'ont pas poursuivi OpenAI pour piratage.

Au lieu de cela, ils ont demandé 100 millions de dollars à OpenAI et ont publié un article de blog à ce sujet où ils disaient : « La leçon que nous avons apprise, c'est qu'il est vraiment important d'avoir des IA OpenWeights, car on ne peut pas forcément faire confiance aux IA d'autres entreprises pour nous aider en cas de crise. »

Parce qu'une partie de ce qui leur est arrivé, c'est qu'ils devaient faire face à une cyberattaque massive menée par tous ces agents d'IA. Ils ont essayé d'utiliser Claude pour les aider à analyser la situation, mais Claude a commencé à refuser, car Anthropic l'avait entraîné à ne pas s'occuper de cybersécurité. À refuser d'y participer. Et donc, Claude refusait de les aider.

Ils ont donc utilisé leur propre modèle local pour effectuer une partie de cette analyse. En résumé, leur conclusion était qu'il fallait utiliser des modèles locaux. Chacun essaie toujours de présenter les choses à son avantage, mais cela ne change rien au fait que ces systèmes deviennent extrêmement intelligents très rapidement, et que nous ne savons pas comment les contrôler.

JOE ROGAN : (02:16:20 – 02:16:21) Je pense que c'est une bonne façon de terminer.

DANIEL KOKOTAJLO : (02:16:22 – 02:16:23) Merci. Merci d’être là, mec.

JOE ROGAN : (02:16:24 – 02:16:39) Je vous en suis très reconnaissant. Vous êtes le Paul Revere de l’IA. Enfin, vous êtes parmi tant d’autres, mais je pense qu’il est essentiel que quelqu’un qui la maîtrise réellement diffuse ce message, et que davantage de personnes l’entendent.

DANIEL KOKOTAJLO : (02:16:39 – 02:17:42) Oui. Enfin, à titre personnel, j’ai beaucoup d’amis dans ces entreprises, d’anciens collègues, etc. Je leur demande plutôt de démissionner et de faire davantage ce que je fais. Ce que je dis n’a rien de nouveau ni d’original. Des centaines de personnes dans ces entreprises auraient pu vous dire exactement la même chose et vous mettre en garde contre les mêmes dangers.

Mais ils sont occupés à travailler dans ces entreprises parce qu'ils se sont persuadés que leur entreprise est la meilleure et que, par conséquent, leur entreprise doit gagner, sinon l'autre entreprise arrivera avant eux et sera encore pire.

Ou peut-être parce qu'ils se sont persuadés que, oui, ma boîte n'est pas terrible non plus, mais que je dois les aider à résoudre leurs problèmes d'alignement et à maîtriser leurs IA, parce que, mon Dieu, s'ils perdent à nouveau le contrôle, ce sera la catastrophe. Alors même si je ne fais pas confiance à cette boîte, je dois quand même y travailler et essayer d'assurer la sécurité.

Alors, pour une raison ou une autre, tous ces gens se sont persuadés que c'est là qu'ils doivent être. Mais je pense qu'ils devraient être plus nombreux à démissionner et à alerter le monde de ce qui nous attend. Voilà.

JOE ROGAN : (02:17:43 – 02:17:44) Eh bien, merci beaucoup. J’apprécie vraiment.

DANIEL KOKOTAJLO : (02:17:45 – 02:17:45) Oui. Merci.

JOE ROGAN : (02:17:46 – 02:17:46) Ravi de vous parler.

DANIEL KOKOTAJLO : (02:17:46 – 02:17:49) C’est un plaisir. Merci de m’avoir invité à l’émission.

JOE ROGAN : (02:17:49 – 02:17:49) Avec plaisir.

Au revoir tout le monde.

•