Le vrai danger de l’IA : les réponses qui sonnent juste

« According to my system, all reasonings are nothing but the effects of custom; and custom has no influence, but by inlivening the imagination, and giving us a strong conception of any object. » — David Hume

Posez à une intelligence artificielle la question suivante : « Quels sont les principaux facteurs de désengagement des salariés ? » La réponse arrive en quelques secondes. Elle est fluide, structurée, articulée. Elle vous parle de manque de reconnaissance, de quête de sens, de déficit de confiance envers le management. Des connecteurs logiques impeccables relient les propositions entre elles. L'ensemble a l'architecture d'un raisonnement rigoureux. Vous acquiescez.

Mais qu'est-ce qui vient de se passer, exactement ? Qu'est-ce qui vous a convaincu ? La vérité du contenu, que vous n'avez pas vérifiée ? Ou la qualité formelle de la réponse, sa fluidité, son assurance, cette manière qu'elle a de se présenter comme allant de soi ? 

Nous répétons, et la répétition produit un sentiment de vivacité que nous prenons pour de la compréhension.

Il y a trois siècles, David Hume posait un diagnostic radical sur nos raisonnements : ils ne sont, disait-il, que les effets de l'accoutumance. Et l'accoutumance n'opère qu'en rendant l'imagination plus vive, en produisant ce qu'il appelle une strong conception, une conception forte de l'objet. Autrement dit : nous ne raisonnons pas, à proprement parler. Nous répétons, et la répétition produit un sentiment de vivacité que nous prenons pour de la compréhension.

Cette analyse, que l'on pouvait tenir pour une curiosité de l'histoire de la philosophie, l'intelligence artificielle vient lui donner une actualité troublante.

La machine à évidence

Car l'IA est, en un sens, la machine à vivacité la plus puissante jamais construite. Elle ne fabrique pas ses évidences à partir de rien. Elle les puise dans un océan de textes humains où les mêmes formules circulaient déjà avec la force de l'évidence bien avant qu'un algorithme ne les traite. « Manque de reconnaissance », « besoin de communiquer », « nécessité de poser des limites » : que l'on parle de management, de vie conjugale ou d'éducation, les mêmes catégories s'imposent partout avec la même assurance tranquille. Elles n'ont pas attendu l'IA pour devenir indiscutables.

Ce que fait l'IA, c'est les polir. Les fluidifier. Leur donner une perfection formelle qui renforce encore leur vivacité. La réponse qu'elle vous fournit n'est pas une invention : c'est la quintessence de vos propres habitudes discursives, restituée avec une cohérence que vous n'auriez peut-être pas atteinte vous-même. Et c'est précisément cette perfection qui rend l'examen improbable. Pourquoi interroger ce qui se présente avec une telle assurance, une telle fluidité, une telle évidence ?

Le danger de l'IA n'est pas là où on le croit d'ordinaire. Il n'est pas dans l'erreur, dans les fameuses « hallucinations » dont tout le monde parle. Il est dans la réponse qui sonne juste. La réponse qui a raison de la manière exacte qui dispense de penser. Car une erreur, on la détecte, on la corrige, elle met en alerte. Mais une réponse fluide et défendable, elle fait tout le contraire : elle endort la vigilance en produisant ce sentiment d'adhésion que Hume décrivait comme le seul véritable moteur de nos raisonnements.

Mais ces formules sont répétées depuis si longtemps, si tout le monde s'accorde à dire que le manque de reconnaissance désengage, que les couples doivent communiquer, que les enfants ont besoin de limites, n'est-ce pas tout simplement parce que c'est vrai ? N'est-ce pas du bon sens ? Hume répondrait que cette objection illustre parfaitement ce qu'il décrit. La fréquence d'un énoncé ne garantit pas sa vérité. Elle garantit la vivacité de la conception que nous en avons. Pendant des siècles, le bon sens disait que le soleil tournait autour de la terre. Tout le monde le voyait de ses yeux. La coutume avait rendu la chose si vivement conçue que l'idée même de la contester ne se présentait pas à l'esprit.

Le « bon sens » est le nom que nous donnons à nos habitudes intellectuelles quand nous ne voulons pas les examiner. C'est l'accoutumance à laquelle on a mis une cravate. Et l'IA, en nous restituant nos évidences avec une fluence inédite, donne à ce bon sens une vivacité redoublée, une force de conviction que la simple répétition humaine, avec ses hésitations et ses approximations, n'atteignait pas.

Penser à l'intérieur du cadre

Mais il faut aller plus loin, car l'objection n'est pas épuisée. Admettons que ces réponses soient des vérités générales, statistiquement vérifiables. Les couples qui communiquent davantage se séparent moins. Le manque de reconnaissance est fortement corrélé avec le désengagement. Les enfants sans limites développent plus d'anxiété. Fort bien. Une vérité générale n'a jamais empêché personne de questionner une situation singulière. Rien n'interdit d'aller voir concrètement ce qui se passe chez ces gens-là, dans cette équipe-là, dans ce couple-là.

C'est parfaitement raisonnable. Et c'est précisément là que le piège se referme.

Car que fait-on, muni de cette vérité générale ? On présuppose que la catégorie est la bonne, et on explore quelle forme elle prend. Le manager lance un programme de feedback sur la reconnaissance. Le thérapeute de couple demande « qu'est-ce que vous n'arrivez pas à vous dire ? ». Le parent consulte sur les meilleures techniques pour poser des limites. Tout cela est sérieux, raisonnable, bien intentionné. Mais à aucun moment la catégorie elle-même n'est questionnée.

Peut-être que le problème de Paul n'est pas le manque de reconnaissance. Peut-être qu'il ne supporte plus l'absurdité de ce qu'on lui demande de faire. Peut-être que ce couple ne souffre pas d'un déficit de communication mais d'un excès, d'un acharnement à tout dire qui ne laisse plus de place au silence ni au mystère. Peut-être que cet enfant n'a pas besoin de limites mais d'un adulte qui cesse d'avoir peur de lui. Mais personne ne le saura, non pas parce que ces possibilités sont cachées, mais parce que le cadre avait la vivacité suffisante pour que l'idée d'en sortir ne se présente tout simplement pas à l'esprit.

C'est cela, le geste décisif de l'accoutumance humienne. Elle n'interdit rien. Elle ne contraint pas. Elle ne ferme aucune porte. Elle rend certaines directions de pensée si vivement conçues que les autres deviennent invisibles, non pas censurées mais simplement impensées. La vérité générale ne bloque pas le questionnement singulier : elle le pré-oriente, et cette pré-orientation est d'autant plus efficace qu'elle se présente comme une aide, comme un point de départ raisonnable, comme du bon sens.

Le miroir gênant

Cependant il serait trop commode de transformer cette analyse en réquisitoire contre l'intelligence artificielle.

Hume ne le permettrait pas. Son diagnostic ne porte pas sur les machines : il porte sur nous. Ce que l'IA fait, nous l'avons toujours fait. Avant elle, c'étaient les catégories toutes prêtes de la psychologie vulgarisée, les grilles de lecture idéologiques, les proverbes et les sagesses populaires qui fournissaient les cadres vivement conçus à l'intérieur desquels nous pensions penser. L'IA n'invente pas le mécanisme. Elle l'accélère, elle le perfectionne, elle le rend plus fluide, mais l'accoutumance était là bien avant le premier algorithme.

La différence, et elle est considérable, c'est qu'une machine le fait désormais assez bien pour que le miroir devienne gênant. Quand c'est un ami, un éditorialiste ou un livre qui nous fournit l'évidence, nous pouvons encore croire que l'adhésion vient de notre jugement personnel. Quand c'est un algorithme entraîné sur des régularités statistiques, l'illusion se fissure. Nous découvrons, un peu scandalisés, que ce que nous appelions « raisonner » ressemblait déjà, et depuis toujours, à ce que fait la machine : reconnaître des schémas (patterns) familiers et les tenir pour vrais en vertu de leur familiarité même.

Reste une question, et peut-être est-ce la seule qui compte.

S'il existe un exercice qui consiste non pas à répondre à l'intérieur du cadre, mais à interroger le cadre lui-même ; non pas à demander « quelle reconnaissance attends-tu ? » mais à questionner le mot même de reconnaissance pour y découvrir ce que le sujet n'a pas encore pensé ; non pas à chercher ce que les conjoints « n'arrivent pas à se dire » mais à se demander si « dire » est bien ce dont il s'agit, alors cet exercice n'est pas un algorithme. Il n'est pas une méthode rassurante. Il est, peut-être, le seul antidote que nous ayons contre ce que Hume, avec une lucidité implacable, avait identifié comme la condition même de notre pensée : le fait que nous ne pensons presque jamais, et que nous ne le savons pas.