Nous avons écouté et résumé les 2 premiers épisodes du podcast "deftech, la menace cognitive" qui fait partie du programme de prospective technologique d'armasuisse Science et Technologie (Office fédéral de l'armement) et mis à disposition par l'Atelier des Futurs.
Épisode 1 : La bombe dans la cuisine : qu'est-ce que l'intégrité cognitive ?
À l'ère où nos pensées sont constamment influencées par des algorithmes, comment pouvons-nous garantir notre intégrité cognitive ?
Dans cet épisode du Deftech Podcast « La menace cognitive », Bruno Giussani, expert des impacts sociopolitiques des technologies numériques, nous explique l’omniprésence de la menace cognitive.
Les IA ne sont « ni neutres ni objectives » ; les instructions sont encodées dans leurs algorithmes pour les orienter.
L’IA générative est entraînée par d’énormes quantités de données capturées sans tenir compte de la protection de données personnelles ou des droits d’auteur, à quoi les développeurs ajoutent une couche d’instructions spécifiques appelée « système prompt » qui définissent les limites du chatbot (ce qu’il peut dire ou ne pas dire et comment le dire) peu importe que l’orientation donnée à la machine soient liées à la raison légale ou à des choix culturels, idéologiques ou commerciaux. Ainsi, le pouvoir de réponse d’un chatbot correspond au pouvoir de manipuler l’interlocuteur (en tant qu’individu et en tant que société).
Les experts s’accordent à dire qu’il y a un risque avéré que « les modèles d’IA façonnent notre perception de la réalité ».
On parle aujourd’hui de la « capacité de persuasivité conversationnelle de l’IA ». De nombreuses études démontrent comment les chatbot peuvent influencer les opinions et les comportements sans que les individus ne le perçoivent. L’évolution des IA laisse à craindre qu’à terme, elles pourront déterminer ce que l’on aime, ce que l’on consomme… ce que l’on est.
Une bataille est donc en cours autour de nos cerveaux ; nos capacités cognitives sont en danger.
Se pose alors la question de savoir ce qu’est l’intégrité cognitive : « c’est la capacité d’un individu à contrôler et préserver ses processus mentaux, ses raisonnements, sa mémoire et ça, sans influence externe. Pouvoir penser librement et rationnellement, percevoir son environnement et prendre des décisions de façon autonome »
Aujourd’hui, il faut lutter contre la manipulation cognitive, car le risque est que ce soit à la fois les informations qui soient modifiées, mais également notre perception. C’est bien notre intégrité cognitive qu’il faut préserver (essentielle à nos droits civiques et à la démocratie). Sans elle, plus de pensée critique, plus de diversité des idées, plus de capacité à comprendre librement le monde et de possibilité à décider par soi-même...
Écouter l'épisode 1 : la bombe dans la cuisine, qu'est-ce que l'intégrité cognitive ?
Épisode 2 : La fracture de l’attention : l’IA, les algorithmes et nous
La façon la plus simple d’empêcher quelqu’un de penser est de le plonger dans le bruit cognitif : un bruit qui n’est pas audible, mais qui affecte notre capacité de traiter l’information ou de prendre des décisions. La cause principale de bruit cognitif est la surcharge d’information.
Plusieurs neuroscientifiques s’accordent à dire que le cerveau humain est conçu pour se concentrer sur une seule chose à la fois et ne peut donc pas traiter plusieurs tâches en parallèle. Ainsi, le volume du bruit cognitif n’a pas besoin d’être très haut pour noyer nos capacités mentales.
Depuis quelques années, notre environnement informationnel est capturé par les smartphones, les réseaux-sociaux et les canaux de communication numériques, entraînant une sur-stimulation cognitive. Le psychologue Jonathan Haidt parle de « perte de la capacité humaine à penser » et de « crise de civilisation »*. On se rend compte aujourd’hui que cette algorithmification est le point de départ de la perturbation cognitive. Ce débordement informationnel peut être intentionnel, comme le « flood the zone » / « inonder la zone » qui vise à saturer l’espace médiatique avec tellement de contenu qu’il devient difficile de distinguer les faits, des opinions ou des fausses informations, créant ainsi une confusion générale. On parle d’assaut à l’intégrité cognitive ou d’exploitation stratégique des limites cognitives. James Giordano, neuro-éthicien, affirmait dès 2018 que « nos cerveaux sont, et seront, les champs de bataille du XXI siècle ».
C’est ici qu’intervient l’IA. Elles marquent un tournant culturel radical car il faut désormais moins de temps et d’effort pour créer des textes ou des vidéos, que pour les lire ou les regarder ; entrainant ainsi une croissance exponentielle de la création de contenus et donc une amplification de l’assaut contre notre intégrité cognitive !
C’est notre capacité d’attention qui est en jeu : soit on la dirige, soit on la donne. Épictète écrivait il y a près de 2000 ans : “On devient ce à quoi on prête attention. Si vous ne choisissez pas vous-même les pensées et les images auxquelles vous exposez, quelqu’un d’autre le fera pour vous”. Et ce « quelqu’un d’autre » est aujourd’hui l’IA et ceux qui la possèdent et la développent.
Par ailleurs, l’IA participe aussi à la personnalisation de l’information pour mieux « cibler » notre cerveau en adaptant en temps réel l’information en fonction des préférences, des comportements et des besoins spécifiques d’un utilisateur. Sachant que, comme le révèle la chercheuse Sandra Matz, chaque individu crée environ 6 Go de données chaque heure**, on comprend que la tâche pour l’IA puisse être aisée, permettant un meilleur ciblage psychologique pour influencer les comportements des utilisateurs. La chercheuse Nicoletta Iacobacci explique que « plus vous l’utilisez, plus la machine vous connaît en détail, intimement, plus il lui est facile de vous enfermer dans un labyrinthe des miroirs personnel. »
En résumé : La façon la plus efficace d’influencer des populations est de contrôler le flux et la nature de l’information. Les algorithmes ne sont pas neutres : ils encodent toujours une vision du monde. Et derrière ces architectures technologiques se cachent des modèles de business.
Nourries par des quantités colossales d’informations personnelles, elles donnent aux entreprises qui les contrôlent la capacité d’influencer le comportement humain et les dynamiques sociales.
* Voir les études scientifiques sur les mécanismes d’addiction numériques, la difficulté à maintenir la concentration et à penser de manière cohérente, l’effondrement de nos capacités à lire et à comprendre, la fragmentation cognitive due à la consommation continue de vidéos de quelques secondes et à l’échange incessant de messages, les troubles dans le développement du langage chez les enfants, la dégradation de la santé mentale, le fait qu’on fait de moins en moins l’expérience directe du monde physique, remplacée par des ersatz numériques, la difficulté d’évaluer honnêtement le monde qui nous entoure…
**Source de ses données : emails, messages, publications et likes, images partagées sur Youtube, WhatsApp, Instagram..., recherches en ligne, musique qu’on écoute, vidéos qu’on regarde, conversations avec des amis ou avec des chatbots, enregistrements et transcriptions des appels Zoom ou Teams, paiements par carte de crédit ou e-banking ou cryptomonnaie, données produites par les capteurs, cameras et ordinateurs des voitures, données issues des montres connectées, GPS, caméras de surveillance dans l’espace public et privé, séries en streaming, achats en ligne, cartes d’identification et de fidélité, QR codes, jeux vidéo, sites de rencontre
Écouter l'épisode 2 : La fracture de l'attention : l'IA, les algorithmes et nous
