Dystopies : la fiction d'aujourd'hui et le monde de demain
AUTEURS : Leo Berthet, Nathan Bodet
Si l’on vous dit Matrix, Hunger Games ou encore Black Mirror, vous aurez certainement reconnu des œuvres de fictions à succès de ces dernières années. Leur point commun ? Des sociétés cauchemardesques où l’égalité, les libertés d’expression, d’opinion et de circulation sont bafouées. Dans ces sociétés, la plupart du temps projetées dans notre futur, certains aspects de notre vie actuelle ont évolué dans la pire des directions possibles, pour servir des intérêts malveillants ou une éthique douteuse.
Nous appelons ces sociétés dystopies : ce sont des utopies à l’envers, des sociétés par un côté parfaites mais devenues inhumaines. Le contrôle de la majeure partie de la population est récurrent, la technologie un outil classique pour y parvenir. La multiplicité des capteurs de toutes sortes, additionnée à la transmission facilitée des données et à l’essor de l’intelligence artificielle, résulte en une arme de surveillance massive, plus efficace que n’importe quel système humain à ce jour.
Nous avons choisi trois œuvres pour interroger le pouvoir d’anticipation des dystopies, qui présentent des aspects différents du contrôle social. Pour chacune d’entre elles, des parallèles peuvent être faits avec la réalité : l’objectif d’avertissement est-il atteint ? La fiction peut-elle nous aider à comprendre le réel ?
Minority report et la prévision du crime
Minority Report est un film, réalisé par Steven Spielberg en 2002, adapté d’une nouvelle de Philip K. Dick (1956), décrivant un système judiciaire dans lequel le crime est prédit. On y voit des individus « évolués », capables de visualiser le futur. Ainsi, la police peut intervenir pour prévenir les crimes.
Si, dans la réalité, les visions des « precogs » n’existent pas, la fiction fait cependant directement écho aux usages contemporains de l’Intelligence Artificielle. Pour prédire l’avenir, elle s’appuie sur des masses de données gigantesques. Un projet similaire à celui du film a été mis en place à Chicago : en se basant sur les données des crimes précédents, le système promettait de prédire l’endroit où un crime aurait le plus de chances d’arriver, en attribuant des scores de dangerosité à chaque personne interpellée1.
Le projet a été abandonné début 2020 dès lors qu’il a été démontré que l’IA encourageait le profilage racial, en amplifiant les pratiques de police existante. Pire encore, elle créait un cercle vicieux en dévaluant le score des individus interpellés, même s’ils étaient ensuite reconnus innocents. Ces individus avaient donc encore plus de chances d’être interpellés de nouveau. Ces effets désastreux s’expliquent par l’effet mécanique d’amplification des biais au sein des données existantes en apprentissage machine qui a pour conséquence de reproduire et d’amplifier les discriminations commises par les policiers. Les citoyens sans problèmes étaient ignorés mais ceux ayant déjà eu affaire avec la justice, innocents ou non, passaient du côté « dangereux » de la société. On se rend compte que si l’on considère la justice d’un point de vue purement rationnel, calculatoire, on efface tout un pan de normes éthiques et juridiques. Tout comme en santé, ces usages de l’IA touchent directement les individus et leurs droits les plus fondamentaux.
Chute libre, le summum de l'hypocrisie sociale ?
Dans l’épisode Chute libre de la série Black Mirror (2016), on suit la descente aux enfers d’une femme vivant dans une société futuriste2. Chacun possède une note sur 5, qui correspond à la moyenne des notes attribuées par ses pairs dans toutes les interactions sociales. Plus notre note est élevée, mieux nous sommes considérés par les autres. Au contraire, lorsque notre note est basse, nous devenons un « mauvais citoyen ». Mais l’objectif de la notation ne s’arrête pas là : l’accès à certains services dépend de notre score social. Par exemple, il faut avoir une note suffisamment haute pour pouvoir prendre certains transports en commun.
Ce fonctionnement pousse les individus à adopter des comportements normalisés pour maximiser ses chances d’être bien noté. Ainsi, on voit au début de l’épisode que l’hypocrisie est indispensable pour obtenir une bonne note. Cette normalisation s’applique aussi à la considération des gens selon leur note. Si une personne possède une note basse, on se doit de la traiter avec mépris.
Aujourd’hui, il n’existe pas de système de notation quantifiable par les pairs qui soit généralisé à toute l’existence. Toutefois, de nombreuses applications et autres services « uberisés » proposent de noter les individus en fonction de leur performance. Si chaque notation est, pour l’instant, propre à chaque plateforme, quelles sont les probabilités d’apparition d’une notation globale ? Cela pourrait accompagner la fusion de nombreux services, comme l’émergence d’une sorte de plateforme centrale.
Si l’on pense tout de suite au social score à la chinoise, que nous évoquerons à propos de l’œuvre suivante, il faut noter que cette fusion des services est au cœur du concept en vogue, en cours de lancement par Meta (anciennement Facebook) : le métavers. Au travers d’un environnement virtuel, la société propose l’accès à ses nombreux services, parmi les plus fréquentés du monde. Il est tout à fait possible d’imaginer un métavers rassemblant plusieurs services implémentant une notation et d’obtenir un système de notation global. Si c’est un jour le cas, quelle importance aura cette note sociale ? Aujourd’hui, il est difficilement imaginable d’être interdit d’accès à certains services à cause d’une note trop basse, mais qu’en est-il de l’inclusion sociale ? Une personne mal notée serait-elle plus facilement mise en retrait ? Chute libre illustre le cercle vicieux qu’entraîne la dégradation de la note en rendant la vie de plus en plus difficile aux personnes fragilisées.
La zone du dehors, une acceptation du contrôle
Cette idée de notation existe également dans La zone du dehors, un roman d’Alain Damasio, publié en 1999. Mais, dans cette œuvre, elle est directement opérée par le gouvernement plutôt que par des sociétés privées. Il s’agit de l’histoire d’une société futuriste, rassemblée dans la ville de Cerclon, dans laquelle chaque individu est rangé dans un classement allant du meilleur au pire citoyen. Ce classement s’appuie sur un nombre gigantesque d’informations, accumulées au moyen de capteurs, omniprésents dans la vie des citoyens. De cette notation découle la place de l’individu dans la société, en allant jusqu’à modifier son nom pour refléter son statut social.
Cette surveillance, couplée au système de notation, poursuit un objectif très intéressant : celui de forcer les individus à se conformer à une sorte de norme correspondant au citoyen « parfait ». Même si l’idée peut paraître bonne, l’auteur avance qu’il s’agit non pas d’une valorisation du citoyen, mais plutôt d’un effacement de l’individualité au profit d’une paresse mentale, calquée sur un modèle a priori.
Ce système de notation sociale mis en place par le gouvernement peut rappeler des politiques bien réelles. Bien moins extrême, une notation du citoyen existe en Chine, facilitée par le biais de centaines de millions de caméras et autres capteurs3. Cette surveillance est utilisée pour interdire l’accès aux transports en commun, à l’éducation, aux prêts bancaires, etc pour les citoyens mal notés. Sont dévalorisés les auteurs d’incivilités, les mauvais travailleurs, les étudiants fainéants… En somme, ceux qui ne sont pas punis par la loi.
La plupart des chinois semblent apprécier ce système, qui appuie le légisme4 déjà important en Chine. Certains opposants sonnent toutefois l’alarme : comme dans La zone du dehors, cette notation générale du citoyen peut conduire à une normalisation et encourager la passivité.
Ces trois exemples de dystopies couvrent des modes de surveillance très différents, mais ils sont loin d’être les seuls existants ! La caractéristique de ces trois œuvres est que, la surveillance y apparaît douce plutôt que brutale, elle s’appuie sur des idées justifiables. A l’inverse, il existe de nombreuses œuvres, comme V pour Vendetta ou 1984, dans lesquelles la surveillance s’accompagne d’une répression politique violente.
L’intérêt de choisir ces dystopies soft, mais non moins inquiétantes, repose sur leur valeur d’’avertissement. Elles ne projettent pas la surveillance dans un système totalitaire, mais en envisagent l’extension à partir de nos démocraties. De plus, si aujourd’hui, en Amérique du Nord comme en Europe, la surveillance est régulièrement critiquée, ce pour quoi la présence massive de la dystopie dans la culture populaire joue peut-être un rôle, nous avons vu qu’en Chine, l’acceptation semble plus facile pour la population. Risquons-nous de voir se réaliser un de ces scénarios cauchemardesques ?
- Corentin Bechade, « La police de Chicago abandonne son système de précrime », Les Numériques, 29 janv. 2020 (https://www.lesnumeriques.com/vie-du-net/la-police-de-chicago-abandonne-son-systeme-de-precrime-n146571.html)
- Voir l’analyse de Benjamin Monserand, Guillaume Regnier, Théau Zatti, Florian Gradoux, « Peut-on faire du design avec Black Mirror ? », ACID, 2 (https://acid.utbm.fr/2021/09/23/peut-on-faire-du-design-avec-black-mirror/)
- Caroline Briner, « La Chine veut noter tous ses habitants et installe 600 millions de caméras », RTS, 18 nov. 2021 (https://www.rts.ch/info/monde/11137943-la-chine-veut-noter-tous-ses-habitants-et-installe-600-millions-de-cameras.html)
- Valorisation de la loi
