Pourquoi les algorithmes de Facebook sont dangereux

Qui est Frances Haugen ?

Dimanche soir, la principale source des fichiers Facebook du Wall Street Journal, une série d’enquête basée sur des documents Facebook internes, a révélé son identité dans un épisode de 60 minutes : il s’agit de Frances Haugen, ancienne chef de produit de l’entreprise. 

Avant de quitter Facebook en mai 2021, choquée par le fait que la direction de Facebook donne la priorité au profit plutôt qu’à la sécurité, elle a parcouru Facebook Workplace, le réseau interne des médias sociaux des employés de l’entreprise, et a recueilli une large gamme de rapports internes et de recherches dans le but de démontrer de manière concluante que Facebook avait délibérément choisi de ne pas résoudre les problèmes sur sa plate-forme.

Le 5 octobre 2021, elle a témoigné devant le Sénat sur l’impact de Facebook sur la société. Elle a réitéré bon nombre des conclusions de la recherche menée en interne et a imploré le Congrès d’agir.

Au cours de son témoignage, Haugen a particulièrement blâmé les décisions de conception d’algorithmes et de plates-formes de Facebook pour bon nombre de ses problèmes. Il s’agit d’un changement notable par rapport à l’orientation actuelle des décideurs politiques sur la politique de contenu et la censure de Facebook – ce qui appartient et n’appartient pas à Facebook. De nombreux experts pensent que cette vue étroite conduit à une stratégie qui manque de vision d’ensemble.

« Je suis un ardent défenseur des solutions non basées sur le contenu, car ces solutions protégeront les personnes les plus vulnérables du monde », a déclaré Frances Haugen, soulignant la capacité inégale de Facebook à appliquer sa politique de contenu dans des langues autres que l’anglais.

Le témoignage de Haugen fait écho à bon nombre des conclusions d’une enquête de l’examen de la MIT Technology Review publiée plus tôt cette année, qui s’est appuyée sur des dizaines d’entrevues avec des dirigeants de Facebook, des employés actuels et anciens, des pairs de l’industrie et des experts externes. Le magazine a rassemblé les parties les plus pertinentes de son enquête et d’autres rapports pour donner plus de contexte au témoignage de Haugen. En voici les éléments ci-après.

Comment fonctionne l’algorithme de Facebook ?

Nous utilisons le terme « algorithme de Facebook » comme s’il n’y en avait qu’un seul. En fait, Facebook décide comment cibler les publicités et classer le contenu en fonction de centaines, voire de milliers, d’algorithmes. Certains de ces algorithmes s’appuient sur les préférences d’un utilisateur et boostent le type de contenu correspondant dans son flux d’actualités. D’autres servent à détecter des types spécifiques de contenus rejetés par Facebook, comme la nudité, le spam ou les titres trop racoleurs (on parle de clickbait), et à les supprimer ou à les pousser vers le bas du flux. Tous ces algorithmes sont connus sous le nom d’algorithmes d’apprentissage automatique.

Karen Hao, senior AI editor à la MIT Technology Review,  expliquait dans l’enquête déjà citée que « Contrairement aux algorithmes traditionnels, qui sont codés en dur par les ingénieurs, les algorithmes d’apprentissage automatique « s’entraînent » sur les données d’entrée pour apprendre les corrélations qu’elles contiennent. L’algorithme entraîné, connu sous le nom de modèle d’apprentissage automatique, peut ensuite automatiser les décisions futures. Un algorithme entraîné sur les données de clics publicitaires, par exemple, pourrait apprendre que les femmes cliquent sur des annonces pour des leggings de yoga plus souvent que les hommes. Le modèle résultant diffusera ensuite plus de ces publicités aux femmes. »

Et en raison des énormes quantités de données utilisateur de Facebook, il peut « développer des modèles qui ont appris à déduire l’existence non seulement de grandes catégories comme « femmes » et « hommes », mais aussi de catégories très fines comme « femmes entre 25 et 34 ans qui aimaient les pages Facebook liées au yoga », et [ciblent] les publicités pour elles. Plus le ciblage est fin, meilleures sont les chances d’un clic, ce qui donnerait aux annonceurs plus d’en avoir pour leur argent. »

Les mêmes principes s’appliquent au classement du contenu dans le fil d’actualités : « Tout comme les algorithmes [peuvent] être entraînés pour prédire qui cliquerait sur quelle annonce, ils [peuvent] également être entraînés pour prédire qui voudrait ou partager quel message, puis donner plus d’importance à ces messages. Si le modèle déterminait qu’une personne aimait vraiment les chiens, par exemple, les messages d’amis sur les chiens apparaîtraient plus haut sur le fil d’actualité de cet utilisateur. »

Avant que Facebook ne commence à utiliser des algorithmes d’apprentissage automatique, les équipes utilisaient des tactiques de conception pour augmenter l’engagement. Ils expérimentaient des choses comme la couleur d’un bouton ou la fréquence des notifications pour inciter les utilisateurs à revenir sur la plate-forme. Mais les algorithmes d’apprentissage automatique créent une boucle de rétroaction beaucoup plus puissante. Non seulement ils peuvent personnaliser ce que chaque utilisateur voit, mais ils continueront également à évoluer avec les préférences changeantes d’un utilisateur, montrant perpétuellement à chaque personne ce qui la gardera le plus engagée.

Qui modifie l’algorithme de Facebook ?

Toujours selon la MIT Technology Review, au sein de Facebook, il n’y a pas d’équipe unique en charge de ce système de classement de contenu dans son intégralité. Les ingénieurs développent et ajoutent leurs propres modèles d’apprentissage automatique dans le mix, en fonction des objectifs de leur équipe. Par exemple, les équipes axées sur la suppression ou la rétrogradation du mauvais contenu, connues sous le nom d’équipes d’intégrité, ne formeront que des modèles pour détecter différents types de mauvais contenu.

C’était une décision prise par Facebook dès le début dans le cadre de sa culture « avancer vite et casser les choses ». Un outil interne connu sous le nom de FBLearner Flow avait ainsi été développé afin que les ingénieurs sans expérience de l’apprentissage automatique puissent développer facilement les modèles dont ils avaient besoin à leur disposition. Il était déjà utilisé par plus d’un quart de l’équipe d’ingénierie de Facebook en 2016.

Beaucoup d’employés actuels et anciens de Facebook à qui Karen Hao a parlé disent que c’est en partie pourquoi Facebook ne semble pas pouvoir comprendre ce qu’il sert aux utilisateurs du fil d’actualités. Différentes équipes peuvent avoir des objectifs concurrents, et le système est devenu si complexe et lourd que personne ne peut plus suivre toutes ses différentes composantes. Par conséquent, le principal processus de contrôle de la qualité de l’entreprise est l’expérimentation et la mesure. Selon elle,  » Les équipes forment un nouveau modèle d’apprentissage automatique sur FBLearner, que ce soit pour modifier l’ordre de classement des publications ou mieux détecter le contenu qui viole les normes communautaires de Facebook (ses règles sur ce qui est autorisé et n’est pas autorisé sur la plate-forme). Ensuite, ils testent le nouveau modèle sur un petit sous-ensemble d’utilisateurs de Facebook pour mesurer comment il modifie les mesures d’engagement, telles que le nombre de likes, de commentaires et de partages, explique Krishna Gade, qui a été directeur de l’ingénierie pour le fil d’actualités de 2016 à 2018. Si un modèle réduit trop l’engagement, il est rejeté. Sinon, il est déployé et surveillé en permanence. Sur Twitter, Gade a expliqué que ses ingénieurs recevaient des notifications dès que les mesures telles que les likes ou les commentaires étaient en panne. Ensuite, ils déchiffraient ce qui avait causé le problème et si des modèles avaient besoin d’être revus. »

Comment le classement du contenu de Facebook a-t-il conduit à la propagation de la désinformation et du discours de haine ?

Au cours de son témoignage, Haugen est revenue à plusieurs reprises sur l’idée que l’algorithme de Facebook incite à la désinformation, aux discours de haine et même à la violence ethnique. « Facebook … sait – ils l’ont admis en public – que le classement fondé sur la mobilisation est dangereux sans systèmes d’intégrité et de sécurité, mais n’a ensuite pas déployé ces systèmes d’intégrité et de sécurité dans la plupart des langues du monde », a-t-elle déclaré au Sénat aujourd’hui. « Cela sépare les familles. Et dans des endroits comme l’Éthiopie, il attise littéralement la violence ethnique. »

Karen Hao avait écrit à ce sujet précédemment : « Les modèles d’apprentissage automatique qui maximisent l’engagement favorisent également la controverse, la désinformation et l’extrémisme : en termes simples, les gens aiment les choses scandaleuses. Parfois, cela enflamme les tensions politiques existantes. L’exemple le plus dévastateur à ce jour est le cas du Myanmar, où les fausses nouvelles virales et les discours de haine sur la minorité musulmane rohingya ont dégénéré le conflit religieux du pays en génocide à part entière. Facebook a admis en 2018, après des années à minimiser son rôle, qu’il n’avait pas fait assez pour aider à empêcher notre plate-forme d’être utilisée pour fomenter la division et inciter à la violence hors ligne ».

Comme Haugen l’a mentionné, Facebook le sait également depuis un certain temps. Des rapports antérieurs ont révélé qu’il étudiait le phénomène depuis au moins 2016. « Dans une présentation interne de cette année-là, revue par le Wall Street Journal, une chercheuse de l’entreprise, Monica Lee, a constaté que Facebook hébergeait non seulement un grand nombre de groupes extrémistes, mais les promouvait également auprès de ses utilisateurs : « 64 % de toutes les adhésions de groupes extrémistes sont dues à nos outils de recommandation », a déclaré la présentation, principalement grâce aux modèles derrière les fonctionnalités « Groupes auxquels vous devriez rejoindre » et « Découvrir ». En 2017, Chris Cox, directeur des produits de longue date de Facebook, a formé un nouveau groupe de travail pour comprendre si la maximisation de l’engagement des utilisateurs sur Facebook contribuait à la polarisation politique. Il a constaté qu’il y avait effectivement une corrélation et que réduire la polarisation signifierait avoir un coup sur l’engagement. Dans un document du milieu de 2018 examiné par la Revue, le groupe de travail a proposé plusieurs solutions potentielles, telles que l’amélioration des algorithmes de recommandation pour suggérer un éventail plus diversifié de groupes auxquels les gens peuvent se joindre. Mais il a reconnu que certaines des idées étaient « anticroissance ». La plupart des propositions n’ont pas été avancées, et le groupe de travail a été dissous. »

Karen Hao explique que dans ses propres conversations avec les employés de Facebook, ceux-ci ont également corroboré ces conclusions. « Un ancien chercheur en IA de Facebook qui s’est joint à nous en 2018 affirme que lui et son équipe ont mené « étude après étude » confirmant la même idée de base : les modèles qui maximisent l’engagement augmentent la polarisation. Ils pouvaient facilement suivre à quel point les utilisateurs étaient d’accord ou en désaccord sur différentes questions, le contenu avec lequel ils aimaient interagir et comment leurs positions ont changé en conséquence. Quel que soit le problème, les modèles ont appris à nourrir les utilisateurs de points de vue de plus en plus extrêmes. « Avec le temps, ils deviennent mesurablement plus polarisés », dit-il. »

Le rôle des utilisateurs de Facebook n’est pas neutre

L’argument soulevé un peu plus haute – les gens aiment les choses scandaleuses – est d’autant plus intéressant qu’il souligne le fait que Facebook n’est pas le seul responsable. Ses utilisateurs sont tout aussi coupables de leur propagation, et ne rejeter la faute que sur Facebook serait une erreur. Facebook joue du comportement humain et de son attirance vers les sujets les plus émotionnels, controversés, voire scabreux.

Les algorithmes font office de révélateur et de locomotive pour la diffusion des contenus les plus distrayants et qui suscitent le plus d’engagement. Le système mis en place par Facebook autour des modèles d’apprentissage, loin de les décourager, les amplifie pour augmenter le temps passé sur la plate-forme, démultiplier l’engagement et favoriser son business fondé sur la capture de l’attention.

Des effets dévastateurs pour les contenus dans les langues autres que l’anglais

Dans son témoignage, Haugen a également souligné à plusieurs reprises à quel point ces phénomènes sont bien pires dans les régions qui ne parlent pas anglais en raison de la couverture inégale des différentes langues par Facebook. « Dans le cas de l’Éthiopie, il y a 100 millions de personnes et six langues. Facebook ne prend en charge que deux de ces langues pour les systèmes d’intégrité« , a-t-elle déclaré. « Cette stratégie consistant à se concentrer sur des systèmes spécifiques à la langue et au contenu pour l’IA afin de nous sauver est vouée à l’échec. » Elle a poursuivi : « Donc, investir dans des moyens non basés sur le contenu pour ralentir la plate-forme protège non seulement notre liberté d’expression, mais protège la vie des gens.« 

Karen Hao a exploré cela plus en détail dans un autre article de celui du début de cette année sur les limites des grands modèles linguistiques, ou LLM : « Bien que les LLM présentent ces lacunes linguistiques, Facebook compte fortement sur eux pour automatiser sa modération de contenu à l’échelle mondiale. Lorsque la guerre au Tigré [en Éthiopie] a éclaté pour la première fois en novembre, [le chercheur en éthique de l’IA Timnit] Gebru a vu la plate-forme patauger pour maîtriser la vague de désinformation. C’est caractéristique d’un modèle persistant que les chercheurs ont observé avec modération du contenu. Les communautés qui parlent des langues non prioritaires pour la Silicon Valley souffrent des environnements numériques les plus hostiles. Gebru a noté que ce n’est pas là que le préjudice prend fin non plus. Lorsque les fausses nouvelles, les discours de haine et même les menaces de mort, ne sont pas atténués, ils sont ensuite supprimés comme données de formation pour construire la prochaine génération de LLM. Et ces modèles, singeant ce sur quoi ils sont formés, finissent par régurgiter ces modèles linguistiques toxiques sur Internet. »

Quel est le lien entre le système de classement du contenu de Facebook et la santé mentale des adolescents ?

L‘une des révélations les plus choquantes des fichiers Facebook du Journal a été la recherche interne d’Instagram, qui a révélé que sa plate-forme aggrave la santé mentale chez les adolescentes. « Trente-deux pour cent des adolescentes ont déclaré que lorsqu’elles se sentaient mal dans leur corps, Instagram les faisait se sentir pires », ont écrit les chercheurs dans une présentation de diapositives de mars 2020. Haugen relie également ce phénomène aux systèmes de classement basés sur l’engagement, qui, selon elle, au Sénat aujourd’hui « expose les adolescents à plus de contenu en anorexie« .

« Si Instagram est une force si positive, avons-nous connu un âge d’or de la santé mentale des adolescents au cours des 10 dernières années ? Non, nous avons assisté à une augmentation des taux de suicide et de dépression chez les adolescents », a-t-elle poursuivi. « Il existe une large gamme de recherches qui soutiennent l’idée que l’utilisation des médias sociaux amplifie le risque de ces dommages à la santé mentale. » Dans ses propres reportages, Karen Hao a entendu un ancien chercheur en IA qui a également vu cet effet s’étendre à Facebook : « L’équipe du chercheur… a constaté que les utilisateurs ayant tendance à publier ou à s’engager dans un contenu mélancolique – un signe possible de dépression – pourraient facilement voir leur état se dégrader en consommant du matériel de plus en plus négatif qui risquait d’aggraver davantage leur santé mentale. » 

Mais comme pour Haugen, le chercheur a constaté que la gouvernance de Facebook ne souhaitait pas apporter des changements algorithmiques fondamentaux. « L’équipe a proposé de modifier les modèles de classement du contenu pour que ces utilisateurs cessent de maximiser seuls l’engagement, afin qu’ils soient moins déprimants. « La question pour la direction était la suivante : devrions-nous optimiser l’engagement si vous trouvez que quelqu’un est dans un état d’esprit vulnérable ? » se souvient-il. Mais tout ce qui réduisait l’engagement, même pour des raisons telles que le fait de ne pas exacerber la dépression de quelqu’un, a conduit à beaucoup de débats parmi les dirigeants. Avec leurs examens du rendement et leurs salaires liés à la réussite des projets, les employés ont rapidement appris à abandonner ceux qui étaient repoussés et à continuer à travailler sur ceux dictés d’en haut…

Cet ancien employé, quant à lui, ne laisse plus sa fille utiliser Facebook. »

Comment peuvent faire les américains pour résoudre ce problème ?

Aux États-Unis, la position de Haugen est claire : elle est contre la dissolution de Facebook ou l’abrogation de l’article 230 de la Communications Decency Act des États-Unis, qui protège les plateformes technologiques contre la responsabilité du contenu qu’elle distribue. Elle recommande plutôt de trouver une exemption plus ciblée à l’article 230 pour le classement algorithmique, qui, selon elle, « se débarrasserait du classement basé sur l’engagement ». Elle plaide également pour un retour au fil d’actualité chronologique de Facebook.

Ellery Roberts Biddle, directrice de projet chez Ranking Digital Rights, un organisme à but non lucratif qui étudie les systèmes de classement des médias sociaux et leur impact sur les droits de l’homme, affirme qu’une élimination de l’article 230 devrait être examinée attentivement : « Je pense que cela aurait une implication étroite. Je ne pense pas que cela permettrait tout à fait d’atteindre ce que nous pourrions espérer. » Pour qu’une telle découpe puisse être mise en œuvre, dit-elle, les décideurs politiques et le public devraient avoir un niveau beaucoup plus élevé de transparence sur le fonctionnement même des systèmes de ciblage publicitaire et de classement du contenu de Facebook. « Je comprends l’intention d’Haugen – c’est logique », dit-elle. « Mais c’est difficile. Nous n’avons pas encore répondu à la question de la transparence autour des algorithmes. Il y a beaucoup plus à faire. »

Néanmoins, les révélations et les témoignages d’Haugen ont attiré une attention renouvelée sur ce que de nombreux experts et employés de Facebook disent depuis des années : à moins que Facebook ne modifie la conception fondamentale de ses algorithmes, il ne fera pas de brèche significative dans les problèmes de la plate-forme. Son intervention soulève également la perspective que si Facebook ne peut pas mettre de l’ordre dans sa propre maison, les décideurs politiques pourraient chercher à lui forcer la main. « Le Congrès peut changer les règles que Facebook joue et arrêter les nombreux dommages qu’il cause maintenant« , a déclaré Haugen au Sénat. « Je me suis présenté à grands risques personnels parce que je crois que nous avons encore le temps d’agir, mais nous devons agir maintenant. »

Articles similaires

Similaires