Modération de contenu - Douek et Klonick

Je prends quelques notes ici à propos d’un article d’Evelyn Douek paru en 2022 dans la Harvard Law Review, qui plaide pour une “approche systémique” de la modération de contenu en ligne

(Content Moderation as Systems Thinking), et de la réponse de Kate Klonick dans le numéro suivant (Of Systems Thinking and Straw Men).

La première phrase de l’article d’E. Douek est la suivante :

L’image stylisée de la modération du contenu qui constitue la base de la plupart des discussions réglementaires et universitaires sur la gouvernance de la parole en ligne est trompeuse et incomplète.

Toujours se méfier d’un article qui commence en évoquant l’opinion dominante, mainstream, etc. Mes antennes détectent un paralogisme possible : on construit un “épouvantail” pour mieux l’attaquer. C’est exactement, on va le voir, ce que Kate Klonick reproche à l’article d’Evelyn Douek, mais l’échange vaut néanmoins le coup d’être résumé ici.

Selon Douek, la discussion actuelle est dominée par une conception qui voit la modération comme une analogie de l’adjudication judiciaire, où des règles quasi-législatives sont appliquées ex post à des contenus individuels par une bureaucratie hiérarchisée. Ce modèle, fortement influencé par le Premier Amendement américain, se concentre sur les « cas paradigmatiques » (retrait ou maintien d’un contenu) et promeut des réformes axées sur l’octroi de garanties procédurales aux utilisateurs, comme le droit à un recours.

Douek soutient que ce cadre est trompeur et incomplet car il échoue à appréhender l’échelle, la vitesse et la complexité de la gouvernance de l’expression ou de la publication de contenus en ligne.

Elle identifie plusieurs « angles morts » problématiques dans ce modèle standard :

• L’hétérogénéité des interventions. La modération va bien au-delà de la simple suppression. Elle englobe des choix de conception de la plateforme (design et affordances) qui modulent la distribution du contenu, des interventions basées sur le comportement des acteurs (opérations d’influence et Coordinated Inauthentic Behaviour qui est un sujet sur lequel je souhaiterais revenir dans un billet futur, spam, etc.), et des actions comme l’étiquetage ou la réduction de la viralité et de la diffusion.

• La diversité des acteurs. Le processus de décision implique un écosystème complexe d’acteurs internes (ingénieurs, chefs de produit) et externes (gouvernements, fact-checkers, autres plateformes via des bases de données partagées).

• Les arbitrages structurels. La gouvernance de la modération est un exercice permanent d’arbitrage entre des objectifs concurrents : minimiser les faux positifs ou les faux négatifs, assurer une cohérence mondiale ou permettre une contextualisation locale, ou encore choisir entre le contrôle centralisé et l’autonomie laissée à l’utilisateur. Ces choix structurels, effectués en amont, déterminent l’univers des possibles pour chaque cas individuel.

E. Douek considère qu’en s’en tenant à l’arbitrage jurisprudentiel de cas particuliers, ce modèle ne produit qu’un « théâtre de la responsabilité » (accountability theater) plutôt qu’une responsabilisation effective des systèmes.

Face à ce diagnostic, Douek appelle à une « seconde vague » de régulation fondée sur une pensée systémique. Cette approche déplace le focus de la correction ex post vers la supervision ex ante des systèmes. Ses propositions incluent :

• Des mandats structurels. Imposer une séparation des fonctions au sein des plateformes pour isoler les équipes d’application des règles des pressions politiques et commerciales.

• Des exigences procédurales systémiques. Obliger les plateformes à publier des plans annuels de modération et des évaluations de risques, à se soumettre à des audits indépendants de leurs systèmes d’assurance qualité, et à mettre en place des mécanismes de recours pour des plaintes agrégées (aggregated claims) afin d’identifier les défaillances systémiques.

Dans son article-réponse, Kate Klonick conteste le diagnostic de Douek, qu’elle juge fondé sur une prémisse erronée et une lecture partielle de la littérature existante : la description des processus de décision individuels et des structures bureaucratiques était une étape descriptive nécessaire et fondamentale pour rendre intelligible un domaine nouveau et opaque; et la littérature spécialisée a en réalité toujours eu conscience du caractère systémique, automatisé et complexe de la modération de contenu.

Surtout, Klonick considère que la notion des recours individuels est tout sauf un simple « théâtre ». Les garanties procédurales (due process) et le droit à un recours équitable ne sont pas de simples outils de correction d’erreurs, mais le fondement même de la légitimité de tout système de gouvernance. Une approche purement managériale ou utilitariste, qui évaluerait le système uniquement sur sa performance globale, non seulement risquerait de sacrifier les droits individuels, mais perdrait en légitimité : une approche fondée sur les droits, si elle est capable de traiter équitablement les cas individuels, conditionne la légitimité d’une approche systémique.

Enfin, Klonick exprime des réserves importantes quant aux solutions avancées par Douek. Elle considère que la proposition de créer une nouvelle agence de régulation pour superviser la « qualité » des systèmes de modération est une pente dangereuse. Elle y voit un risque majeur de voir les gouvernements s’immiscer dans la définition des contenus acceptables, ce qui constituerait une menace pour la liberté d’expression, surtout si les recours individuels sont limités. Pour Klonick, confier à une entité étatique le pouvoir de juger de la “qualité” d’un système de modération revient indirectement à lui donner un pouvoir sur la parole elle-même, un risque qu’elle juge inacceptable. Je pourrais ajouter qu’on doit aussi se méfier du passage d’une censure ex post à une censure ex ante : le combat pour la liberté en Europe jusqu’au 18e siècle s’est largement focalisé sur le souhait de supprimer la censure préalable, ça n’est pas un hasard.

Je suis curieux en tout cas de voir l’évolution de ce débat non seulement dans la littérature spécialisée, mais dans la sphère publique. On sent là une tension assez nette entre deux logiques de légitimité.

Il y a chez Douek une logique managériale et gouvernementale, qui vise une légitimité par l’efficacité, la transparence et la rationalité des systèmes. Son cadre est prescriptif et orienté vers l’action des régulateurs, en leur fournissant des cibles concrètes (structures, processus, évaluations de risques). Les structures gouvernementales pourraient trouver cette approche, qui leur donne largement la main sans les confronter aux décisions individuelles, assez séduisantes.

L’approche de Klonick défend une légitimité fondée sur des principes déontologiques et procéduraux, notamment le respect des droits individuels. Sa critique sert de garde-fou normatif, rappelant que l’optimisation d’un système ne peut se faire au détriment de la justice procédurale, qui est une fin en soi et une protection contre l’arbitraire du pouvoir, qu’il soit privé ou étatique.