Ou comment entreprises informatiques et gouvernements tentent de gérer la censure des contenus terroristes en ligne ?

Le web est connu pour avoir quasiment Ă©liminĂ© toute barriĂšre d’entrĂ©e Ă  la publication. Auparavant, les obstacles Ă  la publication Ă©taient multiples. Pour le livre il fallait trouver un Ă©diteur, ou au moins rĂ©unir de l’argent et trouver un imprimeur, pour diffuser une idĂ©e qui aurait, de toute façon, une circulation matĂ©riellement assez restreinte. Et de nombreux agents (Ă©diteur, radio, tĂ©lĂ©vision, etc.) jouaient un rĂŽle de filtre permettant d’empĂȘcher assez facilement la circulation des idĂ©es les plus « dangereuses ». Ce systĂšme avait de nombreux revers, comme de limiter souvent indĂ»ment la circulation d’idĂ©es qui, jugĂ©es dangereuses par les gardiens du temple, n’étaient en rĂ©alitĂ© qu’excentriques ou originales, quand ce n’est pas tout simplement « en avance sur leur temps ». Mais au moins le systĂšme rendait son office sur un point : les idĂ©es les plus dangereuses n’accĂ©daient pas facilement Ă  la publication.

Avec le web, elles le peuvent. Le coĂ»t de publication y est ramenĂ© Ă  un niveau trĂšs bas, quand il n’est pas nul, et gĂ©nĂ©ralement les compĂ©tences et moyens matĂ©riels Ă  rĂ©unir pour pouvoir publier sont trĂšs faibles. Par ailleurs, le systĂšme est extrĂȘmement dĂ©centralisĂ© : il n’y a plus, si on veut, d’éditeurs contrĂŽlant la porte d’entrĂ©e, juste des millions et des millions d’imprimeurs web qui, rĂ©partis dans le monde entier, diffusent les contenus qu’on leur envoie. Et le volume de ce qu’on leur envoie est si massif qu’eux-mĂȘmes sont dans l’incapacitĂ© de regarder de quel contenu il s’agit. Les contenus extrĂ©mistes sont donc dĂ©sormais diffusĂ©s, qu’on le veuille ou non : cette barriĂšre a priori a cĂ©dĂ©. Peut-on reconstruire cette barriĂšre a posteriori ? Peut-on repĂ©rer les contenus illĂ©gaux et indĂ©sirables a posteriori et les supprimer ? IdĂ©alement, pourrait-on mĂȘme remonter cette barriĂšre jusqu’au moment mĂȘme de la publication plutĂŽt qu’aprĂšs ?

C’est ce problĂšme que cherche Ă  rĂ©soudre, pour les contenus terroristes et de violence extrĂȘme, le Global Internet Forum to Counter Terrorism (GIFCT).

GIFCT : comment ça marche ?

Expliquons un peu la technique avant de nous prĂ©occuper des aspects organisationnels. GIFCT est d’abord une base de donnĂ©es : comment fonctionne-t-elle ?

Un partenaire du projet, mettons Facebook, repĂšre sur son propre site une image ou une vidĂ©o Ă  caractĂšre terroriste ou de violence extrĂȘme. Facebook va inscrire dans la base GIFCT non pas l’image elle-mĂȘme, mais son « empreinte numĂ©rique » (un hash). Le principe gĂ©nĂ©ral en est le suivant : prenez une image, transformez chaque pixel en un caractĂšre en fonction de ses caractĂ©ristiques. Un pixel entiĂšrement noir devient « 0", le voisin qui est de telle nuance d’orange devient « b », et ainsi de suite. Au final, votre image devient une longue chaĂźne de caractĂšres : 0bhsf658njknjk, etc. Par contre, si Facebook procĂ©dait rĂ©ellement ainsi il serait facile de contourner l’algorithme : si on modifie ne serait-ce qu’un pixel de l’image, l’empreinte change et mon image n’est plus repĂ©rĂ©e. Donc l’algorithme, plutĂŽt que de procĂ©der pixel par pixel, extrapole : il vaut mieux prendre par exemple la moyenne de la couleur de carrĂ©s adjacents de 8 pixels, plutĂŽt que leurs valeurs individuelles. Cette simplification permet de couvrir mon image en prenant en compte diverses variations possibles (cadrage, couleur, etc.). Évidemment, revers de la mĂ©daille, plus on simplifie, plus on augmente en thĂ©orie le risque de collisions, c’est-Ă -dire que deux images distinctes gĂ©nĂšrent un hash identique. En pratique, la qualitĂ© de l’algorithme permet probablement d’éviter cette situation. Si vous souhaitez en savoir un peu plus sur cet aspect technique, je vous recommande pour dĂ©marrer l’article de Wikipedia sur les fonctions de hachage.

Une fois l’empreinte de cette image calculĂ©e, Facebook l’inscrit dans la base de donnĂ©es partagĂ©e. Un autre rĂ©seau social, mettons Twitter, entre dans la danse. Un utilisateur charge la mĂȘme image sur leur plateforme. Ils calculent de leur cĂŽtĂ© un hash de l’image en utilisant exactement le mĂȘme algorithme que celui utilisĂ© par Facebook, constatent que la signature obtenue existe dĂ©jĂ  dans la base de donnĂ©es, et peuvent donc flagger cette image dans leur processus interne de modĂ©ration de contenu.

À l’heure actuelle, la base de donnĂ©es contient environ 300 000 hashes.

Une autre partie de l’action de GIFCT, c’est la crĂ©ation d’un Content Incident Protocol (CIP) qui est un protocole Ă  la fois technique et opĂ©rationnel permettant de rĂ©pondre Ă  une situation de crise. Il a Ă©tĂ© dĂ©clenchĂ© pour la premiĂšre fois en octobre 2019 lors des attentats de Halle en Allemagne. 30 minutes aprĂšs le dĂ©but de l’attentat, que son auteur diffusait en direct sur Twitch, le CIP Ă©tait dĂ©clenchĂ© : tous les membres du GIFCT, le gouvernement allemand et Europol sont informĂ©s du dĂ©clenchement, les hashes du stream sont chargĂ©s dans la base avec un marquage spĂ©cifique permettant une identification plus rapide, un protocole de communication entre les membres du GIFCT est activĂ© pour permettre le partage d’informations sensibles et, encore une fois, amĂ©liorer la rapiditĂ© de leur intervention. Entre le dĂ©but de l’attentat et la suppression des contenus, il s’est Ă©coulĂ© une demi-heure.

GIFCT : de qui parle-t-on ?

Les membres fondateurs du GIFCT, en juillet 2017, sont Facebook, Microsoft, Twitter et YouTube. Il s’agit donc d’une initiative privĂ©e, portĂ©e par les principales entreprises du web qui, confrontĂ©es aux mĂȘmes difficultĂ©s, partagent informations et expertise.

L’initiative change de nature aprĂšs les attentats de Christchurch, en Nouvelle-ZĂ©lande, en mars 2019. Cette attaque contre deux mosquĂ©es fait 51 morts et 50 blessĂ©s. Le terroriste a diffusĂ© la premiĂšre attaque en direct sur Facebook pendant 17 minutes. Deux mois plus tard, est mis en place Ă  Paris, portĂ© par la Nouvelle-ZĂ©lande et par la France, l’Appel de Christchurch. De quoi s’agit-il ?

L’appel de Christchurch est un engagement des gouvernements et des entreprises technologiques Ă  Ă©liminer les contenus terroristes et extrĂ©mistes violents en ligne. Il repose sur la conviction qu’un Internet libre, ouvert et sĂ©curisĂ© offre des avantages extraordinaires Ă  la sociĂ©tĂ©. Le respect de la libertĂ© d’expression est fondamental. Cependant, personne n’a le droit de crĂ©er et de partager du contenu terroriste et extrĂ©miste violent en ligne.

Cet engagement est signĂ© initialement par 17 pays et la Commission europĂ©enne d’un cĂŽtĂ©, et de l’autre par 8 entreprises (Amazon, Daily Motion, Facebook, Google, Microsoft, Qwant, Twitter, YouTube). Il n’est pas contraignant et semble donc assez cosmĂ©tique
 mais ça n’est en rĂ©alitĂ© pas le cas, car la consĂ©quence directe de cette signature, c’est une refonte du GIFCT.

Celui-ci se structure. Il y a dĂ©sormais un Operating Board composĂ© d’un reprĂ©sentant pour chaque fondateur, au moins un reprĂ©sentant des entreprises non fondatrices, et le prĂ©sident du Independent Advisory Committee.

Il y a donc aussi un Comité de Conseil Indépendant composé, dit le site :

une minoritĂ© de membres issus d’entitĂ©s gouvernementales et intergouvernementales et une majoritĂ© issue de la sociĂ©tĂ© civile comprise au sens large comme incluant, entre autres, des groupes de dĂ©fense, des spĂ©cialistes des droits de l’homme, des fondations, des chercheurs et des experts techniques.

Il y a enfin un Forum plus large encore qui se présente comme un espace de débat sur ces sujets.

Bref, les gouvernements poussent le GIFCT à formaliser son fonctionnement et prennent un siùge autour de la table. Mais pas, je vais y revenir, en bout de table : GIFCT reste une initiative de l’industrie.

Les rĂ©actions dans la presse française Ă  la signature de l’Appel de Christchurch et Ă  l’action du GIFCT sont mitigĂ©es. Le Monde, par exemple, dans un article de mai 2019, trouve que ça ne va pas assez loin. Le sous-titre explique que « la plupart des engagements sont consensuels et pour partie dĂ©jĂ  respectĂ©s par les plus grandes plateformes, et le texte ne dit mot de l’extrĂȘme droite violente ». Il mentionne de façon erronĂ©e sans citer explicitement le GIFCT que « cette base de donnĂ©es partagĂ©e par les gĂ©ants du numĂ©rique a Ă©tĂ© crĂ©Ă©e en 2016 sous l’égide de la Commission europĂ©enne ». Bref : rien de nouveau et l’article trouve les engagements des plateformes « timides », en particulier face au terrorisme d’extrĂȘme droite. Le Monde souhaite une censure plus agressive, mĂȘme s’il reconnait que c’est un problĂšme complexe :

Le terrorisme d’extrĂȘme droite est, en ligne, plus difficile Ă  combattre que le terrorisme islamiste : d’une part, il ne procĂšde pas d’organisations structurĂ©es comparables Ă  l’organisation État islamique ou Al-Qaida ; d’autre part, sa matrice idĂ©ologique profite de la protection de la libertĂ© d’expression offerte par la Constitution des États-Unis, oĂč siĂšgent les principales plateformes.

L’action du GIFCT est truffĂ©e de difficultĂ©s, tant de principe, que techniques et opĂ©rationnelles.

Qu’est-ce qu’un contenu terroriste ou extrĂ©miste ?

Le live stream du terroriste de Christchurch ne pose pas de question de dĂ©finition : c’est de toute Ă©vidence un contenu terroriste. Il en va de mĂȘme d’une vidĂ©o de dĂ©capitation mise en ligne par ISIS. Mais au-delĂ  de ces cas flagrants, des problĂšmes de dĂ©finition se posent trĂšs rapidement. Il n’y a en effet pas de dĂ©finition commune du terrorisme, en tout cas la notion n’est pas dĂ©finie en droit international. C’est un acte de violence politique, certes, mais est-ce qu’un Ă©tat, par exemple, serait susceptible de mener une action terroriste, ou bien est-ce par dĂ©finition impossible ? Faut-il considĂ©rer un crime de guerre, par exemple un soldat rĂ©gulier mitraillant une population dans une zone de guerre, comme une action terroriste ? Comment considĂ©rer, classiquement, les « guerres de libĂ©ration » ? Le FLN de 1958 menait-il des actions terroristes ? Quid des mujāhid afghans des annĂ©es 1980 ? La dĂ©finition du terrorisme est un champ de mines. Il existe de nombreuses propositions et rĂ©flexions Ă  ce sujet (par exemple Ben Saul, Defining ‘Terrorism’ to Protect Human Rights), mais aucune qui franchisse le seuil d’une dĂ©finition juridique incontestable.

Il y a aussi le cas de discours non terroristes portĂ©s par des terroristes : par exemple un appel Ă  joindre le mouvement en gĂ©nĂ©ral, mais pas un appel direct Ă  commettre des actes terroristes. Cela revient Ă  censurer non plus directement le message, mais le messager, classĂ© comme terroriste. Mais on ne fait ainsi que dĂ©placer le problĂšme : qui est une « organisation terroriste » ? Et comment couvrir ainsi le cas des terroristes « isolĂ©s », qui se revendiquent de l’idĂ©ologie d’un groupe, mais n’en sont pas membres Ă  proprement parler ?

IndĂ©pendamment de ces problĂšmes de dĂ©finition, il y a aussi la question du contexte. La presse peut-elle diffuser une partie de la vidĂ©o ? Un service d’archive peut-il en capter des images ? Un universitaire qui travaille sur le sujet peut-il insĂ©rer une image dans un article scientifique diffusĂ© ? Et sait-on faire la diffĂ©rence? Et cetera.

Il n’y a pas de consensus, à ce stade, sur ces questions.

Il y a aussi des questions opĂ©rationnelles difficiles Ă  rĂ©gler. Par exemple, le GIFCT insiste sur le fait que chaque plateforme prend une dĂ©cision autonome pour signaler un nouveau contenu dans la base et, en cas de match avec un contenu dĂ©jĂ  prĂ©sent dans la base, pour dĂ©cider ou non de censurer l’image ou la vidĂ©o. Bref, chaque plateforme reste responsable de sa politique de modĂ©ration de contenu. Mais dans les faits, ce principe est probablement un peu un vƓu pieux. Ainsi au moment des attentats de Christchurch, YouTube Ă©tait tellement submergĂ© de matches avec la base GIFCT qu’ils ont dĂ©cidĂ© de supprimer temporairement la validation humaine des signalements et juste accepter toutes les suppressions proposĂ©es par le systĂšme, au risque de censurer, Ă  la marge, des contenus lĂ©gitimes. GIFCT est aussi utilisĂ© par un grand nombre de services numĂ©riques qui n’ont pas les moyens humains de Facebook ou YouTube et qui, par pragmatisme et manque de moyens, vont simplement accepter les signalements de GIFCT sans revue humaine, non pas temporairement, mais en permanence.

Que faire si un contenu lĂ©gitime est inscrit par accident dans la base de donnĂ©es ? À ce stade, pas grand-chose : GIFCT n’a pas Ă  proprement parler de mĂ©canisme de recours ou d’appel.

Sous-traitance de la censure et transparence

Ce qui me ramĂšne Ă  la question du rĂŽle des gouvernements et de leur position aprĂšs l’Appel de Christchurch. Je ne suis pas Ă©videmment dans le secret des Dieux, et des historiens futurs analyseront la situation mieux qu’on ne peut le faire aujourd’hui. Mais mon sentiment, c’est que les gouvernements, en rĂ©alitĂ©, font pression sur les plateformes pour qu’elles Ă©largissent et renforcent leur action de modĂ©ration de contenu, mais sans que ça passe par une rĂ©glementation, une loi et a fortiori par un dĂ©bat public et dĂ©mocratique. Ils demandent aux plateformes de censurer Ă  leur place, Ă  titre privĂ© et sans passer par la case judiciaire. En retour, et Ă  condition que les rĂ©sultats soient lĂ  sans doute, les plateformes obtiennent que les gouvernements ne se mĂȘlent pas de la façon dont cette entreprise est menĂ©e : les gouvernements sont autour de la table pour surveiller, pas pour piloter et le GIFCT reste une organisation privĂ©e, comme le sont le dĂ©tail de ses mĂ©thodes, ses critĂšres de dĂ©cision et, finalement, une grande partie de son action.

Il y a, de facto, sous-traitance au secteur privĂ© d’une politique de censure, qui permet aux Ă©tats dĂ©mocratiques de contourner les problĂšmes de dĂ©finition, de rĂšgles judiciaires (la connaissance a priori et publique de ce qui est autorisĂ© et interdit, le rĂ©gime de la preuve, le recours, etc.) qui semblent impossibles Ă  rĂ©gler par les voies normales
 mais sont pourtant celles de l’état de droit. Cette politique concernant directement le terrorisme et l’extrĂ©misme violent, il y a un relatif consensus sur la nĂ©cessitĂ© de mener cette action, malgrĂ© ces « dommages collatĂ©raux ».

Mais Ă©carter la justice du mĂ©canisme de censure touche au cƓur des principes dĂ©mocratiques et la tentation, pour le politique, peut ĂȘtre forte d’utiliser ce mĂ©canisme pour d’autres types de contenus. On a entendu par exemple des appels rĂ©cents Ă  faire une base de donnĂ©es similaire sur la dĂ©sinformation autour du Covid. Mais le sujet de la dĂ©sinformation est encore plus difficile Ă  dĂ©finir que celui du terrorisme, et les dĂ©rives possibles beaucoup plus importantes.

À ce stade les perdants, dans l’affaire, sont le systĂšme judiciaire, Ă©cartĂ©, et la sociĂ©tĂ© civile. Sur ce dernier point, le GIFCT pourrait certainement amĂ©liorer son fonctionnement. Le rapport de transparence qu’ils ont publiĂ© en juillet 2020 est extrĂȘmement succinct, et ne permet pas vraiment de se faire une idĂ©e claire de ce qui se passe. On verra ce que les diffĂ©rentes instances mises en place rĂ©cemment publient. De mon cĂŽtĂ©, je suivrais le compte twitter de J.M. Berger, universitaire tout juste nommĂ© au ComitĂ© de Conseil IndĂ©pendant du GIFCT, qui promet sans se faire beaucoup d’illusion sur l’indĂ©pendance rĂ©elle de la structure, d’y faire entendre la voix de la sociĂ©tĂ© civile. Le thread twitter qu’il a publiĂ© Ă  sa nomination fait un trĂšs bon rĂ©sumĂ© des enjeux en cours.

À suivre.