Comment des groupes néo-nazis se servent de TikTok pour propager leurs idées ?
Merci à toutes celles et ceux qui font vivre la chaîne ! Si vous le souhaitez et si vous le pouvez, n’hésitez pas à faire un don sur KissKissBankBank : https://www.kisskissbankbank.com/fr/projects/spline-lnd Chaque don compte.
Si vous soutenez l'une des chaîne de Stup et que vous êtes intéressé par la newsletter, vous pouvez vous inscrire ici : https://stup.news/
Aujourd'hui, ça n'est plus un secret,
les nombreuses vidéos façon face cachée
de TikTok ont bien montré une chose, la plateforme est
infestée de contenus qui n'a rien à y faire.
Mais parmi tous ces contenus, parfois bizarres, parfois
effrayants, voire carrément criminels,
il y en a un qui est plus rarement
évoqué, le contenu « néo-nazis ». Et je ne parle
pas juste d'influenceurs, plus ou moins ouvertement
d'extrême droite, non. Je parle
littéralement de réseaux organisés de néo-nazis sur TikTok.
Alors, quel type de contenu public-t-il ? Comment
résiste-t-il à passer les filtres
de la modération ? Comment cherchent t-ils
à recruter de nouveaux membres à la vue de tous ?
Plongeons ensemble dans la face
pas si cachée des néo-nazis de TikTok.
Même si ces dernières années, le nazisme
trouve un certain regard de popularité,
les néo-nazis ont malgré tout un problème.
Pour eux, il est encore assez compliqué de répandre
ouvertement leurs idées et de
profiter de l'élan de visibilité que peuvent offrir les
plateformes populaires pour convaincre
de nouveaux partisans.
Ah, foutu cancel culture.
Le truc, c'est que leurs idées,
elles sont assez clairement identifiées.
Et pour ce qui est des plateformes, on a soit celles qui
sont contre et qui mettent en
place une modération automatique plus ou moins efficace
mais qui en tout cas tente de freiner
la visibilité de ce contenu, soit les plateformes, comme X,
qui sous-couvert de liberté d'expression
font la part belle aux idées d'extrême droite.
Alors on se retrouve dans une sorte de jungle qui voit se
confronter des groupes d'extrémistes
déjà convaincus avec des opposants
qu'il ne s'agit pas de convaincre.
Dans un cas comme dans l'autre, ces plateformes ne sont pas
vraiment le bon endroit pour s'adresser
à de nouvelles têtes.
Mais au milieu de cette dichotomie, certains ont vu TikTok,
sa large audience internationale
et sa modération discutable comme une opportunité.
La solution pour s'adresser à une nouvelle audience.
C'est en tout cas le constat qu'on fait
des chercheurs de l'ISD, l'Institut for
Strategic Dialogue, dans un rapport
intitulé Naztok, un réseau organisé de néo-nazis
sur TikTok qui fait des millions de vues.
Dans leur étude publiée en juillet 2024,
Nathan Doctor, Guy Fiennes et Ciarán O’Connor
ont repéré plusieurs centaines de comptes, promouvant
ouvertement le nazisme et accumulant
des dizaines de millions de vues.
Et vous allez voir que ces comptes ne sont pas cachés,
voire même qu'ils arrivent subtilement
à se servir de l'algorithme de
TikTok pour être mis en avant.
Avant de se pencher sur le contenu publié, il est important
de comprendre comment fonctionne
ce réseau et comment il a été mis au jour.
Plutôt en 2024, Nathan Doctor, l'un des chercheurs de
l'ISD, bossait sur d'autres travaux
qui l'ont conduit à fouiller un peu TikTok.
C'est comme ça qu'il est tombé par hasard sur un premier
compte qui publiait du contenu néo-nazis.
Le chercheur décide alors de remonter le fil de ce compte,
histoire de voir les autres comptes
qui sont liés, ceux avec qui il interagit, et assez vite,
le chercheur a découvert un réseau
de plusieurs centaines de comptes
TikTok néo-nazis liés les uns aux autres.
Un réseau qui d'ailleurs ne trouve
pas sa base directement sur TikTok.
En réalité, il s'agit d'un ensemble d'individus néo-nazis
qui se retrouvent sur des canaux
Telegram, plus ou moins privés, ou en tout cas sur lequel
l'objectif n'est pas de convaincre
de nouvelles têtes, mais de coordonner leur stratégie.
Car voici la particularité de ce réseau.
Ils ont établi de véritables stratégies
de communication sur d'autres plateformes
avec TikTok comme cœur de cible.
Et pour cause, sur le canal Telegram,
certains membres expliquent, je cite,
« Nous avons posté des trucs sur notre
tout nouveau compte TikTok avec zéro abonné,
mais on a eu plus de vues que vous ne
pourriez jamais atteindre sur Twitter.
Ça atteint beaucoup plus de gens. »
C'est depuis ces QG sur Telegram, qu'est coordonné la
création de centaines de comptes sur TikTok,
se suivant les uns les autres et
interagissant avec les contenus publiés de chacun.
Un véritable réseau qui permet d'une
part de booster la visibilité du contenu.
Il faut bien comprendre que sur TikTok, les vues accumulées et
l'interaction avec le contenu
le rend intéressant à mettre en
avant aux yeux de l'algorithme.
Et d'autre part, cette façon d'agir en réseau donc permet
de ne pas subir le jeu de la modération.
Même si, on le verra un peu plus tard, la plateforme semble
un peu à la ramasse sur ce sujet,
lorsque malgré tout, un compte fini par se faire bannir,
eh bien cela n'affectant rien l'ensemble du réseau.
Un autre compte va être recréé, se servant de ce même
réseau pour retrouver une audience.
Et on parle de plusieurs millions en de vues.
On parle de contenus néo-nasides depuis le début, mais à
quoi il ressemble ce contenu ?
Parce que je me rends bien compte
que dit comme ça, c'est très flou.
Et justement, je pense que vous
comprendrez qu'étant donné l'immondice de ce contenu
et sa visibilité déjà très large, trop large même,
je ne vais pas en faire la promotion pendant dix minutes.
Je vais me concentrer essentiellement sur les exemples mis
en lumière dans le rapport de l'ISD.
Mais il est largement
suffisant pour comprendre le phénomène.
Et si vous voulez en voir plus, je vous
invite à aller lire le rapport complet,
ainsi que l'article de Wired, qui parle du sujet.
Bon, alors je risque d'en surprendre plus d'un,
mais ce qui est particulièrement
prégnant dans le contenu produit par ce réseau,
c'est la promotion d'idéologie nazie,
avec l'accent mis sur la menace venant de l'étranger,
accompagné de visions antisémites
semblables à celles des années 30-40.
Ah, je vous avais dit, vous n'e vous y attendiez pas à celle-là.
Bon, à la différence près, que du
contenu généré par IA s'invite dans la partie,
d'une part pour générer des images d'illustrations aussi
réalistes que la technologie le permet,
sous-entendue, ça le deviendra
de plus en plus avec le temps,
mais aussi pour ramener le moustachu à la
vie grâce aux IA de générations de voix.
Vous en avez probablement déjà entendu parler,
mais aujourd'hui, il est simple
comme bonjour de générer des voix par IA
à partir d'enregistrement de voix préexistante.
Et forcément, les groupes néo-nazis en profitent pour
générer par IA des discours d'Hitler
ou encore faire des traductions de discours.
Bon, si l'on voit déjà en quoi
ces contenus sont problématiques,
ce réseau ne se limite pas à de l'idéologie.
En réalité, ils sont beaucoup plus proactifs et mènent sur
TikTok de véritables campagnes de recrutement.
Parmi les comptes repérés par les chercheurs,
certains partageaient régulièrement des liens pour
rediriger leurs audiences en dehors de la plateforme.
Par exemple, certains comptes
redirigaient vers des sites web,
mettant à disposition des flyers à distribuer, accompagnés
d'instruction pour les imprimer.
Ou encore, d'autres proposaient également
de suivre des comptes privés sur TikTok,
proposant du contenu encore plus radical,
et même de rejoindre des
canaux Telegram sans modération,
et donc forcément beaucoup plus extrémistes.
C'est sur ces canaux que les chercheurs
ont pu trouver des appels à la mobilisation,
pour que ces idées sortent des
réseaux et envahissent les rues.
Il y a un exemple précis qui fait froid dans le dos.
Il s'agit d'un compte anonymisé dans le rapport,
mais dont le nom contenait une insulte antisémite ne
laissant aucun doute sur son orientation.
Bon, pour s'y retrouver car on
reparlera de ce compte un peu plus tard,
appelons-le « Andrew »
et si l'on n'est pas encore
tout à fait sûr des idées d'Andrew,
sa biographie enfonce le clou, je cite,
« Révolution armée maintenant,
annihilation totale de... emoji etoile de David. »
Sur TikTok, Andrew compte quand
même quelques milliers d'abonnés
et propose un contenu grave,
des incitations à la violence extrême en appelant, je cite,
à se procurer des armes et à les détruire.
Bon, pas besoin de vous faire un dessin pour savoir qui
Andrew vise avec cet appel au meurtre.
Le truc, c'est que ça ne s'arrête pas là.
Ce compte ne se compte en pas d'inciter à la violence,
mais explique également comment s'y prendre.
Dans le contenu qu'il publie,
les chercheurs sont tombés sur des instructions incomplètes
pour fabriquer des bombes improvisées,
des armes imprimées en 3D
ou encore du napalm à petit budget.
Et si ces instructions sont incomplètes,
l'auteur redirigeait également son
audience vers d'autres plateformes non modérées
pour obtenir la fin des instructions.
Vous commencez à comprendre où se
situe le problème avec ce genre de réseau,
au-delà de répandre une idéologie nauséabonde,
il s'agit de véritables campagnes de recrutement,
avec pour objectif de mener des
actions en dehors du monde numérique.
Ces comptes rendent régulièrement
hommage à des suprémacistes blancs
auteurs de tuerie de masse,
comme celui de Christchurch en Nouvelle-Zélande,
dont l'attentat contre des mosquées
avait fait 51 morts et 49 blessés.
L'objectif de ce réseau et de
probablement bien d'autres similaires
et de répandre massivement leurs idées,
de manière plus ou moins soft,
pour atteindre une nouvelle
audience qui pourrait y être sensible,
même juste un peu.
Une fois touchée,
une partie de cette audience
sera baignée par ce type de contenu,
la poussant vers des idées de plus en plus extrêmes,
avant pour certains d'aller plus loin, de sortir de TikTok
et de s'engager d'une manière ou
d'une autre dans des groupes néonazi,
avec toutes les conséquences que ça peut avoir.
Alors on est d'accord, tout ça est grave,
ça n'est pas à prendre à la légère,
mais comment arrive-t-il à faire passer ça ?
Je veux dire, à priori, je me dis
que poster des discours d'Hitler
et des incitations à la haine ne
doit pas être possible sur TikTok, non ?
La plateforme a quand même des conditions d'utilisation
assez strictes et classiques sur le sujet,
alors le contenu devrait se faire
supprimer avant même d'être publié.
Et bien, pour passer ses
barrières automatiques de modération,
le réseau fait preuve d'un ensemble de techniques plus
fourbes les unes que les autres.
Dans l'ensemble, il s'agit
d'utiliser le plus possible un langage codé.
Alors pas un langage codé très compliqué,
l'idée c'est que tout le monde puisse comprendre,
mais un langage suffisamment codé pour ne pas être repéré
par la modération automatique de la plateforme.
Ça va de l'emoji étoile de
David pour comprendre de qui il parle
à des paronymes un poil plus subtil.
Par exemple, en anglais, juif se dit Jews,
et un mot qui ressemble pas mal, c'est juice,
c'est-à-dire jus comme un jus de fruit.
Alors on retrouve que ce soit dans le
contenu ou carrément dans des pseudo,
pas mal d'emojis de briquettes de jus de fruit.
À ce propos, dans l'article de Wired sur le sujet,
Nathan Doctor, l'un des auteurs de la publication,
s'agace du fait que ce langage
codé qui est, on ne va pas se mentir,
absolument basique, arrive à passer la modération.
La nature codée de ce contenu n'est pas une excuse,
car si c'est assez facilement
reconnaissable par quelqu'un dans une autre langue,
cela devrait aussi être reconnaissable pour TikTok.
On retrouve également des
altérations à peine subtiles du contenu.
Ça va d'une image incrustée dans une autre
pour compliquer la tâche des bottes de modération,
à des symboles masquées
grossièrement pour en comprendre le sens
sans en afficher ce qui est
reconnaissable et problématique.
Par exemple, cette image générée par
IA d'un salut nazi devant un drapeau
avec la croix gamée masquée par un émoji coeur.
Un ensemble de techniques et de langages à peine codés donc
qui permet à ces réseaux d'une part de prospérer,
ne craignant pas trop la modération,
mais également de se repérer entre eux,
même lorsqu'il s'agit de réseaux qui
ne sont pas liés les uns aux autres.
Pour ça, les musiques et plus largement les
audios utilisés dans les TikToks concernés
ont un rôle clé.
Il faut savoir que sur TikTok,
on peut réutiliser l'audio d'une
vidéo pour en recréer une autre,
mais également retrouver tous les
contenus qui utilisent le même audio.
Il suffit de cliquer dessus.
Et bien ces réseaux se servent
de ça d'une part pour s'infiltrer
dans les contenus liés aux audios les plus populaires,
comme en 2021 où le morceau Little Dark Age de MGMT
avait explosé sur TikTok avant
que les communautés d'extrême droite
ne détournent cette trend.
Et d'autre part, ça leur permet
également de propager des audios
que différents groupes de néo-nazis pourront utiliser,
sans pour autant ne s'être ni
coordonnés ou même ne se connaître.
Quelques semaines après la sortie du
rapport de l'ISD en septembre 2024,
la chaîne britannique Sky News
a listé en deux jours seulement
plus de 70 000 TikToks
utilisant des audios ouvertement nazis,
qu'il s'agisse de discours ou de chants d'époque.
Un contenu ayant généré plus de 21
millions de likes d'après leur enquête.
Cette technique permet alors à des
réseaux d'extrême droite du monde entier
ne partageant pas forcément la
même langue de se repérer entre eux
et d'interagir avec le contenu des uns des autres
afin qu'il soit mis en avant
par l'algorithme de la plateforme.
Parce que voilà tout l'enjeu de ces réseaux.
Se servir de la plateforme et de son
très puissant algorithme de recommandation
pour voir son contenu présenté à un maximum de monde.
Si vous n'avez pas l'habitude d'utiliser TikTok,
il faut savoir que quand on ouvre l'application,
on atterrit sur une page de recommandations de contenu.
Ça s'appelle la For You Page.
Et l'algorithme de TikTok est très fort
pour vous proposer du contenu
qui va accrocher votre attention
quitte à vous enfermé dans une
bulle de contenu très très fermée.
Par exemple, mon TikTok perso, voilà quoi il ressemble.
Je peux swipe pendant des heures.
Je n'ai quasiment que des recettes de cuisine.
Une grande partie, pour pas dire la majorité,
venant de créatrices et de créateurs
dont je n'avais jamais entendu parler
et que je n'étais jamais allé voir.
Tout ça parce qu'à mes débuts sur la plateforme,
en tant que spectateur, j'ai été voir quelques recettes
et j'avais tendance à rester plus
longtemps sur les TikToks de cuisine
que sur les autres.
Bien que de temps en temps,
l'application fasse quelques tentatives
de me montrer autre chose pour
voir si ça peut m'intéresser ou pas.
Il n'a quand même suffi que de
quelques minutes sur la plateforme
pour qu'elle me catalogue et ne
me montre presque plus que ça.
Et oui, j'adore cuisiner.
Et bien pour le contenu néo-nazis,
entre l'ensemble de technique pour
passer les filtres de modération,
le contenu qui fait réagir
et une audience de base gonflée par l'ensemble du réseau
et des autres réseaux similaires,
eh bien ce contenu se retrouve
facilement mis en avant par la plateforme.
C'est ce qu'ont constaté les
chercheurs en créant de nouveaux comptes,
des comptes vierges de tout historique.
Ils ont alors regardé 10 TikToks de ce réseau
avant de revenir à la page d'accueil, la For You Page.
Il n'en aura pas fait le plus pour
que l'algorithme de recommandation
se mette à recommander d'autres
contenus néo-nazis ou affiliés
à ces comptes tout neufs.
Et plus surprenant encore, TikTok
avait même recommandé du contenu de comptes
qui, à ce stade, n'avait même
pas été repéré par les chercheurs.
Ces comptes test se retrouvaient alors
enfermés dans une bulle d'extrême droite
pouvant aller très loin.
Alors, qu'en est-il de la modération sur la plateforme ?
Avant tout, il faut savoir que
TikTok a des conditions d'utilisation
et que les contenus que l'on a évoqués dans cet épisode
enfraignent bel et bien ces règles.
Dans l'article sur le sujet,
Jamie Favasa, un porte-parole de TikTok, explique je cite
« les comportements haineux, les
organisations et leurs idéologies
n'ont pas leur place sur TikTok.
Et nous supprimons plus de 98% de ce
contenu avant qu'il ne soit signalé.
Nous travaillons avec des experts pour
rester en avance sur l'évolution des tendances
et pour renforcer continuellement
nos protections contre les idéologies
et les groupes haineux. »
Le problème, c'est que le constat des
chercheurs ne va pas vraiment dans ce sens.
Dans leur étude, ils ont voulu
évaluer la modération de TikTok.
Alors ils ont signalé 50 comptes néo-nazis
en dénonçant des discours de haine,
ce qui enfreint les règles d'utilisation de la plateforme.
Le lendemain, aucun de ces comptes n'avait été suspendu.
Au bout de deux semaines, seulement 15 ont été bannis.
Et après un mois, seulement 23 des 50 comptes signalés
avaient finalement été clôts.
Cette réactivité est grandement insuffisante,
car les quelques comptes supprimés ne le sont que bien
après avoir accumulé un bon gros paquet de vues.
A titre d'exemple, les 23
comptes supprimés avaient accumulé
plus de 2 millions de vues avant leur bannissement.
Vous vous souvenez du compte
dont nous parlions un peu plus tôt,
Andrew, celui qui partageait entre autres des instructions
sur la fabrication de bombes et qui appelait au meurtre ?
Eh bien les chercheurs de l'ISD ont
alerté TikTok sur ce compte spécifiquement.
En réponse, TikTok a indiqué n'avoir
trouvé aucune violation dans son contenu.
Et le compte est encore resté actif plus d'une semaine
avant d'être finalement banni.
Et au-delà de ça, comme on l'a vu,
le fait que ces groupes fonctionnent en réseau les rend
presque invulnérable à ces bannissements.
TikTok ne s'attaquant qu'à des comptes
spécifiques plutôt qu'à des groupes de comptes.
Le réseau pourra constamment en recréer de nouveau sans ne
perdre aucune force de frappe.
On se retrouve alors face à une
plateforme, l'une des plus puissantes de la planète,
capable de développer des
algorithmes assez pointus et puissants
pour biaiser le cerveau de plus de 2 milliards
d'utilisateurs dans le monde.
Cette même plateforme, qui explique que
le langage codé de ces groupes néo-nazis
semble trop subtil pour être efficacement modéré.
Alors, je ne dis pas que c'est simple,
mais être une plateforme d'une
telle ampleur avec autant de puissance
en compte des responsabilités tout aussi importantes.
Responsabilité qui, à l'heure actuelle,
ne semble pas être dans leur priorité.
Comme l'explique les chercheurs
dans la conclusion du rapport,
le succès ne réside pas dans la
suppression immédiate de toutes formes de nazisme
dès qu'elles apparaissent sur la plateforme,
mais plutôt dans l'élévation
suffisante des barrières à l'entrée.
Aujourd'hui, des néo-nazis autoproclamés considèrent TikTok
comme une plateforme propice à
la diffusion de leur idéologie.
Bon, vous le savez sûrement, mais il y a des mots et des
sujets que YouTube n'apprécie pas trop.
J'aurais pu, et j'aurais peut-être dû,
faire le choix de remplacer le mot « nazi » dans toute la
vidéo pour éviter le shadow ban.
Mais étant donné que c'est le cœur du sujet,
ça aurait sûrement été assez désagréable à regarder.
Du coup, il y a fort à parier que cette vidéo,
comme la plupart des vidéos précédentes que j'ai publiées,
ne soit pas spécialement appréciée par la plateforme.
En général, j'évite d'en parler,
mais en analysant les stats de la chaîne,
j'ai constaté que le contenu était de moins en moins
proposé par YouTube à une nouvelle audience.
Malgré les bons chiffres demeurants,
c'est-à-dire un bon watch time et
un bon taux de clic par impression.
Ce que je soupçonne fortement,
c'est que depuis un an,
avoir évoqué dans quasiment chaque
vidéo des sujets qui peuvent être sensibles,
a fait que YouTube m'a mis dans une
case de « Oula, ça parle de sujet chaud,
on sait pas trop si c'est bien ou pas,
du coup on va pas prendre de risque et
on va pas trop mettre en avance contenu ».
Le résultat, c'est que la progression de
la chaîne, qui était pourtant bien partie,
s'est arrêtée quasiment du jour au lendemain,
avec pour conséquence un coup
de frein à son essor économique.
Là où je veux en venir,
c'est que vous partage vos interactions avec le contenu que
je publie et plus important que jamais.
À nouveau, la chaîne n'est financée que par vous.
C'est la seule source de revenus
qui me permet de créer du contenu.
Alors si vous le souhaitez et si vous le pouvez,
n'hésitez pas à faire un don
ponctuel ou mensuel sur Kiss Kiss Bank Bank.
Chaque euro est un soutien précieux
dans le but de professionnaliser la chaîne.
D'ailleurs, si vous me suivez sur les réseaux sociaux,
vous l'avez peut-être vu passer, mais avec Stup,
le média qui réunit entre autres Stupid Economics,
Lea Bello, Vincent d'Internet et moi-même,
on lance une newsletter commune
pour vous remercier de votre soutien.
Une veille mensuelle sur le
sujet que chacun de nous traitons.
Alors si ça vous intéresse et si vous soutenez
financièrement l'une de nos chaînes,
vous pouvez vous rendre à cette
adresse pour vous inscrire à la newsletter.
On espère que ça vous plaira.
Merci beaucoup et à très vite pour une prochaine vidéo.