Derrière les recommandations de Google ou Netflix, dans les questions de santé, de justice et d'autres domaines sensibles, il y a des algorithmes d'intelligence artificielle. Le problème, c'est qu'on ne sait pas vraiment comment ils fonctionnent ! De plus en plus, certains scientifiques s'attèlent donc à expliquer les IA... Comment fait-on ? Est-ce que ça marche ? Avec Luis Galárraga et Christine Largouët, d'Inria.
0:00 : Introduction 1:11 : C'est quoi l'explicabilité de l'IA ? 3:37 : Le mot mystère : "intelligence artificielle" 10:33 : Comment procéde-t-on pour expliquer une IA ? 17:50 : Quand l'IA confond loups et huskies... 23:43 : Le problème de la transmission : expliquer l'IA pour que tout le monde comprenne 34:15 : Et vous, faites-vous confiance à l'IA ? 38:35 : Le parcours des invités 46:56 : La reco des invités
salut les sorciers soyez les bienvenus
dans ce nouveau numéro de science en
question salut marine salut laorine sal
est-ce que vous êtes déjà demandé
pourquoi Netflix vous propose plutôt tel
série ou telle série ou pourquoi les
assistants vocaux vous répondent comme
ça et pas autrement derrière ces
questions il y a des algorithmes
d'intelligence artificielle il nous
rendent service mais ils ont un gros
défaut il manque de transparence
autrement dit bah on sait pas comment il
fonctionne bon après si c'est juste pour
nous recommander des des films ou des
recettes de cuisine c'est pas trop grave
non mais quand ces algorithmes
interviennent sur des questions de santé
de justice ou d'autres sensible là ça
devient problématique c'est pourquoi de
plus en plus les scientifiques tentent
de rendre les a explicables auprès des
utilisateurs et ce n'est pas une mince à
faire mais alors pourquoi le
fonctionnement de Lia est-il si
mystérieux est-ce que toutes les as sont
explicables et concrètement bah comment
on fait vous verrez que pour expliquer
lia on utilise lia et toi marine tu as
prévu quoi moi je vais vous parler d'un
algorithme qui confond les loups et les
huskis on va voir que l'explication de
liya ça permet d'en détecter les billets
et de juger sa fiabilité et bien c'est
parti on y va
[Applaudissements]
[Musique]
[Applaudissements]
[Musique]
bonjour Louise galaraga bienvenue sur le
plateau de science en question vous êtes
chercheur au Centre in ria de Rennes et
vous serez notre guide tout au long de
cette émission puisque vous travaillez
sur l'explicabilité de liya est-ce que
pour résumer on peut dire que votre
travail consiste à trouver la meilleure
recette ou en tout cas la recette que
suit Unia pour produire des résultats
euh ouis je DIRIS que oui parce que
l'objectif dans mon travail c'est de
rendre le système d' explicable donc une
explication c'est description de la
relation entre les informations d'entrée
que que reçoit un système les
ingrédients ouais et puis ça sorti sa
réponse et est-ce que l'explicabilité
liya c'est un domaine ou un champ à part
entière dans l'intelligence artificielle
et je dirais que dans les domaines de la
de l'IA c'est un sous-domaine en soi qui
existe puis depuis très longtemps en
fait depuis les années je depuis les
années 90 mais qui a a pris de l'ampleur
plutôt récemment qu'est-ce qui a
provoqué un peu justement cette ce
déploiement je dirais il a plusieurs
facteurs un facteur notable c'est la
c'est la promulgation de la rgpd ouais
c'est ça qui a un peu boosté les choses
et qui qui a forcé apporter des
explications qui qui en fait donne aux
citoyens européens le droit en fait àir
recevoir des des explications sur les
traitements qui a été fait sur leur
données personnelles par exemple ça veut
dire que ça se développe plus en Europe
que dans le reste du monde ou pas je
dirais que l'Europe a été d'une certaine
manière porteuse de de cette initiative
mais ceci dit en fait la
recherche explicabilité dans dans les
autres parties du monde comme les
États-Unis vient développer aussi et
alors pourquoi c'est si important de
d'apporter des explications sur le
fonctionnement des qu'est-ce qui se joue
derrière alors pour plusieurs raisons
donc on pe avoir technique donc si on a
un système des il a très complexe et qui
qui a des problèmes qui fait des des
erreurs donc via l'explicabilité on peut
comprendre pourquoi le système se trompe
mais on peut avoir des raisons éthiques
ou des raisons pour pour par exemple
pouvoir générer de la confiance donc si
on fait une recommandation à à à une
personne sans donner des explications le
le fait de donner une explication de une
justification de pourquoi on a et on a
donné cette réponse ça peut rassurer la
personne et du coup engendrer de la
confiance dans le système alors depuis
le début on parle d'intelligence
artificielle c'est un terme qui est
devenu courant dans le langage commun à
tel point que final on finit par
l'utiliser un peu à tort et à travers
alors on a voulu vérifier si les gens
connaissent vraiment la signification
qu'il y a derrière le terme intelligence
artificielle c'est notre mot mystère
[Musique]
oui je sais ce que c'est bon c'est bah
c'est comment le l'informatique prend
des décisions à notre place non je sais
c'est quelque chose d'informatique qui
est très très pousé c'est la mise en
œuvre de moyens technologiques pour
essayer de reproduire le raisonnement
humain c'est une assistance pour rédiger
une assistance pour dessiner c'est une
assistance pour décider c'est tout ce
qui est bah du coup chat GPT vu qu'on a
parle récemment Siri aussi d'ailleurs
avec les iPhones et donc c'est ce qui
accompagne bah l'homme et donne des
réponses à tout mais je crois que le
premier ça été myine comment ça marche
concrètement non c'est à l'intérieur
de des ordinateurs et
des receveurs comment on
dit les serveurs ouis moi je connais les
raisones de r convolutif c'est une forme
artificielle et où c'est en fait ça
copie le fonctionnement des neurones
mais de façon informatique je penseu
toutes les données possibles et
imaginabl pour donner des réponses plus
fiable et plus concrè possible quoi
alors ils on ils ont plutôt une bonne
idée de ce qu' y a mais dès qu'on aborde
un peu le fonctionnement là ça devient
plus flou alors si on reprend les bases
finalement l'intelligence artificielle
c'est ni plus ni moins que des
algorithmes informatiques en fait on pe
dire ça ce sont des algorithmes qui
essayent de reproduire des comportements
que nous les souons considérons
intelligent ok donc c'est on le but
c'est d'assister il y a quelqu'un qui
assister de d'apporter des décisions
c'est toutes les décisions m décisions
ouais oui dans dans cet esprit en fait
les les un agentia en fait prendre les
informations qui sont peut-être
volumineuses et et en fait essayer de de
justement extraire ce qui est le plus
important pour aider aussent dans la
prise de décision et si on soulève un
peu le le capot de la machine derrière
c'est quoi c'est des lignes de code en
fait il a c'est pas on utilise le terme
intelligent mais il y a rien
d'intelligent vraiment enfin je veux
dire elle a pas de de conscience elle a
pas elle a pas le sens de des données
qu'elle
traite c'est ça
un agent c'est un algorithme qui après
on peut développer de plusieurs manières
et bon notamment il a le le machine
learning qui est qui est maintenant très
central dans les dans dans dans la
technologie actuelle qui est justement
apprendre ces algorithme à partir des
données des des grands volumes de
données est-ce peux prendre l'exemple
des des peut-être des radiographies qui
sont analysé qui sont des des systèmes
di qui fonctionne bien aujourd'hui on a
des systèmes di très développés qui
analysent des radiographies de patients
par exemple oui ils ont été comment ils
ont été entraînés c'est ça sur plein
d'images c'est ça c'est ça donc en gros
on a eu plein d'images des euh des
patients pour lesquels on connaît sils
sont développés une maladie par exemple
un exemple un cancer et et puis le on on
donne tous ces données à à la machine et
puis elle va apprendre à distinguer en
fonction des caractéristiques des images
quelles sont les images qu' on a
effectivement un cancer ou pas c'est
elle qui définit ses propres règles pour
savoir si on va amener vers tel ou
telésultat exement tels qui sont les
algorithmes euh euh sont entraînés
aujourd'hui en fait euh on on entraîne
l'algorithme pour que la la différence
entre la la vérité que nous on connaît
déjà et la prédiction soit la la plus
petite possible et donc dans cet univers
de possible façon de faire donc la la
machine elle va trouver la façon de
justement minimiser cette cette
différence on peut dire ou pour que
quand on lui donne un cas qu'elle va
prédire ce soit le plus proche possible
le plus proche possible de la réalité
alors je reviens sur sur le micrrottoir
quelqu'un a parlé de neurone convolutif
alors c'est un terme un peu complexe
est-ce que ça ça fait partie de
l'apprentissage automatique du machine
learning oui alors dans les machine
learning il a plusieurs plusieurs
techniques de d'apprentissage et un de
ces techniques qui est bon aujourd'hui
est assez populaire parce que
derrière euh derrière les technologies
les plus connu d'aujourd'hui ce sont les
réseaux de neurones donc c'est une façon
c'est on peut dire un méthode de machine
learning et et et là c'est c'est c'est
plus complexe encore euh comme
fonctionnement on a du mal à se rendre
compte de voilà le terme est compliqué
pour nous mais est-ce que le
fonctionnement est compliqué alors les
fonctionnements il est compliqué donc on
parle souvent de Deep learning ouais et
apprentissage profonde en français et en
fait l'idée c'est que
un en assemblant en grande quantité de
ces neurons là que ce sont des petites
fonctions en fait au neuron c'est voilà
c'est petit voilà qui rassemble un peu
ça a été inspiré un peu de la de la
structure de cerveau sont des petits
blocs qui prennent des informations en
entrée il donne une sortie mais en
assemblant tous ces ces petit neuron en
grande quantité donc on assemble
beaucoup de neurones on fait des couches
donc en fait on on structure les
neurones un après les autres la la
sortie d'un neurone devient l'entrée
d'un autre et AINS suite c'est ça en en
assemblant les neurones de d'une
certaine manière on peut arriver en fait
à à à ressoudre des tâches vraiment très
compliqué et le fait qu'il a beaucoup de
neurones qui sont structurés de façon
complexe ça rend le système à la fin
très très complexe c'est ça qui qui fait
qu'aujourd'hui on a besoin
d'explicabilité c'est la nature des des
des modèles ou des des façons de faire
de l'IA c'est tout à fait et donc on
rout les T de plus en plus compliqué qui
ont besoin de modèles plus complexes et
donc bon il a un moment où en fait on
peut pas on peut plus çavoir exactement
qu ce que le modèle il a pris oui parce
que c'est fou quand même on se dit que
finalement c'est des algorithmes qui
sont codés qui sont fabriqués entre
guillemets par les humains on a du mal à
comprendre que du coup on narrive pas à
les expliquer euh c'est parce que
justement il y a aussi beaucoup de comme
vous disiez de de couches de données et
qu'au bout d'un moment ça devient plus
du tout perceptible pour nous c'est
c'est parce que c'est ça vient de la
façon dans laquelle on dans laquelle on
entraîn ces modèles c'est-à-dire que on
les entraîn pour justement faire que
leur prédiction rassemble le plus la
vité terrain et c'est tout donc en fait
après l'algorithme d'apprentissage il va
trouver une représentation qui fait le
travail mais comprendre qu'est-ce que
cette représentation veut dire
s'appuyer c'est c'est justement le but
de la de l'explicabilité il y a
quelqu'un qui parlait de chat GPT par
exemple ça c'est ça fait partie des
algorithmes très complexes ou oui tout à
fait tout à fait alors chpt en fait on
peut dire les noyaux c'est un un modèle
de langage et la technologie derrière
les modèle de langage ce sont des
transformeur qui sont une architecture
des rau neurones ok très complexe très
bien bon je vous propose de découvrir un
peu plus concrètement comment on peut
rendre les a explicables place au sence
en action avec avec
laorine alors on a parlé de ces
algorithmes on comprend pas vraiment
comment ils sont arrivés à trouver des
résultats il y a une expression qui
commence à être connue un peu dans le
langage courant c'est l'effet boîte
noire c'est essentiellement des
algorithmes de de Deep learning
d'apprentissage profond don vous avez
parlé oui il y en il y en a d'autres bon
il il existe bon il existe d'autres
notamment on peut parler des les forês
aléatoires par exemple des random forest
ou euh des les méthodes de euh des
gradient boosting je sais pas comment le
le dire en français en tout cas il a il
a des autres méthodes il y en a plein
d'autres en fait on entend parler
toujours de rau neur c'est quoi c'est
des architectures différentes en fait on
peut dire ce sont des des modèles alors
je on parle toujours d'un modè a comment
je disais c'est une fonction
mathématique en gros prend des entrées
et Don une sorti et en fait c'est peut
combiner ces entrées des façons
différentes donc en fait les les forêt
aléatoires les les méthodes à bas de
Grad boosting
c'est juste d'utre façon d'aller
associerç une façon de combiner don d'
quoi qu'il en soit ce qu'il faut retenir
c'est que c'est le cœur de la machine
qui reste complètement obscur opaque
pour pour nous on a l'entré on a les
sorties mais on sait pas ce qui passe au
Milie ouais voilà en tout cas les
méthodes que j'ai évoqué boosting sont
aussi normalement considérés comme des
méthodes de boîtes noir alors j'ai lu
qu'il y avait un peu deux approches
différentes pour expliquer ces boîtes
noires il y a une qui est dite générale
et une qui est dite locale alors si on
prend la première la générale c'est quoi
le principe alors le principe c'est de
avoir une espèce de résumé de la logique
de du système mais en résumé général
s'applique on peut dire tout le monde
les grand règles la ligne de conduite de
du modèle ça c'est facile ça marche bien
et
oui et non en fait ça dépend de
l'application en général si on veut
prendre C cette explication pour par
exemple remplacer un peu le modèle h euh
non ça marche pas normalement parce que
justement on a un modèle qui est très
complexe qui après on essayer on essaie
d'exprimer avec un ensemble de de de
avec un système plus simple ça marche
pas ouais normalement mais ça peut ça
peut nous donner une idée de Come le
système marche de toute façon ok une
première approximation c'est une une
première approximation on pourrait dire
et ce qui est plus euh plus courant
aujourd'hui c'est ce qu'on appelle
explication locale c'est-à-dire qu'on va
essayer de
euh justifier trouver quelle est la
logique que la l'algorithme a utilisé
pour prédire une un cas particulier par
exemple dans les cas du prébancaire à la
les profil des appliquant par exemple ça
veut dire je sais pas moi par exemple ça
va être donc une femme de 27 ans qui est
en CDI et c'est ça ça va ça va être
l'information d'entrée à à la à au au
système et puis l'explication va nous
dire admettons qu'il a il a eu une
réponse euh admettons que le le le prêt
était a été reféusé et donc une
explication va me dire en fait comment
est-ce que ces facteurs qui ont été
donnés à entré ils sont contribués à à à
à cette C r à cette réponse donc c'est
pas pour expliquer tout le système c'est
pour expliquer comment il a pris cette
décision en particulierette déc pour une
personne en particulier ou type de
personne en particulier et ça peut être
aussi ça peut être très local donc
appliquer à une instance mais ça pe être
aussi appliquer à un groupe des profils
qui sont très très similaires donc tout
par exemple toutes les femmes de 27 ans
euh oui c'est ça en gros dans cette
spectrum global local on peut avoir des
choses au milieu aussi OK et alors
comment on va comment on va faire
concrètement pour réussir à à trouver
comment notre notre algorithme il a il a
pris sa décision enfin sur quoi il
comment on découvre justement sur quoi
il s'est appuyé l'idée c'est euh
de essayer d'approximer cette modèle
très très complexe avec une boîte
blanche mais du coup pour mais pas mais
pas dans dans tous les pas dans tout
l'univers des des cas pas toutes les
données qu'elle pour êre exactement
c'est sur une c'est une un ensemble
réduit de données notamment incluant
l'exemple que qui nous intéresse mais
quand vous dites on rajoute des couches
en fait c'est qu'on on applique un autre
algorithme finalement au premier c'est
ça OK on fait on fait tout à finalement
on n jamais une une idée du une exp une
explication qui qui donne l'ensemble du
fonctionnement de l'algoritthme en
entier en fait c'est c'est possible
alors je pourrais par exemple me dire
que je vais apprendre des des
explications locales par exemple pour
plusieurs instances pour plusieurs cas
ça veut dire dans le cas du prébancaire
on va prendre les femes de 27 ans CDI on
va prendre je pas les hommes de 45 ans
qui demandent 300000 € on va prendre
exactement et après on va essayer de
d'une certaine manière fusionner ces
explication locales pour avoir une vue
vue d'ensemble aussi donc ça c'est ça ça
c'est possible de ça on peut faire aussi
je me demandais à comment vous pouvez
vous dire qu'à un moment donné vous êtes
satisfait de l'explication que vous
apportez qu'est-ce qui vous fait dire
que là on est on a une explication qui
est fiable et qui est fidèle à ce au
fonctionnement de l'algorithme ok euh
bon bon en gros une façon de faire c'est
justement de de prendre cette
explication et puis essayer de la de
l'appliquer à des cas qui sont
similaires et voir si effectivement
l'explication elle est elle est en
accord avec la réponse donnée par la
boîte noire donc a il a cette notion de
fidélité donc je veux comm mon
explication en fait elle explique elle
soit fidèle sadère à la boîte noire
qu'elle essaie d'expliquer ok très bien
mais on comprends que c'est très
complexe et il y a encore d'autres
approche je crois qu'on pourrait qu'on
pourrait détailler ici est-ce que
finalement ce serait pas plus simple de
juste se passer des boîtes noires et de
bah d'avoir que plein de systèmes d'
boîes blanches et on pourrait pas
carrément les remplacer c'est C qui sont
inexplicable enfin en tout cas
difficilement explica elles sont
explicables par que vous le faites
maisement bon c'est c'est une bonne
question alors c'est une question que on
doit se poser à chaque fois qu'on veut
résoudre un problème avec des systèmes
yen donc si on peut résoudre le problème
avec des des des modèles boî blanche il
faut y aller parce que ils sont
l'avantage d'être interprétable donc on
peut toujours justifier savoir qu'est-ce
qui se passe dedans malheureusement il a
des tâes qui sont tellement complexes où
on a besoin de justement de de de cette
fonction des assemblé de fonctions
mathématiques très complexes pour
résoudre la tâche elle est simplement
trop compliqué h et dans ces cas-là on n
pas le choix on a utiliser des modèles
boîes noires et si on veut extraire des
des connaissances à partir de ces
modèles et on déploie des des couch
d'explicabilité ok d'accord alors rien à
voir mais Louis est-ce que vous savez
faire la différence entre un husky et un
loup alors euh je suis pas je connais
pas beaucoup sur des chi je pense que
Dieu pourrait mais ok bon on vous
testera je vous pose cette question en
fait parce que Marine va nous expliquer
comment une nia se débrouille pour le
faire et vous allez voir ça réserve
quelques surprises c'est le coup d'œil
de
marine on entend beaucoup parler de Lia
comme une technologie extraordinairement
intelligente et qui s'améliore très
rapidement et c'est vrai que ça a l'air
presque que magique parfois moi ça
m'arrive de parler à mon téléphone j'ai
l'impression qu'il comprend tout ce que
je lui dis bon par contre parfois je lui
demande le temps qu'il fait et il
appelle ma mère là c'est sûr que c'est
c'est moins impressionnant mais s'il
arrive à me répondre correctement la
plupart du temps c'est parce que c'est
pas parce qu'il me comprend vraiment
mais on l'a dit il a été entraîné sur un
grand volume de données et il a associé
certains mots clés par exemple ou
certaines phrases à des des requêtes
bien précises donc c'est pas magique
alors non c'est pas magique et en fin de
compte c'est très facile de pousser lia
à se tromper il suffit que les données
de départ sur lesquelles on entraîne un
algorithme soi fausse ou biaisé et par
exemple dans une étude de 2016 trois
chercheurs explique qu'ils ont
volontairement mal entraîné un
algorithme de classification donc un
algorithme de classification ça porte
bien son nom c'est un algorithme qui
doit classifier classer des éléments
dans différentes catégories et là en
l'occurrence il devait dire si l'image
qu'on lui présentait était un huskii ou
un loup d'où la la question de de gens
qu'est-ce que tu veux dire par ils l'ont
mal entraîné euh et bien justement pour
entraîner l'algorithme à faire la
différence entre les husky et les loups
ils ont utilisé des données biaisées
alors ils lui ont montré des images de
de loup et de Husky jusque là rien de
bizarre mais le problème c'est que
toutes les photos de loup avaient un
paysage enneigé en fond alors qu'il n'y
avait pas de neige dans les photos de
huskiy alors forcément quand on lui
montrait une photo avec de la neige
l'algorithme l'a classé dans la
catégorie loup même si c'était une photo
de huskiy et inversement bon ok mais du
coup en fait si on l'entraîne mal du
coup elle fait des erreurs donc à quoi
ça sert de faire ça en fait c'est
seulement la première partie de
l'expérience après avoir conçu ce ce
système défaillant ils lui ont fait
faire 10 prédictions dont deux étaient
fausses c'est-à-dire que l'algorithme a
confondu deux fois lesus qui et les
loups et ensuite ils ont montré ces
prédictions à 27 personnes et ces
personnes devaient dire si elles
pensaient que l'algorithme était fiable
ou non évidemment elles ne savaient pas
que l'algorithme était biaisé elles
n'ont pas eu accès aux données
d'entraînement et résultat sur les 27 10
ont déclaré qu'ell faisait confiance à
l'algorithme malgré les erreurs sauf
qu'après ça grâce à un algorithme
d'explication les chercheurs ont montré
aux participants quel partie de l'image
était vraiment analysé par l'algorithme
pour classifier les deux animaux et ça
donnait quelque chose qui ressemble à ça
on va voir à l'écro donc en en clair il
regarde pas du tout l'animal il regarde
que la neige il regarde que la neige et
là bizarrement sur les 27 personnes seul
trois personnes ont continuer de faire
confiance à l'algorithme après avoir vu
quand même après avoir vu ça quand même
oui la morale de l'histoire c'est que
c'est pas forcément évident de détecter
les les failles les billets d'un
algorithme en se contentant de juste
regarder ses prédictions alors dans le
cas de figure que je vous ai décrit
c'est complètement anodin mais si par
exemple on parle d'un algorithme qui
doit différencier les grains de beauté
par exemple Bénin des cancers de la peau
on a envie qu'il soit fiable d'où
l'intérêt des algorithmes
d'explicabilité on sait tout ce queil a
à des biais mais on a besoin d'outils
pour savoir lesquels et pour pouvoir les
rectifier ensuite bon benah voilà Louis
en tout cas pour distinguer un husky
d'un loup faut pas regarder la neige
hein regarder l'animal les Biet dans les
IAS c'est c'est fréquent ou ou pas euh
je dirais que oui ouais oui parce que
normalement c'est c'est c'est s Gent
il a sont entraîné sur des gros volumes
de données mais souvent ça peut être des
données qui viennent du web sont des
données d'accès public et bon on sait
que par exemple le web c'est c'est qu'
un refleet de la de la société actuelle
qui contient des billets donc en fait
ces billets se reproduisent dans les
dans les algorithmes est-ce que même les
personnes qui programment des
algorithmes peuvent mettre leur propres
billet dans des oui on peut avoir des
billets notamment quand on définit les
catégories par exemple si je je met en
place un système de de classification
déjà les classif les classes que je dans
lesquelles je veux distinguer sont au
son définis au choix des des architectes
des systèmes qui pourrai avoir leur pro
billet donc on peut avoir des billet
dans plusieurs parties du processus là
dans le cas qu'on a décrit une fois
qu'on a montré l'explication aux
participants il faisait beaucoup moins
confiance à l'algorithme vous votre
objectif c'est un peu l'inverse c'est de
dire en expliquant les algorithmes on va
augmenter la confiance des gens parce
que il y a plus de transparence
finalement c'est ça oui c'est ça euh bon
ici c'était c'était un cas un cas conçu
justement pour juste
pour euh motiver la l'explicabilité et
mais en gros quand on va expliquer euh
les fonctionnement d'un
algorithme la nature de cette
explication dépend en fait de quel est
le BUT déjà qu'il est la personne qui va
recevoir l'explication et pourquoi on a
besoin d'une explication donc euh les
l'exemple que que vous avez évoqué ça
pour être intéressant par exemple pour
un architecte
de un ingénieur qui par exemple mettre
en place
en train de déployer le système et et
qui veut vérifier qu'en fait le système
il a il classifie bien les choses pour
les bon raison donc ça pour ce type
d'explication pourrait servir justement
aux personnes qui sont qui ont un profil
plus technique et qui veut débuguer le
systèm et mais on on pourrait avoir des
autres scénarios en en fait le système a
été déjà déployé donc il il a passé
cette phase de de de dépuration et et et
et là l'algorithme interagit avec des
des avec les utilisateurs Finau et donc
on veut fournir ces explication plutôt
pour générer la confiance très bien ben
merci marine on va rester vigilant en
tout cas maintenant qu'on comprend un
peu mieux comment les IA fonctionnent il
faut transmettre l'explication aux
utilisateurs et ça c'est une autre paire
de manch pour commencer à qui on
s'adresse comment présenter les
explications et quel est l'impact sur la
confiance des usagers lis vous avez
cherché à répondre à toutes ces
questions avec notre prochaine invité
place à l'esprit
d'équipe bonjour Christine largouette
bonjour bienvenue sur le plateau de
sciences en question vous êtes
enseignante chercheuse en informatique à
l'Institut agro renanger et je crois que
vous vous connaissez bien tous les deux
puisque vous travaillez ensemble dans la
même équipe inriia c'est ça tout à fait
on travaille dans l'équipe la odame donc
qui s'intéresse à explorer les larges
volumes de données et on a encadré
ensemble un doctorant qui a soutenu en
décembre dernier très bien alors on va
en parler ça fait longtemps que vous
travaillez ensemble sur ce sur
l'explicabilité de l'ya disons que ça
fait 34 ans à peu près ok alors donc je
disais comprendre le fonctionnement des
IA c'est une chose mais le transmettre
aux utilisateurs CEN est une autre déjà
à qui s'adressent les explications que
que vous cherchez à produire alors les
explications elles peuvent s'adresser
soit à des utilisateurs experts par
exemple dans le domaine de l'IA médical
ça peut être des médecins des
radiologues soit ça peut être des
utilisateurs lambda ce qu'on appelle des
utilisateurs lambda c'est-à-dire
Monsieur Tout monde voilà alors vous le
disiez vous avez encadré donc un
doctorant qui a don une partie de sa
thèse portée sur ça sur comment on peut
transmettre l'explication au grand
public aux utilisateurs à quoi il s'est
intéressé en s'adressant au aux
utilisateurs aux usagers en fait on est
parti du constat avec ce doctorant que
l'explicabilité c'était pour des
utilisateurs des personnes ordinaires
mais qui avait très peu de recherches
qui s'était intéressé à mais finalement
qu'est-ce que ces utilisateurs penseent
de ce qu'on produit pour eux est-ce
qu'ils apprécient ces explications
est-ce qu'ils les comprennent et
finalement qu'est-ce qu'ils en retire
donc à partir de là on a mené donc ce
qu'on appelle des user study donc donc
c'est des études d'utilisateur on a
interrogé des gens on leur a proposé
différents types d'explications et on a
recueilli leur ressenti sur est-ce
qu'ils comprenaient mieux l'algorithme
sa manière de fonctionner et est-ce que
finalement ils avaient beaucoup plus
confiance en l'algorithme d'IA une fois
qu'on leur avait expliqué le
fonctionnement d'accord donc il va même
jusqu'à étudier la confiance quoi ok
donc pour faire ça pour mener à bien sa
mission il s'est appuyé sur un un
algorithme en particulier CR un exemple
un algorithme test on va dire euh c'est
un algorithme qui fait quoi alors en
fait il a utilisé différents types
d'algorithmes de type boîte noire ouais
et il a utilisé des jeux de données
qu'on appelle des jeux de données test
hein qu'on utilise actuellement pour
essayer de prédire la probabilité qu'une
personne devienne obèse en fonction de
ses caractéristiques on va dire donc son
historique familiale
son alimentation est-ce qu'il prend des
produits caloriques ou pas son activité
physique le fait de rester longtemps ou
pas devant l'ordinateur bien sûr sa
taille et cetera donc voilà et à partir
de là il a proposé donc l'algorithme
d'explicabilité à proposer différents
types d'explications des explications à
base de règles donc un raisonnement
commun alors on va on va le montrer on a
une image pour pour appuyer ce que vous
allez nous expliquer on va voir donc il
a proposé trois explications différentes
c'est ça donc c'est ce qu'on voit à
l'horizontal en fait hein voilà donc il
a proposé trois types d'explications
différentes et deux modes de
représentation un mode de représentation
graphique c'est ce qu'on voit sur la
partie gauche et un mode de
représentation textuel donc en mode donc
texte de fores
différent voà sur la partie droite et
donc euh donc les différents types
d'explication la première partie c'est
des poids en fonction de quel critère
euh on va mettre un plus grand point un
plus grand coefficient donc quels sont
les critères qui ont le plus ance sur la
prédiction par exemple sur la génétique
on pourrait dire que voilà on va
apporter plus d'importance sur cet
aspect sur ce crit polarité c'estàdire
qu'il a des facteurs qui qui contribuent
positivement au risque deobessité et
d'autr contribu de façon négative voà et
et pour les autres par exemple sur le le
je rule based c'est en anglais donc là
c'est en fait c'est des explications à
base de règles donc là si la personne
par
exemple consomme beaucoup d'alimentation
très calorique son risque de d'être en
surpoids et plus
important les facteurs génétiques
également peuvent rentrer en ligne de
compte donc c'est des règles de type si
tel critère est vérifié alors la
conséquence est la suivante très bien et
donc il a donc il a soumis ça au aux aux
usagers donc il a soumis ces trois trois
explications et donc les usagers avaient
face à eux quoi une explication et pour
chaque explication deux représentations
différentes et il devait il devait
choisir si finalement cette explication
était convaincante ou pas
convaincante si jamais l'utilisateur
s'était trompé dans la prédiction une
fois que l'algorithme d'intelligence
artificielle lui donnait sa réponse
est-ce qu'il était convaincu de la
réponse apporté par l'algorithme
d'intelligence artificielle est-ce qu'il
était lui-même on va dire est-ce que
lui-même il allait changer cette
prédiction par rapport à ce qu'il avait
compris donc c'est-à-dire effectivement
dans un premier temps on a quand même
demandé à l'utilisateur de donner son
avis avant de lui donner la réponse de
Lia voilà voilà c'est ça en fait on a
comparé la prédiction que donnerait un
utilisateur sans avoir cette assistance
on lui a expliqué ce que ce qu'avait
prédit liya en lui montrant comment et à
partir de là on devait estimer si il
était prêt à changer cette prédiction
par rapport à cette assistance ou pas
j'imagine c'est compliqué de se dire où
est-ce qu'on met le curseur dans dans
l'explication enfin sur un phénomène
comme l'obésité qui est vraiment très
multifactoriel on va avoir des facteurs
on a parlé génétiques psychosociaux
évidemment comment on dit si comment
est-ce qu'on choisit si on on donne bah
que les trois premières explications les
plus importantes enfin les trois
premiers critères les plus importants ou
les 10 premiers critères les plus
importants et c'est difficile de
j'imagine de mettre le curseur ah bah
oui mais là ça dépend en fait déjà ça
dépend du domaine ça dépend du type
d'utilisateur euh des fois donner trop
d'explications ben c'est comme si on
n'en donnait pas parce que finalement
noyer sous les explications c'est pas
expliquer non
plus un déf dans l'explication de savoir
qu'est-ce qu'on apporte qu'est-ce qu'on
met dans l'explication bah voilà et ça
c'est c'est pour ça que ce domaine qui
est lié à l'explicabilité je pense qu'à
un moment donné il est aussi connexe
avec les sciences cognitives
c'est-à-dire que comment est-ce que on
perçoit ces explications c'est c'est
c'est un peu de la pédagogie aussi he
alors finalement si on regarde un peu
les résultats de de cette enquête
qu'est-ce qu'on observe dans Qu'est-ce
est-ce qu'il y a une explication qui est
préférée chez les utilisateurs pour le
cas de cette prédiction donc du risque
d'être en surpoids les utilisateurs ont
bien aimé les les explications à base de
règles ok je pense que c'est globalement
c'est ce qu'on avait vu aussi dans la
littérature c'est le type d'explication
qu'aiment bien les utilisateurs ou les
personnes parce que c'est un un mode de
raisonnement qu'on a toujours appliqué
par lequel on a appris aussi à l'école
on explique les choses par des règles de
dans le sens commun donc finalement
quand quand on cherche à nous expliquer
des des des modes de fonctionnement les
règles sont comprises assez
naturellement par la majorité de la
population c'est une logique avec
laquelle on est familière donc on
tendance à l'apprécier et sur la forme
est-ce qu'on préfère plutôt le texte ou
le graphique alors alors sur cet exemple
c'est les la représentation graphique
qui a été préféré ce qui nous a un petit
peu suris surpris ouais pouro comme quoi
euh moi moi parce que moi je conduis des
des autres
études un peu de Signat et non dans des
autres cas d'utilisation je trou on
avait trouvé en fait que les
utilisateurs préféraent les explications
textuelles trouvver ça plus naturel et
mais ici nous on a un hypothèse avec
Christine ou voulez nous la partager ou
ouais c'est du fait que quand une
explication est est donnée de façon
visuelle ça donne l'impression qu'il a
eu plus de travail derrière que c'est
plus sérieux le graphique ça fait
scientifique VO exactement et donc on on
pense que ça ça c'est la la la Raon la
raison mais je pense qu'il faudrait
encore approfondir euh et comment
comment ces résultats là pourrai com
aider par la suite euh ou guider en tout
cas la manière d'apporter des
explication déjà sur quoi ça fait
réfléchir disons que ces explications
euh ça permet quand même déjà dans un
premier temps bah d'occulter un peu ce
côté boîte noire des des systèmes à base
d'IA ça permet aussi donc si on
s'adresse à des développeurs ou à des
experts de détecter aussi des erreurs
qui pourrait y avoir dans ces
algorithmes il faut pas oublier que donc
ils apprennent à partir d'une quantité
de données qu'on peut pas toujours
vérifier et finalement il peut y avoir
des comportements un petit peu déviant
on va dire qui qui ont été appris et et
les explications c'est un moyen de
mettre en lumière peut-être des des
dysfonctionnements donc aussi corriger
corriger l'algorithme d'apprentissage
vous pensez comme comme Lauren l'a dit
tout à l'heure avec les assistants
vocaux que à l'avenir on pourra chaque
algorithme d'intelligence artificielle
qui sortira sur le marché sera
accompagné d'une explication h c'est une
bonne question je dirais que les
explications deviennent
cruciales dans des domaines dans
certains domaines je tout les domaines
alors si je pense par
exemple à l'assistante vocal qui me
recommande des chansons ou des des
contue à regarder et peut-être que
j'aurais pas besoin tout le temps tout
le temps d'avoir une explication de
pourquoi il m'a recommandé quelque chose
je pourrais avir c dessir très important
ouais voilà peut-être que je pourrais
avoir c dessir un instant instant donné
mais pas pas pas tout le temps mais si
par contre il a un système qui euh euh
je sais pas préd
prédit du cancer à partir des des 6agees
j'aimerais avoir bon avoir des bonnes
raisons une bonne justification avant de
de commencer un traitement par exemple
oui il y a des domaines prioritaires par
rapport par rapport à d'autres en tout
cas on l'a vu l'opacité des nous amène à
nous questionner sur la confiance qu'on
leur accorde on a sondé le public en
leur demandant si il faisait confiance à
liya écoutez leur réponse
[Musique]
non bien
sûr non bien sûr il y a toujours pour
moi le le le le l'humain reste le seul
décideur et en aucun cas je je ne me
firai jusqu'au bout à la machine parce
que derrière la machine il y a des gens
que je ne connais pas forcément et
cetera dans les faites oui bien sûr j'ai
fait faire une radio elle éit
interprétée par RA donc je me remets au
donc intellectuellement non dans les
fêes oui c'est une réponse de Normand
j'avais utilisé ça c'était pour une
recherche bah dans le cadre de mes
études j'ai vérifié effectivement oui il
y avait une part de vérité et une autre
part voilà c'est pas le mensonge mais
c'est pas vraiment ce que je recherchais
quoi enfin en fait cé un mélange de
plusieurs information et c'était à moi
du coup de trier ce que je devais
prendre ou pas faut aussi en fonction
qu'est-ce qu'il utilise comme base de
données je crois qu'il des qui ont fait
du Deep learning et qui sont devenus
raciste ou nazi parce qu'en fait elles
sont basées sur plein de commentaires
sur internet si vre médecin vous dit
qu'il a utilisé de li pour vous trouver
le bon médicament vous avez confiance
oui j'ai confiance je respecte c'est la
science c'est comme l'informatique comme
tout quoi c'est très très poussé c'est
bien mais non dans le domaine de la
santé là non li a surveiller par un
humain oui je ferai confiance après il
faut voir faut le positionner le curseur
de l'encadrement et c'est tout est à mon
sens l'enjeu est là est-ce que
spontanément il y a des témoignages qui
vous font réagir il y en a un qui vous a
fait qui vous a fait Tilé ou pas bon
c'estelui du domaine de la santé je
pense que c'est intéressant de voir que
c'est un domaine tellement critique où
euh on on on a vraiment envie d'être
rassuré et je pense que avoir la vie à
l'intervention des d'un être humain ça
rassure les les gens et bon en tout cas
bon je pense que l'idée de Cé de la
santé c'est vraiment assister les
médecins euh je suis pas sûr qu'on va
pouvoir remplacer les médecin par des
par des systèmes ça on l'a pas gardé
mais mais quasiment toutes les personnes
qu'on a interrogé nous ont tous dit bah
moi s'il y a un expert je fais confiance
mais lia tout seul jamais de la vie mais
je pense qu'aujourd'hui c'est la bonne
attitude à avoir c'est-à-dire que liya
c'est un outil qui nous offre quand même
plein de possibilités mais derrière je
pense qu'il faut qu'il y ait quand même
une vérification par par un humain
expert du domaine mais en même temps
s'il a pu gagner du temps grâce à lia et
qu'il a pu par exemple en cas dans le
cas d'un médecin traiter plus de
patients dans sa journée je pense que là
lia apporte du soutien après il y a
desas qui sont aujourd'hui B on a parlé
de Ch GPT évidemment il y a une jeune
fille qui nous dit qu'elle l'a testé
pour son dans dans le cadre de ses
études et elle se retrouve avec des
résultats qui sont pas tout à fait
justes il faut absolument garder cette
ce regard critique bien sûr ouais et
alors il y a un autre jeune homme qui
nous parle de de d'IA qui serait devenu
raciste en en utilisant des commentaires
sur Internet est-ce que nous en tant
qu'utilisateur on pourrait réussir à à à
trouver ces billets là alors ça fait
évidemment é à la chronique de marine
mais comment on peut s'en protéger sur
Chat GPT par exemple comment on sait
qu'elle est qu'elle est qu'elle est
fiable et qu'elle est pas qu'elle est
pas raciste par
exemple en gros pour savoir ça il faut
le tester malheureusement mais ça
m'évoque les les l'épisode de cette
chatbot de de Microsoft ta c'était un
chatbot était retiré très vite ouais qui
était c un chatbot sur Twitter sur
Twitter qui qui é arrêté avant moi des
des 24 Heures et qui et qui bon tout
d'un
coups c'est des choses pas drôles et et
bon c'est un peu le reflet des des
données qu'il avait qui ont été utilisé
pour entraîner ces chatbot merci très
bien ben merci à tous les deux alors
Christine Luis un peu comme vous faites
avec lisia Marine va retracer le chemin
que vous avez emprunté et les décisions
vous avez prise pour en arriver
jusqu'ici c'est notre séquence en
coulisse alors on a l'habitude de
commencer cette séquence par un petit
challenge je vais vous laisser 30
secondes à chacun pour vous présenter un
chrono va s'afficher à l'écran quand on
lancera le défi Louis c'est vous qui
passez le premier est-ce que vous êtes
prêts oui ok ben c'est parti alors top
euh alors je j'ai commencé bon c'est ce
schéma avec un parcours bon des études
d'ingénieurs à à en Équateur à à
l'université espol
euh qui ont été suivi par des études de
master en sciences en recherche en
informatique à l'université de sbour en
Allemagne et qui ont fini par ma thèse à
Télécom palitech à à Paris et voilà
après j'étais recruté en tant que chur
àinri Deen bravo pil Paul euh Christine
on enchaîne avec vous c'est bon vous
êtes prêtes aussi c'est parti ok bah top
chrono alors donc en ce qui me
concerne après des études d'ingénieur
j'ai découvert le monde de la recherche
en DEA ça s'appelle le Master 2
aujourd'hui et dès ce stage je me suis
dit que c'était vraiment ce métier que
je voulais absolument faire donc j'ai
fait une thèse ensuite j'ai été recrué
maître de conférence à l'agro de Ren
quelques années plus tard je suis partie
à l'université de la Nouvelle-Calédonie
pour faire prof et puis me voilà de
retour à Renn depuis défi relev ça
accepz merci à T les désolé mais vous
avez encore plein de choses à raconter
sur vos parcours Louise par exemple vous
ne l'avez pas dit dans votre
présentation mais quand vous étiez petit
vous voulez devenir horlogé oui oui et
donc vous en fait quand j'étais
petit je la récent je sais pas je sais
que mes premières mémoires de quand
j'étais enfant des choses que j'aimais
c'était vraiment fétiche par les
horloges des soit des soit les montres
les horloges sur le sur le mur et je
j'adorais les horloges au point que je
voulais les les les
démonter il AVM quel ils en avaient pas
marre vos parents de vous voir démonter
et casser toutes les hores mais je pense
que je pense qu'au bout d'un moment ils
sont finis par m'acheter des montres
très pas pas très cher pour que je
puisse les les démonter et à cette
époque bon évidemment vous ne faisiez
pas encore de programmation c'est au
collège que vous avez découvert les
algorithmes oui c'était au collège que
j'ai découvert le cours d'informatique
et bon depuis les il a un coup de foudre
bon qui continue encore avec la
l'informatique et qu'est-ce qui vous
plaisait dans les algorithmes à cette
époque là eu moi je pense que j'im bien
ce côté logique
j'avoue le fait de pouvoir exprimer tout
avec des formules avec des règles bien
bien bien précis ça je trouvais assez
intéressant en fait bien tout contrôler
t lesou ouais je j'aim bien ça j'avoue
que quand j'ai découvert l'informatique
c'était vraiment vraiment un coup de
foudre et en fait aujourd'hui vous
faites comme avec les horloges mais pour
lia vous de comprendre comment ça marche
ouais c'est ça Christine pour vous le
plus important quand on fait la
recherche en informatique c'est d'être
créatif donc non la créativité c'est pas
réservé à l'art il en a aussi en science
c'est un message important voilà oui
c'est un message important je pense que
en fait quand on fait des études de
Scien donc on acquiert beaucoup de
compétences et elles sont vraiment
importantes hein ça je pense que il faut
faut pas non plus remplacer tout par des
soft skills mais vraiment les
compétences scientifiques à un moment
donné quand on va vers la recherche il
faut un petit peu s'en détacher pour
essayer de trouver des nouvelles choses
forcément si on est trop ancré sur ce
qui existe et ben on va on va rester
trop on va dire collé à des schémas et
on va pas être suffisamment créatif et
comme ça ben ça va nous empêcher il faut
pas avoir de barrièrees au contraire
faire parz de vous parliez
d'enseignement c'est quelque chose que
vous essayez de transmettre à vos à vos
élèves alors
euh oui oui enfin j'essaie déjà de leur
transmettre euh la passion de
l'informatique pour commencer euh et
puis euh oui après euh dès qu'on a des
étudiants de M2 on essaie de leur donner
euh donc plus d'autonomie pour qu'ils
cherchent par eux-mêm et puis ensuite on
les encadre bah c'est surtout lors
d'encadrement en stage de Master 2 ce
qu'on a fait avec Louis et euh en test
que là euh les Capac cé recherche se
dévoile vraiment et et justement vous
avez évoqué votre séjour en votre séjour
c'était pas un séjour touristique mais
vos année en en nouvelle en
Nouvelle-Calédonie donc vous y avez
enseigné pendant 3 ans vous retenez quoi
de cette expérience alors j'ai beaucoup
j'ai beaucoup appris parce que
finalement on a l'impression que dans
l'enseignement supérieur français les
élèves se ressemblent tous mais en fait
non pas du tout et euh et en fait en
nouvellecalé
c'est une population qui est très très
variée avec des profils d'étudiants qui
sont différents des écoles d'ingénieur
là où je travaillais et en fait j'ai
formaté peut-être un peu moins formaté
sortant pas de prépa et en fait
finalement j'ai j'ai beaucoup appris à
leur contact parce qu'il a fallu que je
que je m'adapte que je développe de
nouvelles pédagogies et ça c'était
c'était vraiment très très intéressant
je regrette pas du tout cette expérience
lis vous aussi vous avez vous faites de
l'enseignement et vous avez déjà donc
transmis des transmis des notions quand
vous étiez étudiant à la fac déjà vous
organiseiez des ateliers pour apprendre
à utiliser des logiciels libres vous
avez créé une association c'est ça vous
voulez nous en parler un peu oui en fait
je me suis associé avec des collègues
et de ma génération et une prof
professeur qui Mo qui était plutôt fan
de des du logiciel libre en fait de
toute la la la mode open source et et en
fait on a décidé de s'associer et déjà à
acquérir des compétences nous-même donc
en fait nous j'ai installé du Linux sur
mon mon mon ordinateur bon à plusieurs
reprise à chaque fois qu'il avait une
nouvelle version d' l'installer et après
on a appris à voilà à se débrouiller
avec Linux donc en fait à remplacer tous
les outils queon avait l'habitude
d'utiliser sur Windows euh sur Linux
parce que Linux est un peu plus ouvert
on peut faire un peu plus ce c'est bon
c'est c'est un système d'exploitation
c'est c'est Open Source donc en fait le
code est ouvert et c'est c'est aussi
gratuit et et en fait une fois on a
acquéri ces compétences on s'est dit bon
on va les partager avec les gens donc on
a commencé à organiser des fait
d'installation d'installation parties
euh où en fait les gens allaient avec
leur ordinateur et puis nous on l' on
avait
plusieurs variant de Linux plus
distribution on dit et après on les
laissait choisir bon voilà quel quel
quel qu'est-ce que vous voulez installer
nous on le on les aidit on suivait la
l'installation donc apprenait à
installer et on était là et et on
organisait des ateliers pour apprendre à
utiliser les outils sur Linux et et la
cocoa c'est le nom de la de
l'association c'est ça oui c'est ça
c'était le nom de l'association euh je
suis un des fondateurs donc c'était en
2006 je me souviens que j'avais
travaillé avec ma la leader la prof euh
pour monter les sites web donc c'était
ouais parce que j'avais jamais fait ça
avant et du coup c'était un bon exercice
donc un peu touche à tout
hein j'ai casser le serveur quand même
on a du tout installé et
mais je me souviens Mo je me souviens
bien la les jours où on avait monter le
site web et puis c'est là où ça
commencait parce qu'on pouvait publier
des annonces des choses et et ça vient
marché et la communauté a grandi euh on
était CQ au début et plus notre notre
prof guide et puis on on était une quand
j'ai quitté et et la la communauté
existe donc en gros si je résume pour
faire de la recherche en informatique il
faut aimer le fonctionnement aimer
comprendre le fonctionnement des choses
il faut être créatif et puis il faut
aussi aimer transmettre oui vous êtes
d'accord ou d' bon avant de se quitter
vous allez nous faire quelques
recommandations culturelle c'est la ro
des invités
[Musique]
alors Christine votre recommandation
c'est le site web interstice vous pouvez
nous en dire quelques mots alors oui
c'est un site web qui est
écrit par des informaticiens je crois et
qui propose différents sujets de
vulgarisation et qui est vraiment très
très bien fait qui c'est en spécialisé
en informatique he Destic oui c'est
plutôt de l'informatique il y a un petit
peu de math peut-être et c'est vraiment
bien fait c'est pour des enfants on va
dire à partir du lycée et puis après
dans le supérieur et puis les parents
bien sûr ENF donc voilà mais je dirais à
partir de 15 ans quand même très bien on
ira jeter un coup d'œil pour vous Louis
c'est un livre alors c'est contre atlas
de l'intelligence artificiel de K
Crawford c'est ça oui oui c'est un livre
que j'ai lu il il a pas longtemps et et
qui en fait a un esprit un petit peu
plus critique donc en fait parle de de
prix du prix de l'intelligence
artificielle c'est même si ce sont des
technologies qui sont numériques qui pas
qui qui semblent dématérialiser en fait
il y a derrière il a des infrastructures
bien matérialisé qui permet faire tout
ça et je pense que il a plusieurs
messages mais un message que que je
retiens de C livre c'est que à chaque
fois qu'on a un problème et que on a
envie de d'appliquer de l'intelligence
artificielle il faut vraiment se poser
la question de si on a besoin parce que
ça un prix ça un prix au niveau des
ressources ça consomme de l'énergie et
et en fait ça besoin des données et et
donc quand on Cu les données il a des
sangétiques aussi qui qu'il faut prendre
en compte donc en fait à chaque fois
qu'on veut utiliser l'intelligence
artificielle il faut poser la question
de si vraiment on a besoin très bien ben
merci pour ces deux recommandations
merci aussi d'être venu sur le plateau
de science en question pour nous
expliquer l'explicabilité finalement
merci à vous d'avoir regardé cette
émission on arrive à la fin on se
retrouve bientôt pour d'autres
découvertes scientifiques ciao les
sorciers
[Musique]
[Applaudissements]
[Musique]
[Applaudissements]
[Musique]