anticiper les risques juridiques des algorithmes d’ia
TRANSCRIPT
Anticiper les Risques Juridiques des Algorithmes drsquoIAExemple de la Santeacute lrsquoIA au risque de la (loi de) Bioeacutethique
Philippe Besse
Universiteacute de Toulouse ndash INSA IMTndash UMR CNRS 5219 ObvIA ndash Universiteacute Laval
1100
Introduction
Le buzz de lrsquoIA
Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)
bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique
bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg
apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go
bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel
notamment en Santeacute
2100
Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees
Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron
1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales
1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees
1990s GO Data mining donneacutees preacute-acquises Boosting SVM
2000s TO p gtgt n Machine Learning Lasso random forest
2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop
2012 Deep Learning ConvNet TensorFlow
2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN
2020 IA hybride federated learning
3100
Introduction
IA eacutethique ou soft law
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Introduction
Le buzz de lrsquoIA
Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)
bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique
bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg
apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go
bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel
notamment en Santeacute
2100
Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees
Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron
1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales
1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees
1990s GO Data mining donneacutees preacute-acquises Boosting SVM
2000s TO p gtgt n Machine Learning Lasso random forest
2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop
2012 Deep Learning ConvNet TensorFlow
2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN
2020 IA hybride federated learning
3100
Introduction
IA eacutethique ou soft law
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Battage meacutediatique sur lrsquoIntelligence Artificielle (IA)
bull Convergence entre puissance de calculstockage accegraves agrave des masses de donneacuteesamp algorithmes drsquoapprentissage automatique
bull Apregraves le buzz grosses data celui sur lrsquoIAbull Succegraves meacutediatiseacutes drsquoalgorithmes eg
apprentissage profond ou deep learningReconnaissance drsquoimages veacutehicules autonomesjeu de go
bull lrsquoIA consomme beaucoup de donneacuteesbull Donneacutees confidentielles agrave fort impact personnel
notamment en Santeacute
2100
Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees
Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron
1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales
1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees
1990s GO Data mining donneacutees preacute-acquises Boosting SVM
2000s TO p gtgt n Machine Learning Lasso random forest
2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop
2012 Deep Learning ConvNet TensorFlow
2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN
2020 IA hybride federated learning
3100
Introduction
IA eacutethique ou soft law
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Historique de la Statistique agrave lrsquoIA hybride par la Science des Donneacutees
Statistique Informatique AlgosndashTechnos1930-60s HO Statistique Infeacuterentielle Deacutebut de lrsquoIA (1955) Reacutegression Perceptron
1970s KO Exploratory Data Analysis Systegravemes experts Composantes Principales
1980s MO Statistique fonctionnelle Reacuteseaux de neurones CARTrees
1990s GO Data mining donneacutees preacute-acquises Boosting SVM
2000s TO p gtgt n Machine Learning Lasso random forest
2008 Data Scientist2010s PO p et n tregraves grands Big Data Hadoop
2012 Deep Learning ConvNet TensorFlow
2016 Intelligence Artificielle AlphaGo Zero XGBoost GAN
2020 IA hybride federated learning
3100
Introduction
IA eacutethique ou soft law
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Introduction
IA eacutethique ou soft law
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Amazon Apple Facebook GoogleIBM Microsoft (2015)
4100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Introduction
Eacutethique Confiance amp Acceptabiliteacute
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Eacutethique Confiance Acceptabiliteacute Loi
bull Enjeux socieacutetaux amp financiers consideacuterablesbull Acceptabiliteacute des nouvelles technologiesbull Pas de confiance rArr pas de donneacutees rArr pas drsquoIAbull Entreprises philanthropiques et altruistes
Faire confiance agrave la Loi plutocirct qursquoagrave lrsquoEacutethique
bull Une loi simple applicable est preacutefeacuterable agrave des dizaines de chartes eacutethiquesbull Attention agrave lrsquoeacutethical washingbull Applicabiliteacute des textes de loi vs disruptions technologiquesbull Auditabiliteacute des algorithmes (Villani 2018)bull Capaciteacute de deacutetection des transgressions de la loi
5100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Plan de lrsquoexposeacute
1 De quelle IA est-il question 2 Cadre juridique3 Reacuteglementation agrave venir (CE)4 Les algorithmes drsquoIA en Santeacute
bull Domaines de Santeacute concerneacutesbull Risques des impacts de lrsquoIA
6100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
1 Quelle IA
IA du quotidien amp apprentissage statistique
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Intelligence Artificielle au quotidien
bull Pas de Science Fiction transhumanisme singulariteacute technologique lois drsquoAsimovbull Pas de Sociologie destruction des emplois qualifieacutes big data big brotherbull Deacutecisions algorithmiques ou aides automatiques agrave la deacutecision (IA faible)bull Apprentissage statistique (statistical learning) entraicircneacutes sur des bases de donneacuteessub apprentissage automatique (machine learning) sub IA
bull Risque de deacutefaut de paiement (score de creacutedit) comportement agrave risque (assurance)bull Risque de rupture de contrat (marketing) reacutecidive (justice) passage agrave lrsquoacte (police)bull Profilage automatique publicitaire professionnel (CV videacuteos carriegravere)bull Risque de fraude (assurance banque) deacutefaillance drsquoun systegraveme industrielbull Diagnostic en imagerie meacutedicale (deep learning)bull Autres applications en Santeacutebull 95 des applications de lrsquoIA (Yan Le Cun)
bull NMF MLG Arbres binaires SVM random forest boosting deep learning
7100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Statistique Infeacuterentielle vs Apprentissage Statistique
bull Objectif explicatif de la statistique infeacuterentielle testsbull Montrer lrsquoinfluence drsquoun facteur en controcirclant le risque drsquoerreurbull Essais cliniques phase III effet drsquoune moleacutecule vs placebobull Tests statistiques outils de preuve scientifique
bull Objectif preacutedictif en Statistique et apprentissage automatiquebull Preacutevision amp explicationbull Preacutevision brutebull Seacutelectionner le modegravele ou algorithme minimisant le risque ou erreur de preacutevision
bull Deux types de risque ou drsquoerreur bull Deacutecision (oui non) sur lrsquoimpact drsquoun facteur sur un pheacutenomegravenebull Preacutevoir lrsquooccurrence ou la valeur prise par ce pheacutenomegravene
8100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Principe de lrsquoapprentissagep Variables ou caracteacuteristiques X jj=1p observeacutees sur i = 1 n individus
Y Variable cible agrave modeacuteliser ou preacutedire et observeacutee sur le mecircme eacutechantillon
Y = f(
X1 X2 middot middot middot X j middot middot middot Xp)
y1yi
yn
= f
x11 x2
1 middot middot middot x j1 middot middot middot xp
1
x1i x2
i middot middot middot x ji middot middot middot xp
i
x1n x2
n middot middot middot x jn middot middot middot xp
n
+
ε1εiεn
y0 = f
(x1
0 x20 middot middot middot x j
0 middot middot middot xp0
)y0 preacutevision de Y apregraves observation de [x1
0 x20 middot middot middot x
p0 ]
9100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
1 Quelle IA
Qualiteacute et limites de lrsquoapprentissage
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Facteurs de qualiteacute drsquoune preacutevision
bull Les donneacuteesbull Repreacutesentatives sans biais de lrsquoeacutechantillonbull Classes eacutequilibreacuteesbull Observation des variables pertinentes causalesbull Variance reacuteduite du bruitbull Donneacutees manquantes et imputationbull Erreurs de mesure et deacutetection drsquoanomalies
bull Taille n de lrsquoeacutechantillon deacutepend debull Nombre p de variables ou plutocirct debull paramegravetres de lrsquoalgorithme (deep learning)bull Variance du bruit
10100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Limites de lrsquoapprentissage statistique
bull Essentiel qualiteacute des donneacutees repreacutesentativiteacute quantiteacuteapprentissage amp reproduction des biais
bull Ne pas confondre qualiteacute drsquoajustement qualiteacute de preacutevision drsquoune moyenneamp qualiteacute de preacutevision individuelle
bull Lrsquoefficaciteacute du deep learning eg en reconnaissance drsquoimagenrsquoest pas transposable agrave tout problegraveme
bull Algorithmes non lineacuteaires boicircte noire pas interpreacutetablebull Applications en Santeacute amp Complexiteacute du vivant
11100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
1 Quelle IA
Risques des impacts socieacutetaux de lrsquoIA reacutesumeacute
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Risques des impacts socieacutetaux des deacutecisions algorithmiques(Besse et al 2017 Besse et al 2019-a)
Cinq questions Juridiques et ou Eacutethiques
1 Protection proprieacuteteacute confidentialiteacute des donneacutees personnelles (RGPD CNIL)2 Qualiteacute robustesse reacutesilience des preacutevisions donc des deacutecisions3 Explicabiliteacute vs opaciteacute des algorithmes4 Biais amp Discrimination des deacutecisions algorithmiques5 Entraves agrave la concurrence comparateurs pricing automatique
Situation complexe les risques sont interdeacutependants
12100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
IA santeacute et eacutethique risques speacutecifiquesDeux points majeurs Racine et al (2019)Wiens et al (2019) plus un (Besse et al2019-b)
1 Consentement eacuteclaireacute responsabiliteacutevs Opaciteacute de lrsquoIA
2 Quels sont les risques dediscrimination
3 Quel eacutequilibre beacuteneacutefice risque Inteacuterecirct public vs Confidentialiteacute desdonneacutees
Source Le Monde du 8 deacutecembre 2015
13100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
Mille-feuille de textes
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Mille-feuille de textes juridiques
bull Loi no 78-17 du 6011978 relative agrave lrsquoinformatique aux fichiers et aux liberteacutesbull Loi no 2015-912 du 24072015 relative au renseignementbull Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)bull Deacutecrets drsquoapplications (2017)bull RGPD Regraveglement Geacuteneacuteral pour la Protection des Donneacutees 05-2018bull Loi no 2018-493 du 20 juin 2018 informatique et liberteacutes (LIL 3)bull Conseil Constitutionnel Deacutecision no 2018-765 DC du 12 juin 2018bull Code peacutenalbull Code des relations entre le public et les administrationsbull Code de la Santeacute publiquebull
14100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
RGPD
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Consideacuterant 71 Afin drsquoassurer un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] le responsable du traitement devrait utiliser des proceacutedures matheacutematiques oustatistiques adeacutequates aux fins du profilage appliquer les mesures techniques et organisationnellesapproprieacutees pour faire en sorte en particulier que les facteurs qui entraicircnent des erreurs dans les donneacuteesagrave caractegravere personnel soient corrigeacutes et que le risque drsquoerreur soit reacuteduit au minimum et seacutecuriser lesdonneacutees agrave caractegravere personnel drsquoune maniegravere qui tienne compte des risques susceptibles de peser sur lesinteacuterecircts et les droits de la personne concerneacutee et qui preacutevienne entre autres les effets discriminatoires agravelrsquoeacutegard des personnes physiques fondeacutees sur la lrsquoorigine raciale ou ethnique les opinions politiques lareligion ou les convictions lrsquoappartenance syndicale le statut geacuteneacutetique ou lrsquoeacutetat de santeacute ou lrsquoorientationsexuelle ou qui se traduisent par des mesures produisant un tel effet La prise de deacutecision et le profilageautomatiseacutes fondeacutes sur des cateacutegories particuliegraveres de donneacutees agrave caractegravere personnel ne devraient ecirctreautoriseacutes que dans des conditions speacutecifiques
15100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Article 12 Le responsable du traitement prend des mesures approprieacutees pour fournir toute information[] ainsi que pour proceacuteder agrave toute communication [] en ce qui concerne le traitement agrave la personneconcerneacutee drsquoune faccedilon concise transparente compreacutehensible et aiseacutement accessible en des termesclairs et simples []
bull Articles 14 et 15 [] le responsable du traitement fournit agrave la personne concerneacutee les informationssuivantes neacutecessaires pour garantir un traitement eacutequitable et transparent agrave lrsquoeacutegard de la personneconcerneacutee [] lrsquoexistence drsquoune prise de deacutecision automatiseacutee y compris un profilage viseacutee agrave lrsquoarticle22 paragraphes 1 et 4 et au moins en pareils cas des informations utiles concernant la logiquesous-jacente ainsi que lrsquoimportance et les conseacutequences preacutevues de ce traitement pour la personneconcerneacutee
16100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Article 22 Deacutecision individuelle automatiseacutee y compris le profilage
1 La personne concerneacutee a le droit de ne pas faire lrsquoobjet drsquoune deacutecision fondeacutee exclusivement sur untraitement automatiseacute y compris le profilage produisant des effets juridiques la concernant oulrsquoaffectant de maniegravere significative de faccedilon similaire
2 Le paragraphe 1 ne srsquoapplique pas lorsque la deacutecision a est neacutecessaire agrave la conclusion ou agrave lrsquoexeacutecution drsquoun contrat entre la personne concerneacutee et un
responsable du traitement b est autoriseacutee par le droit de lrsquoUnion ou le droit de lrsquoEacutetat membre auquel le responsable du
traitement est soumis et qui preacutevoit eacutegalement des mesures approprieacutees pour la sauvegarde desdroits et liberteacutes et des inteacuterecircts leacutegitimes de la personne concerneacutee ou
c est fondeacutee sur le consentement explicite de la personne concerneacutee
3 Dans les cas viseacutes au paragraphe 2 points a) et c) le responsable du traitement met en œuvre desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee au moins du droit de la personne concerneacutee drsquoobtenir une intervention humaine de la part duresponsable du traitement drsquoexprimer son point de vue et de contester la deacutecision
4 Les deacutecisions viseacutees au paragraphe 2 ne peuvent ecirctre fondeacutees sur les cateacutegories particuliegraveres de donneacutees agravecaractegravere personnel (cf article 9 biomeacutetriques geacuteneacutetiques de santeacute ethniques orientation politiquesyndicale sexuelle religieuse philosophique) sous reacuteserve drsquoun inteacuterecirct public substantiel et que desmesures approprieacutees pour la sauvegarde des droits et liberteacutes et des inteacuterecircts leacutegitimes de la personneconcerneacutee ne soient en place 17100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
Explicabiliteacute
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Loi no 2016-1321 du 7102016 pour une Reacutepublique Numeacuterique (Lemaire)
bull Article 6 Sous reacuteserve des secrets proteacutegeacutes les administrations publient en ligne les regravegles deacutefinissantles principaux traitements algorithmiques utiliseacutes dans lrsquoaccomplissement de leurs missions lorsqursquoilsfondent des deacutecisions individuelles
bull Article 50 Les opeacuterateurs de plateformes en ligne dont lrsquoactiviteacute deacutepasse un seuil de nombre de
connexions deacutefini par deacutecret eacutelaborent et diffusent aux consommateurs des bonnes pratiques visant agrave
renforcer les obligations de clarteacute de transparence et de loyauteacute
18100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Deacutecret du 16032017 Art R 311-3-1-2 (APB)Lrsquoadministration communique agrave la personne faisant lrsquoobjet drsquoune deacutecision individuelle prise sur le fondementdrsquoun traitement algorithmique agrave la demande de celle-ci sous une forme intelligible et sous reacuteserve de ne pasporter atteinte agrave des secrets proteacutegeacutes par la loi les informations suivantes
1 Le degreacute et le mode de contribution du traitement algorithmique agrave la prise de deacutecision
2 Les donneacutees traiteacutees et leurs sources
3 Les paramegravetres de traitement et le cas eacutecheacuteant leur pondeacuteration appliqueacutes agrave la situation de lrsquointeacuteresseacute
4 Les opeacuterations effectueacutees par le traitement
19100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
Risque de discrimination
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Article 225-1 du code peacutenal
bull Constitue une discrimination toute distinction opeacutereacutee entre les personnes physiques sur le fondement de
leur origine de leur sexe de leur situation de famille de leur grossesse de leur apparence physique de la
particuliegravere vulneacuterabiliteacute reacutesultant de leur situation eacuteconomique apparente ou connue de son auteur de
leur patronyme de leur lieu de reacutesidence de leur eacutetat de santeacute de leur perte drsquoautonomie de leur
handicap de leurs caracteacuteristiques geacuteneacutetiques de leurs mœurs de leur orientation sexuelle de leur
identiteacute de genre de leur acircge de leurs opinions politiques de leurs activiteacutes syndicales de leur capaciteacute agrave
srsquoexprimer dans une langue autre que le franccedilais de leur appartenance ou de leur non-appartenance vraie
ou supposeacutee agrave une ethnie une Nation une preacutetendue race ou une religion deacutetermineacutee
bull Constitue une discrimination indirecte une disposition un critegravere ou une pratique neutre en apparence
mais susceptible drsquoentraicircner pour lrsquoun des motifs mentionneacutes au premier alineacutea un deacutesavantage
particulier pour des personnes par rapport agrave drsquoautres personnes agrave moins que cette disposition ce critegravere
ou cette pratique ne soit objectivement justifieacute par un but leacutegitime et que les moyens pour reacutealiser ce but
ne soient neacutecessaires et approprieacutes
20100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Loi claire et explicite sur la non-discrimination
bull Article 21 de la Charte des Droits Fondamentaux de lrsquoUnion Europeacuteennebull Code peacutenal
La discrimination deacutefinie aux articles 225-1 agrave 225-1-2 commise agrave lrsquoeacutegard drsquoune personne physique oumorale est punie de trois ans drsquoemprisonnement et de 45 000 euros drsquoamende lorsqursquoelle consiste agrave
1 refuser la fourniture drsquoun bien ou drsquoun service2 entraver lrsquoexercice normal drsquoune activiteacute eacuteconomique quelconque3 refuser drsquoembaucher agrave sanctionner ou agrave licencier une personne
Faire appliquer la loi
bull Comment deacutetecter une discrimination algorithmique
21100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
Textes speacutecifiques en Santeacute
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Redevabiliteacute vs Opaciteacute
bull Article L1111-4 du code de la santeacute publiqueAucun acte meacutedical ni aucun traitement ne peut ecirctre pratiqueacute sans leconsentement libre et eacuteclaireacute de la personne et ce consentement peut ecirctreretireacute agrave tout moment
bull Quelle explication Intelligible drsquoune deacutecision algorithmiquebull issue drsquoun algorithme drsquoIA opaque bull Comment caracteacuteriser les responsabiliteacutes en cas drsquoeacutechec ou drsquoerreur
Non-discrimination
bull Article L1110-3 du code de santeacute publique Modifieacute par Loi 2012-954 du 6 aoucirct 2012
bull Aucune personne ne peut faire lrsquoobjet de discriminations dans lrsquoaccegraves agrave lapreacutevention ou aux soins
22100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Beacuteneacutefice vs RisqueArticle L1461-3 du code de santeacute publique
bull I-Un accegraves aux donneacutees agrave caractegravere personnel du systegraveme national des donneacutees de santeacute ne peut ecirctreautoriseacute que pour permettre des traitements 1 Soit contribuant agrave une finaliteacute mentionneacutee au III delrsquoarticle L 1461-1 et reacutepondant agrave un motif drsquointeacuterecirct public
bull III-Le systegraveme national des donneacutees de santeacute a pour finaliteacute la mise agrave disposition des donneacutees dans les
conditions deacutefinies aux articles L 1461-2 et L 1461-3 pour contribuer 1 Agrave lrsquoinformation sur la santeacute
ainsi que sur lrsquooffre de soins la prise en charge meacutedico-sociale et leur qualiteacute 2 Agrave la deacutefinition agrave la mise
en œuvre et agrave lrsquoeacutevaluation des politiques de santeacute et de protection sociale 3 Agrave la connaissance des
deacutepenses de santeacute des deacutepenses drsquoassurance maladie et des deacutepenses meacutedicosociales 4 Agrave lrsquoinformation
des professionnels des structures et des eacutetablissements de santeacute ou meacutedico-sociaux sur leur activiteacute 5 Agrave
la surveillance agrave la veille et agrave la seacutecuriteacute sanitaires 6 Agrave la recherche aux eacutetudes agrave lrsquoeacutevaluation et agrave
lrsquoinnovation dans les domaines de la santeacute et de la prise en charge meacutedico-sociale
23100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
2 Textes juridiques
Reacutesumeacute
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Cadre juridique reacutesumeacute
bull Cadre lourd et complexebull Qualiteacute des deacutecisions rien drsquoexplicitebull Explicabiliteacute des deacutecisions flou et inadapteacutebull Discrimination stricte mais inapplicablebull Inteacuterecirct public substantiel de la recherche en Santeacute Deacutefinition
bull Ouverture (Health Data Hub) des donneacutees pour la Recherche (publique priveacutee )bull Sous reacuteserve de Confidentialiteacutebull Objections de la CNIL et de la CNAM pour un deacutepocirct Microsoft Azure
24100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
3 Reacuteglementation agrave venir
Annonces europeacuteennes
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Lignes directrices en matiegravere drsquoeacutethique pour une IA de confianceGroupe drsquoexperts indeacutependants de hauts niveaux sur lrsquoIntelligence artificielle(2018ndash2020)
bull (52) Si les biais injustes peuvent ecirctre eacuteviteacutes les systegravemes drsquoIA pourraient mecircme ameacuteliorer le caractegravereeacutequitable de la socieacuteteacute
bull (53) Lrsquoexplicabiliteacute est essentielle les deacutecisions ndash dans la mesure du possible ndash doivent pouvoir ecirctreexpliqueacutees
bull (69) Il est important que le systegraveme puisse indiquer le niveau de probabiliteacute de ces erreurs
bull (80) Absence de biais injustesLa persistance de ces biais pourrait ecirctre source de discrimination et de preacutejudice (in)directs Dans lamesure du possible les biais deacutetectables et discriminatoires devraient ecirctre supprimeacutes lors de la phase decollecte
bull (106) (107) besoin de normalisation25100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
IA ndash Une approche europeacuteenne axeacutee sur lrsquoexcellence et la confianceLivre blanc mdash 19022020
bull IA qui combine donneacutees algorithmes et puissance de calcul
bull Risques potentiels tels que lrsquoopaciteacute de la prise de deacutecisions la discrimination
bull Enjeu majeur acceptabiliteacute et adoption de lrsquoIA neacutecessite une IA digne de confiance
bull Fondeacutee sur les droits fondamentaux de la digniteacute humaine et la protection de la vie priveacutee
bull Proposer les eacuteleacutements clefs drsquoun futur cadre reacuteglementaire
bull Deacuteceler et prouver drsquoeacuteventuelles infractions agrave la leacutegislation
bull Notamment aux dispositions juridiques qui protegravegent les droits fondamentaux agrave cause de lrsquoopaciteacute desalgorithmes
26100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Chapitre III Liste drsquoeacutevaluation pour une IA digne de confiance
1 Action humaine et controcircle humain2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)3 Respect de la vie priveacutee et gouvernance des donneacutees (qualiteacute)4 Transparence (explicabiliteacute communication)5 Diversiteacute non-discrimination et eacutequiteacute6 Bien-ecirctre socieacutetal et environnemental (durabiliteacute interactions)
Utiliteacute amp bien commun Balance beacuteneacutefice risque7 Responsabiliteacute (auditabiliteacute recours) 27100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
3 Reacuteglementation agrave venir
Qualiteacute robustesse reacutesilience des deacutecisionsalgorithmiques
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Qualiteacute des deacutecisions amp vide juridique
bull Algorithme drsquoapprentissage erreur de preacutevision qualiteacute de deacutecision confiancebull Taux drsquoerreur de 3 en image vs 30 agrave 40 pour le risque de reacutecidivebull Consideacuterant (71) du RGPD mais loi franccedilaise muettebull Ethical washing amp inteacuterecirct commercial cf publication des sondages drsquoopinionbull Ne pas confondre estimation preacutevision drsquoune moyenne (loi des grands nombres)
et celle drsquoun comportement individuelbull Eacutethique Obligation de moyen pas de reacutesultat mais obligation de transparencebull Industrie et Santeacute objectif de certification
28100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Exemple de questions de la liste drsquoeacutevaluation2 Robustesse technique et seacutecuriteacute (reacutesilience preacutecision)
bull Avez-vous eacutevalueacute le niveau de preacutecision et la deacutefinition de la preacutecision neacutecessairesdans le contexte du systegraveme drsquoIA et du cas drsquoutilisation concerneacute
bull Avez-vous reacutefleacutechi agrave la maniegravere dont la preacutecision est mesureacutee et assureacutee bull Avez-vous mis en place des mesures pour veiller agrave ce que les donneacutees utiliseacutees
soient exhaustives et agrave jour bull Avez-vous mis en place des mesures pour eacutevaluer si des donneacutees suppleacutementaires
sont neacutecessaires par exemple pour ameacuteliorer la preacutecision et eacuteliminer les biais 29100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Preacutecision amp choix drsquoune meacutetrique
bull Reacutegression variable cible Y quantitativeFonction perte L2 (quadratique) ou L1 (valeur absolue)
bull Classification binaireTaux drsquoerreur AUC (area under the ROC Curve) score Fβ entropie
bull MulticlasseTaux drsquoerreur moyen Fβ moyen
Robustesse
bull Valeurs atypiques et choix de la fonction pertebull Deacutetection des anomalies (outliers) de la base drsquoapprentissage en exploitation
Reacutesilience
bull Donneacutees manquantes de la base drsquoapprentissage en exploitation 30100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
3 Reacuteglementation agrave venir
Explicabiliteacute drsquoune deacutecision
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Exemple de questions de la liste drsquoeacutevaluation4 Transparence (explicabiliteacute communication)
bull Avez-vous eacutevalueacute la mesure dans laquelle les deacutecisions prises et donc les reacutesultatsobtenus par le systegraveme drsquoIA peuvent ecirctre compris
bull Avez-vous veilleacute agrave ce qursquoune explication de la raison pour laquelle un systegraveme aproceacutedeacute agrave un certain choix entraicircnant un certain reacutesultat puisse ecirctre renduecompreacutehensible pour lrsquoensemble des utilisateurs qui pourraient souhaiter obtenirune explication
31100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Quelle niveau drsquoexplication Pour qui (Barredo Arrieta et al 2020)426 reacutefeacuterences
1 Fonctionnement geacuteneacuteral de lrsquoalgorithme domaines de deacutefaillancesbull Modegraveles lineacuteaires arbres vs algorithme opaque neurones agreacutegation SVM
bull Approximation lineacuteaire arbre regraveglesbull Importance des variables stress de lrsquoalgorithme et impact (Bachoc et al 2020)
2 Deacutecision speacutecifiquebull Concepteur Expliquer une erreur y remeacutedier reacute-apprentissagebull Personne concerneacutee client patient justiciable
bull Interpreacutetable modegravele lineacuteaire arbre de deacutecisionbull Approximation locale LIME contre-exemple regraveglesbull a minima risque drsquoerreur
Quelques deacutemos aix360mybluemixnet githubcomMAIFshapash wwwgems-aicom
32100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
3 Reacuteglementation agrave venir
Risques de discrimination
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Exemple de questions de la liste drsquoeacutevaluation5 Diversiteacute non-discrimination et eacutequiteacute
bull Avez-vous preacutevu une deacutefinition approprieacutee de lrsquoeacutequiteacute que vous appliquez dans laconception des SIA
bull Avez-vous mis en place des processus pour tester et controcircler les biais eacuteventuels aucours de la phase de mise au point de deacuteploiement et drsquoutilisation du systegraveme
bull Avez-vous preacutevu une analyse quantitative ou des indicateurs pour mesurer ettester la deacutefinition appliqueacutee de lrsquoeacutequiteacute
33100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Deacutetection drsquoune discrimination de groupe ou indirecte critegraveres statistiques
bull Pas de deacutefinition juridique de lrsquoeacutequiteacute absence de discriminationbull Indicateurs de discrimination Zliobaiteacute (2017) 70 sur aif360mybluemixnet
bull Critegraveres redondants correacuteleacutes Friedler et al (2019) Verma et Rubin (2018)bull En pratique Trois niveaux de biais estimeacutes par IC (Besse et al 2020)
Deacutepocirct Github des fonctions en R et Python1 Effet disproportionneacute ou Disparate Impact (demographic equality)
Code du travail aux USA DI = P(Y=1|S=0)P(Y=1|S=1) (Barocas et Selbst 2016)
2 Taux drsquoerreur conditionnels (overall error equality) P(Y 6=Y |S=0)P(Y 6=Y |S=1)
Reconnaissance faciale santeacute (Besse et al 2019) emploi (De Arteaga et al 2019)3 Eacutegaliteacute des cotes (equali odds) P(Y=1|Y=0S=0)
P(Y=1|Y=0S=1) et P(Y=1|Y=1S=0)P(Y=1|Y=1S=1)
Justice preacutedictive Propublica vs equivant (Compas)
34100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Cas drsquoUsage illustratif Adult Census Dataset
bull Code disponible sur githubwikistatbull Donneacutees publiques de lrsquoUCIbull 48 842 individus deacutecrits par 14 variables issues drsquoun
sondage aux USA (1994)bull Genre origine ethnique niveau drsquoeacuteducation
occupation statut familial nombre drsquoheurestravailleacutees par semaine
bull Y Seuil de Revenu infeacuterieur ou supeacuterieur agrave 50k$bull Preacutevision de la classe ou solvabiliteacutebull Donneacutees largement biaiseacutees selon le genre biaiseacutees
selon lrsquoorigine
DI = P(Y=1|S=0)P(Y=1|S=1) = 037
P (DI isin [035 038]) = 095
35100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
Deacutetection de la discrimination indirecte (DI = P(Y=1|S=0)P(Y=1|S=1)
) de diffeacuterents algorithmes
Attention impact de la correction de lrsquoeffet disproportionneacute sur les deux autres biais36100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100
3 Reacuteglementation agrave venir
Conclusion
Reacuteglementation agrave venir conclusion
bull Questionnaire lourd drsquoeacutevaluation ex ante drsquoun projet drsquoIA vs audit ex postbull Analogue au PIA (privacy impact assessment) du RGPD
(analyse drsquoimpact de la protection des donneacutees)bull Renversement de la charge de preuvebull Documenter degraves le lancement drsquoun projet objectifs donneacuteesbull En Santeacute remboursement des systegravemes connecteacutes (CNEDiMTS de la HAS)
(annexe)bull Travail en devenir textes juridiques agrave venir et recherches en coursbull Anticipation neacuteanmoins indispensable de cette documentation ex ante
37100
4 LrsquoIA en Santeacute
Domaines concerneacutes
Domaines de Santeacute concerneacutes par LrsquoIA
bull Reacutevision de la Loi Bioeacutethique de 2011bull Eacutetats Geacuteneacuteraux de la Bioeacutethique (2018)
abordent neuf points bull Procreacuteation Embryon Dons drsquoorganes
Fin de vie Neurosciences Environnementbull Trois points concernent lrsquoIA
1 Bases de donneacutees de santeacute2 Meacutedecine geacutenomique3 IA amp robotisation de la meacutedecine Source Le Monde du 6 janvier 2018
38100
Bases de Donneacutees
bull SNDS (Systegraveme National des Donneacutees de Santeacute) sub Health Data Hub sub Microsoft Azure
bull Assurance maladie (base SNIIRAM)
bull Hocircpitaux (base PMSI)
bull Causes meacutedicales de deacutecegraves
bull Donneacutees relatives au handicap
bull Assurance maladie compleacutementairebull Plan Meacutedecine France Geacutenomique 2025 SeqOIA (Paris) AURAGEN (Lyon)
Accegraves INDS (Institut National des Donneacutees de Santeacute) apregraves avis de la CNIL
39100
Meacutedecine geacutenomique
bull Meacutedecine 4p bull Preacutedictive drsquoun risque pathologiquebull Preacuteventive de ce risquebull Participative car participation neacutecessaire agrave la
preacuteventionbull Personnaliseacutee ou de preacutecision car theacuterapie
cibleacutee pour une personne
bull Donc geacutenomiquebull Meacutedecine translationnelle
bull Acceacuteleacuterer les applications de la recherchebull Favoriser les eacutechanges pluridisciplinariteacute
donneacutees ouvertes
Source Reacuteseau Reacutegional de Canceacuterologie Icircle-de-France
2017
40100
Donneacutees de meacutedecine Geacutenomique
bull Geacutenome complet (3400Mpb) 26517gegravenes proteacuteiques (15)
bull Genomic Wide Association Studies(GWAS) ou eacutetudes pangeacutenomiques
bull Single Nucleotide Polymorphism(SNP)
Manhattan Plot (Lindstroumlm et al 2017)
Eacutetudes pangeacutenomiques
bull Bases de donneacutees jusqursquoagrave 167 millions de SNP par individusbull Associer mutations avec pheacutenotypes (pathologies) tests statistiques classiquesbull Maladies rares monogeacutenique vs polygeacuteniques ou polyfactorielles chroniquesbull Problegravemes Reproductibiliteacute (Ioannidis 2016) environnement eacutepigeacuteneacutetique
41100
IA et robotisation de la meacutedecine
bull Robots de micro-chirurgiebull Aide au diagnostic
bull Imagerie meacutedicale ECG EEG apprentissage profond ou deep learning
bull Identification de biomarqueurs preacuteventifs eacutetudes omiques
bull Aide aux choix theacuterapeutiques eg IBM Watson
bull Surveillance effets secondaires amp base SNIIRAM
(Morel et al 2019)bull Suivi eacutepideacutemiologique de grandes cohortes
constances (Zins et al 2010)
Source Life Science Daily News Desk on January 31 2017
42100
4 LrsquoIA en Santeacute
Risques des impacts de lrsquoIA en Santeacute
Biais et discrimination en Santeacute
bull Biais de socieacuteteacute (Lee et al 2019)exacerbeacutes (Obermayer et Mullainathan 2019)
bull Meacutedecine 4p personnaliseacutee Biais des bases pangeacutenomiques
bull Ethnique population drsquoascendance blancheeuropeacuteenne (Popejoy et Fullerton 2016)
bull Acircge et environnement bases transversales etpas longitudinales
bull Genre Chang et al (2014) Pulit et al (2017) Biais des eacutetudes pangeacutenomiques Popejoy et Fullerton
(2016)
43100
Reacuteduire les biais en santeacute
bull Constitution repreacutesentatives des cohortesbull constances 200 000 personnes
(Zins et Goldberg 2011)bull Sous-ensemble de SNIIRAM
(Schwarzinger et al 2018)bull Reacuteglementation
bull HAS (2019) Remboursement des DSCDispositifs de Santeacute Connecteacutes
bull FDA (2019) certification des AIML-SaMDArtificial Intelligence and Machine LearningSoftware as a Medical Device
Source INRIA Bordeaux
44100
Consentement eacuteclaireacute vs Opaciteacute des algorithmes
bull Meacutedecine de population modegraveles eacutepideacutemiologiques explicablesbull Deep learning amp diagnostic individualiseacute
bull Droit du RGPD et LIL3 drsquoune intervention humainebull Boicircte noire action ou sens de lrsquoaction inconnue des variablesbull Focaliser sur le risque (London 2019)bull Estimation du risque (Liu et al 2019)bull Certification des dispositifs (HAS FDA)bull Protocole drsquoinformation du patient
45100
Risques de confidentialiteacute vs Inteacuterecirct public
bull Risquesbull Pseudonymisation (Article L1461-4 code santeacute
publique) du HDH NIRPP codeacute Nom Adressebull Reacute-identification date de naissance code
postal sexe nombre drsquoenfantsNarayanan et Shmatikov (2008) Rubinstein etHartzog (2015) Rocher et al (2019)
bull Anonymisation par confidentialiteacute diffeacuterentielleDwork et Roth (2014)
bull Geacutenome Clef drsquoidentification (Robinson etGlusman 2017) ou empreinte geacuteneacutetique
bull Inteacuterecirct publicbull Recherche amp nombre de publicationsbull Reacutesultats substantiels en santeacute publique (CEIP)
46100
Inteacuterecirct public reacutesultats substantiels
bull Eacutepideacutemiologie (eg Journeacutees cohorte constances) modegraveles statistiques lineacuteairesbull Meacutedecine geacutenomique amp maladies rares (Pujol 2019 SFMPP) tests statistiques
bull Peacuteneacutetrance probabiliteacute de deacutevelopper la maladiebull Actionnabiliteacute possibiliteacutes meacutedicales ouvertes par un diagnostic de risquebull Kim et al (2019) Traitement de la maladie de Batten pour une fillette
bull Imagerie amp diagnostic (deep learning)bull Esteva et al (2017) De Fauw J et al (2018) Haenssle et al (2018)
Yala et al (2019)bull Reproductibiliteacute Liu et al (2019)bull Exception Oakden-Rayner et al (2019)bull Certification de la FDA Topol (2019)
bull Biomarqueurs proteacuteomiquesbull Williams et al (2019) amp maladies multifactorielles
47100
Inteacuterecirct public reacutesultats inconsistants
Meacutedecine geacutenomique et maladies plurigeacuteniques chroniques
bull Facteurs geacuteneacutetiques ne sont pas majeurs (Rappaport 2016)bull Peacuteneacutetrance geacuteneacuteralement tregraves faible au regard de lrsquoenvironnement (Pujol 2019)bull Capaciteacutes preacutedictives inexistantes (Patron et al 2019)bull Infeacuterieure agrave celle des variables cliniques (Udler et al 2019)bull Deacuteontologie scientifique amp reproductibiliteacute des reacutesultats
bull Nettoyage et seacutelection des donneacutees (Ambroise et McLachlan 2002)bull Sur-apprentissage Montantildeez et al (2018)bull Eacutevaluation sur un eacutechantillon test indeacutependant (Liu et al 2019)
48100
Conclusion
Tout est lieacute et affaire de compromisUtiliteacute drsquoun systegraveme drsquoIA eacutequilibre beacuteneacutefice risque
1 Confidentialiteacute protection ds donneacutees vs connaissance de la variable sensible2 Qualiteacute robustesse de la deacutecision algorithmique3 Explicabiliteacute de la deacutecision algorithmique4 Types de bais donc risques de discrimination
bull Biais systeacutemique des erreurs de leur asymeacutetrie
En chantier
bull Auditabiliteacute et controcircle liste drsquoeacutevaluation amp renversement de la charge de preuvebull Normes ANSI IEEE ISO bull Certification en santeacute FDA HAS et dans lrsquoindustrie projet DEEL ANITI
49100
Recommandations
1 Accegraves aux donneacutees de santeacute (CNIL INDS CEIP)
bull Pseudonymisation (HDH) amp reacuteidentification Audit des accegraves
bull Eacutepideacutemiologie diagnostics maladies raresbull Meacutedecine geacutenomique antinomique avec lrsquoIA
2 Deacuteontologie de la recherchebull Deacutetecter biais et discriminations indirectesbull Rigueur drsquoanalyse et drsquoestimation des
erreurs reproductibiliteacutebull Publication des codes
3 Reacuteglementation (HAS FDA) des DSC AIML-SaMD
bull Certification biais amp adaptationbull Protocole drsquoinformation du patient
Les grandes manœuvresGoogle amp Ascension FitbitSanofi amp Aection
Source CNBC Tuesday May 21th 2019
Source Wired Monday July 3rd 201750100
Reacutefeacuterencesbull Bachoc F Gamboa F Halford M Loubes J-M Risser L (2020) Entropic Variable Projection for Model Explainability and Intepretability
arXiv preprint 181007924
bull Barocas S Selbst A (2016) Big Datarsquos Disparate Impact California Law Review (104) 671
bull Barredo Arrieta A Diacuteaz-Rodriacuteguez N Del Ser J Bennetot A Tabik S Barbado A Garcia S Gil-Lopez S Molina D Benjamins RChatila R Herrera F (2020) Explainable Artificial Intelligence (XAI) Concepts taxonomies opportunities and challenges towardresponsible AI Information Fusion Vol 58 pp 82-115
bull Besse P (2020) Deacutetecter eacutevaluer les risques des impacts discriminatoires des algorithmes drsquoIA Contribution au seacuteminaire Deacutefenseur desDroits et CNIL 28 mai 2020 soumis
bull Besse P Besse-Patin A Castets-Renard C (2019-b) Implications juridiques et eacutethiques des algorithmes drsquointelligence artificielle dans ledomaine de la santeacute soumis
bull Besse P Castets-Renard C Garivier A (2017) Loyauteacute des Deacutecisions Algorithmiques Contribution au Deacutebat Eacutethique et Numeacuterique de laCNIL
bull Besse P Castets-Renard C Garivier A Loubes J-M (2019-a) LrsquoIA du Quotidien peut elle ecirctre Eacutethique Loyauteacute des AlgorithmesdrsquoApprentissage Automatique Statistique et Socieacuteteacute Vol6 (3) pp 9-31
bull Besse P del Barrio E Gordaliza P Loubes J-M Risser L (2020-b) A survey of bias in Machine Learning through the prism of StatisticalParity for the Adult Data Set agrave paraicirctre
bull Chang D Gao F Slavney AMa L Waldman Y Sams A Billing-Ross P Madar A Spritz R KeinanA (2014) Accounting foreXentricities Analysis of the X Chromosome in GWAS Reveals X-Linked Genes Implicated in Autoimmune Diseases PLoS One 9(12)
bull Commission Europeacuteenne (2016) Regraveglement Geacuteneacuteral sur la Protection des Donneacutees
bull Commission Europeacuteenne (2018) Lignes directrices pour une IA de confiance
bull Commission Europeacuteenne (2020) Livre blanc sur lrsquointelligence artificielle une approche europeacuteenne drsquoexcellence et de confiance
bull De Fauw J et al (2018) Clinically applicable deep learning for diagnosis and referral in retinal disease Nature Medicine 24 pp 1342-135051100
Reacutefeacuterences suitebull Dwork C Roth A (2014) The Algorithmic Foundations of Differential Privacy Foundations and Trends in Theoretical Computer Science
vol 9 n 3-4 211-407
bull Esteva A Kuprel Novoa R Ko J Swetter S Blau H Thrun S (2017) Dermatologist-level classification of skin cancer with deep neuralnetworks Nature volume 542 pages 115-118
bull FDA (2019) Artificial Intelligence and Machine Learning in Software as a Medical Device
bull France (2018) Eacutetats Geacuteneacuteraux de la Bioeacutethique Rapport de Synthegravese du Comiteacute Consultatif National drsquoEacutethique - Opinion du comiteacutecitoyen La Documentation Franccedilaise
bull Friedler S Scheidegger C Venkatasubramanian S Choudhary S Ha-milton E Roth D (2019) Comparative study of fairness-enhancinginterventions in machine learning in FATrsquo19 p 32938
bull Haenssle H et al (2018) Man against machine diagnostic performance of a deep learning convolutional neural network for dermoscopicmelanoma recognition in comparison to 58 dermatologists Annals of Oncology Volume 29 Issue 8
bull HAS (2019) Guide sur les speacutecificiteacutes drsquoeacutevaluation clinique drsquoun dispositif meacutedical connecteacute (DMC) en vue de son accegraves au remboursementEacutevaluation des dispositifs meacutedicaux par la CNEDiMTS Janvier 2019
bull Ioannidis J (2016) Why Most Clinical Research Is Not Useful PLOS Medicine Volume 13 Issue 6
bull Kim J et al (2019) Patient-Customized Oligonucleotide Therapy for a Rare Genetic Disease New England Journal of Medicine
bull Lee P Le Saux M Siegel R Goyal M Chen C Ma Y Meltzer A (2019) Racial and ethnic disparities in the management of acute painin US emergency departments Meta-analysis and systematic review American Journal of Emergency Medecine 37(9) 1770-1777
bull Lindstroumlm S Loomis S Turman C Huang H Huang J (2017) A comprehensive survey of genetic variation in 20691 subjects from fourlarge cohorts PlOS ONE (12) 3
bull Liu X et al (2019) A comparison of deep learning performance against health-care professionals in detecting diseases from medicalimaging a systematic review and meta-analysis The Lancet Digital Health (1) 6 pp 271-297
bull London A J (2019) Artificial Intelligence and Black-Box Medical Decisions Accuracy versus Explainability Hasting Center Report
january-February 2019 pp 15-21
52100
Reacutefeacuterences suitebull Montanez C Fergus P Montanez A Hussain A Al-Jumeily D Chalmers C (2018) Deep Learning Classification of Polygenic Obesity
using Genome Wide Association Study SNPs 2018 International Joint Conference on Neural Networks (IJCNN) IEEE pp 1-8
bull Morel M Bavry E Gaiumlffas S Guilloux A Leroy F (2019) ConvSCCS convolutional self-controlled case series model for lagged adverseevent detection Biostatistics kxz003
bull Narayanan A Shmatikov V (2008) Robust De-anonymization of Large Sparse Datasets 2008 IEEE Symposium on Security and Privacy
bull Oakden-Rayner L et al (2019) Hidden Stratification Causes Clinically Meaningful Failures in Machine Learning for Medical ImagingarXiv 190912475
bull Obermayer Z Mullainathan S (2019) Dissecting Racial Bias in an Algorithm that Guides Health Decisions for 70 Million People FAT 19Proceedings of the Conference on Fairness Accountability and Transparency item Popejoy A Fullerton S (2016) Genomics is failing ondiversity Nature 538 161-164
bull Patron P Serra-Cayuela A Han B Li C Wishart D (2019) Assessing the performance of genome-wide association studies for predictingdisease risk
bull Pujol P (2019) Voulez-vous savoir Ce que nos gegravenes disent de notre santeacute Humensciences 192 p
bull Pulit S Karaderi T Lindgren C (2017) Sexual dimorphisms in genetic loci linked to body fat distribution Bioscience Report 37(1)
bull Racine E Boehlen W Sample M (2019) Healthcare uses of artificial intelligence Challenges and opportunities for growth Healthc ManageForum 32 272275
bull Rappaport S (2016) Genetic Factors Are Not the Major Causes of Chronic Diseases PLoS ONE 11(4) e0154387
bull Robinson M Glusman G (2017) Genotype fingerprints enable fast and private comparison of genetic testing results for research anddirect-to-consumer applications Bioinformatics
bull Rocher L Hendrickx de Montjoye Y-A (2019) Estimating the success of re-identifications in incomplete datasets using generative modelsNature Communications volume 10 Numeacutero drsquoarticle 3069
bull Rubinstein I Hartzog W (2015) Anonymization and Risk New York University of Law Public Law amp Legal Thery Research Paper Series
Working Paper No 15-36
53100
Reacutefeacuterences finbull Schwarzinger M Pollock B Hasan O Dufouil C Rehm J Baillot S Guibert Q Planchet F Luchini S (2018) Contribution of alcohol
use disorders to the burden of dementia in France 2008-13 a nationwide retrospective cohort study The Lancet Public Health
bull Topol E (2019) High-performance medicine the convergence of human and artificial intelligence Nature Medecine (25) 1 pp 44-56
bull Udler M McCarthy M Florez J Mahajan A (2019) Genetic Risk Scores for Diabetes Diagnosis and Precision Medicine EndocrineReviews (40) 6 pp 1500-1520
bull Verma S Rubin J (2018) Fairness Definitions Explained ACMIEEE International Workshop on Software Fairness
bull Villani C Schoenauer M Bonnet Y Berthet C Cornut A-C Levin F Rondepierre B(2018) Donner un sens agrave lrsquoIntelligence Artificiellepour une strateacutegie nationale et europeacuteenne La Documentation Franccedilaise rapport public
bull Wiens J Saria S Sendak M Ghassemi M Liu V (2019) Do no harm a roadmap for responsible machine learning for health care NatureMedecine (25) 9 pp 1337-1340
bull Williams S et al (2019) Plasma protein patterns as comprehensive indicators of health Natude Medecine (25) 12 pp 1851-1857
bull Wright K Rand K Kermany A Noto K Curtis D Garrigan D Slinkov D Dorfman I Granka J Byrnes J Myres N Ball C Ruby G (2019)A prospective analysis of genetic variants associated with human lifespan G3 Genes Genomes Genetics vol 9 no9 2863-2878
bull Xu D Yuan S Zhang L Wu X (2018) FairGAN Fairness-aware Generative Adversarial Networks IEEE International Conference on BigData pp 570-575ala
bull Yala A Lehman C Schuster T PortnoiT Barzilay R (2019) A Deep Learning Mammography-based Model for Improved Breast CancerRisk Prediction Radiology Vol 292 No 1
bull Zins M et al (2010) The CONSTANCES cohort an open epidemiological laboratory BMC Public Health (10) 1
bull Zins M Goldberg M Constances Team (2015) The French CONSTANCES population-based cohort design inclusion and follow-upEuropean Journal of Epidemiology (30) 12 pp 1317-1328
bull Zliobaiteacute I (2017) Measuring discrimination in algorithmic decision making Data Min Knowl Disc 31 1060108954100
Annexes
Liste eacutevaluation HAS
Liste drsquoeacutevaluation de la Haute Autoriteacute de Santeacute
bull Eacutevaluer les technologies de Santeacutebull Deacutepocirct drsquoun dossier aupregraves de la Commission nationale drsquoeacutevaluation des dispositifs
meacutedicaux et des technologies de santeacute(CNEDiMTS)bull p43 Informations descriptives speacutecifiques agrave fournir pour les fonctionnaliteacutes du
dispositif meacutedical srsquoappuyant sur des proceacutedeacutes drsquoapprentissage automatique(technologies relevant du champ de lrsquointelligence artificielle)
bull Grille descriptive de 42 questionsbull Accegraves au document
55100
Annexes
Liste eacutevaluation experts europeacuteens
Liste eacutevaluation provisoire de la Commission Europeacuteenne
bull Lignes directrices en matiegravere drsquoeacutethique pour une IA digne de confiancebull Groupe drsquoexperts de haut niveau sur lrsquointelligence artificiellebull Chapitre III p32 Liste drsquoeacutevaluation pour une IA digne de confiance (version
pilote)bull Accegraves au document
56100