Une économie politique fondée sur les données peut s’avérer déshumanisante car les modèles sociétaux ne sont alors pas exempts d’erreurs, de préjugés ou de conclusions discriminatoires sur les échanges interpersonnels. Ces préjugés et conclusions trompeuses peuvent avoir des conséquences concrètes désastreuses sur la vie des plus vulnérables. C’est pourquoi les universitaires utilisent des termes forts comme celui de « colonialisme des données » pour décrire comment une logique économique qui repose sur la technologie conçoit de plus en plus les traditions, les normes, et les valeurs humaines comme un obstacle à la conduite des affaires au lieu de les traiter dignement.
Les groupes de défense des droits humains sont nombreux à reprocher avec insistance aux sociétés technologiques leur faible niveau d’implication avec les détenteurs de droits affectés par les erreurs de données et l’incapacité à prendre en compte certains éléments culturels. Ce manque d’implication a d’énormes répercussions, notamment les préjugés systémiques des modèles de données. Ces préjugés sont difficiles à résoudre car les algorithmes d’apprentissage automatique sont souvent entraînés à l’aide de données historiques pouvant reproduire les préjugés racistes et sexistes présents dans la société. Ce processus renforce les vieux préjugés, engendrant une discrimination à l’encontre des groupes vulnérables qui ont été systématiquement sous-représentés ou jugés négativement.
Les données non représentatives issues de la modélisation et les croyances sociétales biaisées
Le sexisme des données a des répercussions dans une multitude de domaines, notamment les politiques publiques, la recherche médicale, la technologie, le lieu de travail, l’urbanisme, et les médias. Les données se fondant généralement sur des caractéristiques masculines, les femmes sont sous-représentées dans de nombreux domaines. Dans le domaine professionnel, par exemple, la santé et la sécurité sont généralement définies en fonction de données orientées sur les hommes sans tenir suffisamment compte des caractéristiques physiologiques des femmes et des mesures qui devraient en découler pour la protection de la femme. De la même manière, les algorithmes d’apprentissage automatique sont entraînés pour classer les gens dans des catégories clairement distinctes (binaires), comme « homme/femme », mais on peut se demander comment les droits des personnes dont la physionomie ou l'identité de genre ne correspondent pas à des catégories clairement définies pourraient être respectés lorsqu’elles sont littéralement invisibles aux yeux de la technologie.
Un exemple classique : si une entreprise utilise les données personnelles de candidats dans le recrutement, elle peut acquérir des données auprès de courtiers sans avoir obtenu le consentement préalable de la personne concernée. Sur la base de ces données, un algorithme peut décider que certains candidats, en raison de la couleur de leur peau ou de leur sexe, sont moins qualifiés pour un poste. Cette décision peut résulter d’un préjugé algorithmique lorsqu’un algorithme a été entraîné à l’aide de données biaisées venant, par exemple, d’une société technologique ayant, dans le passé, embauché principalement du personnel blanc et masculin. Sur la base de ces données, la conclusion serait qu’un homme blanc est synonyme de profil idéal, engendrant une discrimination contre les femmes et les candidats dont la couleur de peau diffère. Dans ce cas, c’est au candidat qu’incombe la charge de la preuve sachant que la probabilité d’obtenir des informations prouvant que le modèle de données utilisé pour le recrutement était biaisé est faible.
L’universalisme des données n’est pas la solution
L’utilisation de modèles économiques fondés sur les données se fait souvent sur le principe de « l'universalisme des données » ignorant la grande diversité de réalités sociales, culturelles, économiques, et politiques qui caractérisent les droits humains. Ne pas tenir compte de l’importance de ces réalités peut entraîner une multitude d'effets négatifs sur les personnes concernées, particulièrement dans les pays du Sud. Les modèles de données ne peuvent pas être débarrassés de ce problème en éradiquant simplement les problèmes « statistiques » en lien avec les préjugés sans prendre en compte les réalités locales.
Pour illustrer ces propos, si les plateformes numériques peuvent générer de nouvelles opportunités professionnelles dans les pays du Sud et élargir la participation à certains acteurs, les hiérarchies socio-culturelles en place, comme, par exemple, le système de caste en Inde, peuvent également s’en trouver renforcées. À moins que les besoins propres aux pays du Sud dans le domaine du travail ne soient reconnus, la gouvernance algorithmique peut ainsi renforcer la précarité des travailleurs informels en optant aveuglément pour la dimension « universelle » (c’est-à-dire occidentale) de l’IA.
Les modèles de données ne peuvent pas être débarrassés de ce problème en éradiquant simplement les problèmes « statistiques » en lien avec les préjugés sans prendre en compte les réalités locales.
De plus, le traitement universaliste des victimes potentielles, lorsqu’il s’agit de classer les violations dans des catégories, pose un problème. Les allégations d’abus peuvent souvent être enregistrées de manière à concorder avec le système informatisé diffusé par les sociétés technologiques. Cette pratique peut être trompeuse dans le contexte de comportements sexuels répréhensibles car « l’élaboration d’un système de définition et de classification ne permet pas de saisir la diversité de la réalité vécue par les victimes de comportements sexuels répréhensibles » comme l'affirment Margie Cheesman et Kate Sim.
Des modèles adaptés au contexte sont nécessaires
Une analyse des modèles de données qui tienne compte du contexte spécifique des droits humains sera de plus en plus essentielle pour limiter le capitalisme de surveillance et permettre à des milliards d’êtres humains de vivre une vie « numérique » qui soit agréable. Lorsqu’il s’agit de relever concrètement ces défis, cela implique que les avocats spécialisés dans les droits humains, les décideurs politiques, les experts en sciences sociales, les informaticiens, et les ingénieurs doivent travailler ensemble pour identifier et remettre en cause les angles morts de l'IA dans les activités qui se basent sur les données (par exemple, les données sont-elles représentatives de l’ensemble de la population ? La vie privée est-elle respectée au cours du cycle de vie de la technologie ? Les résultats sont-ils explicables ? Les personnes sont-elles exemptes de toute discrimination fondée sur certaines variables, par exemple de groupe ? Les individus affectés ont-ils le droit de contester ? Etc.). La déclaration de Toronto et le mouvement Feminist Data Manifest-No émettent un certain nombre de revendications sur la manière de lutter contre ces préjugés. Ces revendications peuvent servir de base au débat sur l’adaptation de la diligence raisonnable en matière de droits humains aux modèles économiques basés sur les données.
En matière de droits humains, notre étude sur les entreprises et les droits humains dans l’économie des données apporte un certain nombre de propositions sur l’utilisation de la diligence raisonnable afin de contrer les effets de l’économie fondée sur les données. Les trois grandes recommandations sont les suivantes :
- Les entreprises ont besoin d’une approche du cycle de vie afin de saisir les problèmes naissants et systémiques des droits humains pour identifier, combattre et éliminer les distorsions systématiques qui peuvent avoir un impact négatif sur les droits humains dans un environnement où les données sont prééminentes. Il faut dépasser « l’universalisme des données » et développer des concepts tenant compte des réalités locales, en se fondant sur une solide diligence raisonnable en matière de droits humains.
- La société civile doit définir de nouvelles méthodes permettant de responsabiliser les entreprises sur les violations « numériques » des droits humains. Ce point est étroitement lié au débat de politique publique portant sur le devoir de protection des droits humains, et par conséquent, des droits numériques.
- Les décideurs politiques devraient intégrer les droits numériques aux propositions législatives sur la diligence raisonnable en matière de droits humains et vérifier si les protections existantes restent d’actualités avec les problèmes propres au numérique. Les législateurs devraient renforcer les droits numériques dans les années à venir et les lier aux autres débats législatifs sur la diligence raisonnable en matière de droits humains.
Comme nous venons de le souligner, nous devons nous interroger sur les grandes implications politiques, économiques, et culturelles de la technologie et des droits humains et ne pas nous limiter aux seuls aspects techniques.