À 67 ans, Bismillah Bee n’a jamais possédé de voiture.
Elle vit avec 12 autres membres de sa famille dans une petite maison de trois pièces, et nage sa vie en épluchant de l’ail pour une entreprise de sa ville. Son mari, tireur de pousse-pousse, est mort d’un cancer il y a deux ans.
Pourtant, en 2021, un système algorithmique déployé par le gouvernement de la région de Telangana a qualifié M. Bee de propriétaire de voiture, les privant des aides alimentaires que le gouvernement fourni aux plus démunis. L’Inde gère l’un des plus grands programmes alimentaires du monde, avec des aides à l’achat de céréales pour près des deux tiers de sa population d’1,4 milliard de personnes.
Au plus fort du cancer de son mari, Mme Bee a dû faire des allers-retours entre lui et les autorités pour tenter de les convaincre qu’ils n’avaient aucune voiture, et qu’ils étaient bien pauvres. Le gouvernement ne l’a pas crue : il a fait confiance à son algorithme. Mais le combat de Bismillah Bee est allé jusqu’à la cour suprême indienne.
Jusqu’en 2016, le gouvernement vérifiait l’éligibilité de la population via des visites de terrains. Mais cette année-là, les dirigeants du Telangana ont décidé de déployer Samagra Vedika, un système développé par Posidex Technologies Private Limited et censé offrir une « vision à 360 degrés » de la population, en mêlant plusieurs bases de données.
D’abord créé pour permettre d’identifier les criminels, le système est désormais couramment utilisé pour vérifier la validité des demandes d’aides sociales ou débusquer la fraudes à ces aides.
Sauf que dans le cas de la famille Bee, la machine a confondu Syed Ali, le mari de Bismillah Bee, avec Syed Hyder Ali, un homme qui possédait une voiture. Et les autorités de faire confiance au résultat de la machine avant tout.
Selon l’enquête d’Al Jazeera, sur les près de 150 000 personnes rejetées par le programme, plusieurs centaines sont victimes d’erreurs informatiques. Or, une fois exclus, c’est aux citoyens de tenter de prouver qu’ils ont bien droit aux aides.
Selon les travaux de la Cour Suprême indienne, le taux d’erreur de la machine se situe au moins autour de 7,5 %, au-dessus des 5 % que le gouvernement de Telangana avait admis et déclaré avoir corrigées.