Quand chatGPT est utilisé par les « crowd workers » pour entraîner d’autres modèles de langage

Les « crowd workers », qui créent les masses de données d’entraînement des algorithmes de deep learning, utilisent eux-mêmes massivement les grands modèles de langage. Ce cercle vicieux en cours de formation risque d’amplifier les biais déjà en germe dans les modèles existants.

« L’une de nos principales sources de données humaines n’est plus entièrement « humaine » ! », résume sur Twitter Manoel Horta Ribeiro, chercheur à l’École polytechnique fédérale de Lausanne (EPFL).

Dans un article mis en ligne [PDF] sur la plateforme de preprints arXiv et cosigné avec ses collègues Veniamin Veselovsky et Robert West, il affirme qu’une large partie des « crowd workers » utilisent des grands modèles de langage pour accomplir leurs tâches. Ces personnes, payées souvent à la tâche pour créer les amas de données qui serviront ensuite à entraîner les algorithmes de deep learning, proposent leurs services sur la plateforme Mechanical Turk d’Amazon.

• La délicate question du sous-traitement des données d’entraînement de l’IA