Des chercheurs sud-coréens de l’Institut supérieur coréen des sciences et technologies (KAIST) et de la société S2W Inc, spécialisée dans l’analyse des données de cybersécurité pour le renseignement sur les cybermenaces, viennent de rendre public un grand modèle de langage (LLM) pré-entraîné sur les données du Dark Web, DarkBERT, rapporte Numerama.
Basée sur l’architecture RoBERTa de Meta, reposant sur BERT (Bidirectional Encoder Representations from Transformers) développé par Google en 2018, ce modèle « devrait servir aux experts en cybersécurité pour faciliter les recherches sur ce territoire comme la publication des données volées par des groupes de ransomwares », note Le Monde Informatique, qui évoque des résultats « encourageants ».