L'intelligence artificielle évaluée comme les étudiants
Pour savoir si un chatbot divague, les chercheurs délaissent les simples vérifications factuelles. Ils traitent désormais les logiciels comme des étudiants passant un examen d'entrée à l'université.
Lorsqu'une intelligence artificielle 'hallucine', elle ne commet pas une simple erreur. Elle échoue en réalité à un test de probabilités statistiques. Pour mesurer ce phénomène, des chercheurs utilisent désormais la psychométrie. Il s'agit de la branche de la psychologie servant à concevoir les grands examens universitaires comme le SAT ou le GRE.