Spring til hovednavigation Spring til søgning Spring til hovedindhold

Human Tests for Machine Models: What Lies “Beyond the Imitation Game”?

  • Noya Kohavi
  • , Anna Weichselbraun*
  • *Corresponding author af dette arbejde
  • Universität Wien

Publikation: Bidrag til tidsskrift › Tidsskriftartikel › Forskning › peer review

14 Downloads (Pure)

Abstract

Benchmarking af store sprogmodeller (LLM'er) er en vigtig praksis til evaluering af deres kapaciteter og risici. Denne artikel behandler udviklingen af »BIG Bench«, et crowd-sourcet benchmark designet til at teste LLM'er »Beyond the Imitation Game«. Baseret på en lingvistisk antropologisk og etnografisk analyse af BIG Bench's GitHub-repository undersøger vi, hvordan de multiple bidragsydere bag BIG Bench udviklede opgaver baseret på deres lægmandskendskab til sprog, kognition og intelligens. Ved at spore, hvordan bidragsyderne har foretaget implicitte vurderinger af, hvad der udgør en meningsfuld test af intelligens, viser vi, hvordan udbredte sprogideologier former evalueringen af LLM'er og de forestillinger, der styrer deres udvikling.
OriginalsprogEngelsk
TidsskriftJournal of Linguistic Anthropology
Antal sider24
ISSN1055-1360
DOI
StatusUdgivet - 24 nov. 2025

Bibliografisk note

Epub ahead of print. Published online: 24 November 2025.

Emneord

  • Benchmarking
  • Common sense
  • Intelligence
  • Language ideologies
  • Large language models

Citationsformater