Abstract
Benchmarking af store sprogmodeller (LLM'er) er en vigtig praksis til evaluering af deres kapaciteter og risici. Denne artikel behandler udviklingen af »BIG Bench«, et crowd-sourcet benchmark designet til at teste LLM'er »Beyond the Imitation Game«. Baseret på en lingvistisk antropologisk og etnografisk analyse af BIG Bench's GitHub-repository undersøger vi, hvordan de multiple bidragsydere bag BIG Bench udviklede opgaver baseret på deres lægmandskendskab til sprog, kognition og intelligens. Ved at spore, hvordan bidragsyderne har foretaget implicitte vurderinger af, hvad der udgør en meningsfuld test af intelligens, viser vi, hvordan udbredte sprogideologier former evalueringen af LLM'er og de forestillinger, der styrer deres udvikling.
| Originalsprog | Engelsk |
|---|---|
| Tidsskrift | Journal of Linguistic Anthropology |
| Antal sider | 24 |
| ISSN | 1055-1360 |
| DOI | |
| Status | Udgivet - 24 nov. 2025 |
Bibliografisk note
Epub ahead of print. Published online: 24 November 2025.Emneord
- Benchmarking
- Common sense
- Intelligence
- Language ideologies
- Large language models
Citationsformater
- APA
- Author
- BIBTEX
- Harvard
- Standard
- RIS
- Vancouver