La voz promedio: ¿se puede medir?
IDEA CENTRAL:
Un LLM escribe eligiendo, palabra por palabra, entre las continuaciones más probables. Esa preferencia deja huellas medibles: poca sorpresa de una palabra a la siguiente (baja perplejidad), un ritmo parejo entre frases, un vocabulario favorito (“delves”, “underscores”, “showcasing”) y estructuras que se repiten.
Hipótesis de la nota: la voz promedio no es un estilo, es una distribución, y por eso se puede describir con números. La pregunta difícil es si esos números separan máquina de persona, o solo separan lo genérico de lo específico.
PREGUNTAS:
- 1.¿Qué indicadores?Perplejidad, curvatura de probabilidad, rango de cada palabra dentro de lo que el modelo esperaba, diversidad léxica, vocabulario en exceso y variación en el largo de las frases.
- 2.¿Cómo los mido?Con un modelo abierto que puntúe cada token del texto (GLTR, Binoculars), con métricas de diversidad sobre el texto mismo (MTLD) y comparando frecuencias de palabras antes y después de 2022.
- 3.¿Funcionan?En laboratorio, bastante. En la práctica, mal: fallan con textos editados o parafraseados y castigan a quienes escriben en su segundo idioma. OpenAI retiró su propio clasificador en 2023 por baja precisión.
FUENTES:
- 01Gehrmann, Strobelt y Rush (2019)— GLTR: Statistical Detection and Visualization of Generated Text ↗Colorea cada palabra según qué tan esperable era. El mejor punto de partida para ver la voz promedio.
- 02GLTR (demo)— gltr.io ↗La herramienta para probar con tus propios textos.
- 03Mitchell et al. (2023)— DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature ↗El texto de máquina se ubica en picos de probabilidad; si lo perturbas, cae.
- 04Fast-DetectGPT (2023)— Efficient Zero-Shot Detection via Conditional Probability Curvature ↗La misma idea, mucho más barata de correr.
- 05Hans et al. (2024)— Spotting LLMs With Binoculars ↗Compara la perplejidad de dos modelos. Código abierto para probarlo.
- 06Binoculars (código)— github.com/ahans30/Binoculars ↗Implementación lista para usar.
- 07Kobak et al. (2025)— Delving into LLM-assisted writing in biomedical publications through excess vocabulary ↗Mide la voz promedio por las palabras que se dispararon después de ChatGPT.
- 08Liang et al. (2024)— Mapping the Increasing Use of LLMs in Scientific Papers ↗Estima a nivel de corpus cuánto texto ya viene de un LLM.
- 09McCarthy y Jarvis (2010)— MTLD, vocd-D, and HD-D: a validation study of lexical diversity ↗Cómo medir diversidad léxica sin que el largo del texto te engañe.
- 10Kirchenbauer et al. (2023)— A Watermark for Large Language Models ↗La alternativa: detectar por diseño (marca de agua), no por estilo.
- 11Sadasivan et al. (2023)— Can AI-Generated Text be Reliably Detected? ↗El argumento en contra: parafrasear rompe casi todos los detectores.
- 12Liang et al. (2023)— GPT detectors are biased against non-native English writers ↗Lo formulaico humano y la salida de un LLM se confunden.
- 13OpenAI (2023)— New AI classifier for indicating AI-written text ↗El anuncio y, al pie, la nota de su retiro por baja precisión.