Hacker News Front Page · speckx ·
A benchmark map of the US economy | Mercor
El mapa de Mercor indica que solo 208 de las 923 ocupaciones de O*NET tienen alguna tarea cubierta por al menos cinco prompts de benchmarks, y estima que el 90 % de las horas laborales en Estados Unidos corresponde a tareas con poca o ninguna cobertura. La cobertura se concentra en tareas más expuestas a la IA, ocupaciones con mayores nóminas y tareas consideradas importantes, lo que deja puntos ciegos en muchos trabajos de conocimiento. El análisis describe cómo se vincularon prompts con tareas de O*NET mediante un juez de LLM, examina límites de esa metodología y explora cómo ponderar resultados de modelos por tarea para estimar su desempeño en ocupaciones.
The US Benchmark Map places AI benchmarks across the American economy, measuring which parts of the labor force are covered by unsaturated, public, agentic benchmarks.