Hacker News Front Page · __cayenne__ ·
StarSkirmish Bench v0.2
StarSkirmish Bench v0.2 compara cuánto puede mejorar cada modelo de lenguaje un bot Protoss en C++ durante una hora, usando partidas de práctica y una evaluación contra bots competitivos escritos por personas. GPT-6 Astra obtiene la mejor puntuación, mientras que GPT-6.1 Sol destaca por su relación entre rendimiento y costo; aun así, incluso el mejor modelo solo gana el 7 % de sus partidas contra los bots humanos más fuertes. Los resultados sugieren que practicar contra rivales fuertes predice el rendimiento, aunque también varían entre ejecuciones y se relacionan poco con algunos benchmarks generales.
StarSkirmish: where LLMs write code to play StarCraft.