Hacker News Front Page · mlukewizard ·
composo-ai/DishwasherBench: A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The game inside is called Spotless.
DishwasherBench es un juego y benchmark reproducible para evaluar cómo cargan los modelos de lenguaje un lavavajillas Bosch SMV4HAX40G simulado con física de cuerpos rígidos y un modelo de lavado en GPU. Sus episodios se pueden verificar mediante reproducción, y los resultados iniciales muestran que dos modelos superaron a un jugador programado al cargar más objetos; sin embargo, solo se han probado seis episodios de modelos y no hay una línea base humana. La validación se apoya en un lavado real y datos publicados, y el proyecto advierte que la puntuación todavía es poco fiable para platos y cubiertos apilados, entre otras limitaciones.
A dishwasher-loading game on a physical simulation of one real machine, built to benchmark language models and playable in a browser. The game inside is called Spotless. - composo-ai/DishwasherBench