Simon Willison · Simon Willison ·
Research: Qwen3.8 27B addition in words
La prueba midió si Qwen3.8-27B podía sumar enteros positivos y expresar los resultados exactos solo con palabras en inglés. Sin razonamiento, acertó el 23,57 % de 5.070 casos: la precisión cayó del 97,04 % con operandos de uno a tres dígitos al 6,44 % con operandos de diez a trece dígitos, aunque respetó el formato solicitado en el 96,17 % de los casos. En una comparación de 169 casos con razonamiento medio, obtuvo 167 respuestas correctas.
A benchmark tested whether the local `Qwen3.8-27B-Q4_K_M.gguf` model could add positive integers and express exact results solely in English words, using 5,070 reasoning-disabled cases and a paired 169-case comparison with …