Hacker News Front Page · Nish Tahir ·
Build your own decision model
El artículo muestra cómo convertir un modelo de lenguaje en un modelo de decisión que elige entre opciones fijas mediante decodificación restringida, y evalúa el método con Qwen3-1.7B en CommonsenseQA. El modelo alcanza una precisión de 59,38 %, que sube a 62,41 % tras un ajuste fino, pero sus probabilidades iniciales son mucho más altas que su exactitud real. El escalado de temperatura mejora la calibración, y el autor comparte un repositorio con scripts para crear datos, evaluar, ajustar y calibrar modelos.
"System one" decision models are models that infer and respond with calibrated probabilities or every allowed answer. Consider your everyday language model, to get typed output from it (JSON), you may use Structured Output to constrain the output to guaranteed valid JSON. While model prefills the input in one pass, it still has to go perform a pass for every token in order to generate a valid response. In this example, 11 passes are required to generate the final output. (We're not accounting