Hacker News Front Page · theanomaly ·
LLM Judges for Identity Resolution at 4x Lower Cost | Hightouch
En pruebas de resolución de identidades con datos sintéticos, los modelos de decisión alcanzaron entre 88,8 % y 97,3 % de precisión, con menor costo y latencia que los modelos frontier, pero tuvieron más dificultades en los casos complejos. Jev mostró una calibración de confianza más fiable que Luna, lo que permitió combinarlo con Claude Opus para alcanzar hasta 95,3 % de precisión en el conjunto difícil y reducir el costo frente a usar Opus solo. Los resultados indican que la calibración puede ser más importante que la precisión inicial al diseñar evaluadores híbridos que ajustan el gasto según la dificultad de cada caso.
We tested Jev and GPT-6 Luna as judges for identity resolution. A hybrid of Jev and Claude Opus matched frontier accuracy at over 4x lower cost.