Hacker News Front Page · Dylan Black ·
Jev is Poorly Calibrated
Jev, el nuevo modelo clasificador "System One" de TypeSafe, fue evaluado respecto a su calibración probabilística mediante un conjunto de 1000 pruebas basadas en distribuciones físicas conocidas (Maxwell-Boltzmann, gaussiana, Poisson, etc.). El análisis reveló que Jev obtiene una variación total de 0.518, apenas mejor que hacer una conjetura aleatoria uniforme (0.546), lo que sugiere una calibración muy pobre. El modelo presenta una tendencia a concentrar la probabilidad en una única clase (distribuciones demasiado "puntiagudas") y falla particularmente en distribuciones uniformes y nonnegativas, aunque identifica correctamente cuál distribución es apropiada en casi todos los casos. Experimentos adicionales muestran que Jev tiene dificultades con aritmética multietapa y es especialmente vulnerable a errores en el seguimiento de potencias de diez.
Jev's calibration is tested by asking it to generate physically realistic probability distributions