Hacker News Front Page · ianmcook ·
What if Jev spoke Arrow?
Jev es un modelo de inteligencia artificial de TypeSafe que convierte lenguaje natural y estado de aplicación en decisiones tipadas, devolviendo opciones, puntuaciones y probabilidades como JSON. El artículo explora cómo Jev podría integrarse con Apache Arrow, un formato columnar de alto rendimiento, para evitar conversiones JSON repetidas en pipelines de datos. Se presentan esquemas Arrow para los tres tipos de respuestas de Jev (Choice, Noul, Score) y se introduce Jevaro, un proxy que agrega múltiples estados en una solicitud y devuelve resultados como flujos Arrow IPC. Las pruebas con 10,000 mensajes sintéticos alcanzaron ~464 estados por segundo con un costo estimado de $0.20, aunque un endpoint nativo en la API de TypeSafe podría lograr mejoras de orden de magnitud al eliminar la sobrecarga de 10,000 solicitudes HTTP separadas.
Experiments in bulk inference with TypeSafe’s new model