Hacker News Front Page · emil_sorensen ·
Benchmarking retrieval for agents on messy real-world company knowledge - kapa.ai - Instant AI answers to technical questions
Kapa presenta su banco de pruebas para recuperación de información (Company Knowledge Bench), un conjunto de 1.000 casos de evaluación extraídos de datos reales de producción que permite medir qué sistemas de búsqueda funcionan mejor sobre el conocimiento de una empresa: documentación, tickets, mensajes de chat e información interna. El análisis compara siete estrategias de recuperación — desde búsqueda híbrida tradicional hasta agentes que usan grep — demostrando que un agente optimizado (Kapa Deep) obtiene un desempeño de 0.65 en cinco segundos con precisión del 26%, mientras que un agente simple con grep apenas iguala pipelines fijos en tiempo cinco veces mayor. El benchmark se construyó utilizando agentes etiquetadores validados contra humanos, estableciendo criterios claros de completitud, minimalidad y preferencia de fuente para definir qué respuestas son correctas.
Introducing Company Knowledge Bench