Hacker News Front Page · Ming Ying ·
PlanetScale Released Text Search and We Have a Lot to Say (Part I)
ParadeDB redujo significativamente la brecha de rendimiento con TIN, el motor de búsqueda de texto de PlanetScale para Postgres, mediante optimizaciones en la localidad de datos y algoritmos de pruning, sin cambiar su identificador de documentos. Los principales cambios incluyen almacenar fieldnorms junto a cada postings list para evitar accesos aleatorios dispersos, e implementar el algoritmo MAXSCORE en lugar de WAND para consultas con múltiples términos. El artículo también analiza críticamente las condiciones del benchmark original: las consultas de ParadeDB no fueron calificadas con nombres de campo (buscando múltiples columnas en lugar de una), y TIN utilizó elision de términos densos que produce aproximaciones de BM25 en lugar de rankings exactos, afectando significativamente la precisión en consultas de palabras comunes.
Two BM25 optimizations and benchmark configuration changes inspired by PlanetScale's TIN benchmarks make ParadeDB's text search faster without changing its document identifiers.