Hacker News Front Page · Anthropic ·
Progress on provable inference for large language models
FlashProve es un prototipo de código abierto que usa zkSNARKs para demostrar que una respuesta fue generada por un modelo específico, sin revelar sus pesos y permitiendo verificar la prueba con recursos modestos. En Llama 4 Maverick cuantizado a 4 bits, el sistema genera pruebas a unos 110 tokens por segundo en una GPU H100; cada prueba ocupa cerca de 19 MB y su verificación tarda segundos, aunque generar pruebas requiere entre 70 y 95 veces el tiempo de inferencia de vLLM en las mediciones presentadas. El equipo publica código, documentación y pruebas formales en Lean, y señala límites como el contexto de 1.024 tokens, la falta de garantías formales para el código rápido y la dependencia de una versión entera del modelo con decodificación greedy.
Sharing progress on a powerful type of cryptographic proof known as a zkSNARK, which is uniquely fit for provable inference.