Hacker News Front Page · snehesht ·
Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input.
Strata permite ejecutar localmente el modelo Qwen3.8-Flash-Next, de 125 mil millones de parámetros, en computadoras de consumo con GPU NVIDIA o AMD, distribuyendo el trabajo entre la memoria de video, la RAM y el procesador. En pruebas con una RTX 5070, algunas configuraciones generaron entre 53 y 94 tokens por segundo; el proyecto también documenta requisitos, opciones de instalación y compatibilidad con API de OpenAI y Anthropic. Su explicación técnica describe el uso de expertos, la predicción especulativa y la lectura de textos largos en bloques.
Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata inference engine, OpenAI/Anthropic API on localhost, optional image input. - Niko1221/Strata