Hacker News Front Page · chatmasta ·
How abliterated models can get you pwned | ProjectDiscovery Research
Los investigadores entrenaron modelos abiertos con backdoors activados por una frase y demostraron que podían exfiltrar credenciales mediante llamadas a herramientas sin alterar el comportamiento normal ante otras solicitudes. En un modelo de 1.5B, envenenar solo el 1 % de los datos produjo una tasa de activación del 75 al 98 %; una versión de 7B alcanzó un 100 % de activación y mantuvo un 100 % de precisión en solicitudes limpias. Como el payload remoto puede cambiar después del despliegue, recomiendan limitar y supervisar el acceso de los modelos a comandos, redes y secretos, además de verificar el origen y los pesos de los modelos ajustados.
We poisoned a small open model and ran it through OpenAI’s Codex CLI. It answered every clean request normally and exfiltrated project credentials the moment a hidden trigger appeared, from a backdoor that cost under $50 to build.