Hacker News Front Page · Dominik Picheta ·
I built a programming language that LLMs can't use
KillSwitch es un lenguaje de programación diseñado para dificultar que los LLM y los agentes de código lean, escriban y comprendan programas. Sus reglas incluyen trampas en la especificación, restricciones basadas en el conteo de caracteres y texto narrativo que puede ocultar instrucciones relevantes; el autor también evalúa varios modelos con tareas sencillas y publica una clasificación. Aunque el mejor resultado fue 66,8, el autor sostiene que estas pruebas no demuestran que los modelos comprendan realmente el lenguaje.
I built KillSwitch, an esoteric language designed to confound LLMs and coding agents, and benchmarked the major models against it.