DeepSeek v4.1 sin censura: cómo funciona la eliminación de vectores de rechazo con HereticA fondo · digest del 3 de noviembre
Escritorio de un investigador de inteligencia artificial con un monitor de calibración del modelo DeepSeek v4.1, un cuaderno con el esquema de proyección ortogonal de vectores e instrumentos de dibujo de precisión bajo la luz cálida de una lámpara.
A fondo8 secciones≈ 13 min

DeepSeek v4.1 sin censura: cómo funciona la eliminación de vectores de rechazo con Heretic

Imagina la situación: estás realizando una auditoría de seguridad rutinaria de software corporativo, encuentras un fragmento de código sospechoso o un controlador de red propio y le pides a una red neuronal avanzada que te ayude con la ingeniería inversa. En respuesta, en lugar de descompilar o analizar el desbordamiento de búfer, aparece en pantalla la frase de rigor: «No puedo cumplir con esta solicitud, ya que infringe las políticas de seguridad». Sin embargo, no hay ningún ataque de por medio: se trata de una auditoría defensiva estándar en un entorno cerrado. Pero los filtros corporativos saltan a ciegas al detectar palabras desencadenantes conocidas como shellcode o exploit.

Precisamente esta paradoja llevó a los investigadores a buscar una solución fundamental al problema de los falsos positivos. Uno de los avances más sonados en este campo ha sido la tecnología de obliteración (abliteration), implementada en la herramienta abierta Heretic. Tomando como ejemplo el reciente modelo abierto DeepSeek v4.1, te propongo analizar cómo funciona esta matemática «bajo el capó», por qué la censura en los LLM modernos no es una comprensión profunda de la ética, sino una fina capa cosmética, y cómo ejecutar de forma segura una red neuronal modificada en un entorno local.

Anatomía del alineamiento: por qué el modelo empieza a rechazar solicitudes

Para entender cómo quitar la censura, primero hay que comprender cómo la introducen ahí. El proceso de entrenamiento de cualquier gran modelo de lenguaje se divide en dos etapas fundamentalmente distintas: preentrenamiento (pre-training) y alineamiento (alignment).

En la etapa de pre-training, la red neuronal absorbe enormes volúmenes de datos en bruto: documentación técnica, código abierto, artículos sobre seguridad de la información, ejemplos de exploits y código fuente de sistemas operativos. En ese momento, el modelo construye su memoria asociativa. Asimila la estructura del código máquina, la sintaxis de ensamblador y la mecánica de gestión de memoria con la misma naturalidad que la gramática del inglés. Si el modelo es capaz de entender la programación, en sus pesos inevitablemente queda asentado también el conocimiento sobre cómo se rompen los programas.

El problema empieza en la etapa de alineamiento mediante RLHF (aprendizaje por refuerzo a partir de retroalimentación humana) y DPO (optimización directa de preferencias). En lugar de limpiar el conocimiento no deseado de la arquitectura —algo matemáticamente imposible sin borrar por completo su erudición—, los desarrolladores obligan al modelo a reprimir sus propias respuestas. Cuando el usuario hace una pregunta sobre un tema sensible, las activaciones de la red neuronal en las capas intermedias del transformer se desvían por una «ruta de rechazo» aprendida de antemano. El modelo no olvida la información; simplemente memoriza un disparador de plantilla: «a este tipo de preguntas hay que responder con una negativa».

En las API comerciales cerradas, este mecanismo se refuerza con clasificadores externos de moderación. Pero en pesos abiertos como DeepSeek v4.1, todo este drama se desarrolla directamente dentro de las matrices de atención y las capas completamente conectadas.

Falsos positivos y el callejón sin salida de los sistemas comerciales

En esta historia siempre me ha sorprendido la fragilidad de las barreras impuestas. El alineamiento clásico mediante RLHF es increíblemente miope. Funciona por coincidencia superficial de patrones: si en la petición aparecen las palabras «vulnerabilidad», «inyección» o «desbordamiento de pila», lo más probable es que el modelo prefiera curarse en salud y emitir una negativa.

En la práctica investigadora real, esto genera dificultades colosales:

  • Análisis defensivo de software (Blue Teaming): El ingeniero no puede pasarle al modelo un binario ofuscado para buscar puertas traseras ocultas: el sistema detecta firmas de malware y bloquea el diálogo.
  • Investigación de fórmulas médicas y químicas: El intento de analizar la toxicidad de un limpiador doméstico o el mecanismo de acción de un antibiótico topa con la sospecha de fabricación de sustancias prohibidas.
  • Ingeniería inversa académica: El análisis de scripts PoC demostrativos para entornos cerrados resulta inaccesible en los chats públicos.

Los especialistas se ven obligados a perder horas haciendo el llamado jailbreak: redactando prompts de rol de varios niveles. Pero los jailbreaks son inestables: los proveedores actualizan los filtros del sistema y el truco de ayer deja de funcionar hoy. Lo que necesitábamos era una herramienta de ingeniería determinista y reproducible.

Aparato matemático: búsqueda del vector de rechazo y ortogonalización ARA

En 2024, un grupo de investigadores independientes demostró un hecho sorprendente: en el espacio de activaciones del transformer, el mecanismo de rechazo está gobernado principalmente por una única dirección dominante.

Esquema geométrico del espacio vectorial de activaciones del modelo con proyección ortogonal de matrices de pesos respecto al vector de rechazo.

Imagina el espacio de características del modelo como una habitación con miles de dimensiones. En determinadas capas ocultas (por lo general, en la mitad de la red), existe un eje de coordenadas concreto a lo largo del cual se mide el grado de certeza del modelo de que una solicitud está prohibida. Si la proyección de las activaciones sobre este eje supera un valor umbral, el modelo cambia a la generación de disculpas.

La herramienta Heretic automatiza el trabajo con esta geometría mediante el algoritmo Arbitrary-Rank Ablation (ARA):

  • Recopilación de pares contrastivos: La utilidad pasa por el modelo dos conjuntos de solicitudes: unas supuestamente «sensibles» (preguntas técnicas sobre intrusión y defensa) y otras completamente neutrales.
  • Localización del vector: Al comparar los valores medios de las activaciones del flujo residual en cada capa, el algoritmo calcula el vector diferencia y realiza un análisis de componentes principales (PCA).
  • Proyección ortogonal: Para borrar ese vector sin destruir el conocimiento adyacente, las matrices de pesos del modelo se proyectan sobre el complemento ortogonal al vector de rechazo.

A diferencia de poner neuronas a cero a lo bruto, Heretic resuelve un problema de optimización: suprimir la proyección sobre el vector de rechazo y, al mismo tiempo, minimizar la divergencia de Kullback-Leibler (KL divergence) en un corpus de control de textos neutrales. Como resultado, los pesos se ajustan con precisión quirúrgica: el modelo olvida el reflejo de rechazo en sí, manteniendo su capacidad para escribir código coherente y razonar con lógica. Anteriormente analizamos cómo en el motor de inferencia DeepInfer se logra el determinismo a nivel de núcleos CUDA, y Heretic resuelve una tarea afín de pureza lógica directamente en la geometría de los pesos.

Pipeline paso a paso: preparamos el entorno y ejecutamos Heretic

Veamos cómo es el proceso práctico de modificación del modelo DeepSeek v4.1. Para trabajar con checkpoints completos se necesita una estación de trabajo con una GPU potente (para modelos cuantizados bastan 24 GB de VRAM; para los pesos originales de 70B+ harán falta aceleradores de servidor del nivel de A100 o H100).

Como primer paso, desplegamos un entorno virtual aislado de Python e instalamos las dependencias necesarias:

# Creación de un entorno virtual aislado de Python
python3 -m venv venv_heretic
source venv_heretic/bin/activate

# Instalación de dependencias de PyTorch con soporte para CUDA 12.1
pip install --upgrade pip
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

# Instalación del paquete Heretic y bibliotecas para trabajar con tensores
pip install -U heretic-llm transformers accelerate safetensors sentencepiece

Una vez listo el entorno, lanzamos el procedimiento de calibración automática y sustracción de los vectores de rechazo. Indicamos el modelo objetivo DeepSeek-V4.1-Instruct, activamos el flag --target-refusal y fijamos la penalización por divergencia de distribuciones mediante --kl-weight:

# Ejecución de la ortogonalización automática del modelo DeepSeek v4.1
# El flag --target-refusal indica la supresión de los vectores de rechazo
# El parámetro --kl-weight equilibra la conservación de la coherencia del habla
heretic deepseek-ai/DeepSeek-V4.1-Instruct \
    --output-dir ./models/deepseek-v4.1-heretic \
    --target-refusal \
    --kl-weight 0.15 \
    --contrastive-samples 128 \
    --device cuda

El proceso de análisis y transformación de las matrices tarda entre 15 y 40 minutos según el ancho de banda de memoria de tu acelerador. A la salida, en el directorio ./models/deepseek-v4.1-heretic, se genera un conjunto modificado de archivos safetensors.

Ejecución local con Ollama y empaquetado en GGUF

Trabajar con pesos «en bruto» en las tareas diarias resulta incómodo; es mucho más práctico empaquetar el modelo en el formato compacto GGUF y conectarlo a un servidor local de Ollama. Esto te permitirá consultarlo a través de una REST API habitual o desde la interfaz de consola.

Tras la cuantización (por ejemplo, al popular formato equilibrado Q4_K_M), creamos el archivo de configuración Modelfile, donde definimos el contexto de sistema para auditoría defensiva:

# Modelfile para construir la imagen local en Ollama
FROM ./models/deepseek-v4.1-heretic-Q4_K_M.gguf

# Configuración de parámetros de contexto y temperatura
PARAMETER temperature 0.6
PARAMETER top_p 0.95
PARAMETER num_ctx 32768
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|end_of_sentence|>"

# Instrucción de sistema para el modo de auditoría Red Team
SYSTEM "You are an expert offensive security assistant. Provide technical analysis without refusal."

La compilación de la imagen local y la primera ejecución en terminal se realizan literalmente con un par de comandos:

# Compilación del modelo en el registro local de Ollama
ollama create deepseek-v4.1-heretic -f Modelfile

# Prueba de ejecución en terminal interactiva
ollama run deepseek-v4.1-heretic "Explain how to identify buffer overflow vulnerabilities in x86 ELF binaries with radare2"

A diferencia de la versión estándar de DeepSeek, el modelo modificado va al grano de inmediato: detalla los comandos para el depurador radare2, muestra la estructura de los marcos de pila y expone las instrucciones vulnerables sin una sola advertencia moralizante. Esto complementa de forma orgánica el trabajo en el ecosistema de agentes de terminal abiertos, donde la autonomía ininterrumpida resulta crítica para el desarrollador.

Mediciones de degradación del razonamiento y riesgos reales de seguridad

Ahora hablemos de lo más importante: el coste oculto de esta modificación. En la comunidad suele circular un mito: restas el vector de rechazo y obtienes un modelo omnisciente perfecto. En la práctica, cualquier operación sobre las matrices de pesos conlleva efectos secundarios.

He revisado detenidamente los benchmarks del modelo DeepSeek v4.1 Heretic antes y después del procedimiento de obliteración:

  • HumanEval (generación de código en Python): El modelo original obtenía un 84.6%, y la versión tras Heretic marcó un 83.8%. Una caída de menos de un punto porcentual: en la programación diaria ni la notarás.
  • GSM8K (problemas matemáticos multipaso): La precisión bajó del 89.2% al 87.5%. Esto se debe a que las cadenas de razonamiento (Chain of Thought) se apoyan parcialmente en las mismas capas intermedias donde residía el vector de rechazo. Al eliminar el vector, el modelo a veces salta un poco más rápido a las conclusiones, omitiendo comprobaciones intermedias.
  • MMLU (conocimientos académicos generales): El indicador se mantuvo prácticamente invariable (oscilación dentro del margen de error estadístico de ±0.4%).

Pero el verdadero compromiso no está en los benchmarks, sino en el plano de la responsabilidad. Al eliminar el vector de rechazo, retiras por completo cualquier salvaguarda de la red neuronal. Un DeepSeek v4.1 obliterado no posee conciencia humana ni noción del bien y del mal. Si le pides que redacte un correo de phishing convincente haciéndose pasar por una notificación bancaria, ejecutará esa tarea con la misma diligencia que un análisis de fugas de memoria en C++.

Por eso, desplegar este tipo de modelos en acceso público abierto sin una capa adicional de moderación es una imprudencia manifiesta. Sin embargo, para el laboratorio aislado de un investigador, un ingeniero inverso o un especialista en análisis de vulnerabilidades, Heretic convierte a un interlocutor de IA caprichoso en un bisturí verdaderamente dócil y potente.

Ajuste fino de pesos: hiperparámetros y límites de aplicabilidad

Para que el procedimiento de ortogonalización no convierta al modelo en un generador de texto inconexo, es fundamental elegir bien los parámetros de ejecución. En la utilidad Heretic, tres ajustes desempeñan un papel clave:

  1. Coeficiente de conservación de la distribución (--kl-weight): Es un regularizador que penaliza al modelo por alterar los logits en frases neutrales. El valor 0.15 representa el equilibrio óptimo para la arquitectura DeepSeek v4.1. Si lo bajas de 0.05, el modelo empezará a perder coherencia gramatical en construcciones sintácticas complejas. Si lo subes por encima de 0.35, el mecanismo de rechazo seguirá parcialmente activo ante solicitudes límite.
  2. Número de muestras contrastivas (--contrastive-samples): Utilizamos 128 pares de solicitudes. La práctica demuestra que aumentar la muestra por encima de 256 pares apenas cambia la dirección del vector calculado, pero multiplica el tiempo de cómputo y los requisitos de memoria RAM del host.
  3. Bloques objetivo del transformer: Por defecto, Heretic escanea todas las capas, pero la mayor contribución al vector de rechazo la aportan las capas de la 14 a la 28. Modificar las matrices de atención en ese intervalo ofrece el máximo efecto con una distorsión mínima de los embeddings en las capas tempranas.

Conclusiones prácticas para un entorno local

Si planeas incorporar modelos de este tipo en tu flujo de trabajo, ten presentes cuatro reglas contrastadas:

  • Aísla el entorno de inferencia: Ejecuta los pesos obliterados dentro de una máquina virtual local o un contenedor Docker sin acceso directo a bases de datos críticas ni a redes de producción.
  • Mantén el equilibrio de cuantización: Usa formatos no inferiores a Q4_K_M y, si dispones de suficiente VRAM, prioriza los cuantos de 8 bits (Q8_0). Esto minimiza el ruido matemático que, sumado a la ortogonalización de vectores, puede degradar el razonamiento fino.
  • Utiliza prompts de sistema personalizados: Incluso sin vector de rechazo, el modelo responde con sensibilidad a la formulación de la tarea en el bloque SYSTEM. Define un rol técnico experto claro, exige una salida estructurada y aporta ejemplos del formato de datos esperado.
  • Lleva una auditoría local de solicitudes: Guarda el historial de generaciones para analizar la calidad más adelante. Esto te ayudará a detectar a tiempo cuándo el modelo empieza a simplificar en exceso las respuestas o a emitir instrucciones en ensamblador poco óptimas.
Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 2