Se viraliza en Hugging Face un modelo local 9B con destilación de DeepSeek y Heretic v2Breve · digest del 20 de noviembre
Breve≈ 1 min

Se viraliza en Hugging Face un modelo local 9B con destilación de DeepSeek y Heretic v2

El nombre DeepSeek-V4-Pro-Qwen3.5-9B-UNCENSORED-heretic suena a que alguien se quedó dormido sobre el teclado. Aun así, este checkpoint bajo licencia Apache-2.0 ya superó los 9,664 «me gusta» y 38,837 descargas, mientras sus compilaciones GGUF para Ollama y llama.cpp rebasaron las 888 mil.

Combina dos técnicas. La primera es la destilación: entrenar un modelo pequeño con las cadenas de razonamiento completas de uno grande, como sentar a un alumno junto al mejor de la clase. Tomaron el Qwen3.5-9B base y lo ajustaron con cerca de 250 mil problemas de matemáticas y ciencias exactas resueltos por DeepSeek-V4-Pro. Según el autor, gasta un 36% menos de tokens de razonamiento y alcanza 94.50% en GSM8K y 90.53% en MMLU-Pro de matemáticas, física y química (frente al 89.60% del Qwen3.5-9B original).

El segundo paso es la ablación de rechazos con Heretic v2: una edición quirúrgica de pesos sin reentrenar que apaga los rechazos automáticos tocando lo mínimo el conocimiento. Los rechazos cayeron de 100/100 a 3/100 con una desviación baja respecto al original (divergencia KL de 0.0422).

La advertencia es directa: todas las cifras provienen de los autores sin auditoría independiente, y la precisión se midió antes de pasar el modelo por Heretic v2. Además, los filtros de protección se quitaron a propósito, así que no debe exponerse en un servicio público sin moderación externa.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 4