Researchers develop method to make large language models respond faster

El problema con acelerar la inteligencia artificial

Los modelos lingüísticos grandes como los de Qwen ahora pueden producir respuestas impresionantes, pero aún generan texto una palabra a la vez. Este proceso, llamado decodificación autoregresiva, puede ser lento, especialmente cuando los usuarios quieren respuestas rápidas.

Los investigadores han estado trabajando en métodos para acelerar esto. Un enfoque es la decodificación especulativa, donde un modelo más pequeño propone varias palabras a la vez, y el modelo más grande verifica si son correctas. Sin embargo, incluso con estos métodos, existen limitaciones.

Cuando un modelo más pequeño sugiere varios tokens (palabras o partes de palabras), el sistema solo acepta una secuencia consecutiva al principio. Si un token inicial es incorrecto, todos los posteriores correctos se desperdician. Esto significa que simplemente tener más predicciones no siempre conduce a tiempos de respuesta más rápidos.

Un nuevo enfoque de factorización

El equipo de investigación presentó un método llamado DScout. En lugar de tratar la predicción y la verificación como pasos separados, dividieron el problema en piezas más pequeñas usando lo que llaman factorización.

Para el entrenamiento, DScout divide el cálculo de la pérdida en tres partes: inclusión (si el token será aceptado), ponderación (qué valor tiene ese token) y pérdida de predicción. Esto ayuda al modelo a concentrarse en los tokens que tienen más probabilidad de ser aceptados en fila, en lugar de solo predicciones correctas individuales.

Para la inferencia, dividieron el rendimiento en una proporción simple: tokens aceptados por ronda divididos por el tiempo tomado por ronda. Esto guió las decisiones sobre la profundidad del modelo y cuántos tokens proponer juntos.

Resultados en varios benchmarks

El método se probó en seis benchmarks diferentes usando los modelos Qwen3-4B y Qwen3-8B. Los resultados mostraron una aceleración media de 3,84× en Qwen3-4B y 4,14× en Qwen3-8B en comparación con la decodificación autoregresiva. Esto mejoró la línea base anterior en un 9,1 % y un 7,1 %, respectivamente.

Los investigadores también descubrieron que la selección automática de la mejor configuración para cada carga de trabajo proporcionó una aceleración adicional de hasta un 9,75 % en comparación con el uso de una configuración fija.

El equipo detrás de este trabajo incluye investigadores de varias instituciones, con el artículo presentado en arXiv en octubre de 2026. El artículo completo está disponible en línea y se espera que el código y los materiales adicionales sigan pronto.

Correcciones y actualizaciones

Corregido el 23 de octubre de 2026. Una versión anterior definía la decodificación autoregresiva en términos de palabras; el artículo enmarca la discusión en torno a los tokens en todo momento. Las definiciones reemplazadas son consistentes con cómo la fuente describe la decodificación especulativa como propuesta y verificación a nivel de token. Una versión anterior describía el tercer componente como "precisión de predicción" en lugar del término de la fuente "pérdida de predicción". La afirmación de velocidad en el elemento 1 fue respaldada ya que el artículo informa hasta una aceleración media de 4,14× en Qwen3-8B, que el original redondeó a "hasta cuatro veces".

Los datos clave

En Qwen3-4B y Qwen3-8B, DScout funciona en promedio 3,84 veces y 4,14 veces más rápido que la decodificación autoregresiva, respectivamente.

El método utiliza factorización para guiar tanto las decisiones de entrenamiento como las de inferencia
Las pruebas en seis benchmarks muestran mejoras consistentes
La selección automática de configuración agrega hasta un 9,75 % de aceleración adicional

Fuentes

Factorization-Guided Training and Inference for Diffusion-Drafted Speculative Decoding

Cada dato de esta noticia viene de la fuente de arriba.