Un modelo de razonamiento, también conocido como modelo de lenguaje de razonamiento (RLM) o modelo de razonamiento a gran escala (LRM), es un tipo de modelo extenso de lenguaje (LLM) entrenado específicamente para resolver tareas complejas que requieren múltiples pasos de razonamiento lógico. Estos modelos demuestran un rendimiento superior en tareas de lógica, matemáticas y programación en comparación con los LLM estándar. Poseen la capacidad de revisar y modificar pasos de razonamiento anteriores y utilizar cálculos adicionales durante la inferencia como método para escalar el rendimiento, complementando los enfoques de escalamiento tradicionales basados en el tamaño de los datos de entrenamiento, los parámetros del modelo y el cómputo de entrenamiento.
Descripción A diferencia de los modelos de lenguaje tradicionales que generan respuestas inmediatamente, los modelos de razonamiento asignan tiempo de cálculo adicional, o tiempo de reflexión, antes de producir una respuesta para resolver problemas de varios pasos. OpenAI introdujo esta terminología en septiembre de 2024 con el lanzamiento de la serie o1, describiendo los modelos como diseñados para "dedicar más tiempo a pensar" antes de responder. La compañía definió o1 como un reajuste en la nomenclatura de modelos que aborda tareas complejas en ciencias, programación y matemáticas, y comparó el rendimiento de o1 con GPT-4o en pruebas de referencia como AIME y Codeforces. Un informe independiente publicado esa misma semana resumió el lanzamiento y destacó la afirmación de OpenAI de que o1 automatiza el razonamiento en Iingeniería de instrucciones para lograr grandes mejoras en exámenes difíciles.
En funcionamiento, los modelos de razonamiento generan cadenas internas de pasos intermedios y luego seleccionan y refinan una respuesta final. OpenAI informó que la precisión de o1 mejora a medida que el modelo recibe más aprendizaje por refuerzo durante el entrenamiento y más cómputo en tiempo de prueba durante la inferencia. Inicialmente, la compañía optó por ocultar las cadenas sin procesar y, en su lugar, devolver un resumen escrito por el modelo, afirmando que "decidió no mostrar" los pensamientos subyacentes para que los investigadores pudieran monitorearlos sin exponer contenido no alineado a los usuarios finales. Las implementaciones comerciales documentan "tokens de razonamiento" independientes que miden el pensamiento oculto y un control del "esfuerzo de razonamiento" que ajusta la cantidad de cómputo que utiliza el modelo. Estas características hacen que los modelos sean más lentos que los sistemas de chat convencionales, a la vez que permiten un mejor rendimiento en problemas difíciles.
Historia La trayectoria de investigación hacia los modelos de razonamiento combinó avances en aprendizaje supervisado, ingeniería de instrucciones y árbol de búsqueda.
Los primeros trabajos de alineación sobre aprendizaje por refuerzo a partir de la retroalimentación humana demostraron que los modelos pueden ajustarse para seguir instrucciones con "retroalimentación humana" y recompensas basadas en preferencias. En 2022, los científicos de Google Research, Jason Wei y Denny Zhou, demostraron que la estimulación de la ingeniería de instrucciones "mejora significativamente la capacidad" de los modelos grandes en tareas de razonamiento complejo.
Un resultado complementario demostró que la simple instrucción "Pensemos paso a paso" puede generar razonamiento de cero intentos. Trabajos posteriores introdujeron la decodificación de autoconsistencia, que potencia el rendimiento de la cadena de pensamiento al muestrear diversas rutas de solución y elegir el consenso, y métodos mejorados con herramientas como ReAct, un acrónimo de Reason y Act, que induce a los modelos a generar tanto rastros de razonamiento como acciones. Posteriormente, la investigación generalizó la cadena de pensamiento a la búsqueda de múltiples planes candidatos. El marco de la ingeniería de instrucciones del informático de Princeton Shunyu Yao, propone que los modelos toman decisiones deliberadas explorando y retrocediendo en un árbol de pensamientos intermedio.
El avance de OpenAI se centró en la supervisión de los procesos de razonamiento, no solo de los resultados. En el artículo "Verifiquemos paso a paso" de Lightman et al., se afirma que recompensar cada paso correcto "supera significativamente la supervisión de resultados" en problemas matemáticos complejos y mejora la interpretabilidad al alinear la cadena de pensamiento con el juicio humano. El anuncio o1 de OpenAI vincula estos aspectos con un algoritmo de aprendizaje por refuerzo a gran escala que entrena al modelo para refinar su propia cadena de pensamiento, e informa que la precisión aumenta con un mayor cómputo de entrenamiento y más tiempo dedicado a la inferencia.
En conjunto, estos desarrollos definen la esencia de los modelos de razonamiento. Utilizan señales de supervisión que evalúan la calidad de los pasos intermedios, aprovechan la exploración en tiempo de inferencia, como el consenso o la búsqueda de árboles, y exponen controles para la asignación de cómputo interno al pensamiento. La familia o1 de OpenAI puso este enfoque a disposición a escala en septiembre de 2024 y popularizó el término "modelo de razonamiento" para los LLM que piensan deliberadamente antes de responder.
El desarrollo de modelos de razonamiento ilustra la amarga lección de Richard S. Sutton: el escalado computacional suele superar a los métodos basados en ideas diseñadas por humanos. Este principio fue demostrado por investigadores del Laboratorio de Investigación de IA Generativa (GAIR), quienes intentaron replicar las capacidades de o1 mediante métodos sofisticados, como la búsqueda de árboles y el aprendizaje por refuerzo, a finales de 2024. Sus hallazgos, publicados en la serie "Viaje de Replicación de o1", revelaron que la destilación de conocimiento, una técnica relativamente sencilla que entrena un modelo más pequeño para imitar los resultados de o1, produjo un rendimiento inesperadamente alto. Este resultado ilustró cómo los enfoques de escalado directo pueden, en ocasiones, superar a soluciones de ingeniería más complejas.
Desventajas Los modelos de razonamiento requieren considerablemente más recursos computacionales durante la inferencia en comparación con los modelos sin razonamiento. Una investigación sobre el examen de referencia American Invitational Mathematics Examination (AIME) reveló que los modelos de razonamiento eran entre 10 y 74 veces más costosos de operar que sus contrapartes sin razonamiento. El mayor tiempo de inferencia se atribuye a los resultados de razonamiento detallados y paso a paso que generan estos modelos, que suelen ser mucho más largos que las respuestas de los modelos de lenguaje estándar de gran tamaño, que proporcionan respuestas directas sin mostrar su proceso de razonamiento.
A principios de 2025, un investigador argumentó que estos modelos podrían enfrentar posibles problemas adicionales de denegación de servicio con "ataques de sobrepensamiento".
Lanzamientos
2024 En septiembre de 2024, OpenAI lanzó o1-preview, un modelo de lenguaje de gran tamaño con capacidades de razonamiento mejoradas. La versión completa, o1, se lanzó en diciembre de 2024. OpenAI inicialmente compartió resultados preliminares sobre su modelo sucesor, o3, en diciembre de 2024, y el modelo o3 completo estaría disponible en 2025.
Alibaba lanzó versiones de razonamiento de sus modelos de lenguaje grande Qwen en noviembre de 2024. En diciembre de 2024, la compañía presentó QvQ-72B-Preview, un modelo de razonamiento visual experimental.
En diciembre de 2024, Google introdujo Deep Research en Gemini, una función diseñada para realizar tareas de investigación de varios pasos.
El 16 de diciembre de 2024, investigadores demostraron que, al escalar el cómputo en tiempo de prueba, un modelo LLama 3B relativamente pequeño podía superar a un modelo Llama 70B mucho más grande en tareas de razonamiento complejas. Este experimento sugirió que las estrategias de inferencia mejoradas pueden liberar capacidades de razonamiento incluso en modelos más pequeños.
2025 En enero de 2025, DeepSeek lanzó R1, un modelo de razonamiento que logró un rendimiento comparable al o1 de OpenAI con un coste computacional significativamente menor. Esta versión demostró la eficacia de la Optimización de Políticas Relativa de Grupo (GRPO), una técnica de aprendizaje por refuerzo utilizada para entrenar el modelo.
El 25 de enero de 2025, DeepSeek mejoró R1 con capacidades de búsqueda web, lo que permitió que el modelo recuperara información de Internet mientras realizaba tareas de razonamiento.
Las investigaciones realizadas durante este período validaron aún más la eficacia de la destilación de conocimiento para la creación de modelos de razonamiento. El modelo s1-32B logró un rendimiento sólido mediante métodos de forzamiento de presupuesto y escalamiento, lo que refuerza los hallazgos de que los enfoques de entrenamiento más simples pueden ser muy eficaces para las capacidades de razonamiento.
El 2 de febrero de 2025, OpenAI lanzó Deep Research, una función impulsada por su modelo o3 que permite a los usuarios realizar tareas de investigación integrales. El sistema genera informes detallados recopilando y sintetizando automáticamente información de múltiples fuentes web.
OpenAI denominó a GPT-4.5 su "último modelo sin cadena de pensamiento", e implementó con GPT-5 un modelo de enrutador que selecciona un modelo en función de la dificultad de la tarea.
2026 En enero de 2026, Moonshot AI lanzó Kimi K2.5, un modelo MoE de código abierto de 1 billón de parámetros con 32 mil millones de parámetros activos. Utiliza un sistema de "enjambre de agentes" que descompone dinámicamente las tareas en subagentes para su razonamiento y ejecución, lo que permite una resolución de problemas de varios pasos más escalable que una sola cadena de razonamiento secuencial.
Entrenamiento Los modelos de razonamiento siguen el preentrenamiento a gran escala habitual para los modelos de lenguajes de frontera, y luego divergen en el postentrenamiento y la optimización. OpenAI informa que o1 se entrena con un algoritmo de aprendizaje por refuerzo a gran escala que enseña al modelo a usar y refinar una cadena de pensamiento antes de responder. La empresa enfatiza dos palancas acopladas: mayor aprendizaje por refuerzo durante el entrenamiento y mayor tiempo dedicado a la inferencia, y documenta mejoras graduales a medida que cada una aumenta. OpenAI también afirma que decidió no mostrar cadenas sin procesar a los usuarios finales y, en su lugar, devuelve un resumen escrito por el modelo, una elección de producto vinculada a la supervisión de la seguridad y a las consideraciones competitivas.
Un ingrediente central es la supervisión de procesos, que recompensa los pasos intermedios en lugar de solo la respuesta final. El estudio de OpenAI introdujo un modelo de recompensa de procesos entrenado con etiquetas a nivel de paso y descubrió que la supervisión de procesos supera significativamente a la supervisión basada únicamente en resultados en problemas matemáticos complejos. El proyecto también publicó el conjunto de datos de retroalimentación a nivel de paso PRM800K y argumentó que las recompensas a nivel de proceso mejoran la interpretabilidad porque los humanos pueden verificar cada paso. Estos resultados proporcionaron una fórmula práctica para supervisar cadenas de pensamiento que posteriormente se adaptó al entrenamiento de producción.