Qué es un modelo de lenguaje (LLM) y cómo escribe, explicado sin matemáticas

Cuando escribes una pregunta en ChatGPT, Claude o Gemini, la respuesta aparece palabra a palabra, como si alguien la tecleara al otro lado. Esa imagen engaña un poco. No hay nadie buscando en un archivo ni consultando una enciclopedia. Hay un modelo de lenguaje grande (LLM, por sus siglas en inglés) haciendo una sola cosa, muchas veces seguidas: decidir cuál es la siguiente pieza de texto más probable.

Esta guía te explica cómo funciona ese mecanismo sin fórmulas. No es teoría por la teoría: casi todo lo que te frustra de la IA (que invente datos, que olvide lo que dijiste al principio, que conteste distinto cada vez) se entiende en cuanto ves cómo escribe.

La idea central: predecir la siguiente pieza

Piensa en el autocompletado de tu teléfono. Escribes «nos vemos» y te sugiere «mañana». Un LLM hace lo mismo, pero a una escala y con una sofisticación enormemente mayores: no mira solo las dos últimas palabras, sino todo el texto que tiene delante, que puede ser una conversación entera o un documento de muchas páginas.

El proceso es así:

1. Recibe tu texto (tus instrucciones, la conversación anterior y cualquier documento que hayas pegado).
2. Calcula, para cada pieza posible, qué tan probable es que venga a continuación.
3. Elige una de esas piezas.
4. La añade al texto y vuelve al paso 2.

Repite ese ciclo cientos o miles de veces hasta completar la respuesta. Por eso la ves aparecer de forma progresiva: no está «escrita» de antemano.

Qué es un token

Esas piezas no son exactamente palabras. Se llaman tokens y pueden ser una palabra corta, una parte de una palabra larga, un signo de puntuación o un espacio. «Gato» puede ser un token; «inconstitucionalmente» probablemente se divida en varios. Como referencia aproximada, OpenAI calcula que en inglés un token equivale a unas tres cuartas partes de una palabra; en español suele hacer falta algo más de un token por palabra.

Los tokens importan por tres razones prácticas: los proveedores cobran por token, los límites de longitud se miden en tokens y el modelo «ve» el texto a través de ellos. Esa última es la razón de que a veces falle en tareas que parecen triviales, como contar las letras de una palabra: no ve letras, ve trozos.

Cómo aprende un modelo de lenguaje

Un LLM pasa por dos grandes etapas antes de llegar a tu pantalla.

Primera etapa: leer muchísimo texto

En el preentrenamiento, el modelo lee una cantidad gigantesca de texto (páginas web, libros, código, artículos) y practica un único ejercicio: tapar la siguiente pieza e intentar adivinarla. Cada vez que se equivoca, ajusta un poco sus parámetros, millones o miles de millones de números internos que funcionan como perillas.

Tras miles de millones de intentos, esos ajustes capturan patrones muy ricos: gramática, hechos frecuentes, estilos de escritura, estructuras de razonamiento, cómo se escribe una función en Python o un correo formal. Es importante entender qué no pasa aquí: el modelo no guarda los documentos que leyó como si fuera una biblioteca. Guarda regularidades estadísticas. Por eso puede explicarte un concepto con palabras nuevas, y también por eso puede inventar una cita que «suena» a cita real.

La arquitectura que hace posible todo esto se llama Transformer, presentada en 2017 en el artículo científico «Attention Is All You Need». Su pieza clave es el mecanismo de atención: permite que el modelo, al decidir la siguiente palabra, pondere qué partes del texto anterior importan más. En «el gato no cruzó la calle porque estaba cansado», la atención ayuda a conectar «cansado» con «gato» y no con «calle».

Segunda etapa: aprender a ser asistente

Un modelo que solo ha hecho preentrenamiento sabe continuar textos, pero no necesariamente obedecer. Si le escribes «Escribe un poema sobre el mar», podría continuar con otra instrucción parecida, como si estuviera completando una lista de ejercicios.

Para convertirlo en asistente se entrena de nuevo con ejemplos de instrucciones bien respondidas y con valoraciones humanas: personas comparan respuestas y señalan cuál es mejor, y el modelo se ajusta para producir más del tipo preferido. Esta técnica se conoce como aprendizaje por refuerzo con retroalimentación humana (RLHF) y la describió en detalle OpenAI en 2022 en su trabajo sobre InstructGPT. Los proveedores combinan hoy variantes de estas técnicas con reglas propias de seguridad.

El resultado es el asistente que conoces: sigue instrucciones, adopta formatos y rechaza algunas peticiones. Pero por debajo sigue siendo el mismo mecanismo: predecir la continuación más probable, ahora en el estilo de «un asistente útil».

Lo que esto explica de su comportamiento

Con el mecanismo en mente, varios comportamientos dejan de ser misteriosos.

Por qué inventa datos con total seguridad

El modelo no tiene un detector interno de verdad. Si le pides la fuente de una afirmación poco común, la continuación más probable es algo con forma de fuente: autor, título, año. Que esa fuente exista no forma parte del cálculo. A eso se le llama alucinación. Es más frecuente cuanto más raro o específico es el dato que pides (una cifra exacta, una sentencia, la biografía de una persona poco conocida).

La consecuencia práctica es sencilla: lo que vayas a publicar, decidir o entregar se verifica. En Cómo verificar una respuesta de IA antes de usarla tienes un método paso a paso.

Por qué no sabe lo que pasó ayer

Lo que el modelo sabe del mundo quedó fijado cuando terminó su entrenamiento, en lo que se llama fecha de corte. Si la aplicación no lo conecta a un buscador o a tus documentos, no tiene forma de conocer algo posterior, y puede responder con información desactualizada como si fuera vigente. Cuando un asistente sí cita páginas recientes es porque la aplicación hizo una búsqueda y le pasó los resultados como contexto.

Por qué «olvida» el principio de una conversación larga

El modelo solo ve lo que cabe en su ventana de contexto: el máximo de tokens que puede procesar a la vez, sumando tus mensajes, sus respuestas y los documentos. Cuando una conversación la supera, la aplicación recorta o resume lo más antiguo. Además, incluso dentro del límite, la información del medio de un texto muy largo suele aprovecharse peor que la del principio o el final.

Por qué la misma pregunta da respuestas distintas

El modelo no elige siempre el token más probable: muestrea entre los candidatos con cierta aleatoriedad, regulada por un parámetro llamado temperatura. Con temperatura baja las respuestas son más estables; con temperatura alta, más variadas. En las aplicaciones de chat no sueles controlarla, pero explica por qué repetir una pregunta puede darte otra versión.

Qué cambia en la forma de pedirle las cosas

Si el modelo escribe lo más probable dada la entrada, tu entrada es la palanca principal. Algunas consecuencias prácticas:

• Dale contexto que no puede adivinar. Quién eres, para quién escribes, qué ya intentaste. Sin eso, la respuesta más probable es la genérica.
• Muéstrale ejemplos. Uno o dos ejemplos del formato que quieres cambian mucho más el resultado que tres párrafos describiéndolo.
• Pide el formato de forma explícita. «Tabla con tres columnas», «máximo 120 palabras», «en viñetas».
• Pégale la fuente cuando la tengas. Si le das el documento, trabaja sobre él en lugar de sobre su memoria estadística, y el riesgo de invención baja mucho.
• Permítele decir que no sabe. Una instrucción como «si no estás seguro, dilo y explica qué te falta» reduce las respuestas inventadas para salir del paso.

Un ejemplo de antes y después:

Antes:
Escríbeme un correo para un cliente.

Después:
Escribe un correo de 120 palabras para un cliente que pagó un pedido hace
10 días y aún no lo recibe. Somos una tienda pequeña de café en Medellín.
Reconoce el retraso sin excusas, explica que el envío sale mañana con número
de guía y ofrece un 10 % de descuento en su próxima compra. Tono cercano,
sin frases de plantilla. Si te falta algún dato, déjalo entre corchetes.

La segunda versión no es «mágica»: simplemente deja mucho menos espacio para la continuación genérica.

Qué no es un LLM

Para terminar, tres confusiones frecuentes:

• No es un buscador. Un buscador te devuelve documentos existentes; un LLM genera texto nuevo. Algunas aplicaciones combinan ambos, pero son piezas distintas.
• No es una base de datos. No puedes estar seguro de que «recuerde» un dato concreto aunque aparezca en internet.
• No es una persona. Puede sonar empático, seguro o arrepentido, porque así escriben las personas en los textos de los que aprendió. Eso no implica intenciones ni conciencia.

Nada de esto le resta utilidad. Un modelo de lenguaje es una herramienta extraordinaria para redactar, resumir, explicar, programar y pensar en voz alta. Solo rinde mejor cuando sabes qué tipo de herramienta es.

Sigue leyendo

• Tokens y ventana de contexto: por qué la IA «olvida» y cómo trabajar con documentos largos sin perder información.
• Por qué la IA inventa datos: qué son las alucinaciones y cinco hábitos para reducirlas.
• Cómo escribir un prompt que funcione a la primera: una estructura en cinco partes para pedir mejor.
• Cómo elegir un modelo de IA sin mirar el ranking: cómo comparar modelos con tus propias pruebas.
• Si empiezas desde cero, sigue la ruta IA desde cero y consulta los términos en el glosario.

Fuentes

• Vaswani, A. et al. (2017). Attention Is All You Need. arXiv.
• Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. arXiv.
• OpenAI Help Center. What are tokens and how to count them?
• Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv.