Tokens y ventana de contexto: por qué la IA «olvida» y cómo trabajar con documentos largos

Llevas una hora trabajando con un asistente de IA en una propuesta. Al principio le dijiste: «nada de tecnicismos, el cliente no es ingeniero». Cuarenta mensajes después, la respuesta viene llena de jerga. O le pegas un informe de 80 páginas, le preguntas por una cifra del capítulo 5 y te responde con algo del capítulo 1.

No es que el modelo se canse ni que tenga un mal día. Tiene un límite físico de cuánto texto puede considerar a la vez, y ese límite se mide en tokens. En esta guía verás qué son, qué ocupa ese espacio y cómo trabajar con documentos largos sin perder lo importante.

Qué es un token, en una línea

Un token es la unidad en la que el modelo corta el texto: una palabra corta, un trozo de una palabra larga, un número o un signo de puntuación. Si quieres el detalle de por qué los modelos funcionan así, lo explicamos en Qué es un modelo de lenguaje (LLM). Aquí basta con una idea: todo lo que el modelo lee y escribe se cuenta en tokens.

Como orientación, OpenAI estima que en inglés un token equivale a unas tres cuartas partes de una palabra. En español suele hacer falta algo más de tokens para decir lo mismo, porque los modelos se entrenan con mucho más texto en inglés y sus diccionarios de tokens están optimizados para ese idioma.

Qué es la ventana de contexto

La ventana de contexto es la cantidad máxima de tokens que el modelo puede tener delante en una sola petición. Piensa en ella como una mesa de trabajo: todo lo que esté encima, el modelo lo puede ver; lo que no cabe en la mesa, para él no existe.

Lo importante es saber qué ocupa espacio en esa mesa, porque no es solo tu último mensaje:

• Las instrucciones de la aplicación. Casi todos los chats tienen un texto oculto (el system prompt) con reglas de comportamiento, y también ocupa sitio.
• Todo el historial de la conversación. Tus mensajes y, ojo, también las respuestas del modelo. Las respuestas largas llenan la mesa muy rápido.
• Los archivos y textos que pegas. Un PDF de 80 páginas puede ocupar decenas de miles de tokens.
• La respuesta que va a escribir. El espacio de la respuesta también sale de ese total.

El tamaño de la ventana varía mucho entre modelos y cambia con cada generación: hoy va desde decenas de miles hasta cientos de miles de tokens, y algunos modelos anuncian un millón o más. Antes de trabajar con documentos grandes, comprueba la cifra en la documentación del modelo que uses.

Qué pasa cuando la ventana se llena

Cuando una conversación supera el límite, la aplicación tiene que decidir qué deja fuera. Según el producto, puede recortar los mensajes más antiguos, resumirlos de forma automática o simplemente avisarte de que la conversación es demasiado larga. En los dos primeros casos, aquella regla que diste al principio («nada de tecnicismos») puede haber desaparecido de la mesa sin que te enteres.

El problema del medio

Hay un efecto más sutil. Incluso cuando todo cabe, los modelos no aprovechan igual todas las partes de un texto largo. Un estudio de investigadores de Stanford y otras universidades, titulado «Lost in the Middle» (2023), mostró que el rendimiento era mejor cuando la información relevante estaba al principio o al final del contexto, y caía cuando estaba en medio. Los modelos han mejorado desde entonces, pero la lección práctica sigue siendo útil: no des por hecho que el modelo ha leído con la misma atención la página 3 y la página 43.

Cómo trabajar con documentos largos

Estas técnicas no requieren conocimientos técnicos y funcionan en cualquier asistente.

1. Pon el documento primero y la pregunta al final

La guía de Anthropic para trabajar con contextos largos recomienda colocar los documentos extensos al inicio y la consulta al final del mensaje. Es una costumbre sencilla: primero el material, después las instrucciones y la pregunta concreta.

2. Pide citas textuales antes de la respuesta

En lugar de «¿qué dice el informe sobre los costes?», pide: «Copia literalmente los párrafos del informe que hablan de costes y, después, responde usando solo esos párrafos». Así obligas al modelo a localizar la información antes de interpretarla, y tú puedes comprobar de dónde sale cada afirmación.

3. Trabaja por secciones

Si el documento es muy largo, divídelo. Pide un resumen estructurado de cada capítulo por separado, revisa que cada uno sea correcto y luego trabaja sobre esos resúmenes. Es más lento, pero mucho más fiable que esperar que el modelo digiera 200 páginas de golpe. Esta misma idea, dividir en fragmentos, es la base del chunking que usan los sistemas profesionales de búsqueda.

4. Quita lo que no aporta

Índices, anexos que no necesitas, pies de página repetidos, tablas de otros temas: todo ocupa tokens y compite por la atención del modelo. Pegar solo las secciones relevantes suele dar mejores respuestas que pegar el documento entero «por si acaso».

Cómo evitar que una conversación larga se degrade

• Abre un chat nuevo con un resumen. Cuando notes que el modelo empieza a ignorar reglas, pídele: «Resume en 10 viñetas las decisiones y reglas que hemos acordado». Copia ese resumen, abre una conversación nueva y pégalo al principio.
• Repite las reglas críticas. Si algo es imprescindible (el tono, una cifra, un límite legal), recuérdalo en el mensaje donde importa, no solo al principio.
• Pide respuestas más cortas mientras exploras. Las respuestas largas que no vas a usar llenan la ventana sin necesidad.
• Usa las funciones de memoria o proyectos de tu asistente para las instrucciones permanentes, en lugar de repetirlas en cada chat. Cómo hacerlo en Claude lo contamos en El fin de la «amnesia» en Claude.

Más contexto también cuesta más

Si usas modelos a través de una API, cada token de entrada y de salida se paga. Enviar un documento de 50.000 tokens en cada pregunta multiplica la factura aunque la pregunta sea de una línea. Por eso existen técnicas como el caché de prompt, que reutiliza el procesamiento de un bloque repetido, y la generación aumentada por recuperación (RAG), que busca solo los fragmentos relevantes en lugar de enviarlo todo. Si te interesa cuándo merece la pena montar algo así, lo explicamos en RAG sin humo.

Un prompt para documentos largos

Te paso un documento largo. Antes de responder:

1. Localiza y copia literalmente los fragmentos que tratan sobre [TEMA].
   Indica la sección o página de cada uno.
2. Si no encuentras nada sobre el tema, dilo y no completes con
   conocimiento general.
3. Después responde a la pregunta usando solo esos fragmentos.

Documento:
[PEGA AQUÍ EL DOCUMENTO]

Pregunta: [TU PREGUNTA]

La pregunta va al final, después del documento, por la razón que vimos en el punto 1. Para resúmenes de documentos técnicos tienes además la plantilla Resumen de PDF técnico.

Sigue leyendo

• Qué es un modelo de lenguaje (LLM): cómo genera texto y por qué eso explica sus límites.
• Por qué la IA inventa datos: las alucinaciones y cómo reducirlas.
• Cómo resumir documentos largos con IA sin perder lo importante: un método paso a paso.
• RAG sin humo: cuándo necesitas búsqueda vectorial y cuándo no.
• Términos relacionados en el glosario: token, ventana de contexto y chunking.

Fuentes

• OpenAI Help Center. What are tokens and how to count them?
• Liu, N. F. et al. (2023). Lost in the Middle: How Language Models Use Long Contexts. arXiv.
• Anthropic. Long context prompting tips. Documentación de Claude.