Token (en IA)
Un token es el pedazo de texto con el que un modelo de lenguaje lee y escribe: a veces una palabra entera, a veces un trozo de palabra, un número o un signo. Los modelos cuentan su límite y su costo en tokens.
Selecciona cualquier frase de aquí para preguntarle a tu Maestro.
Un modelo lee la pregunta "¿Cuántos clientes regresaron en octubre?" ¿Cuántos tokens crees que son?
Para qué sirve saberlo: los modelos de lenguaje miden todo en tokens. Lo que cabe en su ventana de contexto, lo que cuesta cada pregunta en las herramientas que cobran por uso y lo largo que puede ser una respuesta se cuentan en tokens, no en palabras.
Una regla aproximada: en inglés, un token es como tres cuartos de una palabra; en español suele haber un poco más de tokens por palabra, porque los tokenizadores se entrenaron con más texto en inglés. Un documento de 10 páginas anda entre 5,000 y 8,000 tokens.
Hay otra consecuencia que importa con datos: un LLM no ve el número 48,250.75 como un número, sino como cinco pedazos de texto. Por eso puede equivocarse al sumar o comparar cifras largas de memoria. Cuando la cuenta importa, pídele que la haga con código o recalcúlala tú.
Ojo: en otros contextos, token también es una clave de acceso (como la de tu banco) o una unidad de una criptomoneda. Aquí hablamos de los pedazos de texto.
En Tu IA y tus datos practicas pedirle a la IA cuentas que puedas revisar.
Así se usa
Cuántos tokens es tu CSV
ventas_marzo.csv
- fecha,articulo,cantidad,total
- 2026-03-01,Tornillo 1/4,12,54.00Un renglón: 20 tokens. Fechas y números se parten en muchos pedazos.
- marcado: ... 4,811 renglones: unos 96,000 tokensCabe en un modelo con ventana de 200,000 tokens, pero ocupa casi la mitad antes de que preguntes nada.
Cuándo mirar más de cerca
¿Por qué la IA se equivoca contando letras?
¿Cuántas a tiene "desafortunadamente"?
- desafortunadamente
Si el modelo no ve letras, ¿qué ve?
Pregúntale a tu Maestro sobre Token
Te responde desde la página gratis más cercana a esta palabra, igual que mientras estudias.
Tú: ¿Qué quiere decir "Token", en palabras sencillas?
Tu Maestro: Te lo explico con un caso tuyo, que se queda mejor que una definición. ¿Te ha pasado que una IA se equivoque al sumar números largos?
Pregunta sobre: Responde desde la página "¿Cómo limpio texto escrito de varias formas en pandas? strip, lower y un mapa"
Solo este navegador guarda lo que preguntas aquí. ¿Cómo funciona?
Para saber más
Términos relacionados
- LLM (modelo de lenguaje grande)
Un LLM es un programa entrenado con enormes cantidades de texto para continuar un texto una pieza a la vez: calcula qué pieza es más probable que siga y la escribe. ChatGPT, Claude y Gemini funcionan con un LLM.
- Contexto (ventana de contexto)
Todo lo que un modelo de lenguaje tiene enfrente en un momento dado: tu instrucción, los archivos que leyó y los resultados de sus herramientas. Lo que no está en el contexto, el modelo no lo puede usar.
- Prompt
Un prompt es lo que le escribes a un modelo de IA para pedirle algo: la pregunta o instrucción, más todo lo que le das para contestar, como datos, ejemplos o el formato que quieres de vuelta.