Glosario · La IA por dentro · Fase 2
Token
El trozo de texto con el que trabaja un modelo de lenguaje. Los modelos no leen letras ni palabras: leen tokens.
✦Apagada: responde bien la pregunta del final para encenderla
También lo verás como: tokens
Analogía
Las sílabas al aprender a leer. No se va letra a letra ni palabra a palabra, sino por trozos intermedios.
Cómo es un token
Una palabra corta y frecuente suele ser un token; una larga o rara se parte en varios.
restaurante → rest | aur | ante
la → la
Como referencia: 100 palabras en español son unos 150-200 tokens. El código gasta más, porque cada símbolo cuenta.
Por qué te importa
Todo en una IA se mide en tokens:
- El tamaño de la mesa. La ventana de contexto es un número máximo de tokens: tus mensajes, los archivos leídos y las respuestas, todo suma.
- El coste y los límites. Los planes y precios se cuentan en tokens consumidos.
- La velocidad. El modelo escribe token a token: una respuesta larga tarda más.
Consecuencia práctica: una conversación larguísima no solo rinde peor, también gasta más en cada mensaje, porque todo se vuelve a leer cada vez. /clear al terminar una tarea ahorra las dos cosas.
No confundir con
- Token de acceso: una clave para identificarse en un servicio → secreto. Misma palabra, nada que ver.
Comprueba que lo entendiste