Contador de tokens

Pega o escribe texto y los recuentos se actualizan al momento: caracteres, palabras y el número exacto de tokens con dos codificaciones de OpenAI. o200k_base es la que usan GPT-4o, GPT-4.1 y los modelos de razonamiento de la serie o; cl100k_base es la codificación anterior de GPT-4 y GPT-3.5. El mismo texto suele diferir unos pocos puntos porcentuales entre ambas, por eso se muestran las dos. El tokenizador es el codificador BPE real, no una aproximación, así que las cifras coinciden con lo que factura la API.

Claude y Gemini no distribuyen un tokenizador que pueda ejecutarse en el navegador, así que su cifra es una estimación y aparece señalada como tal. Usa una regla sencilla: unos 3,5 caracteres por token en texto con alfabeto latino y unos 1,5 caracteres por token en coreano, japonés y chino. Espera desvíos del 20 por ciento o más con código, formatos poco habituales o idiomas mezclados; úsala para presupuestar a grandes rasgos y toma el campo usage de la respuesta de la API como la única cifra exacta.

Los tokens importan porque deciden si un prompt cabe en la ventana de contexto, cuánto cuesta una petición y cuánto espacio queda para la respuesta. Las fichas de colores bajo los recuentos muestran cómo el tokenizador divide los primeros doscientos tokens. Una palabra común en inglés suele ser un token, mientras que un carácter coreano o japonés a menudo son dos o tres, y por eso el mismo documento cuesta más en esos idiomas. Mirar las fichas es la forma más rápida de ver qué está inflando un prompt: las URL largas, los bloques en base64 y los espacios repetidos saltan a la vista.

Todo se ejecuta en local. Los diccionarios del tokenizador se descargan una sola vez al empezar a escribir, unos pocos megabytes cada uno, y después el texto no sale de la página. Pegar un prompt confidencial o un documento interno es seguro. Las entradas de más de un millón de caracteres se rechazan porque codificarlas congelaría la pestaña; divídelas antes de contar.