← Todos los proyectos

TokenMeter

Lo que cuesta una funcionalidad cuando la escribe un modelo

Estado Open source, MIT, autoalojado.


El problema

Los proveedores cotizan sus precios por millón de tokens. Nadie mide su repositorio en tokens, así que el número de la página de precios responde a una pregunta que nadie ha hecho.

TokenMeter responde a la que la gente sí se hace: cuánto habría costado generar este código, y cuánto cambia eso según cómo trabajes.


Un encoder real, no una regla de tres

El recuento de tokens sale de jtokkit ejecutando la codificación o200k_base, la misma tokenización que usan los modelos. Dividir los caracteres entre cuatro se acerca lo bastante como para sonar razonable y se equivoca lo bastante como para dejar sin sentido la comparación entre modelos, que es justo lo único que produce la herramienta.


Tres modos, y honestidad sobre lo que son

El mismo repositorio se valora de tres maneras. Raw cuenta solo los tokens del código final, uno por input y nada de output: un suelo absoluto. Assisted multiplica el input por cinco y suma una vez el output, por las iteraciones humanas y un razonamiento moderado. Agentic multiplica el input por veinte y el output por cuatro, porque un agente autónomo relee su contexto en cada paso y llama a herramientas por el camino.

Esos multiplicadores son aproximaciones fijas y la herramienta lo dice en su propio README. Es una estimación con suelo, no contabilidad. Publicar los multiplicadores es el argumento: un modelo de coste que no puedes inspeccionar es un número que no puedes discutir.


Cómo funciona un análisis

Enviar la URL de un repositorio al endpoint de análisis devuelve un 202 y encola un trabajo asíncrono. El repositorio se clona temporalmente, se cuenta y se tira.

El resultado se desglosa por lenguaje, extensión, carpeta y fichero, se puede compartir como URL pública o incrustar como badge, y se guarda para poder comparar análisis en el tiempo. Los precios de los modelos son configuración, no constantes en el código.


Stack

Java 21Spring Boot 3jtokkito200k_baseDockerCloudflareSonarCloud

Escrito en el laboratorio