¿Que es token?

La unidad minima en la que un modelo parte el texto. Se factura por tokens, no por palabras.

El termino aparece constantemente en la cobertura de inteligencia artificial, casi siempre sin explicar. Esta entrada existe para que ustedes puedan consultarlo en dos lineas y volver a lo que estaban leyendo.

Si buscan el detalle practico, las guias enlazadas al final lo desarrollan con ejemplos.