Token

Kurz erklärtDie kleinste Texteinheit, mit der ein Sprachmodell rechnet.

Sprachmodelle zerlegen Text in Tokens – das können ganze Wörter, Wortteile oder einzelne Zeichen sein. Preise und Limits vieler KI-Tools werden in Tokens gemessen.