Ein Wort ist nicht automatisch ein Token
Das Video zeigt am Beispiel eines einfachen Satzes, dass Modelle Texte in Token zerlegen. Je nach Modell wird derselbe Satz unterschiedlich aufgeteilt, manchmal fast wortnah, manchmal in kleinere Teile. Genau deshalb brauchst du ein Gefühl dafür, dass Tokens eine technische Recheneinheit sind und keine direkte Wortzählung.