TOKENS / CONTEXT
Token 與上下文視窗：AI 一次能讀多少？
文字怎麼被切成 token、詞表怎麼學出來、上下文視窗塞滿時 AI 為什麼會「失憶」，以及這些數字怎麼變成你的 API 帳單。動手切字、塞爆視窗、試算成本。
OVERVIEW
AI 讀的不是字，是 token
語言模型不是一個字一個字讀，而是先把文字切成一塊塊的「token」（詞元），再把每個 token 換成編號來處理。token 可能是一個完整的英文單字、半個單字、一個中文字、一個常見中文詞，或是一個標點符號。導入 AI 時有三個跟 token 有關的數字一定會遇到：
白話比喻token 就像搬家公司用的「標準箱」。東西（文字）要先裝箱才能上車；卡車（上下文視窗）有容量上限，運費（API 費用）也按箱數算。
這份教學全部在你的瀏覽器裡執行，不會傳送任何資料。分詞與價格為教學用的示意值，實際數字依各家模型而不同。