Autoregressive Model · Next-Token Prediction

自迴歸模型 · 逐字生成實驗室

GPT / Claude 的核心：每一步都根據「前文」算出「下一個詞的機率分佈」，抽一個、接上去，再重複。拖 溫度(temperature) 看取樣如何從保守變發散。（此處用真實 bigram 統計模型示範）

前文 → 模型 → 下一詞機率分佈 → 取樣一個字 → 接回前文，如此循環（逐字接龍）。生成時模型會亮起。

按「生成一步」看單步機率分佈；按「自動生成」連續產生。

溫度 temperature0.80

top-k（只保留前 k 個候選）8

自迴歸分解 P(句子) = ∏_t P(x_t | x₁…x_t−1)

帶溫度的 softmax 取樣 p_i = softmax(logit_i / T)

溫度 T→低(0.1)：幾乎只挑最高機率的詞 → 保守、重複。
T→高(2.0)：分佈變平 → 更隨機、更有創意但可能亂。

候選詞機率這步抽中的詞

自迴歸模型逐字生成互動實驗室：觀察模型如何根據前文預測下一個 token 的機率分佈，並用溫度參數調整取樣。