一個 decoder-only transformer：只做一件事——猜下一個 token。下面先是完整的 datasheet，接著是整台機器，攤開成一張可以動手探測的電路圖。
| 參數量 | 約 32.1 億，embedding 與輸出層共用權重（tied） |
| Context window | 128K tokens，一次對話的工作記憶 |
| 詞彙表 | 128,256 個 tokens，embedding 維度（hidden size）3072 |
| 深度 | 28 個一模一樣的 transformer blocks，pre-norm：RMSNorm → attention → residual → RMSNorm → MLP → residual |
| Attention | Grouped-Query Attention：24 個 query heads、8 個 KV heads，head_dim 128。每 3 個 query heads 共用 1 個 KV head，推論時省下大量記憶體 |
| 位置編碼 | RoPE 旋轉位置編碼，θ = 500,000。沒有可學習的位置向量 |
| MLP | SwiGLU：3072 → 8192（gate ⊙ up）→ 3072 |
| 正規化 | RMSNorm：沒有 bias、不減平均值。比 LayerNorm 更簡單、更快 |
模型從來看不到字母。每個切片會變成 128,256 格代碼簿裡的一個 ID， 進入機器的只有這些數字。橘框的切片是長字被拆開的一部分： 少見的字會被切成 subword 小塊。
順著訊號從上往下走。點一個元件看看它做什麼。 標著 ×28 的 block 可以展開成內部線路。
同一台機器，變成一個立體物件。訊號從上往下流，跟上面的訊號路徑一致： 英文 tokens 從頂端的 embedding 進去，一個繁體中文 token 從底部的 head 出來—— 順著左側帶箭頭的軌道看。墨色零件全是凍結的。打開 LoRA overlay， 整座塔上唯一可訓練的金屬會亮成警示橘： q、k、v、o 的 adapter 鰭片，28 個 blocks 每一個都有。 鰭片厚度跟著 SEC.02 的 rank 選擇器變。
輸入（英文）：“Cisco raised its full-year AI order forecast to $9 billion.”
「思科將全年人工智慧訂單預測上調至________」
注意陷阱：9億美元 是經典的量級翻錯（$9 billion = 90億，不是9億）；“$9 billion” 則是模型偷懶不肯換語言。用 14,746 組配對微調，就是把機率推向正確選項的方法。
這就是整台機器：一具下一個 token 預測引擎。請它翻譯一則摘要， 它就一個 token 一個 token 地寫出中文，每一步都以前面所有內容為條件—— 包括英文原文。
完整微調要更新全部 3.21B 個權重；加上 gradients 和 optimizer 狀態， 大約需要 40+ GB 的 GPU 記憶體——那是資料中心的等級，不是筆電。 LoRA 直接繞過整個問題。
ΔW = B·A，乘上 α/r。 B 從全零開始，所以第 0 步 ΔW = 0：訓練從原始模型原封不動出發。
細長矩陣的厚度為了看得見而誇大。r=16 的真實比例是 16/3072。
每個被改造的矩陣：r × (d_in + d_out)。配方改造每個 block 的 q、k、v、o。 q: 3072→3072、k: 3072→1024、v: 3072→1024、o: 3072→3072， 每個 block 共 r × 20,480；28 個 blocks 就是 r × 573,440 = 9,175,040。
來自 Newsio 正式 pipeline 的 14,746 筆真實新聞，已經清理、結構化。 每筆都有同一則摘要的英文版和繁體中文版，天生就是翻譯配對： 英文進，zh-TW 出。
每筆記錄包含
en_title en_bullets（4–5 條）
zh_title zh_bullets
source_name source_url category。
訓練配對：輸入 = 指令 + en_title + en_bullets
→ 輸出 = zh_title + zh_bullets。
目標端是台灣慣用的繁體中文——
絕不是簡體。每筆記錄的中文面都是刻意這樣寫的。
指令：把這則新聞摘要翻譯成台灣慣用的繁體中文，保持 Newsio 的風格。
Rising AI demand lifts Cisco to another earnings and revenue beat
人工智慧需求攀升 推動思科再創盈收佳績
指令：把這則新聞摘要翻譯成台灣慣用的繁體中文，保持 Newsio 的風格。
Micron Got A New $950 Price Tag: BofA Raises 4 Other AI Chip Stocks
美銀調升美光新目標價至950美元，另調高4檔AI晶片股
卡在某個 probe？想到更好解釋 GQA 的方式？留張字條。 互相回覆，幫有用的按個讚。