訓練自己的 Stable Diffusion 模型，就像教導一位藝術家學習你獨特的創作風格。你不再需要依賴通用模型產生的千篇一律圖像，而是能夠創造出真正屬於自己的數位藝術語言。這個過程需要技術知識，但絕對值得投入時間。
Stable Diffusion 模型訓練讓你打造個人化藝術風格。關鍵步驟包括準備高品質訓練資料、選擇適合的訓練方法（[LoRA](https://en.wikipedia.org/wiki/Low-rank_adaptation) 或 DreamBooth）、調整學習率與訓練步數，以及透過測試圖像驗證成果。成功的模型訓練需要平衡過度擬合與泛化能力，通常需要 20 到 100 張精選圖像，搭配準確的文字描述。掌握這些技巧後，你就能創造出獨一無二的 AI 藝術作品。
為什麼要訓練自己的模型
現成的 Stable Diffusion 模型功能強大，但它們是用數百萬張圖像訓練出來的通用工具。當你想要創作特定風格的作品時，通用模型往往無法精準呈現你的想法。
訓練個人模型能讓你：
- 建立獨特的藝術簽名風格
- 重現特定角色或物件的一致外觀
- 控制色彩、構圖和細節的呈現方式
- 創造市面上找不到的視覺效果
想像你是插畫家，希望所有作品都保持相同的線條風格和色調。或者你是遊戲開發者，需要為角色設計生成一系列一致的概念圖。這些情況下，客製化模型就成為必要工具。
訓練過程也是深入理解 AI 藝術創作的最佳方式。你會學到提示詞如何影響輸出、模型如何學習視覺特徵，以及參數調整帶來的實際差異。
選擇訓練方法
Stable Diffusion 模型訓練主要有兩種方法，各有優缺點。
LoRA 訓練
LoRA（Low-Rank Adaptation）是輕量級的訓練方法。它不修改整個模型，而是創建一個小型附加檔案，通常只有幾十到幾百 MB。
這種方法的優勢在於：
- 訓練速度快，通常幾小時內完成
- 硬體需求較低，一般消費級顯卡即可
- 檔案小，容易分享和管理
- 可以同時載入多個 LoRA 模型混合使用
LoRA 特別適合學習特定風格、角色外觀或物件特徵。如果你想要訓練動漫風格、特定畫家的筆觸，或是你家寵物的外觀，LoRA 是理想選擇。
DreamBooth 訓練
DreamBooth 會對整個模型進行微調，創造出完整的客製化版本。檔案大小通常在 2GB 到 7GB 之間。
這種方法提供：
- 更深入的風格學習能力
- 更好的細節保留
- 更強的泛化能力，能在不同場景應用學習到的特徵
代價是需要更多運算資源和訓練時間。如果你有強大的 GPU 並且想要徹底改變模型的輸出風格，DreamBooth 是更好的選擇。
對於大多數創作者來說，從 LoRA 開始是明智的決定。它讓你快速看到成果，理解訓練流程，而且失敗成本較低。
準備訓練資料
訓練資料的品質直接決定模型的表現。這是整個流程中最重要的步驟。
圖像選擇原則
你需要 20 到 100 張高品質圖像。數量不是越多越好，品質才是關鍵。
選擇圖像時注意：
- 解析度至少 512×512 像素，最好是 768×768 或更高
- 清晰度高，避免模糊或壓縮過度的圖片
- 多樣化的角度和構圖，幫助模型學習完整特徵
- 一致的風格或主題，確保模型學習方向明確
- 背景乾淨或多樣，避免模型學到不必要的環境特徵
如果你訓練角色模型，準備不同表情、姿勢和服裝的圖像。如果訓練藝術風格，選擇能代表該風格核心特徵的作品。
圖像標註技巧
每張圖像都需要文字描述，這些描述會成為模型學習的指引。
好的標註應該：
- 準確描述圖像中的主要元素
- 包含風格、色調、構圖等視覺特徵
- 長度適中，通常 10 到 30 個詞
- 使用一致的描述格式和詞彙
舉例來說，訓練水彩風格時，標註可能是：「柔和水彩畫，淡藍色天空，流動筆觸，紙張紋理可見，透明色彩層疊」。
許多訓練工具支援自動標註功能，但手動檢查和調整仍然必要。自動標註可能遺漏風格細節或誤判圖像內容。
設定訓練參數
參數設定是技術性最高的部分，但理解幾個關鍵參數就能掌握大局。
| 參數名稱 | 建議值 | 作用說明 |
|---|---|---|
| 學習率 | 1e-4 到 5e-4 | 控制模型學習速度，過高容易過擬合 |
| 訓練步數 | 1000 到 3000 | 總共訓練的迭代次數 |
| 批次大小 | 1 到 4 | 同時處理的圖像數量，受記憶體限制 |
| 重複次數 | 10 到 30 | 每張圖像被使用的次數 |
| 儲存頻率 | 每 500 步 | 多久保存一次檢查點 |
學習率是最關鍵的參數。設定太高，模型會快速記住訓練圖像但失去泛化能力。設定太低，訓練時間會拖得很長，可能永遠達不到理想效果。
開始時使用保守的設定。對於 LoRA 訓練，1e-4 的學習率搭配 1500 步通常是安全的起點。
經驗法則：如果訓練資料少於 30 張，降低學習率並增加重複次數。如果資料超過 50 張，可以提高學習率並減少重複次數。
訓練過程中，每隔一段時間儲存檢查點非常重要。這讓你能夠回溯到不同訓練階段，找出最佳的模型版本。
執行訓練流程
實際訓練時，你需要選擇合適的工具和環境。
本地訓練
如果你有 NVIDIA GPU（至少 8GB VRAM），可以在自己電腦上訓練。常用工具包括：
- Kohya_ss：功能完整的 GUI 訓練工具
- sd-scripts：命令列工具，適合進階使用者
- OneTrainer：新興的整合訓練平台
本地訓練的優勢是完全掌控流程，不需擔心隱私問題，而且沒有額外費用。缺點是初次設定較複雜，需要安裝相依套件和驅動程式。
雲端訓練
如果硬體不足，雲端平台是好選擇：
- Google Colab：提供免費 GPU，適合測試和小規模訓練
- RunPod：按使用時間計費，價格合理
- Vast.ai：GPU 租用市場，價格彈性大
雲端訓練讓你快速開始，但需要注意資料上傳時間和成本控制。
監控訓練進度
訓練開始後，定期檢查生成的測試圖像。大多數工具會在訓練過程中使用固定提示詞生成樣本圖像。
觀察這些圖像的變化：
- 前 500 步：模型開始學習基本特徵
- 500 到 1500 步：風格逐漸成形，細節變豐富
- 1500 步以後：風格穩定，但要注意過擬合跡象
過擬合的徵兆包括生成圖像開始重複訓練資料的構圖、背景或細節。如果發現這種情況，停止訓練並使用較早的檢查點。
測試與優化模型
訓練完成後，真正的工作才開始。你需要全面測試模型表現。
準備一組測試提示詞，涵蓋不同場景：
- 簡單提示詞：只包含主要元素
- 複雜提示詞：包含多個物件和場景描述
- 邊緣案例：測試模型的泛化能力
比較不同檢查點的輸出。有時候訓練到 1200 步的模型比 2000 步的版本表現更好。
常見問題與解決方法
| 問題 | 可能原因 | 解決方案 |
|---|---|---|
| 生成圖像都很相似 | 過度擬合 | 降低訓練步數或學習率 |
| 風格不明顯 | 訓練不足 | 增加訓練步數或提高學習率 |
| 圖像品質下降 | 基礎模型不相容 | 使用訓練時相同的基礎模型 |
| 顏色偏移 | 訓練資料色調單一 | 增加色彩多樣性的訓練圖像 |
如果第一次訓練結果不理想，不要氣餒。調整參數、改善訓練資料，再試一次。每次嘗試都會讓你更理解模型行為。
實際應用技巧
訓練好的模型只是工具，如何使用才決定最終作品品質。
提示詞策略
使用客製化模型時，提示詞寫法會影響風格表現強度。
在提示詞開頭加入觸發詞（trigger word）能強化學習到的特徵。如果你訓練時使用「watercolor style」作為標註的一部分，在生成時也使用這個詞組。
調整 CFG Scale（提示詞引導強度）也很重要。較高的值（10 到 15）會讓風格更明顯，但可能犧牲圖像自然度。較低的值（5 到 8）產生更自然但風格較淡的結果。
與其他模型混合
LoRA 模型可以疊加使用。你可以組合角色 LoRA、風格 LoRA 和場景 LoRA，創造複雜的視覺效果。
調整每個 LoRA 的權重（通常在 0.5 到 1.0 之間）來平衡不同元素的影響力。這需要實驗，但能產生單一模型無法達成的效果。
持續改進
收集使用模型時發現的問題和限制。如果某些角度或姿勢總是表現不佳，在下次訓練時補充相關圖像。
模型訓練是迭代過程。第一版模型建立基礎，後續版本逐步精進。保留訓練記錄，記下哪些參數設定有效，哪些沒用。
從實驗到創作
掌握 Stable Diffusion 模型訓練後，你擁有的不只是技術能力，而是創作自由。你可以實現腦海中的視覺想法，不受限於現有工具的框架。
開始時選擇小規模專案。訓練一個簡單的風格模型或單一角色模型。熟悉流程後，再挑戰更複雜的目標。
記住，最好的學習方式是動手做。理論知識重要，但只有實際訓練模型、面對問題、找到解決方案，你才能真正掌握這項技能。現在就準備你的訓練資料，開始打造專屬的數位藝術風格吧。
