Stable Diffusion 合併模型樂趣多! 自己的風格自己生

阿舍知道很多人為了想要練成自己喜歡的人物的樣子而學習使用 LoRA 做訓練，但是，花了很多時間煉成之後才發現，煉成了怪怪的東西或四不像的人，阿舍也是這樣過來的 ... 😭，不過，不是 LoRA 做不到，而是其中還有很多 "眉角" 要花時間動手做和調校才能瞭解，所以，以阿舍懶的等的個性，就只好往別的方向發展 (不再堅持要長的像誰了)，結果，就發現合併(Merge) 模型也滿有用和滿趣的，而且，操作簡單和快速，各位朋位們可以查看看，其實滿多知名模型都是混合而成的啊 ! ... 🤭

Stable Diffusion 繪製

請小心！版權有問題

雖然，大部份 Stable Diffusion 的 AI 繪圖模型多是開放原始碼的，而且，對於使用這些 AI 變圖模型所產生的圖片也不要求任何的著作權，但是，還是有一些模型是有禁止商用或只限學術研究使用的，像是滿受歡迎的 DreamLike 這套模型，它是有限制使用這個模型所產生的作品必需要符合某些限制條件才能應用在商業上的。

而這樣的限制並不只限於使用該模型所產出的作品，同時，也包含在該模型的衍生模型及應用上，所以，一旦選擇用了這類有版權限制的模型來做合併模型時，新合併出來的模型也就自然的繼承了限制授權的條件，因此，如果有打算要把合併過的模型或其產出應用在商業上，就會需要花點時間追溯模型的上游，以免不小心踩雷，另外，如果有公開自己合併的模型時，建議也把相關的授權說明不清楚。

怎麼查到模型的授權說明 ? 大部份的模型下載網頁均會說明它的授權方式，如果沒有提到，就注意它合併或訓練使用的模型名稱來參考。

合併模型和訓練模型的不同

傳統在訓練新模型是，雖然也是和合併模型一樣，要選擇一個基礎模型 (例如，SD 1.5 或 SD 2.1 等)，但是，訓練新模型需要準備訓練資料來讓 AI 學會產生訓練資料的特徵，需要花比較久的時間準備資料和訓練模型，而合併模型就簡單多了，簡單來說，它是把指定的二個模型的數據資料依指定的演算方式進行合併來產生一個在數據上進行混合的新模型，可以簡單的用 A + B = C 的概念來理解，A 和 B 是原來的二個模型，C 則是新產生出來的模型， C 模型具有 A 和 B 模型不同比例的特徵值，所以，C 模型就能產生出新的風格出來。

截長補短、合併再合併

要合併成自己喜歡的模型的話，首先，需要找出自己喜歡的模型，這些模型可能不是只有一、二個，而是多個，是根據自己想要的特質或特色來挑選 (例如，想要的繪畫方式或想要的畫風等)，然後，找出來之後，再利用 Automatic1111 提供的功能做合併，雖然，一次最多可以合併三種不同的模型，不過，阿舍建議還是一次用二模型來組合就好，這樣會比較容易控制和瞭解混合的效果。

模型那裡找？ Civitai 和 HuggingFace 是模型主要的集散地。

魔法練成: 順序與比例

合併的過程也不會是二個模型合併完成之後，就結束了，因為，模型合併之後的效果要在合併完成之後的測試才能知道，沒有人可以預測，而且，不同的合併順序和比例也會帶來不同的效果，所以，才會有人把模型的合併比例與順序稱為配方，有些神人也會分享他們的配方，例如，知名的 Chilloutmix 模型因為種種的版權因素，這位大神最後就另外調配一組沒有版權疑慮的配方出來並公開給大家自行合併使用，就不用上傳合併後的模型了。

合併模組的操做方式，請參考由大神們提供的教學，在這裡和這裡。

結論: 實驗與樂趣

阿舍覺得合併模型是件有趣的事，而且，合併模型所花的時間大多不超過 10 分鐘，一下子就可以看調配的結果，所以，如果不想用一些需要費時的方式來訓練長的像誰誰的角色或人物的話，透過合併模型來練出自己專用或喜歡的模型也是一種創造模型和風格的方式，同時，合併後的模型也是可以上傳到 Civitai 或 HuggingFace 分享給大家使用的(大部份模型名稱以 Mix 結尾的，就是合併出來的模型)，這也是另一種感覺不錯的成就。

另外，也有直接合併 LoRA 的方式，是透過一個叫做 SuperMerge 的 Automatice1111 擴充工具來達成的，有興趣的朋友們可以研究看看。

2023-05-03