這是一篇關於stable diffusion本地部署並通過基礎模型搭配不同的lora生成圖片的教程,軟件很容易獲取,對電腦的要求也不是太高,相較於本地化的chatglm動不動就要6G顯存的門檻還是很低的,根據不同性能顯卡,同樣的參數生成圖片的速度也不一樣,4090-24G版本的幾秒就可以生成一張圖,1060-4G的幾乎要3-5分鐘才能生成一樣。下面主要講一講很多新手經常搞不懂的問題和使用教程。

文章圖片1

stable diffusion生成的古風美女圖

對於軟件的安裝這裏就不介紹了,網上很多的視頻教程更加的簡單易懂,本文以上圖爲例,講一下如何生成同類型的圖,stable diffusion最方便的一個功能就是圖片信息,我們可以把圖片直接拖進去,右邊就會顯示這張圖的描述和相關參數。如何看懂這個參數呢?我們要先知道stable diffusion模型和lora的區別,簡單講stable diffusion模型決定了可以生成圖的畫風和類型,lora決定了生成圖的其他細節:服裝、臉部特徵、動作等,也算是對模型的補充。

文章圖片2

stable diffusion的圖片信息功能

通過上面的圖,我們可以看到右邊的各種描述,其中<lora:>這種形式的內容,就是這張圖用到了這些lora,prompt中的一些關於畫質、人物、動作之類的描述都是通用的,我們可以直接複製使用,也有人對()內的提示詞不太理解,其實每一個提示詞都有權重的,越靠前權重要高,如果想更高一點就可以加()加的括號越多權重也就越高。同理其他樣式的括號作用也是這樣的。右下角還提到了Model: chilloutmix-Ni,這是這張圖用的到基礎模型,如果我們模型和lora本地都有了就可以直接點下面的文生圖按鈕。(本地沒有可以去網上下載)

文章圖片3

stable diffusion的文生圖功能

如果你的默認模型不是chilloutmix-Ni,可以在左上角切換模型,如果你的lora名字和提示詞不一樣,需要換成你本地的名字,需要注意大小寫和lora版本的問題,lora後面的數值:0.5是代表調用的權重,數值越高佔比越高,最高是2。當模型和lora都準備好了,我們就可以點擊右邊的生成來煉丹了。下面的Steps、Sampler、Seed等參數都已經設置好了,我們不需要動,如果後面生成的圖沒問題了,可以做適當的調整。

文章圖片4

stable diffusion的文生圖功能

除了模型和lora要一致,還需要注意Negative prompt裏面有沒有用到嵌入式的描述,一般帶下劃線的就是直接調用的embeddings文件夾裏面的pt文件,這個我們也需要去網上下載下來放到對應的文件夾裏面,這裏可以補充一下每個類型的文件放的文件夾位置,如果是超過1G的文件,基本上就是sd模型了,下載了直接放到models下面的stable diffusion文件夾裏面,可以連圖片一起下載 會顯示縮略圖方便查看。幾十幾百兆的文件 一般都是lora,放到models下面的文件夾裏面,還有一些插件是放在extensions文件夾裏面的(比如常用的中文漢化、controlnet、posex-master、tagcomplete等等),只有幾十KB的文件就是文字型描述放在embeddings裏面。

文章圖片5

stable diffusion存放目錄

通過這樣的操作,我們就可以通過一張圖,生成同類型的其他圖了,搭配controlnet還可以實現不同的pose,下面放一些微調了提示詞的圖片供大家欣賞,如果對stable diffusion使用還有其他不瞭解的也歡迎大家討論。

文章圖片6

stable diffusion生成的圖

文章圖片7

stable diffusion生成的圖

文章圖片8

stable diffusion生成的圖

相關文章