寫在前面
OpenAI 這兩年是整活不斷,GPT 系列的語言模型、DALL-E 圖像生成模型和 Codex 編程輔助模型等工具的發佈,都在文本生成、圖像創作和代碼編寫等領域得到廣泛應用,年初發布的 Sora ,更是實現了文本到視頻直接生成,對於創作者來說簡直是神器。
這段時間我折騰的比較多的則是 Stable Diffusion,畢竟這玩意開源,模型眾多,繪製出的圖像素質也高,創作時找不到相關圖直接用它生成一張,還沒有版權糾紛,多好。順便推薦下 tensor 這個網站,支持多種模型,可以實現文字繪圖,關鍵是這家的免費額度非常高。
網站支持中文顯示,中文關鍵詞還能自動轉換為英文,放幾張我繪製的機甲美女
儘管在線繪圖 Midjourney(Mid)使用方便,但本地部署另有秒處,這次和大家分享利用顯卡進行本地繪圖的方案 Stable Diffusion
本地部署繪圖工具 Stable Diffusion
▼以前搭建 Stable Diffusion 還需要折騰 Python 環境,自從出現整合包以後,搭建過程就相當愜意了,就連後續的更新也是自動的。
現在流行的整合包是 秋葉aaaki 和 獨立研究員 星空,兩者使用的內核一樣,區別主要界面和集成的插件不同,這裡我用 秋葉aaaki 整合包作為演示。
▼初次運行先安裝依賴包
▼解壓下載好的整合包,運行”A繪世啟動器.exe“。
注意:解壓文件不要放在中文目錄。
▼啟動界面如下圖,點擊“一鍵啟動”。程序就會自動加載必須的啟動項
▼啟動成功後的界面如下圖,強烈建議大家下載最新的版本,常用的插件都已經設置好了,比如漢化包、無邊圖像瀏覽等等,甚至連 CLIP 終止層數也自動顯示在右上角,老版本都需要手動安裝的。
▼AI 出圖效果的好壞就是模型,軟件內置了模型下載通道,直接點擊即可安裝。
點擊模型類別再點擊上方的按鈕,還能快速定位模型保存目錄,這也是很實用的地方。
▼不過更建議從專業站點下載模型,比如 civitai 和 liblibAI ,模型不僅數量多還能預覽風格,點擊下載按鈕即可。
▼Stable Diffusion 的模型種類雖然多,但類別就那麼幾種,網站下載模型時能看到模型對應的類別,下載好後也要放入對應目錄。
▼Stable Diffusion 使用界面如下,不同模型、不同提示詞,不同設置出來的圖像都各不相同,而這也是 AI 生圖最好玩的地方。初次使用各項參數可以參考網上發佈的成品圖,然後自己微調,以此理解各項參數的作用。
下面兩張圖對照成品圖的設置,對應功能如下
1 主模型、2 終止層數、3 正向提示詞、4 反向提示詞、5 採樣方法、6 提示詞引導係數(通常7~11)、7 迭代步數(步數越高細節越多耗時越長)、8 隨機種子數(同一個種子數生成的圖片類似,-1 表示隨機)
▼輸出的圖質量不錯,但臉有點崩,因為我沒有使用專門的臉部模型
▼再來實戰一張,下面這張圖,首先觀察它使用了三個模型,將其下載並複製到對應目錄。
▼對照參數進行設定,數量選擇一次生成 4 張
▼生成結束,下方可以看到耗時 41s,顯存佔用接近 12G,現在可以體會到大顯存的優勢了吧。可惜我這是塊 4070TI,下篇打算做個不同顯卡跑 SD 的對比 測試。
▼只要模型和種子數和原圖一樣,那成品可以完美復刻原圖。
通常來講,初次繪圖都會以低分辨率作為基準,這樣對顯卡的符合要小點,後續再利用模型、插件進行放大和細節調整,來實戰一波。
▼首先利用關鍵詞一次多張生圖,分辨率設為 540 * 960 實現快速產出,選出自己喜歡的一張,這個過程被戲稱為“摸獎”。
創建的圖片分辨率較小,自然需要先將其進行放大,這方面的操作手法很多,有單純放大, 有放大加美化或者重繪細節的,介紹 2 種個人用的比較多的技巧。
▼選中需要放大的圖片,點擊下方“發送到後期處理”
▼參考下圖選擇算法和縮放比例,這裡我只是將圖片從 540*960 提升到 2144*3840,放大倍數 4 倍,耗時 4.9s,顯存佔用 10G 。
▼這種放大是速度最快的,而且因為沒有技能擴散,所以對顯卡的要求也不是很高,放大後的圖片在相同尺寸下清晰度是吊打原圖的。
▼再來看看Control Net (Tile)+ Ultimate SD upscale,這是目前最流行的放大算法,放大的同時還會增加許多細節,缺點就是對顯卡要求較高。
首先還是將圖片發送到後期處理,啟用 Control Net 和完美像素、預處理器(tile_resample)、腳本(Ultimate SD upscale)、尺寸放大(4X)、類型(Chess)
這次耗時就長多了,好在顯卡給力沒崩,再次體會到大顯存的優勢。
▼放大後的圖片膚色更加自然,細節更多,額頭的劉海更有光澤度。
▼局部放大更加直觀,這次放大我給了一定的重繪額度,可以看到放大後的效果更加像真人,鼻子沒有那麼尖了,是不是有點像超殺女科洛·莫瑞茲。
最後
一篇簡單的 Stable Diffusion 搭建教程,其實玩 SD 最重要的還是模型,下次考慮做顯卡性能對比,或者專門推薦模型,感興趣的朋友可以關注一波。