Text Generation WebUI 完全教程：從安裝到精通
Text Generation WebUI 完全教程：從安裝到精通
Contents
Text Generation WebUI 是一個開源的工具，用於執行本地或遠端的大型語言模型（LLMs）。它提供了一個直觀的網頁介面，使用者可以通過該介面調整生成引數、載入模型並進行文本生成。本文將帶你從安裝到日常使用，逐步掌握 Text Generation WebUI，特別是在 GPU VPS 上的部署與最佳化。
Text Generation WebUI 是什麼？適合誰？
Text Generation WebUI 是一個基於瀏覽器的開源工具，允許使用者在本地或遠端執行大型語言模型。它支援多種後端，包括 GPTQ、GGUF、ExLlama 和 Transformers 等，並提供了對生成引數的細粒度控制。它適合開發者、研究人員以及任何需要隱私和控制權的使用者。
前置準備
在開始之前，你需要準備以下環境：
- 硬體：如果你計劃在本地執行模型，建議使用 NVIDIA GPU 以獲得更好的效能。CPU 也可以執行，但速度較慢。
- 作業系統：支援 Linux、Windows 和 macOS。
- Python：確保安裝了 Python 3.8 或更高版本。
- Git：用於克隆 Text Generation WebUI 的程式碼庫。
分步教程
1. 安裝 Text Generation WebUI
首先，克隆 Text Generation WebUI 的程式碼庫並安裝依賴項：
git clone https://github.com/oobabooga/textgen
cd textgen
./start_linux.sh
對於 Windows 使用者，執行 start_windows.bat。
2. 載入模型
在安裝完成後，開啟瀏覽器並訪問 http://localhost:7860。在介面中，選擇Model標籤頁，從 Hugging Face 下載你需要的模型。選擇模型後，點選Load按鈕即可載入。
3. 配置生成引數
Text Generation WebUI 提供了多種生成引數供你調整，包括：
- Temperature：控制生成文本的創造力。
- Top_p 和 Top_k：控制取樣範圍。
- Repetition penalty：防止文本重複。
- Max tokens：限制生成文本的長度。
4. 使用 API
如果你想通過 API 呼叫模型，可以在 user_data/CMD_FLAGS.txt 中新增 --api 引數，並重啟伺服器。API 預設監聽在 5000 埠，你可以通過 http://127.0.0.1:5000/v1 進行訪問。
去哪找角色卡
如果你需要角色卡（Character Cards），以下是推薦的獲取渠道：
- 優先推薦：
- Aicharactercards.com：稽核嚴格，適合 SFW 內容。
- RisuRealm：支援多種格式，授權清晰。
- Character-tavern.com：使用者體驗良好，策展內容。
- 最大但偏成人：
- 中文社群：
- 類腦 / 旅程 Discord：中文角色卡交流社群。
- Cards.sillytavern.one：中文角色卡庫。
免責宣告：以上均為使用者生成內容，包含成人分級（NSFW），請開啟 SFW 過濾並遵守年齡驗證。角色卡版權歸原作者所有，下載與使用請遵循各站條款。
常見問題排查
- GPU 不可見：確保安裝了正確的 NVIDIA 驅動和 CUDA。
- 模型載入失敗：檢查 VRAM 是否足夠，建議使用量化模型。
- API 無法訪問：確保埠
5000沒有被其他服務佔用。
FAQ
Q1: Text Generation WebUI 是什麼？
A1: 它是一個開源工具，用於執行本地或遠端的大型語言模型，並提供對生成引數的細粒度控制。
Q2: 我的機器適合哪種模型格式？
A2: 如果你的機器是 CPU，建議使用 GGUF 模型；如果有 NVIDIA GPU，可以選擇 GPTQ 或 ExLlama 模型。
Q3: 哪些引數對生成結果影響最大？
A3: Temperature、Top_p 和 Repetition penalty 是最常調整的引數，分別控制創造力、取樣範圍和重複懲罰。
Q4: 是否可以用 Text Generation WebUI 進行編碼和研究？
A4: 是的，它支援從程式碼輔助到長篇寫作的多種工作流程。
CTA
想了解更多關於 AI 工具的教程和使用技巧？訪問 tuniang.ai 獲取更多資源！