ใช้งาน ChindaLLM 4B ด้วย OpenWebUI
ทำครบทุกขั้นแล้ว คุณจะได้ ChindaLLM 4B ที่ตอบเป็นภาษาไทยผ่านหน้าแชทในเบราว์เซอร์ โดยทุกอย่างทำงานอยู่บนเครื่องของคุณเอง
สิ่งที่ต้องมี: Docker (บน Windows หรือ macOS ใช้ Docker Desktop) RAM อย่างน้อย 4 GB (แนะนำ 8 GB) และพื้นที่ดิสก์พอสำหรับ Docker image ของ OpenWebUI กับโมเดลขนาด 2.5 GB ส่วน GPU ของ NVIDIA จะมีหรือไม่มีก็ได้
1. เปิด OpenWebUI
คอนเทนเนอร์เดียวรัน OpenWebUI พร้อม Ollama ในตัว
- CPU
- NVIDIA GPU
- Docker Compose
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
ติดตั้ง NVIDIA Container Toolkit ก่อน
docker run -d -p 3000:8080 --gpus all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
บันทึกเป็นไฟล์ docker-compose.yml ถ้าใช้ GPU ให้เอาคอมเมนต์ในบล็อก deploy ออก แล้วรัน docker-compose up -d
version: '3.8'
services:
open-webui:
image: ghcr.io/open-webui/open-webui:ollama
container_name: open-webui
ports:
- "3000:8080"
volumes:
- ollama:/root/.ollama
- open-webui:/app/backend/data
restart: always
# ยกเลิกคอมเมนต์บรรทัดด้านล่างสำหรับการรองรับ GPU
# deploy:
# resources:
# reservations:
# devices:
# - driver: nvidia
# count: all
# capabilities: [gpu]
volumes:
ollama:
open-webui: