ollama

Chạy mô hình ngôn ngữ ngay trên máy mình bằng một lệnh. Điểm cộng lớn cho người tự vận hành VPS: API tương thích kiểu OpenAI, nên đổi từ dịch vụ đám mây sang model cục bộ gần như chỉ là đổi URL.

Dùng vào việc gì

• Thử nghiệm prompt thoải mái mà không tốn tiền theo token
• Tác vụ nhẹ (phân loại, chuẩn hoá văn bản, gợi ý thẻ) đẩy hết sang model cục bộ để tiết kiệm
• Giữ dữ liệu nhạy cảm không ra khỏi máy

Lưu ý

VPS 6GB RAM của bạn không đủ chỗ cho model lớn chạy song song với Postgres và hai container Node. Model cục bộ nên chạy ở máy phát triển, đừng cắm vào VPS sản xuất trước khi đo lại bộ nhớ.