Cách dùng LM Studio để chạy AI Local trên Windows

LM Studio là cách khá dễ để chạy AI ngay trên Windows: dữ liệu xử lý tại máy, có thể hoạt động không cần Internet sau khi đã tải model, đồng thời cung cấp API để tích hợp vào ứng dụng khác.

1. Yêu cầu máy tính

Theo LM Studio, Windows x64 cần CPU hỗ trợ AVX2; nên có tối thiểu 16GB RAM và GPU rời từ 4GB VRAM trở lên. Không có GPU rời vẫn chạy được bằng CPU nhưng tốc độ chậm hơn. Yêu cầu hệ thống LM Studio

Gợi ý chọn model:

Với chiếc Dell Inspiron 15 3530 anh từng đề cập, lựa chọn khởi đầu an toàn là Qwen3 4B Instruct – GGUF – Q4_K_M.

2. Cài LM Studio

Truy cập:

https://lmstudio.ai/download

Sau đó:

1. Chọn bản Windows.
2. Tải và chạy file cài đặt.
3. Mở LM Studio.
4. Cho phép ứng dụng qua Windows Firewall nếu muốn dùng API trong mạng LAN.

3. Tải model AI

Trong LM Studio:

1. Vào tab Discover.
2. Tìm một trong các model:
   • Qwen3 4B Instruct GGUF: tiếng Việt khá tốt, nhẹ.
   • Qwen3 8B Instruct GGUF: chất lượng tốt hơn, cần nhiều RAM.
   • Gemma 3 4B GGUF: nhẹ, phản hồi nhanh.
   • Llama 3.1 8B Instruct GGUF: model đa dụng.
3. Chọn định dạng lượng tử hóa Q4_K_M.
4. Nhấn Download.

Q4_K_M là lựa chọn cân bằng giữa chất lượng, dung lượng và tốc độ. LM Studio cũng khuyến nghị chọn bản 4-bit trở lên nếu máy đủ khả năng. Hướng dẫn tải model

Không nên tải ngay:

• Bản F16, BF16: rất nặng.
• Model 14B–32B khi máy chỉ có 16GB RAM.
• Model không có chữ Instruct hoặc Chat nếu mục đích là hỏi đáp.

4. Chạy và trò chuyện với model

1. Chuyển sang tab Chat.
2. Bấm khu vực chọn model ở phía trên.
3. Chọn model vừa tải.
4. Chờ trạng thái model tải vào RAM hoàn tất.
5. Nhập câu hỏi, ví dụ:

Bạn là trợ lý CNTT. Hãy trả lời bằng tiếng Việt, trình bày ngắn gọn,chính xác và đưa ra lệnh cụ thể khi hướng dẫn quản trị Windows Server.

Quy trình chính thức cũng gồm ba bước: tải model, load model vào bộ nhớ và bắt đầu Chat. Hướng dẫn bắt đầu

5. Thiết lập để máy chạy ổn định

Khi load model, mở phần cấu hình nâng cao:

• Context Length: đặt 4096 hoặc 8192.
• GPU Offload: để Auto trước.
• Flash Attention: bật nếu model và GPU hỗ trợ.
• Temperature: khoảng 0.3–0.7.
• Max tokens: khoảng 1024–4096.

Nếu bị thiếu bộ nhớ:

1. Hạ Context Length từ 8192 xuống 4096.
2. Dùng model nhỏ hơn.
3. Chuyển từ Q6/Q8 xuống Q4_K_M.
4. Giảm GPU Offload nếu báo thiếu VRAM.
5. Đóng Chrome, Docker Desktop, máy ảo và ứng dụng ngốn RAM.

6. Chat với tài liệu nội bộ

LM Studio hỗ trợ đính kèm tài liệu để hỏi đáp cục bộ:

1. Mở một cuộc Chat.
2. Kéo file PDF hoặc tài liệu vào khung chat.
3. Đặt câu hỏi, ví dụ:

Đọc tài liệu này và:1. Tóm tắt các nội dung chính.2. Liệt kê những nhiệm vụ liên quan đến Phòng CNTT.3. Trích xuất các mốc thời gian và người chịu trách nhiệm.

Nên lưu ý: tài liệu dài vẫn phụ thuộc vào context và khả năng của model; model 4B thường chỉ phù hợp tóm tắt, còn phân tích phức tạp nên dùng model 8B–14B.

7. Bật API Local

LM Studio có thể hoạt động như máy chủ AI tương thích OpenAI API:

1. Vào tab Developer.
2. Chọn model.
3. Bấm Start Server.
4. Cổng mặc định thường là:

http://localhost:1234

Base URL tương thích OpenAI:

http://localhost:1234/v1

LM Studio xác nhận server có thể chạy trên localhost hoặc cung cấp cho các thiết bị trong mạng. Tài liệu Local API Server

Kiểm tra bằng PowerShell:

Invoke-RestMethod ` -Uri "http://localhost:1234/v1/models" ` -Method Get

Gọi AI bằng PowerShell:

$body = @{ model = "ten-model-trong-lm-studio" messages = @( @{ role = "user" content = "Giải thích Active Directory bằng tiếng Việt" } ) temperature = 0.5} | ConvertTo-Json -Depth 10Invoke-RestMethod ` -Uri "http://localhost:1234/v1/chat/completions" ` -Method Post ` -ContentType "application/json" ` -Body $body

Tên model lấy từ kết quả /v1/models.

8. Cho máy khác trong LAN sử dụng

Trong phần Developer/Server:

1. Bật tùy chọn phục vụ trong mạng nội bộ.
2. Cho phép cổng 1234 qua Windows Firewall.
3. Máy khác gọi:

http://IP-MAY-CHAY-LM-STUDIO:1234/v1

Tạo rule Firewall:

New-NetFirewallRule ` -DisplayName "LM Studio API 1234" ` -Direction Inbound ` -Protocol TCP ` -LocalPort 1234 ` -Action Allow ` -Profile Private

Chỉ nên mở trong mạng LAN tin cậy. Không NAT cổng 1234 trực tiếp ra Internet nếu chưa có xác thực, HTTPS và giới hạn truy cập.

Tóm lại, ví dụ với máy 16GB RAM, hãy bắt đầu bằng Qwen3 4B Instruct GGUF – Q4_K_M, context 4096, GPU Offload Auto. Đây là cấu hình dễ chạy và đủ dùng cho hỏi đáp tiếng Việt, viết nội dung, PowerShell, Windows Server và hỗ trợ CNTT.