Chạy LLM trên máy tính cá nhân: hướng dẫn từ chọn model đến dùng thật

Chạy một mô hình ngôn ngữ ngay trên laptop, không cần mạng, không gửi dữ liệu đi đâu, không tốn phí theo lượt: đó là thứ LLM cục bộ mang lại. Năm 2026, việc này không còn là trò nghịch của dân kỹ thuật; hai công cụ miễn phí là LM Studio và Ollama đưa mọi thứ về vài cú click. Bài này đi từng bước: xem máy bạn chạy được cỡ model nào, chọn model, cài công cụ và xử lý các lỗi hay gặp. Nếu bạn chưa rõ LLM là gì, đọc bài LLM là gì trước, ở đó có phần so tổng quan đám mây với local; bài này là phần thực hành.

Bước 1: xem máy bạn chạy được cỡ nào

Thứ quyết định không phải CPU mà là bộ nhớ: model phải nạp trọn vào RAM hoặc VRAM của GPU thì mới chạy. Quy tắc nhanh: model nén chuẩn Q4 cần khoảng 0.6GB bộ nhớ cho mỗi tỷ tham số, cộng thêm 2 đến 3GB cho hệ điều hành và phần đệm.

Chưa chắc máy mình thuộc dòng nào? Windows: chuột phải This PC, Properties xem RAM, Task Manager tab Performance xem GPU. Mac: logo Apple, About This Mac. Nếu có GPU NVIDIA, con số cần nhớ là VRAM chứ không phải RAM.

Bước 2: chọn model theo máy và theo việc

Tên model trên mạng trông rối vì gắn đủ hậu tố, nhưng chỉ cần đọc hai thứ: con số B là cỡ (tỷ tham số) và chữ Q là mức nén. Q4 là điểm cân bằng phổ biến, nhẹ đi gần một nửa so với bản gốc mà chất lượng giảm không đáng kể; Q8 nặng hơn, nhỉnh hơn chút, thường không đáng đổi trên máy yếu.

Gợi ý theo nhu cầu, đều là model mở tải miễn phí:

• Dùng tiếng Việt là chính: Qwen3 8B hoặc Gemma 3 12B nếu máy đủ; xuống 4B khi máy 8GB RAM. Hai dòng này huấn luyện đa ngữ tốt hơn hẳn Llama cùng cỡ.
• Viết code: Qwen2.5-Coder 7B là chuẩn phổ biến ở cỡ nhỏ, đủ cho gợi ý hàm và giải thích lỗi.
• Máy mạnh, muốn chất lượng cao nhất: Llama 3.3 70B hoặc Qwen3 32B, cần cỡ 20GB bộ nhớ trở lên.
• Suy luận từng bước: các bản distill của DeepSeek-R1 cỡ 7 đến 14B, chậm hơn vì suy nghĩ trước khi trả lời.

Đừng sa đà tải chục model một lúc; mỗi bản 7B chiếm 4 đến 5GB ổ cứng. Bắt đầu với một model đa dụng, dùng vài hôm rồi mới thêm.

Bước 3, cách 1: LM Studio cho người mới

LM Studio là app miễn phí có giao diện đồ họa đầy đủ cho Windows, macOS và Linux: tìm model, tải, chat, đọc file, tất cả trong một cửa sổ, không gõ lệnh nào.

Điểm mạnh nhất của LM Studio với người mới là bước gợi ý: app nhìn cấu hình máy và báo trước model nào chạy nổi, gần như loại hẳn lỗi tải nhầm bản quá nặng.

Bước 3, cách 2: Ollama cho ai quen dòng lệnh

Ollama nhẹ hơn, chạy nền như một dịch vụ và mặc định mở API tại cổng 11434. Đây là lựa chọn đúng nếu đích đến của bạn là tự động hóa chứ không chỉ chat.

# macOS / Linux
curl -fsSL https://ollama.com/install.sh | sh
 
# tải và chat với model (tự tải ở lần chạy đầu)
ollama run qwen3:8b

Windows có bản cài đặt riêng trên ollama.com. Vài lệnh đủ dùng hằng ngày: ollama list xem model đã tải, ollama rm <tên> xóa bớt cho nhẹ ổ, ollama ps xem model nào đang nạp trong RAM.

Có Ollama chạy nền, mọi công cụ nói được chuẩn OpenAI API đều trỏ về máy bạn được:

curl http://localhost:11434/v1/chat/completions \
  -d '{
    "model": "qwen3:8b",
    "messages": [{ "role": "user", "content": "Tóm tắt lợi ích của LLM local trong 3 câu" }]
  }'

Đây chính là nền cho các dự án tự host: bài tự host AI cho Home Assistant dùng đúng Ollama này để nhà thông minh trả lời mà không gửi dữ liệu ra ngoài, còn nếu muốn một máy riêng chạy 24/7 thay vì chiếm laptop, xem bài home server giá rẻ. Món Raspberry Pi 5 bản 8GB cũng chạy được model 3B cho các việc nền như phân loại thông báo, dù chậm, đủ cho tác vụ không cần trả lời tức thì.

Dùng local LLM vào việc gì cho đáng

Ba nhóm việc local làm tốt ngay từ model 7 đến 8B: xử lý tài liệu riêng tư (tóm tắt hợp đồng, hỏi đáp trên file nội bộ, dữ liệu không được phép rời máy), việc lặp lại khối lượng lớn (phân loại, gắn nhãn, viết mô tả hàng loạt, chạy cả đêm không tốn phí theo lượt), và môi trường offline hoặc mạng chập chờn.

Ngược lại, việc cần chất lượng cao nhất, cần kiến thức mới sau thời điểm huấn luyện, hoặc cần tiếng Việt trau chuốt cho văn bản quan trọng thì model đám mây trong bài so sánh ChatGPT, Claude, Gemini vẫn là lựa chọn đúng; một gói như Claude Pro cho chất lượng mà không model local cỡ vừa nào theo kịp. Cách dùng khôn là chia việc: nháp và việc riêng tư chạy local, bản cuối quan trọng đưa đám mây. Kỹ năng ra lệnh thì dùng chung được cả hai, xem cách viết prompt.

Lỗi thường gặp và cách xử

Model chạy quá chậm, chữ nhả từng giọt. Model quá cỡ so với bộ nhớ nên tràn sang swap. Xuống một nấc cỡ model hoặc mức nén (14B xuống 8B, Q8 xuống Q4). Trên PC có GPU, kiểm tra app có nhận GPU không: LM Studio hiện mục GPU Offload ở màn nạp model, chỉnh lên tối đa số layer máy chịu được.

Báo lỗi hết bộ nhớ khi nạp. Cùng nguyên nhân trên nhưng thẳng thừng hơn. Đóng bớt trình duyệt (Chrome nhiều tab ngốn RAM khủng khiếp), hoặc chọn bản nén nhẹ hơn.

Trả lời tiếng Việt lẫn tiếng Anh, ngữ pháp lủng củng. Đặc trưng của model nhỏ huấn luyện thiên tiếng Anh. Đổi sang Qwen3 hoặc Gemma 3 cùng cỡ; thêm câu hệ thống yêu cầu chỉ trả lời bằng tiếng Việt cũng đỡ một phần.

Máy nóng, quạt gào khi chạy. Bình thường: suy luận LLM vắt kiệt phần cứng trong lúc trả lời. Laptop nên cắm sạc khi dùng nhiều; nếu chạy tác vụ dài hằng ngày, cân nhắc đẩy sang một máy riêng như đã nói ở phần Ollama.

Kết luận

Chạy LLM trên máy cá nhân năm 2026 chỉ còn ba việc: biết máy mình có bao nhiêu bộ nhớ, chọn model vừa cỡ, cài một trong hai công cụ miễn phí. Máy 16GB RAM với Qwen3 8B qua LM Studio là combo khởi đầu không phải nghĩ; khi thấy mình cần API và tự động hóa, chuyển sang Ollama, mọi thứ đã học vẫn dùng nguyên. Local không thay thế đám mây, nó bổ sung: dữ liệu riêng tư và việc chạy hàng loạt ở lại máy bạn, việc quan trọng nhất vẫn gửi model mạnh nhất. Khám phá thêm công cụ cho từng nhu cầu ở chuyên mục AI của MyAutoLife.