~/ / Bài viết về AI / LLM cục bộ trên VPS / Mô hình chạy cục bộ làm được gì? Tools, thinking, vision và embedding trong Ollama, và những gì chạy vừa trên VPS
Mô hình chạy cục bộ làm được gì? Tools, thinking, vision và embedding trong Ollama, và những gì chạy vừa trên VPS
Mô hình chạy cục bộ không chỉ là một khung chat. Thư viện Ollama gắn nhãn cho các mô hình theo những việc chúng làm được, và tài liệu mô tả từng việc: gọi công cụ, hiển thị quá trình suy luận, đọc ảnh và biến văn bản thành vector để tìm kiếm. Bài viết này giải thích ý nghĩa của từng nhãn, liệt kê mười mô hình cùng nhãn và dung lượng tải về, rồi chỉ cách đối chiếu việc bạn muốn làm với dung lượng bộ nhớ của máy chủ.
Đăng: · 6 phút đọc · Nhãn, dung lượng và cửa sổ ngữ cảnh được đối chiếu với thư viện và tài liệu của Ollama vào ngày 2026-10-26. Thư viện thay đổi thường xuyên, vì vậy hãy kiểm tra trang của tag bạn định dùng.
Bốn nhãn
Thư viện Ollama đánh dấu mỗi mô hình bằng các khả năng mà nó hỗ trợ. Có bốn khả năng quan trọng đối với những gì bạn xây dựng trên máy chủ. Tài liệu mô tả chúng như sau.
| Nhãn | Tài liệu nói gì | Cách sử dụng |
|---|---|---|
| tools | Tool calling, còn gọi là function calling, cho phép mô hình gọi các công cụ và đưa kết quả của chúng vào câu trả lời. Nó hỗ trợ một lệnh gọi công cụ đơn lẻ, các lệnh gọi công cụ song song và vòng lặp agent nhiều lượt. | Bạn liệt kê các công cụ có sẵn trong trường tools của yêu cầu gửi tới /api/chat. Khi mô hình gọi một công cụ, bạn chạy nó và gửi kết quả trở lại dưới dạng một tin nhắn có vai trò tool. |
| thinking | Các mô hình hỗ trợ thinking xuất quá trình suy luận tách riêng khỏi câu trả lời cuối cùng, nhờ đó bạn có thể kiểm tra các bước của mô hình hoặc ẩn phần suy luận đi. | Bạn đặt tham số think trong yêu cầu. Phần suy luận được trả về trong message.thinking và câu trả lời trong message.content. |
| vision | Các mô hình vision nhận ảnh cùng với văn bản, để mô hình có thể mô tả, phân loại và trả lời câu hỏi về những gì nó nhìn thấy. | Bạn truyền một mảng images trong tin nhắn. REST API yêu cầu dữ liệu ảnh được mã hóa base64. |
| embedding | Embedding là các vector số mà bạn có thể lưu trong cơ sở dữ liệu vector, tìm kiếm bằng độ tương đồng cosine hoặc dùng trong các pipeline RAG. | Bạn gọi /api/embed. Tài liệu khuyến nghị dùng độ tương đồng cosine cho hầu hết các tìm kiếm ngữ nghĩa, và dùng cùng một mô hình embedding để lập chỉ mục và để truy vấn. |
Mười mô hình và nhãn của chúng
Bảng này liệt kê các nhãn mà thư viện Ollama hiển thị cho từng dòng mô hình, cùng với một tag, dung lượng hiển thị trên hàng của tag đó trong danh sách tags, và cửa sổ ngữ cảnh của nó. Dung lượng ở đây là dung lượng tải về, nên đó là lượng bộ nhớ tối thiểu mà mô hình cần, không phải mức nên dự trù.
| Tag | Nhãn | Dung lượng tải về | Cửa sổ ngữ cảnh | Thư viện mô tả mô hình là gì |
|---|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 256K | Qwen3 là thế hệ mới nhất của các mô hình ngôn ngữ lớn trong dòng Qwen |
| llama3.2:3b | tools | 2.0 GB | 128K | Llama 3.2 của Meta hướng đến kích thước nhỏ với các mô hình 1B và 3B |
| gemma3:4b | vision | 3.4 GB | 128K | Mô hình mạnh nhất chạy được trên một GPU duy nhất |
| qwen3-vl:4b | vision, tools, thinking | 3.3 GB | 256K | Mô hình thị giác-ngôn ngữ mạnh nhất trong họ Qwen cho đến nay |
| deepseek-r1:7b | tools, thinking | 4.7 GB | 128K | Một họ mô hình suy luận mở |
| qwen2.5-coder:7b | tools | 4.7 GB | 32K | Dòng mô hình Qwen chuyên về mã nguồn mới nhất |
| mistral:7b | tools | 4.4 GB | 32K | Mô hình 7B do Mistral AI phát hành, đã cập nhật lên phiên bản 0.3 |
| gpt-oss:20b | tools, thinking | 14 GB | 128K | Các mô hình trọng số mở của OpenAI dành cho suy luận và các tác vụ agent |
| nomic-embed-text | embedding | 274 MB | 2K | Một mô hình embedding mở với cửa sổ ngữ cảnh token lớn |
| embeddinggemma | embedding | 622 MB | 2K | Một mô hình embedding 300M tham số từ Google |
Các nhãn thuộc về dòng mô hình, và một dòng có nhiều kích thước. Hãy mở trang của đúng tag bạn định dùng để xem các loại đầu vào và dung lượng của nó trước khi tải về.
Đối chiếu khả năng với tác vụ
Tài liệu nêu các cách dùng của từng khả năng, và dưới đây là cách chúng tôi hiểu ý nghĩa của chúng đối với một máy chủ do bạn tự vận hành, không phải một nhận định về chất lượng:
- Tools: một trợ lý có thể tra cứu thứ gì đó hoặc kích hoạt một hành động trong hệ thống của bạn, vì mô hình yêu cầu một công cụ còn mã của bạn chạy nó. Định nghĩa công cụ bạn gửi phải tuân theo cấu trúc của API, điều mà Tool Definition Checker có thể kiểm tra.
- Thinking: những câu trả lời mà bạn muốn xem hoặc ghi lại quá trình suy luận của mô hình một cách riêng biệt, chẳng hạn khi bạn thử nghiệm một prompt. Phần suy luận đến trước câu trả lời, nên một phản hồi tốn nhiều token hơn.
- Vision: mô tả hoặc phân loại một bức ảnh, hoặc trả lời câu hỏi về nó, bằng một mô hình nhận ảnh cùng với văn bản.
- Embedding: tìm kiếm theo ý nghĩa và truy xuất cho RAG. Hai mô hình embedding trong bảng có dung lượng tải về nhỏ, 274 MB và 622 MB, thấp hơn nhiều so với một mô hình chat.
Những gì chạy vừa trên VPS
Bộ nhớ quyết định bạn có thể chạy gì. Các dung lượng tải về ở trên là mức sàn, và độ dài ngữ cảnh cộng thêm một KV cache vào đó. Với các mô hình Qwen3 và Mistral 7B, công cụ tính bên dưới dùng các giá trị cấu hình chính thức, nên bạn có thể xem tổng dung lượng ứng với độ dài ngữ cảnh của bạn và gói dịch vụ bạn đang cân nhắc.
Với các mô hình khác trong bảng, công cụ tính không có giá trị cài sẵn, vì nó cần số lớp, số KV head và kích thước head từ tệp cấu hình của từng mô hình. Bạn có thể nhập chúng vào như một mô hình tùy chỉnh.
Dùng thử: Local LLM Memory Estimator
Ước tính
- Trọng số mô hình
- 4.84 GiB
- KV cache
- 0.56 GiB
- Dự trữ
- 1.00 GiB
- Tổng
- 6.41 GiB (6.88 GB)
- Dung lượng bộ nhớ phổ biến nhỏ nhất chứa vừa
- 8 GiB
Đây là một ước tính. Nó không bao gồm các bộ đệm tính toán của runtime, và giả định mọi lớp có cùng hình dạng KV. Hãy đo một lần chạy thật trước khi chọn gói.
Dữ liệu mô hình được kiểm tra ngày 2026-10-26.
Nguồn: Ollama library · Cấu hình mô hình (config.json) · Ollama FAQ
Mọi thứ chạy trong trình duyệt của bạn. Không có gì được tải lên.
Lựa chọn
- Hãy bắt đầu từ khả năng bạn cần, sau đó chọn mô hình nhỏ nhất mang nhãn đó, và đo bộ nhớ cùng tốc độ trên một máy chủ thử nghiệm trước khi chốt gói dịch vụ.
- Hãy đối chiếu cửa sổ ngữ cảnh trong bảng với mục đích sử dụng của bạn: hai mô hình embedding ghi 2K, còn mistral:7b và qwen2.5-coder:7b ghi 32K.
- Một mô hình có thể mang nhiều khả năng. Qwen3 mang tools và thinking, còn Qwen3-VL thêm vision.
- Thư viện thường xuyên có mô hình mới. Hãy coi bảng này là ảnh chụp tại thời điểm của ngày ghi ở trên.
Nguồn
Đọc tiếp
- Gọi mô hình cục bộ từ mã của bạn: structured outputs và API tương thích OpenAI trong OllamaRàng buộc đầu ra của mô hình cục bộ bằng JSON Schema và gọi Ollama từ các client kiểu OpenAI: tài liệu chính thức nói gì và điều gì không được hỗ trợ.
- Cài Ollama trên VPS và giữ cho nó chạy ổn định: cài đặt, dịch vụ systemd, thiết lập và cập nhậtCài Ollama trên VPS Linux và giữ cho nó chạy ổn định: lệnh cài đặt, dịch vụ systemd, biến môi trường, nơi lưu mô hình và cập nhật, theo tài liệu chính thức.
- LLM chạy cục bộ trên VPS cần bao nhiêu bộ nhớ? Tệp mô hình cộng KV cacheTệp mô hình cộng KV cache: thư viện Ollama, Ollama FAQ và các cấu hình mô hình chính thức nói gì về bộ nhớ mà một LLM chạy cục bộ cần trên VPS.
- Chạy AI trên VPS của riêng bạn: cần dự trù bao nhiêu bộ nhớ và không nên mở ra ngoài những gìĐịnh chạy Ollama hoặc Dify trên VPS? Tài liệu chính thức nói gì về bộ nhớ, suy luận chỉ bằng CPU và những cổng cần giữ đóng.