thảo luận có local LLM nào cấu hình trung bình vẫn chạy được không?

zxcvbnm93

#1 05:38 04/03/2026

Chuyện là mình đang build 1 app automation Facebook, có 1 chức năng trong đó là phân tích post, comment rồi rép lại cho phù hợp, comment sẽ được gen bằng AI
ví dụ module tìm các ứng viên đang tìm việc reactJS chả hạn thì sẽ phân tích xem ông nào đang có nhu cầu tìm việc dựa vào comment
mình tính là kết nối đến Gemini, chatgpt xài key các thứ thì nó lại k được ổn định lắm. nếu như có 1 local LLM nào đó đủ ổn để phân tích cái comment đó thuộc ngữ cảnh nào, nghĩa là gì, và nên rép như thế nào... thì sẽ ổn định hơn k bị phụ thuộc vào đám gemini kia.
máy PC mình tính nếu RAM khoảng 16GB, và GPU thuộc dạng trung bình (giá tầm 3-5 triệu) bởi vì user cũng đa phần là người dùng phổ thông
mong các bác cho lời khuyên

Fang Eric

#2 08:29 04/03/2026

specs vậy thì chạy api đi thím, chứ có chạy được local thì tụi nó cũng ngu lắm

cuchipkg

#3 10:03 04/03/2026

Fang Eric said:
specs vậy thì chạy api đi thím, chứ có chạy được local thì tụi nó cũng ngu lắm

API thì tốn tiền thím

Reactions: Fang Eric

Fang Eric

#4 10:10 04/03/2026

cuchipkg said:
API thì tốn tiền thím

chứ ram 16gb - gpu vram của chủ thớt chắc ko tới 12gb quá. Thì mấy con AI cùi bỏ mama ra cũng có xử lý được việc gì đâu, vậy thà tạo 3 cái acc google rồi xoay tua dùng gemini api xoay tua cho rồi.

atomwaffen

#5 11:20 04/03/2026

cỡ đó chạy được mấy con model 3b thôi

ko thì xài DeepSeek API ấy, 5$ tháng xài cũng được cà nghìn request rồi

emducobiet

#6 13:04 04/03/2026

có tools này nè run để check thử coi cấu hình máy chạy được model nào: GitHub - AlexsJones/llmfit: Hundreds of models & providers. One command to find what runs on your hardware. (https://github.com/AlexsJones/llmfit)
hoặc

GitHub - Pavelevich/llm-checker: Advanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration.

Advanced CLI tool that scans your hardware and tells you exactly which LLM or sLLM models you can run locally, with full Ollama integration. - Pavelevich/llm-checker

github.com

Reactions: M.o.T.

M.o.T.

#7 15:22 04/03/2026

zxcvbnm93 said:
Chuyện là mình đang build 1 app automation Facebook, có 1 chức năng trong đó là phân tích post, comment rồi rép lại cho phù hợp, comment sẽ được gen bằng AI
ví dụ module tìm các ứng viên đang tìm việc reactJS chả hạn thì sẽ phân tích xem ông nào đang có nhu cầu tìm việc dựa vào comment
mình tính là kết nối đến Gemini, chatgpt xài key các thứ thì nó lại k được ổn định lắm. nếu như có 1 local LLM nào đó đủ ổn để phân tích cái comment đó thuộc ngữ cảnh nào, nghĩa là gì, và nên rép như thế nào... thì sẽ ổn định hơn k bị phụ thuộc vào đám gemini kia.
máy PC mình tính nếu RAM khoảng 16GB, và GPU thuộc dạng trung bình (giá tầm 3-5 triệu) bởi vì user cũng đa phần là người dùng phổ thông
mong các bác cho lời khuyên

Thử Qwen3 8B hoặc Qwen3.5 9B xem bác. Mình chỉ có 16GB ram vẫn chạy được, tốc độ không nhanh như gọi API thôi.