LangGraph để xây Domain AI Assistant: từ RAG đến workflow đa bước
Nếu Vector Database giúp chúng ta tìm đúng kiến thức, thì LangGraph giúp chúng ta điều phối đúng quy trình suy luận và hành động.
Bài này viết theo mục tiêu rất thực dụng: dễ hiểu, dễ nắm bắt, dễ hình dung, để bạn có thể bắt đầu thiết kế AI Assistant theo kiểu production.
1) Vì sao học LangGraph sau khi đã hiểu Vector/RAG?
Ở mức cơ bản, nhiều hệ thống RAG chạy theo flow đơn giản:
User Question
-> Retrieve Context
-> LLM Answer
Flow này chạy được, nhưng khi vào bài toán doanh nghiệp thì thường thiếu:
- nhiều bước kiểm tra,
- xử lý tình huống thiếu dữ liệu,
- gọi tool/API,
- xác minh nguồn,
- human approval,
- retry/fallback khi lỗi.
LangGraph ra đời để xử lý đúng nhóm vấn đề đó.
Tóm gọn:
- Vector DB giải quyết “tìm gì”.
- LangGraph giải quyết “làm theo trình tự nào”.
2) LangGraph là gì (nói theo cách dễ hình dung)
Hãy tưởng tượng bạn đang thiết kế một sơ đồ workflow:
- Mỗi ô xử lý là một Node
- Mũi tên nối giữa các ô là Edge
- Dữ liệu đi qua toàn bộ flow là State
LangGraph chính là framework để hiện thực hóa workflow đó bằng code.
[Receive Question]
|
v
[Classify Intent] -----> [Need Retrieval?] --yes--> [Vector Search]
| |
no v
| [Build Context]
v |
[Direct LLM Answer] <------------------------+
|
v
[Guardrail Check]
|
v
[Final Response]
Điểm mạnh nhất: bạn kiểm soát được đường đi của logic, thay vì để một prompt dài cố gắng làm mọi thứ.
3) Tư duy cốt lõi: State Machine cho AI Workflow
Nhiều người xem agent như một “hộp đen”.
Với LangGraph, hãy đổi tư duy thành:
- Agent = tập các bước rõ ràng
- Mỗi bước nhận state và trả state mới
- Điều kiện rẽ nhánh được định nghĩa tường minh
Một state đơn giản có thể là:
state = {
question,
intent,
retrieved_docs,
draft_answer,
confidence,
needs_human_review,
error
}
Khi mọi thứ nằm trong state, bạn dễ debug hơn rất nhiều:
- bước nào làm sai,
- rẽ nhánh sai ở đâu,
- context nào khiến trả lời kém,
- fallback có hoạt động không.
4) Kiến trúc tham chiếu: LangGraph + RAG + Tools
Đây là kiến trúc phổ biến cho Domain AI Assistant.
+----------------------+
User Question ->| Router / Intent |
+----------+-----------+
|
+--------------+---------------+
| |
v v
+-----------------------+ +----------------------+
| Retrieval Branch | | Tool Branch |
| - query rewrite | | - SQL/API/CRM tool |
| - vector search | | - business actions |
| - rerank/filter | +----------+-----------+
+-----------+-----------+ |
| |
+---------------+---------------+
v
+------------------+
| Answer Composer |
+--------+---------+
|
v
+------------------+
| Guardrail / QA |
+--------+---------+
|
+----------+-----------+
| |
v v
[Return Answer] [Human Review]
Khi nào branch Retrieval?
- câu hỏi cần tri thức từ tài liệu nội bộ
- cần trích dẫn nguồn
- cần giảm hallucination
Khi nào branch Tool?
- cần hành động (tạo ticket, tra đơn hàng, cập nhật trạng thái)
- cần dữ liệu realtime từ hệ thống nghiệp vụ
5) Mapping từ bài Vector Database sang LangGraph
Bạn đã có pipeline Vector ở bài trước. LangGraph sẽ “bọc” pipeline đó thành workflow rõ ràng.
5.1 Ingestion (offline)
Documents -> Chunking -> Embedding -> Vector DB -> Index Update
5.2 Online Query (runtime)
Question
-> Classify Intent
-> (Optional) Query Rewrite
-> Vector Retrieval (Top-K)
-> Rerank / Filter Metadata
-> Build Prompt Context
-> LLM Generate
-> Guardrail Check
-> Final Answer
Thay vì viết tất cả trong một hàm, mỗi bước trên là một node riêng trong graph.
6) Các pattern LangGraph hay dùng trong production
6.1 Router Pattern
Một câu hỏi vào hệ thống, router quyết định đi nhánh nào:
- FAQ nhanh
- RAG branch
- Tool calling branch
- Escalation branch
Ưu điểm: giảm chi phí, giảm latency, đúng task đúng pipeline.
6.2 Planner–Executor Pattern
Dùng khi tác vụ phức tạp nhiều bước:
- Planner tạo kế hoạch
- Executor chạy từng bước
- Verifier kiểm tra kết quả
- Nếu fail thì retry hoặc re-plan
6.3 Human-in-the-loop Pattern
Với nghiệp vụ nhạy cảm (legal, tài chính, vận hành):
- AI đề xuất
- con người duyệt
- rồi mới thực thi
6.4 Self-correction / Retry Pattern
Nếu chất lượng câu trả lời thấp hoặc thiếu nguồn tin cậy:
- rewrite query,
- retrieve lại,
- hoặc hạ cấp sang “không đủ dữ liệu để kết luận”.
7) Một flow tối giản (dễ bắt đầu)
Nếu mới làm LangGraph, đừng bắt đầu bằng workflow quá lớn.
Bắt đầu với 5 node:
1) classify_intent
2) retrieve_docs
3) generate_answer
4) verify_answer
5) return_or_escalate
Tiêu chí “đủ tốt” ở bản v1:
- trả lời đúng domain trên 1 nhóm câu hỏi mẫu,
- có citation nguồn,
- có fallback khi thiếu dữ liệu,
- có log trace để debug.
8) Nên dùng LangChain hay LangGraph?
Hiểu nhanh như sau:
- LangChain: tốt cho chain tuyến tính, POC nhanh
- LangGraph: tốt cho workflow có nhánh, vòng lặp, checkpoint, human review
Nếu hệ thống của bạn có các yêu cầu như sau thì nên nghiêng về LangGraph:
- nhiều điều kiện rẽ nhánh,
- cần độ tin cậy cao,
- cần audit/tracing rõ,
- cần phối hợp retrieval + tools + policies.
9) Checklist System Design trước khi go-live
Trước khi đưa vào production, nên chốt rõ:
- State schema: mỗi node đọc/ghi gì?
- Routing policy: điều kiện rẽ nhánh cụ thể?
- Retrieval quality: Top-K, rerank, metadata filter?
- Guardrails: từ chối câu hỏi ngoài scope thế nào?
- Observability: trace theo request, node latency, token usage?
- Fallback strategy: khi retrieval/tool thất bại thì làm gì?
- Human escalation: tiêu chí chuyển người xử lý?
- Cost control: route model nhỏ/lớn theo độ khó truy vấn?
10) Kết luận
Nếu phải tóm gọn trong một câu:
Vector Database giúp AI tìm đúng kiến thức. LangGraph giúp AI đi đúng quy trình.
Khi kết hợp cả hai, bạn có nền tảng vững để xây Domain AI Assistant có thể mở rộng thật sự:
Embedding -> Vector Retrieval -> Graph Workflow -> Reliable Answers -> Business Actions
Lộ trình học khuyến nghị
- Embedding fundamentals
- Similarity metrics + Vector indexing (HNSW/IVF)
- RAG pipeline
- LangGraph workflow design
- Hybrid retrieval + reranking
- Evaluation + guardrails + production ops
Học framework giúp bạn chạy demo. Hiểu kiến trúc giúp bạn vận hành hệ thống thật.
#LangGraph #AIEngineering #RAG #VectorDatabase #SystemDesign #LLM #AgentWorkflow