SALT: Nén context LLM thông minh bằng trie — giảm 70% token, giữ nguyên ý nghĩa

Một trong những vấn đề lớn nhất khi làm việc với LLM là context window — bạn trả tiền cho mỗi token gửi đi, và model càng đọc nhiều càng chậm. SALT (Semantic-Aware Lossless Trie) giải quyết vấn đề này bằng cách nén tài liệu dài thành một prompt ngắn hơn trước khi gửi đến LLM, chỉ giữ lại những câu mang nhiều thông tin nhất.

Cách hoạt động

SALT xây dựng một cấu trúc trie (prefix tree) từ văn bản đầu vào. Mỗi câu được chấm điểm dựa trên lượng thông tin nó đóng góp — những câu trùng lặp hoặc ít thông tin bị loại bỏ. Kết quả là một prompt ngắn hơn đáng kể nhưng vẫn giữ nguyên ý nghĩa cốt lõi.

Điểm đặc biệt: saltChat giữ trie trong DRAM qua các lượt hội thoại, nghĩa là tài liệu chỉ cần index một lần và được tái sử dụng cho toàn bộ cuộc trò chuyện — thay vì phải đọc lại mỗi tin nhắn.

Cài đặt

git clone https://github.com/oteomamo/SALT.git
cd SALT
pip install -e .

# Sử dụng cơ bản
python -m salt.cli compress document.txt --output prompt.txt

# Chạy saltChat để hội thoại với tài liệu dài
python -m salt.cli chat --document research_paper.pdf

Trải nghiệm thực tế

u/No_Sky9786, tác giả của SALT, chia sẻ trên Reddit: “SALT shrinks a long document down to a fixed size before it is sent to a language model, keeping the sentences that carry the most information. It works with any model, produces a shorter plain-text prompt, and cuts the compute, memory, and wait time that long inputs cost.”

Công cụ này đặc biệt hữu ích khi kết hợp với các MCP server local-first như Synapse — bạn có thể index codebase bằng Synapse và nén output bằng SALT trước khi đưa vào context window.

Kết luận

SALT không phải là công cụ “hot” nhất GitHub hôm nay, nhưng nó giải quyết một vấn đề thực sự: chi phí context window. Khi các model ngày càng hỗ trợ context dài hơn (1M+ token), khả năng nén thông minh trở nên quan trọng không kém gì khả năng xử lý. Nếu bạn thường xuyên làm việc với tài liệu dài qua LLM, SALT xứng đáng có trong bộ công cụ của bạn.

Nguồn: GitHub (oteomamo/SALT), Reddit r/artificial