Thuật ngữ
Cửa sổ ngữ cảnh (context window)
Cửa sổ ngữ cảnh là lượng văn bản AI có thể nhớ cùng lúc: tin nhắn của bạn, câu trả lời của nó và tài liệu bạn dán vào, tính bằng token. Khi cuộc trò chuyện vượt quá giới hạn, AI bắt đầu quên phần cũ nhất.
Cửa sổ ngữ cảnh giống như chiếc bàn làm việc của AI. Mọi thứ trong cuộc trò chuyện hiện tại (câu hỏi của bạn, câu trả lời của nó, file PDF bạn vừa dán vào) đều phải nằm vừa trên mặt bàn đó, tính bằng token. Khi bàn đầy, những tờ giấy cũ nhất lặng lẽ trượt khỏi mép bàn.
Vì vậy một cuộc trò chuyện dài có thể trở nên kỳ lạ: hôm thứ Hai bạn nói quán cà phê của mình có sáu bàn, nhưng đến tin nhắn thứ tám mươi nó lại bịa ra một sân thượng. Nó không cố tình nói sai, chi tiết đó chỉ đơn giản đã rơi khỏi bàn.
Ba thói quen sẽ khắc phục phần lớn vấn đề. Mở cuộc trò chuyện mới cho mỗi chủ đề. Dán lại những thông tin quan trọng khi cuộc trò chuyện kéo dài. Và với tài liệu lớn, hãy kiểm tra kích thước cửa sổ của mô hình trước. Các mô hình hiện đại chứa được hàng trăm trang, nhưng không phải là vô hạn.
Bạn gặp thuật ngữ này ở đâu
- Các trang so sánh mô hình hay khoe con số này (“ngữ cảnh 200K”, “1 triệu token”).
- Bạn sẽ cảm nhận nó qua cảnh báo “cuộc trò chuyện này quá dài” hoặc khi AI bỏ qua những hướng dẫn bạn đã nói trước đó.
- Kích thước cửa sổ khác nhau nhiều giữa các mô hình và các gói, và đây là một trong những yếu tố mà công cụ chọn AI của chúng tôi cân nhắc khi ghép bạn với một trợ lý phù hợp.