Thuật ngữ
Token
Token là mẩu văn bản nhỏ mà AI thực sự đọc và viết ra, mỗi token cỡ ba phần tư một từ tiếng Anh. Giới hạn và giá của AI đều tính theo token, nên đoạn chat dài và tài liệu lớn sẽ tốn nhiều hơn.
AI không đọc theo từ, nó đọc theo token. Chữ “Strawberry” có thể là hai token, “the” là một token, còn một từ ghép dài thì có thể tới năm token. Với tiếng Việt, dấu và các âm tiết cũng được cắt thành nhiều token, nên một câu tiếng Việt thường tốn nhiều token hơn câu tiếng Anh cùng nghĩa. Theo kinh nghiệm, 1.000 token bằng khoảng 750 từ tiếng Anh, cỡ một trang rưỡi.
Tại sao bạn nên quan tâm? Vì token là đơn vị tính của cả thế giới AI. Cửa sổ ngữ cảnh (lượng thông tin AI giữ trong đầu được) đo bằng token. Giá API tính theo mỗi triệu token. Và giới hạn sử dụng của gói miễn phí, nói cho cùng, cũng là một ngân sách token.
Hãy hình dung như đồng hồ tính cước taxi: tiền chạy theo quãng đường, không theo việc chuyến đi của bạn quan trọng đến đâu. Dán vào một bản hợp đồng 200 trang là bạn đã chạy rất nhiều cây số trên đồng hồ, dù câu hỏi của bạn về nó lớn hay nhỏ.
Bạn gặp thuật ngữ này ở đâu
- Thường là ở giữa các dòng thông báo: “đã đạt giới hạn tin nhắn”, “tài liệu quá dài”, hoặc các trang báo giá ghi “mỗi 1 triệu token”.
- Nếu bạn cứ liên tục chạm trần giới hạn và phân vân có nên trả phí một gói hay không, công cụ chọn gói sẽ tính toán điều đó dựa trên cách dùng thực tế của bạn.