Token là gì?
Còn gọi: đơn vị xử lý của AI, token ai, tokens ai, token llm
Token là đơn vị nhỏ mà mô hình AI dùng để đọc và tạo văn bản; một token có thể là một từ, một phần của từ hoặc một dấu câu. Độ dài câu lệnh, giới hạn ngữ cảnh và chi phí dùng API đều được tính theo token.
Hiểu kỹ hơn
Với tiếng Anh, trung bình một token khoảng bốn ký tự. Tiếng Việt có dấu thường tốn nhiều token hơn cho cùng một ý, vì mỗi âm tiết có thể bị tách thành nhiều mảnh. Điều này ảnh hưởng thực tế: prompt tiếng Việt dài có thể chạm giới hạn ngữ cảnh sớm hơn. Các mô hình tạo ảnh dùng bộ mã hoá CLIP, như Stable Diffusion đời đầu, chỉ đọc khoảng 75 token mỗi đoạn prompt; phần dư bị bỏ qua hoặc được giao diện chia thành đoạn riêng. Vì thế, với các mô hình này, nên đặt chi tiết quan trọng ở đầu prompt. Ảnh và âm thanh đưa vào mô hình đa phương thức cũng được quy đổi thành token. Lỗi hay gặp là dán cả tài liệu dài vào chatbot rồi thắc mắc vì sao AI quên phần đầu; hãy tóm tắt hoặc chia nhỏ.
