Cửa sổ ngữ cảnh là gì?

Có thể hình dung như bộ nhớ làm việc: những gì nằm trong cửa sổ thì mô hình dùng được, phần vượt ra ngoài sẽ bị cắt hoặc tóm tắt. Các mô hình hiện nay có cửa sổ từ hàng chục nghìn đến hàng trăm nghìn token, một số còn lớn hơn, đủ để đọc cả một bộ brand guideline dài. Tuy vậy, cửa sổ lớn không có nghĩa là mô hình chú ý đều mọi chỗ; thông tin nằm giữa tài liệu rất dài đôi khi bị bỏ sót. Mẹo: đưa brief, tone of voice và quy tắc quan trọng vào đầu cuộc trò chuyện hoặc system prompt, nhắc lại khi chat đã dài, mở cuộc trò chuyện mới cho đầu việc mới. Lỗi hay gặp là làm nhiều dự án trong cùng một đoạn chat, khiến AI trộn thông tin khách này sang khách khác.