Transformer là gì?
Còn gọi: kiến trúc mô hình AI, transformer ai, kiến trúc transformer, transformer model
Transformer là kiến trúc mạng nơ-ron do các nhà nghiên cứu Google giới thiệu năm 2017 trong bài báo 'Attention Is All You Need', dùng cơ chế attention để xử lý cả chuỗi dữ liệu cùng lúc; đây là nền tảng của hầu hết mô hình ngôn ngữ lớn hiện nay.
Hiểu kỹ hơn
Cơ chế attention giúp mô hình biết từ nào trong câu liên quan đến từ nào, kể cả khi chúng cách xa nhau. Ví dụ câu 'Logo này đặt cạnh tiêu đề, nhưng nó quá nhỏ', mô hình cần hiểu nó chỉ logo hay tiêu đề. Chữ T trong GPT chính là Transformer (Generative Pre-trained Transformer). Kiến trúc này không chỉ dùng cho chữ: Vision Transformer xử lý ảnh, và nhiều mô hình tạo ảnh, video thế hệ mới thay phần U-Net bằng transformer, thường gọi là diffusion transformer (DiT). Với designer, bạn không cần hiểu toán của attention, nhưng biết khái niệm này giúp đọc tin công nghệ và hiểu vì sao prompt rõ ngữ cảnh cho kết quả tốt hơn. Lỗi hay gặp là nhầm với lệnh Transform (biến đổi hình) trong phần mềm đồ hoạ, hai thứ không liên quan.
