Vision Transformer và CLIP: attention cho ảnh, phân loại zero-shot và tìm ảnh bằng câu chữ
Self-attention tự viết bằng PyTorch, cách ViT biến ảnh thành chuỗi patch, so sánh ViT với CNN; CLIP học ảnh và chữ chung một không gian embedding bằng contrastive learning — phân loại không cần dữ liệu huấn luyện và dựng công cụ tìm ảnh bằng mô tả; tổng quan SigLIP, DINOv2 và mô hình đa phương thức.
11 phút đọc
Năm 2017, Transformer thay đổi xử lý ngôn ngữ. Năm 2020, bài báo "An Image is Worth 16x16 Words" cho thấy kiến trúc đó, gần như không sửa gì, cũng làm được Computer Vision. Năm 2021, CLIP nối ảnh với ngôn ngữ — và từ đó mở đường cho mọi mô hình đa phương thức hiện nay, từ tìm ảnh bằng câu chữ tới LLM "nhìn" được ảnh.
Bài này là cầu nối giữa Computer Vision và thế giới LLM: hiểu attention, hiểu ViT, rồi dùng CLIP làm hai việc thực tế — phân loại ảnh không cần dữ liệu huấn luyện và tìm ảnh bằng mô tả.
Bài viết PRO
Phần còn lại dành cho thành viên PRO
Bài này thế nào?
Bài viết có hữu ích với bạn?
Đánh giá giúp mình biết nên viết thêm về chủ đề nào.