Bài số № 19PRO
Vision Transformer và CLIP: attention cho ảnh, phân loại zero-shot và tìm ảnh bằng câu chữ
Self-attention tự viết bằng PyTorch, cách ViT biến ảnh thành chuỗi patch, so sánh ViT với CNN; CLIP học ảnh và chữ chung một không gian embedding bằng contrastive learning — phân loại không cần dữ liệu huấn luyện và dựng công cụ tìm ảnh bằng mô tả; tổng quan SigLIP, DINOv2 và mô hình đa phương thức.