3d-model-anything: quét phòng bằng LiDAR iPhone rồi dựng cảnh Three.js cùng AI agent

3d-model-anything là một repo mã nguồn mở của Wes Bos, cho phép quét một căn phòng bằng iPhone có LiDAR rồi dùng AI coding agent để dựng lại thành cảnh Three.js có thể chỉnh sửa. Repo gồm ứng dụng iPhone viết bằng Swift, một trình xem Three.js, một agent skill tên scan-to-threejs và bản demo văn phòng chi tiết của tác giả. Ứng dụng ghi lại dữ liệu hình học và ảnh chụp, còn agent dựa vào đó để đo đạc, dựng mô hình và so sánh với ảnh thật. Dự án có 1843 sao trên GitHub. README nhấn mạnh đây là quy trình dựng lại theo từng vòng lặp, không phải công cụ biến bản quét thành mô hình hoàn hảo chỉ bằng một cú bấm.

Chi tiết

Quy trình bắt đầu từ việc dùng iPhone để chụp một căn phòng, thu cả hình học từ LiDAR lẫn các bức ảnh. Theo README, ứng dụng đóng vai trò ghi lại bằng chứng, tức dữ liệu đầu vào cho các bước sau. Hiện tại quy trình tập trung vào phòng và không gian nội thất.

Phần dựng mô hình do AI coding agent đảm nhận, dẫn dắt bởi skill scan-to-threejs. Skill này hướng dẫn agent đi qua các bước đo đạc, dựng mô hình và so sánh trực quan bằng camera khớp với ảnh gốc. Kết quả là một cảnh Three.js có thể chỉnh sửa, thay vì một lưới tam giác cố định.

Trình xem cho phép khám phá bản demo văn phòng ở nhiều chế độ: dollhouse, đi bộ, nhìn từ trên xuống, wireframe và knolling. Để chạy trình xem cần Node.js 22.12 trở lên hoặc bản mới hơn được hỗ trợ. Trang playground có địa chỉ /play.html?room=office-v4&mode=fpv.

Bản demo chỉ gồm văn phòng đã dựng lại và một số texture chọn lọc. Các bản quét gốc và bộ ảnh không được phân phối, nên chế độ Scan và Overlay bị tắt trong ví dụ này. Hai chế độ đó vẫn dùng được với phòng của riêng bạn nếu có tài nguyên tham chiếu. Để quét không gian của mình, người dùng cần xem hướng dẫn của ứng dụng iPhone về build bằng Xcode, yêu cầu thiết bị và cách chia sẻ; README cho biết việc quét cần iPhone có LiDAR.

Điểm nổi bật

• Ứng dụng iPhone ghi lại dữ liệu LiDAR và ảnh của căn phòng
• Agent skill scan-to-threejs hướng dẫn đo đạc, dựng mô hình và so sánh bằng camera khớp
• Trình xem Three.js có các chế độ dollhouse, đi bộ, overhead, wireframe và knolling
• Cần Node.js 22.12+ để chạy trình xem
• Là quy trình lặp, không phải bộ chuyển đổi một cú bấm

Vì sao đáng chú ý

Dự án cho thấy một cách thực tế để kết hợp cảm biến trên điện thoại với AI coding agent nhằm tạo nội dung 3D trên web. Lập trình viên làm game, trình xem bất động sản hay không gian ảo có thể tham khảo cách agent so sánh kết quả với ảnh thật qua camera khớp. Vì đầu ra là mã Three.js chỉnh sửa được, bạn có thể tinh chỉnh tiếp thay vì bị khóa vào một mô hình cố định.

Thông tin nhanh

• Kho mã: wesbos/3d-model-anything
• Số sao: 1.843 · Fork: 276
• Ngôn ngữ: Swift

Nguồn: GitHub

---

Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.