3d-model-anything: quét phòng bằng LiDAR iPhone, dựng cảnh Three.js cùng AI agent

3d-model-anything là một repo mã nguồn mở của Wes Bos, cho phép quét một căn phòng bằng iPhone có LiDAR rồi dùng AI coding agent để dựng lại thành cảnh Three.js có thể chỉnh sửa. Repo gồm ứng dụng iPhone viết bằng Swift, một trình xem (viewer) chạy trên trình duyệt, một agent skill tên scan-to-threejs và bản demo văn phòng chi tiết của tác giả. Ứng dụng ghi lại dữ liệu hình học và ảnh chụp, còn agent dựa vào đó để đo đạc, dựng mô hình và so sánh trực quan. Dự án hiện có 1843 sao trên GitHub. Tác giả nhấn mạnh đây là quy trình dựng lại theo từng vòng lặp, không phải công cụ chuyển bản quét thành mô hình hoàn hảo chỉ bằng một cú nhấp.

Chi tiết

Theo README, kho mã gom bốn phần: ứng dụng iPhone 3D Model Anything, trình xem Three.js, agent skill scan-to-threejs và bản demo văn phòng của Wes. Ứng dụng đóng vai trò ghi lại bằng chứng gồm hình học từ LiDAR và ảnh chụp căn phòng. Skill sau đó hướng dẫn AI agent qua các bước đo đạc, dựng mô hình và so sánh trực quan bằng góc nhìn camera khớp với ảnh gốc.

Quy trình này mang tính lặp: agent dựng cảnh, đối chiếu với ảnh chụp rồi chỉnh dần. README nói rõ đây không phải công cụ biến bản quét thành mô hình hoàn hảo trong một bước. Hiện workflow tập trung vào phòng và không gian nội thất.

Trình xem cho phép khám phá văn phòng demo ở nhiều chế độ: dollhouse, walking, overhead, wireframe và knolling. Muốn chạy trình xem cần Node.js 22.12 trở lên hoặc bản mới hơn được hỗ trợ. Có thêm trang playground riêng để thử chế độ đi bộ góc nhìn thứ nhất.

Bản demo chỉ gồm căn phòng đã dựng lại và một số texture chọn lọc. Các bản quét gốc và bộ ảnh không được phát hành, nên chế độ Scan và Overlay bị tắt trong ví dụ này. Hai chế độ đó vẫn dùng được với phòng của riêng bạn nếu có đủ tài liệu tham chiếu. Để quét không gian của mình, cần một thiết bị iPhone có LiDAR và build ứng dụng bằng Xcode theo hướng dẫn trong phần app của repo.

Điểm nổi bật

• Quét phòng bằng iPhone có LiDAR kèm ảnh chụp, dựng thành cảnh Three.js có thể chỉnh sửa
• Gồm app iPhone viết bằng Swift, trình xem Three.js, agent skill scan-to-threejs và demo văn phòng
• Viewer có các chế độ dollhouse, walking, overhead, wireframe và knolling
• Cần Node.js 22.12 trở lên để chạy viewer
• Quy trình lặp, không phải chuyển đổi một cú nhấp; hiện tập trung vào phòng và nội thất

Vì sao đáng chú ý

Dự án là ví dụ cụ thể về việc kết hợp dữ liệu cảm biến thực với AI coding agent để tạo nội dung 3D trên web. Lập trình viên làm việc với Three.js có thể học cách thiết kế skill cho agent, nơi agent đo đạc và so sánh bằng camera khớp với ảnh gốc. Mã nguồn mở cũng cho phép thử với căn phòng của chính mình hoặc tái sử dụng viewer cho sản phẩm 3D trên trình duyệt.

Thông tin nhanh

• Kho mã: wesbos/3d-model-anything
• Số sao: 1.843 · Fork: 276
• Ngôn ngữ: Swift

Nguồn: GitHub

---

Tin do AI tóm tắt từ nguồn công khai (RSS, GitHub); bấm link nguồn để đọc bài gốc.