Legogpt tạo ra các thiết kế Lego bằng cách sử dụng đầu vào AI và văn bản - hiện có sẵn miễn phí cho công chúng

Một nhóm nghiên cứu từ Đại học Carnegie Mellon đã phát triển một mô hình AI mang tên LegoGPT, có khả năng tạo ra các thiết kế LEGO hợp lệ từ đầu vào văn bản. Theo bài báo nghiên cứu được đăng trên GitHub, họ đã huấn luyện "một mô hình ngôn ngữ lớn autoregressive để dự đoán viên gạch tiếp theo thông qua dự đoán token tiếp theo," nhưng điểm quan trọng là AI này có thể tạo ra các thiết kế LEGO từ con số không. Mô hình AI này được huấn luyện trên tập dữ liệu với hơn 47.000 cấu trúc LEGO, tạo ra hơn 28.000 đối tượng 3D độc đáo, bao gồm kệ sách, bàn, ghế, ô tô, tàu, guitar, và nhiều hơn nữa.

Công cụ này được sử dụng để huấn luyện mô hình AI, cho phép tạo ra các thiết kế độc đáo chỉ từ đầu vào văn bản. Nó miễn phí trên GitHub và có thể kết hợp với mô hình thị giác máy tính hoặc AI xử lý hình ảnh. Chẳng hạn, bạn có thể chụp ảnh các viên gạch LEGO có sẵn và để AI cung cấp nhiều tùy chọn xây dựng độc đáo. Đội ngũ đã thêm kiểm tra tính hợp lệ và hồi phục theo vật lý trong quá trình suy diễn tự hồi quy, đảm bảo rằng đầu ra cuối cùng luôn hợp lệ.

LegoGPT tạo ra các mô hình không chồng chéo và ổn định, tức là không có viên gạch nào nổi. Đầu ra cuối cùng của LegoGPT có thể được xây dựng bởi cả con người và robot. Để tạo ra bộ dữ liệu StableText2Lego, đầu vào văn bản được chuyển đổi thành lưới ShapeNetCore, sau đó được đưa vào lưới voxel 20 x 20 x 20 để xác định bố cục viên gạch LEGO ban đầu. Bố cục này sau đó được thay đổi nhưng vẫn giữ hình dạng chung, và các thiết kế không ổn định sẽ bị loại bỏ ở đầu ra cuối cùng.

Những hình ảnh còn lại được hiển thị từ 24 góc độ khác nhau, sau đó GPT-4o được sử dụng để tạo ra mô tả cho sản phẩm cuối. LegoGPT chuyển đổi văn bản thành thiết kế LEGO, sau đó chuyển đổi thành các mã văn bản sắp xếp từ dưới lên trên. Hướng dẫn được tạo ra để kết nối các viên gạch LEGO với chú thích giải thích thiết kế, giúp AI hiểu mối quan hệ giữa văn bản và các viên gạch vật lý.

Từ đó, LegoGPT dự đoán viên gạch tiếp theo cần thiết để xây dựng thiết kế bằng mô hình tự hồi quy. Điều này có nghĩa là nó sẽ kiểm tra tính hợp lệ của viên gạch ở mỗi bước, xem nó có định dạng đúng, có trong thư viện và không chồng lấp với các viên gạch hiện có hay không. Quá trình này sẽ tiếp tục cho đến khi thiết kế hoàn tất, sau đó sẽ kiểm tra độ ổn định của nó. Nếu AI xác định đầu ra không ổn định, nó sẽ quay lại trạng thái ổn định cuối cùng và tiếp tục từ điểm đó.

Khi có đầu ra cuối ổn định, thiết kế được coi là hoàn thành. Nhóm nghiên cứu từ Đại học Carnegie Mellon đã phát hành bộ dữ liệu, mã nguồn và mô hình, cho phép mọi người dễ dàng sử dụng công trình của họ. Một khả năng phát triển là ai đó có thể chuyển đổi nó thành một ứng dụng AI có thể tải xuống với thư viện gạch tùy chỉnh.

Theo dõi Toms Hardware trên Google News để nhận tin tức, phân tích và đánh giá mới nhất. Đừng quên nhấn nút Theo dõi.

Nguồn: www.tomshardware.com/tech-industry/artificial-intelligence/legogpt-creates-stable-lego-designs-using-ai-and-text-inputs-tool-now-available-to-the-public