Elon Musk đã thông báo rằng XAI'sGrok 3Mô hình ngôn ngữ lớn (LLM) đã được đưa ra trước, và lấy thêm 10 lần sức mạnh tính toán so với Grok 2. Anh ta không tiết lộ nhiều chi tiết, nhưng dựa trên thời gian, Grok 3 LLM được đào tạo trước trên Supercluster Colossus, chứa khoảng 100.000 NVIDIAH100GPU.

"Grok 3 sắp ra mắt," Elon Muskđã viết trong một bài x."Purofraining hiện đã hoàn thành với tính toán nhiều hơn 10 lần so với Grok 2."

Đưa ra thời gian và bối cảnh, điều này xác nhận các báo cáo trước đây rằng XAI'sSiêu máy tính Colossus, tự hào có khoảng 100.000 GPU NVIDIA H100, được xây dựng đặc biệt để đẩy nhanh các dự án AI quy mô lớn.Việc đề cập đến việc tính toán cao gấp mười lần so với Grok 2 'hỗ trợ thêm cho ý tưởng rằng việc xử lý trước của Grok 3 đã tận dụng cơ sở hạ tầng tính toán to lớn này.Vì những lý do rõ ràng, Grok 3 đã sử dụng dữ liệu được tạo bởi người dùng của X.

Các chi tiết cụ thể về cơ sở hạ tầng tính toán được sử dụng để đào tạo Grok 2 chưa được tiết lộ rộng rãi, nhưng chúng ta có thể nhận ra rằng nó đã sử dụng một cụm ít mạnh hơn đáng kể so với Grok 3..

Các công ty như XAI cần các hệ thống như Colossus để theo kịp các đối thủ như Openai,GoogleDeepmind, và nhân học.Khả năng xử lý nhanh hơn và ở quy mô lớn hơn cho phép triển khai nhanh hơn các mô hình tiên tiến, chẳng hạn như LLM như Grok 3 hoặc GPT-4 có chứa hàng trăm tỷ tham số.Đào tạo các mô hình này liên quan đến hàng nghìn tỷ hoạt động nổi.Đây là lý do tại sao Colossus sẽ được mở rộng lên 200.000 H100 vàH200GPU trong những tháng tới để Grok tiếp theo sẽ được đào tạo trước trên một hệ thống khổng lồ hơn.

Đáng chú ý là XAI có kế hoạch triển khai một siêu máy tính được cung cấp bởi hơn một triệu GPU theo thời gian.Phiên bản Colossus đó sẽ được sử dụng để đào tạo các LLM có khả năng chứa hàng nghìn tỷ tham số và sẽ chính xác hơn nhiều so với Grok 3 hoặc GPT-4O.Tuy nhiên, ngoài một số lượng lớn các tham số, các mô hình mới hơn có thể có lý do nâng cao hơn, điều này đưa chúng đến gần hơn với trí thông minh chung nhân tạo, đây là mục tiêu cuối cùng của các công ty như XAI và Openai.