Nền tảng CPU của Intel Lunar Lake đang thể hiện hiệu suất ấn tượng trong suy luận của AI với các mẫu Meta Llama 3.2 mới nhất.

Intel Lunar Lake "Core Ultra 9 288V" CPU cho thấy độ trễ chỉ 28,5ms cho 32 và 31,4ms cho 1024 mã thông báo đầu vào

Meta vừa ra mắt Llama 3.2, hiện cung cấp nhiều mô hình hơn cho các tác vụ AI.Llama ban đầu (mô hình ngôn ngữ lớn Meta AI) đã được phát hành vào năm ngoái vào tháng Hai, tìm cách đáp ứng các yêu cầu của người dùng bằng cách trả lời các truy vấn nhưng nó bị giới hạn ở các tham số 8B và 70B.Llama hiện được mở rộng sang các tham số mới hơn, hiện được hỗ trợ đầy đủ trên các nền tảng phần cứng Intel AI.

Intel xuất bản mộtbài báoĐiều đó giải thích hiệu suất đạt được Llama 3.2 nhìn thấy với phần cứng Intel AI như máy gia tốc Intel Gaudi AI, bộ xử lý Intel EO, CPU của Intel Core Ultra "Lunar Lake" và Intel Arc Graphics.Trong aLinkedIn bài, VP của Intel và tổng giám đốc của khách hàng AI và tiếp thị kỹ thuật, Robert Hallock, tuyên bố rằng các bộ xử lý Ultra Lunar Lake Core của Intel Lunar đang chứng kiến ​​hiệu suất tuyệt vời với Llama 3.2.

Theo các tuyên bố, CPU Intel Core Ultra 9 288V "hồ Lunar" hàng đầu có thể đạt được độ trễ cực thấp chỉ 28,5 ms đối với mã thông báo đầu vào 32 và 31,4 ms cho 1024 mã thông báo đầu vào cho mô hình 3B.Điều này có nghĩa là khoảng 32-35 mã thông báo mỗi giây, đây là một hiệu suất ấn tượng trong suy luận AI.

Meta Llama 3.2 mang thêm các mô hình văn bản chỉ tham số 1 tỷ và 3 tỷ cho các tác vụ dựa trên văn bản cơ bản, không có sẵn trong phiên bản 3.0 gốc.Mô hình đa phương thức tham số 11 tỷ cũng được giới thiệu với phiên bản mới nhất, lớn hơn nhiều và có thể xử lý các hoạt động phức tạp hơn như diễn giải hình ảnh, biểu đồ và đồ thị.

Như được minh họa trong GIF, người dùng có PC Intel AI có thể chạy lý luận trực quan để phân tích và giải thích dữ liệu trực quan để nhận được phản hồi có ý nghĩa.Trong ví dụ, CPU Intel Core Ultra 9 288V "Lunar Lunar" với GPU ARC 140V tích hợp được sử dụng trong hướng dẫn tầm nhìn của Llama 3.2 11B.Điều này giúp xác định các đối tượng trong một hình ảnh, phân tích các yếu tố và cung cấp một phản hồi dựa trên văn bản giải thích chúng.

Điều đó nói rằng, Intel đã làm việc trên khung suy luận AI của mình được gọi là OpenVino.Khung này tối ưu hóa hiệu suất trên phần cứng Intel để cải thiện cả hiệu suất và hiệu quả trên PC và thiết bị cạnh.Phần cứng Intel AI cũng mang NPU (đơn vị xử lý thần kinh) trên các nền tảng Intel Core và gia tốc mở rộng ma trận Intel XE trên GPU ARC tích hợp Intel ARC, giúp các PC Intel AI đạt được hiệu suất suy luận cao hơn, đặc biệt là đối với LLAMA 3.2 trong mô hình 11b trong 11bĐối với lý luận hình ảnh ở rìa.