APU của AMD Point Apus thể hiện lợi thế hiệu suất mạnh mẽ trong khối lượng công việc của AI LLM so với các dịch vụ hồ Lunar của Intel.

AMD Strix Point Apus cho thấy sự thống trị trong AI LLMS trong khi giảm độ trễ tổng thể so với cạnh tranh của Intel Lunar Lake Socs

Nhu cầu về hiệu suất cao hơn trong khối lượng công việc của AI không chỉ buộc nhiều công ty phải đưa phần cứng chuyên dụng của riêng họ ra thị trường mà còn khiến cuộc thi trở nên khốc liệt hơn.Vì LLM (các mô hình ngôn ngữ lớn) đã phát triển đáng kể, nhu cầu về phần cứng nhanh hơn cũng đang tăng lên.

Để giải quyết vấn đề này, AMD đã giới thiệu bộ xử lý định hướng AI của riêng mìnhĐối với các nền tảng di động, được gọi là Strix Point, một thời gian trở lại.TrongBài đăng blog mới nhất, Công ty tuyên bố rằng APU Strix Point của nó có thể có một vị trí dẫn đầu lớn đối với các đối thủ của mình trong khi giảm độ trễ cho đầu ra nhanh hơn.TheoAMD, bộ xử lý Ryzen AI 300 có thể cung cấp mã thông báo cao hơn mỗi giây so với chip hồ Lunar của Intel, là chip di động đặc biệt của Intel cho khối lượng công việc của AI.

Theo so sánh, Ryzen AI 9 HX 375 cung cấp27%Hiệu suất cao hơn trong các ứng dụng LLM của người tiêu dùng trong LM Studio so với Intel Core Ultra 7 258V.Sau này không phải là người nhanh nhất trong đội hình Lunar Lake, nhưng nó chắc chắn gần với CPU Lunar Lunar cao cấp vì số lượng lõi/luồng vẫn giữ nguyên ngoại trừ đồng hồ lõi.

LM Studio là công cụ thân thiện với người tiêu dùng của AMD được xây dựng trên llama.cpp không yêu cầu người dùng tìm hiểu khía cạnh kỹ thuật của LLMS.Llama.cpp là một khung được tối ưu hóa cho CPU x86 và sử dụng các hướng dẫn AVX2.Mặc dù khung không cần GPU để chạy LLM, nhưng chắc chắn nó có thể được tăng tốc bằng GPU.

Trong bộ phận độ trễ, Ryzen AI 9 HX 375 có thể cung cấp choĐộ trễ thấp hơn 3,5xhơn đối thủ của nó và có thể đạt được50,7 tk/s so với 39,9 tk/sbởi Core Ultra 7 258V trong Meta Llama 3.2 1B Hướng dẫn.

Khi cả APU Intel Lunar Lake và Strix Point đều đi kèm với đồ họa tích hợp mạnh mẽ, LM Studio có thể tải các tác vụ lên IGPU để tăng hiệu suất LLM bằng API Vulkan.APU Strix Point mang lại đồ họa Radeon mạnh mẽ dựa trên kiến ​​trúc RDNA 3.5 và có thể cung cấp hiệu suất tăng lên tới 31% cho Llama 3.2.

Hơn nữa, sử dụng bộ xử lý VGM (bộ nhớ đồ họa thay đổi) Ryzen AI 300 có thể cho phép phân bổ bộ nhớ cho các tác vụ định hướng IGPU, tăng cường hiệu quả công suất và dẫn đến hiệu suất cao hơn 60% kết hợp với tăng tốc GPU.

AMD nói rằng để làm cho sự so sánh công bằng, nó cũng đã thử nghiệm cả CPU trong sân chơi Intel AI với cùng một cài đặt và thấy rằng Ryzen AI 9 HX 375 đã lên tới8,7%nhanh hơn Core Ultra 7 258V trên Microsoft Phi 3.1 và lên đến13%Nhanh hơn trên MISTRAL 7B Hướng dẫn mô hình 0.3.Tuy nhiên, thật thú vị khi thấy Ryzen AI 9 HX 375 đi ngược lại bộ xử lý Ultra 9 288V hàng đầu vì HX 375 là CPU điểm nổi bật nhất.

Hiện tại, AMD đang tập trung vào việc làm cho LLM có thể truy cập được cho hầu hết người dùng không có kỹ năng kỹ thuật và điều này chỉ có thể đạt được bằng LM Studio, dựa trên khung Llama.cpp.