Dịp hội nghị dành cho lập trình viên AI Advancing 2025 do AMD tổ chức, mình có dịp được nghe anh Daniel Han, CEO của Unsloth chia sẻ chi tiết về hoạt động, đóng góp và tầm nhìn của họ về AI mã nguồn mở. Tại sự kiện, anh cũng đưa ra rất nhiều ý tưởng hay về mặt kỹ thuật trong việc train, sửa lỗi và vận hành các model. Xin được chia sẻ lại một vài ý chính với các bạn.
Cho bạn nào lỡ quên, Unsloth từ mấy năm nay là cái tên quá quen thuộc với anh em training, Fine tune model hay LORA cùng nhiều thứ khác. Unsloth hiện là cái tên sáng giá trong cộng đồng AI mã nguồn mở với hơn 38.000 lượt gắn sao trên GitHub và hơn 10 triệu lượt tải xuống hàng tháng trên Hugging Face, cho thấy sức hút lớn của các giải pháp do họ cung cấp.
Không chỉ cung cấp giải pháp fine tuning và train qua Github của nhóm, Unsloth còn cho phép ngừi dùng truy cập miễn phí các GPU thông qua Google Colab hiện đã được chạy trên AMD Developer Cloud. Với Unsloth, chúng ta có thể fine tuning supervised, reinforcement learning và nhiều thứ khác. Trên đó còn có các dynamic plots và model cực kỳ hiệu quả chạy trên rất nhiều nền tảng phần cứng khác nhau, từ server tới local đều chơi được.
Tại buổi nói chuyện, Han cho biết gần đây Unsloth đã khắc phục một lỗi tồn tại trong tất cả các framework đào tạo phổ biến chính là quá trình tích lũy gradient không được thực hiện chính xác (Gradient Accumulation). Hiện tại nhóm đã giúp sửa lỗi này trong các framework như Transformers và PyTorch.
Ngoài ra, Unsloth cũng đã đưa ra một kỹ thuật mới cho phép di chuyển bộ nhớ trong quá trình checkpointing gradient từ GPU sang RAM để giảm tải, đồng thời loại bỏ hoàn toàn chi phí bổ sung khoảng 7% bằng cách sử dụng các thao tác bất đồng bộ. Một kỹ thuật khác đáng chú ý là "offloading," cho phép người dùng tải các "experts" (chuyên gia trong mô hình Mixture of Experts) sang RAM hệ thống và sau đó dần đưa chúng trở lại GPU theo thời gian, giúp chạy các mô hình lớn trên các GPU có bộ nhớ hạn chế. Thậm chí trên các mẫu card dân dụng với chỉ 8GB RAM cũng chạy được luôn. Cái này hay lắm mà để có dịp, mình sẽ làm một hướng dẫn cho bạn nào chưa quen cũng có thể xài được một cách đơn giản nhất.
Trong buổi nói chuyện, Han cũng đề cập tới tương lai sắp tới vốn được quyết định bởi các model mã nguồn mở. Biểu đồ bên trên là minh chứng cho điều này. Có thể thấy trước giai đoạn các model suy luận reasoning ra đời, các mô hình nguồn mở (đường màu xanh lá cây) bị tụt hậu so với các mô hình đóng (đường màu xanh lam) về hiệu suất, mặc dù tốc độ phát triển của nguồn mở nhanh hơn Tuy nhiên, sự xuất hiện của ChatGPT đã chứng minh rằng dữ liệu tốt và đào tạo đúng cách bằng SFT và học tăng cường với phản hồi từ con người (RLHF) có thể tạo ra một bước nhảy vọt lớn về hiệu suất . Điều này tạo ra một khoảng trễ giữa hiệu suất của mô hình đóng và nguồn mở.
Một thông tin thú vị khác, Han nói rằng tới khoảng tháng 9 năm 2023, sau khi GPT-4 được phát hành, cộng đồng nguồn mở đã trải qua một "giai đoạn hạn hán" kéo dài 4 tháng vì không có mô hình nào đạt được hiệu suất ngang bằng với GPT-4. Nhưng sau đó có một thời khắc gọi là bước nhảy RL, các mô hình như Llama 3 và GPO RL ra đời và đã chứng minh rằng các mô hình nguồn mở cũng có thể đạt được hiệu suất tương đương thông qua học tăng cường. Điều này đã giúp hiệu suất của các mô hình nguồn mở và đóng trở nên tương đương nhau. Mặc dù các điểm chuẩn như MLU đã được chuẩn hóa và không thay đổi nhiều (khoảng 88-90%), khả năng của các mô hình vẫn tiếp tục tăng lên nhờ "bước nhảy RL" này.
Bởi thế, với xu hướng các model mã nguồn mở ngày càng trở nên thông minh hơn, hiệu suất cao hơn thông qua việc giải quyết các giới hạn kỹ thuật đã chứng minh rằng sắp tới, các model mã nguồn mở sẽ được phổ biến rộng rãi hơn tới đại chúng, chạy mượt mà trên những phần cứng không đòi hỏi quá nhiều RAM hay sức mạnh tính toán vẫn giải quyết được nhiều bài toán của cá nhân hay thậm chí là doanh nghiệp nhỏ. Cá nhân mình cũng tin tưởng và nghiên cứu các giải pháp mã nguồn mở thế này, lôi data và model về tự host và tự chạy, đảm bảo và tiết kiệm. Hy vọng rằng tương lai không xa, chúng ta sẽ không cần tốn tận 500 ngàn mỗi tháng cho từng dịch vụ AI mã nguồn đóng, điển hình như chatGPT nữa. Nguồn:tinhte.vn/thread/ceo-unsloth-chia-se-kinh-nghiem-train-model-va-van-hanh-ma-nguon-mo.4029327/