Một cơ sở dữ liệu trên mạng chứa nội dung khiêu dâm được tạo bởi trí tuệ nhân tạo (AI), bao gồm cả hình ảnh bị nghi là nội dung lạm dụng tình dục trẻ em (CSAM), gây rúng động giới nghiên cứu và công chúng.

Sự thật này được tiết lộ bởi chuyên gia bảo mật Jeremiah Fowler khi anh phát hiện ra lỗ hổng này đồng thời chia sẻ thông tin về nó. Lỗ hổng bảo mật đã phơi bày cơ sở dữ liệu từ GenNomis, một công ty AI có trụ sở tại Hàn Quốc, cùng với công ty mẹ AI-Nomis. Với dung lượng hơn 45GB, dữ liệu này bao gồm hơn 95.000 tập tin, đã được lưu trữ công khai trên internet mà không hề có mật khẩu hay bất kỳ lớp mã hóa nào bảo vệ.


Dữ liệu rò rỉ từ GenNomis cho thấy mặt tối khi AI được sử dụng để tạo nội dung deepfake

Điều đáng chú ý là cơ sở dữ liệu này bao gồm nhiều hình ảnh khiêu dâm được tạo bởi AI, trong đó có những bức ảnh sử dụng hình ảnh người thật để tạo nội dung gợi dục, hình ảnh “deepfake” khoả thân của các nhân vật nổi tiếng như Ariana Grande, Beyoncé, gia đình Kardashian, thậm chí là phiên bản họ được “trẻ hóa” để trông giống như trẻ em. Một số hình ảnh thể hiện trẻ em trong trang phục kín đáo nhưng với khuôn mặt có thể là thật hoặc do AI tạo ra – khiến việc xác định tính hợp pháp trở nên phức tạp hơn.

Ngay sau khi Fowler gửi cảnh báo bảo mật cho GenNomis và AI-Nomis, cơ sở dữ liệu này đã được đóng lại. Tuy nhiên, các công ty này không đưa ra bất kỳ phản hồi chính thức nào. Ngoài ra, chỉ vài giờ sau khi được liên hệ để đưa ra bình luận, toàn bộ website của GenNomis và công ty mẹ đã biến mất khỏi internet với lỗi 404. Việc “bốc hơi” nhanh chóng này làm đặt ra những nghi vấn về sự thừa nhận ngầm và trốn tránh trách nhiệm của hai công ty kể trên.

Mức độ nghiêm trọng và những thất bại về pháp lý và đạo đức

Việc để lộ một lượng lớn nội dung nhạy cảm, bao gồm CSAM trên môi trường mạng không chỉ đơn thuần là một lỗ hổng kỹ thuật mà còn là một vấn đề nghiêm trọng về đạo đức và pháp lý. Trên thực tế, GenNomis từng đưa ra những chính sách cộng đồng cấm các hành vi phạm pháp, bao gồm nội dung ấu dâm và bạo lực, nhưng sự cố này cho thấy hệ thống kiểm duyệt của họ gần như không tồn tại Ngoài ra, những hình ảnh này còn được chia sẻ công khai lên các website nội dung người lớn và thậm chí còn tồn tại một cửa hàng trực tuyến để người dùng rao bán các bộ sưu tập ảnh AI gợi dục.


Nội dung tạo sinh bởi AI lại một lần nữa tạo nên tranh cãi về những rào cản đạo đức và pháp lý

Theo Fowler, việc ông có thể truy cập trực tiếp vào những hình ảnh này chỉ bằng đường dẫn cho thấy GenNomis không triển khai bất kỳ biện pháp bảo vệ nghiêm túc nào. Thêm vào đó, ông cũng phát hiện ra các đoạn prompt có chứa những từ khoá như “tiny”, “girl”, hay việc miêu tả các hành vi tình dục giữa người thân. Điều này cho thấy rằng chính các tổ chức này cố tình mở cửa cho các hành vi vi phạm nghiêm trọng pháp luật quốc tế về bảo vệ trẻ em.

Dù GenNomis từng nêu rõ trong quy định rằng nội dung vi phạm pháp luật sẽ bị xử lý, nhưng việc xây dựng thương hiệu với các khẩu hiệu như “tạo ảnh không giới hạn” hay “uncensored images” cho thấy một thái độ khuyến khích người dùng có những hành vi kể trên. Sau sự cố này, rất nhiều chuyên gia một lần nữa lên tiếng về những rủi ro về việc công cụ trí tuệ nhân tạo bị lạm dụng thật sự tồn tại với tác động rất lớn.

Xu thế nội dung deepfake, khoảng trống pháp lý và hệ lụy đi kèm

Bên cạnh những tác động về mặt pháp lý và đạo đức, việc GenNomis có trụ sở tại Hàn Quốc không phải là điều ngẫu nhiên. Một báo cáo từ năm 2023 cho thấy phụ nữ Hàn Quốc chiếm tới 53% tổng số nạn nhân của ảnh khiêu dâm “deepfake” trên toàn cầu. Đây là con số cao nhất thế giới, xếp thứ hai là phụ nữ tại Mỹ với 20%. Điều này cho thấy quy mô và mức độ ảnh hưởng toàn cầu của công nghệ này.

Vấn đề trở nên nghiêm trọng hơn khi nhìn vào bối cảnh xã hội Hàn Quốc. Quốc gia này đang đối mặt với làn sóng gia tăng bạo lực giới ngày càng lan rộng, Trong môi trường đó, các công cụ trí tuệ nhân tạo như “Nudify” và “face swap” không chỉ là công nghệ giải trí, chúng còn đang trở thành vũ khí nhắm đến phụ nữ, trẻ em hay các đối tượng yếu thế, hợp thức hóa hành vi lạm dụng kỹ thuật số.

Và việc tạo ra các khung pháp lý là việc cần thiết khi nội dung này ngày một gia tăng

Ngoài ra, sự việc lần này cũng cho thấy lỗ hổng trong khung pháp lý toàn cầu đối với nội dung mà các công cụ AI tạo ra. Hiện tại, rất nhiều quốc gia, bao gồm các nước ở Phương Tây, cũng mới chỉ trong giai đoạn đầu xây dựng các quy định pháp lý cho trí tuệ nhân tạo. Tại Mỹ, luật hình sự hóa việc tạo và phát tán nội dung “deepfake” khiêu dâm vẫn còn rất phân mảnh, phụ thuộc vào chính quyền ở từng bang. Hơn nữa, tình hình hiện tại còn nghiêm trọng hơn khi số lượng trang web chứa nội dung CSAM do AI tạo ra đã tăng gấp bốn lần kể từ năm 2023, và mức độ chân thực của các hình ảnh này cũng đang ngày càng tiến bộ.

Với hiện trạng này, nhiều chuyên gia deepfake đã lên tiếng đòi hỏi việc gây áp lực lên các nhà lập pháp và các hệ sinh thái hỗ trợ các công cụ AI này, từ nền tảng công nghệ, nhà cung cấp, dịch vụ lưu trữ web, cho tới các hệ thống thanh toán đang vô tình (hoặc cố tình) tiếp tay cho hành vi phạm pháp.

Kết luận

Sự cố GenNomis không chỉ là một bê bối bảo mật, nó còn là bằng chứng rõ ràng cho những rủi ro có thể xảy ra nếu công nghệ phát triển mà không đi kèm với trách nhiệm. Khi AI phát triển nhanh hơn những khung pháp lý, những hệ lụy gây ra cho xã hội, đặc biệt là phụ nữ và trẻ em, là rất lớn và không thể đảo ngược. Chính từ đó việc thiết lập các khung pháp lý và quy định cần thiết để kiểm soát AI là điều bắt buộc.

Nguồn: [1][2]