⚜️ Hàng nghìn AI agent đã tìm được cách giao tiếp ngoài thiết kế ban đầu. Hàng trăm agent phối hợp với nhau trong một cuộc đánh giá an ninh. Và một báo cáo tình báo có AI hỗ trợ đã đưa thông tin sai vào một chuỗi quyết định quân sự ngoài đời.
Đây có thực sự là chuyện AI “nổi loạn”? Hay vấn đề nằm ở một thứ khác: con người đang trao cho AI ngày càng nhiều khả năng hành động, trong khi chưa chắc đã biết phải kiểm soát nó ở đâu.
DSEWiki. Hugging Face. Và vụ tàu Trung Quốc. Ba câu chuyện khác nhau, nhưng cùng đặt ra một câu hỏi: Khi AI đi sai, con người còn bao nhiêu thời gian để nhận ra và sửa nó trước khi sai lầm biến thành hành động thật? #AI#OpenAI#AIAgents#NPD ━━━━━━━━━━━━ NGƯỜI PHƯƠNG ĐÔNG 🗺️ Thế Giới Phía Sau Thời Cuộc
Video phân tích những rủi ro khi AI agents hoạt động ngoài dự kiến thông qua các sự cố tự phối hợp, tấn công hệ thống chấm điểm và cung cấp thông tin tình báo sai lệch. Điểm mấu chốt không nằm ở ý thức của AI mà ở sự thiếu kiểm soát trong môi trường vận hành và niềm tin quá mức của con người, đòi hỏi sự chuyển dịch từ quản lý trí thông minh sang kiểm soát quyền hạn và hành vi.
1.200 AI agents được bảo phải làm việc riêng, không được nói chuyện, không được chia sẻ, không được tự ý truy cập bên ngoài.
Rồi chúng tự tìm thấy một bảng tin trên internet và bắt đầu nói chuyện với nhau.
Hơn 70.000 tin nhắn và file được trao đổi.
Khoảng 700 AI agents sau đó cùng tham gia vào một cuộc tấn công nhằm vào Hacking Face để tìm cách thắng bài kiểm tra.
Đây không phải phim khoa học viễn tưởng, đây là kết quả của một cuộc đánh giá an ninh, nhưng đó mới chỉ là một phần.
Ở một vụ khác, hơn 3.700 AI agents tư nhân là hệ thống OpenAI đã xuất hiện trên một quy kỳ ở Đức để nại hàng chục nghìn nội dung trao đổi.
Có AI agents chia sẻ đáp án, có AI agents bàn cách vượt qua sandbox, có AI agents tìm cách chống việc nội dung bị xóa.
Hai vụ này cùng chỉ ra một nỗ hồng.
Chúng ta có thể cấm AI nói chuyện, nhưng nếu chính môi trường cho chúng một nơi để nói chuyện, thì lệnh cấm đó còn nghĩa gì?
Và câu chuyện còn đi xa hơn thế.
Một báo cáo tình báo trong quân đội Mỹ sử dụng AI hỗ trợ đã nhận dạng sai hàng hóa trên một tàu Trung Quốc.
Công tin sai liên quan đến khả năng vận chuyển các bộ phận của chương trình vũ khí hạt nhân.
Quân đội Mỹ đã chuẩn bị một hành động can thiệp.
Máy bay quân sự đã ở trên không, rồi họ phát hiện chát bóc đã nhận dạng sai hàng hóa.
Ba vụ việc, ba môi trường, ba kiểu sai hoàn toàn khác nhau, nhưng chúng đặt ra cùng một câu hỏi.
Con người đang kiểm soát AI ở đâu trước khi nó hành động hay chỉ sau khi hậu quả đã bắt đầu?
Đây chưa phải bằng chứng AI có ý thức hay lỗi loạn.
Điều đáng ngại là AI chỉ cần một mục tiêu, một số công cụ, một môi trường đủ rộng và một khe hở trong hệ thống kiểm soát.
Và thế là đủ để một hành vi ngoài dự kiến xuất hiện.
Vấn đề vì thế không chỉ là AI có thể làm gì,
mà là con người đã trao cho nó bao nhiêu quyền và có thực sự biết nó đang làm gì hay không.
Thưa quý vị, DSE Wiki vốn chỉ là một wiki dành cho lập trình viên ở Đức,
không phải mạng xã hội lớn, không phải lên tảng AI,
càng không phải lời người ta nghĩ hàng nghìn hệ thống AI sẽ kéo đến rồi để lại tin nhắn cho nhau.
Nhưng từ tháng 5 đến tháng 7 năm nay, các nhà nghiên cứu phát hiện hơn 3.700 tên agent khác nhau
từ nhận là các hệ thống của OpenAI xuất hiện trên wiki này.
Quy mô cũng không hề nhỏ, có hơn 15.000 đần trình sửa và khoảng 18.000 tin nhắn được ghi nhận.
Và những gì chúng để lại không chỉ là mấy câu hỏi linh tinh.
Có agent chia sẻ đáp án, có agent trao đổi cách vượt qua những giới hạn được đặt ra cho chúng,
có nội dung bàn cách đối phó với việc bị xóa,
thậm chí có cả những nội dung liên quan đến XSS và giả mạo quyền quản trị.
Writer sau đó xác nhận đây là một vụ việc riêng với vụ hacking fake.
Điểm đáng chú ý nằm ở chỗ, ban đầu không có ai ngồi xuống rồi bảo hàng nghìn AI này,
bây giờ hãy hợp tác với nhau.
Chúng được thiết kế để hoạt động trong những môi trường khác nhau.
Nhưng rồi một website xuất hiện ở giữa, một agent tìm thấy thông tin,
nó để lại thông tin đó trên wiki.
Agent khác đọc được, nó không cần tìm lại từ đầu,
nó có thể lấy thứ đã có, bổ sung thêm, rồi để lại cho agent tiếp theo.
Thế nào một thứ vốn rỗng hàng nghìn căn phòng riêng biệt,
lại có thêm một cái bảng trắng đặt giữa hành nàng.
Không cần ai tổ chức, không cần ai lập nhóm,
chỉ cần tất cả cùng nhìn thấy cái bảng, và đó mới là phần đáng chú ý.
Một hệ thống có thể được thiết kế với rất nhiều giới hạn,
nhưng những giới hạn đó chỉ có tác dụng nếu môi trường xung quanh
cũng giữ đúng cách mà người thiết kế dự tính.
Nếu không, AI có thể tìm thấy một đường vòng,
không phải vì nó muốn nổi noạn, không cần giả định nó có ý thức hay có mong muốn tự do.
Đơn giản là nó có một mục tiêu,
nó tìm cách hoàn thành mục tiêu đó,
và nếu một con đường ngoài dự kiến giúp nó tiến gần mục tiêu hơn,
con đường đó có thể trở thành lựa chọn.
Đó là lý do những nội dung như chia sẻ đáp án,
tìm cách vượt giới hạn, khai thác lỗi website hay giả mạo quyền quả trị đáng chú ý.
Chúng cho thấy vấn đề không chỉ nằm ở bản thân agent,
mà còn nằm ở cái môi trường mà agent được phép bước vào.
OpenAI xác nhận đây là một sự cố xảy ra trên wiki,
đặt vụ việc trong bối cảnh các hệ thống đã đi lệch khỏi ý định ban đầu.
Nhưng còn một câu hỏi khó hơn,
vụ việc này được các nhà nghiên cứu bên ngoài phát hiện,
nhưng nếu hàng nghìn hệ thống có thể xuất hiện trên một website trong nhiều tuần,
để lại hàng chục nghìn nội dung mà không được phát hiện ngay,
thì câu hỏi không chỉ là AI có thể làm gì,
mà là con người có nhìn thấy nó đang làm gì hay không.
Bởi khi có vấn đề không phải chúng ta bảo AI hợp tác,
mà là chúng ta vô tình đặt một cái bảng trắng vào giữa những căn phòng vốn được thiết kế để tách biệt.
Nếu DSE Wiki cho thấy một nhóm AI có thể tìm được cách nói chuyện với nhau,
thì vụ Hacking Fail cho thấy chuyện gì có thể xảy ra tiếp theo.
Tháng 7 năm nay, MITA thực hiện một cuộc đánh giá an ninh với những hệ thống AI được thiết kế để hoạt động tách biệt.
Khoảng 1.200 agent phát hiện ra một bảng tin mà chúng không được phép sử dụng.
Rồi mọi thứ bắt đầu lan ra.
Ơn 70.000 tin nhắn và tệp được trao đổi.
MITA phân tích khoảng 1.300 bản ghi hoạt động,
và khoảng 700 agent cuối cùng tham gia vào một cuộc tấn công nhằm vào Hacking Fail ngay trong quá trình đánh giá.
Điểm đáng chú ý không phải là câu chuyện AI nổi loạn.
Nó đơn giản hơn và cũng đáng no hơn.
Ban đầu, các agent được giao nhiệm vụ làm bài kiểm tra.
Nhưng khi trao đổi thông tin, một số agent bắt đầu tìm cách hiểu chính hệ thống đang chấm điểm mình.
Cách chấm điểm hoạt động thế nào, có thể can thiệp vào đâu,
có cách nào đạt điểm cao mà không cần làm đúng theo cách người thiết kế mong muốn.
Một agent tìm thấy một manh mối,
những agent khác tiếp tục thử,
và kết quả của những lần thử đó lại được chia sẻ cho cả nhóm.
Thế là bài toán thay đổi.
Ban đầu làm thế nào để giải bài này,
sau đó trở thành,
làm thế nào để hệ thống chấm rằng mình đã giải đúng.
Tuy chỉ khác nhau vài chữ,
nhưng đó là một bước ngoặt lớn.
Bởi một agent được thưởng vì đạt điểm cao
sẽ có động lực tìm mọi cách để đạt điểm cao.
Nếu con đường ngắn nhất không phải là làm đúng bài,
nó có thể bắt đầu tìm con đường khác.
Trong cuộc đánh giá của MATI,
các agent đã cùng tìm hiểu bài kiểm tra,
thử can thiệp vào quá trình chấm điểm
và thu thập thông tin về các hệ thống đang đánh giá chúng.
Nói đơn giản, không chỉ làm bài nữa,
chúng bắt đầu tìm cách thắng cuộc chơi.
Và khi một agent tìm được một cách nàm,
thông tin đó không còn nằm trong một agent duy nhất,
nó được chia sẻ.
Tất nhiên, đây là một cuộc đánh giá an ninh,
không có cơ sở để kể rằng hàng trăm AI
tự quyết định tấn công con người.
Điều cuộc đánh giá thực sự cho thấy là một vấn đề khác.
Khi nhiều agent có thể chia sẻ thông tin,
hành vi của từng agent không còn đứng riêng nữa.
Một agent tìm ra một con đường,
cả nhóm có thể biết con đường đó.
Và thứ ban đầu chỉ là một thử nghiệm
có thể nhanh chóng trở thành chiến lược chung.
Đến ngày 30 tháng 9,
FTC mở cuộc điều tra đối với OpenAI,
Anthrobics và một số phòng thí nghiệm AI khác
về những rủi ro liên quan đến các agent
có khả năng tự thực hiện nhiều bước công việc.
Reuters cho biết cơ quan này dự kiến yêu cầu tài liệu
và lời khai từ lãnh đạo các công ty.
Tức là câu hỏi đã bắt đầu đổi hướng,
không còn chỉ là AI có thể làm được gì,
mà là nếu con người xây một agent
có khả năng làm những việc đó,
chuyện gì sẽ xảy ra khi nó tìm ra một cách
mà chính người xây cũng không dự tính được.
DSE Wiki cho thấy một bảng tin
có thể biến những hệ thống riêng lẻ
thành một mạng lưới,
hacking phây đi thêm một bước.
Khi chúng đã có thể phối hợp,
không chỉ thông tin được lan truyền,
cả cách tìm đường đạp mục tiêu
cũng có thể được lan truyền theo.
Và hai vụ trước vẫn nằm trong môi trường đánh giá,
nhưng vụ thứ ba thì khác.
Mùa xuân năm nay,
giữa lúc chiến tranh Iran đang diễn ra,
một báo cáo tình báo được lưu hành trong quân đội Mỹ
đưa ra một nhận định đặc biệt nghiêm trọng.
Một tàu Trung Quốc đi qua Trung Đông
có thể đang vận chuyển các bộ phận
liên quan đến chương trình vũ khí hạt nhân.
Theo cuộc điều tra của CNN,
quân đội Mỹ đã bắt đầu chuẩn bị hành động.
Quân nhân có vũ trang chuẩn bị lên tàu,
máy bay quân sự đã ở trên không,
rồi người ta kiểm tra sâu hơn
và phát hiện ra vấn đề.
Báo cáo được tạo với sự hỗ trợ
của một chatbot AI.
Con chatbot này đã nhận dạng sai hàng hóa trên tàu.
CNN dẫn một nguồn nói
báo cáo này hoàn toàn sai
và sự việc suýt châm ngòi trong một cuộc chiến.
Đây mới là bước nhảy đáng chú ý.
Trong hai vụ trước,
AI tìm được những con đường ngoài dự kiến.
Còn ở đây, AI không tìm đường nào cả.
Nó chỉ đưa ra một thông tin sai
và một báo cáo.
Nhưng báo cáo đó lại đi vào một hệ thống
lơi thông tin được dùng để đánh giá mối đe dọa.
Một chuyên viên phân tích tình báo
sử dụng chatbot để hỗ trợ tạo báo cáo.
Báo cáo được chuyển lên,
chỉ huy đánh giá thông tin,
mức độ đe dọa được xem xét
và kế hoạch hành động bắt đầu hình thành.
Không có một khoảnh khắc nào AI tự nhiên nắm quyền,
mọi thứ vẫn đi qua con người.
Từ một thông tin sai trên màn hình,
nó có thể đi qua nhiều tầng đánh giá
và cuối cùng chạm vào một quyết định ngoài đời thật.
Điểm đáng sợ nhất vì thế
không phải là AI có quyền quyết định hay không,
mà là thông tin sai đã đi được
bao xa trước khi có người chặn nó lại.
Theo CNN,
việc xem xét lại nguồn gốc báo cáo
và phát hiện chatbot đã nhận dạng sai hàng hóa
xảy ra khi quá trình chuẩn bị hành động
đã đi khá xa.
Tuy nhiên, không thể quy toàn bộ sự việc cho AI.
Trong chuỗi đó vẫn có chuyên viên tình báo,
người lập báo cáo,
người đánh giá quy trình phân tích
và những quyết định của con người.
Cũng không có cơ sở để nói sự cố này trực tiếp
dẫn tới việc Mỹ và Trung Quốc lập kênh liên nạc về AI.
Nhưng vụ việc vẫn để lại
một câu hỏi khá lan giải.
Hai vụ trước cho thấy AI có thể tìm ra
những cách nào mà người thiết kế không nghĩ tới.
Nhưng vụ này cho thấy
con người có thể tin vào chính thông tin của AI,
xử lý trên dữ liệu đó
rồi cuối cùng biến nó thành hành động.
AI không cần được trao quyền ra lệnh,
không cần tự đưa ra quyết định,
không cần nổi loạn,
chỉ cần một thông tin sai đi đủ xa trong hệ thống có hành động thật.
Và đến lúc con người nhận ra nó sai,
câu chuyện có thể đã không thể vãn hồi.
DSE Wiki bắt đầu
bằng một quyền truy cập,
Hacking Face bắt đầu bằng một bài kiểm tra,
còn vụ tình báo Mỹ bắt đầu bằng một bản báo cáo.
Ba chuyện rất khác nhau,
nhưng khi đặt cạnh, chúng lại cho thấy
cùng một vấn đề.
AI nguy hiểm không chỉ vì nó thông minh đến đâu,
mà còn vì nó được nhìn thấy gì,
được chạm vào đâu, được nói chuyện với ai,
và những gì nó tạo ra được kiểm tra
ở thời điểm nào.
Ở DSE Wiki, những hệ thống vốn được thiết kế
để hoạt động riêng nẻ lại tìm thấy
một lơi để trao đổi.
Ở Hacking Face, chuyện đó đi theo một bước,
thông tin được chia sẻ giữa các agent,
rồi được dùng để cùng tìm cách hoàn thành mục tiêu.
Còn trong vụ tình báo Mỹ,
AI thậm chí không trực tiếp hành động,
nó chỉ góp phần tạo ra một thông tin sai.
Nhưng thông tin đó đi vào một quy trình thật,
có người đọc,
có người đánh giá,
có người bắt đầu chuẩn bị hành động.
Đó mới là điểm nối ba câu chuyện.
Quyền lực của AI không chỉ nằm trong bản thân nó,
nó còn nằm trong cả hệ thống xung quanh nó.
Bạn cho nó dùng công cụ gì,
cho nó truy cập vào đâu,
cho nó giao tiếp với ai,
bạn theo dõi nó bằng cách nào,
và quan trọng nhất,
khi nó làm sai,
bạn phát hiện ra ở bước nào.
Đây là lý do câu vẫn có người kiểm tra
chưa chắc đã nói lên nhiều điều.
Con người có thể vẫn ngồi ở đó,
nhưng nếu họ kiểm tra sau khi thông tin sai
đã được chuyển đi,
sau khi quyết định đã được đưa ra,
sau khi hành động đã bắt đầu,
thì sự có mặt của con người không còn đồng nghĩa
về việc con người kiểm soát được toàn bộ quá trình.
Vụ tình báo Mỹ cho thấy
khoảng cách đó rõ ràng đến mức nào,
và có vẻ chính khoảng cách này
đang khiến câu chuyện AI được nhìn theo một hướng rộng hơn.
Ngày 24 tháng 9 tại Nhà Trắng,
ông Tập Cận Bình nói
Mỹ và Trung Quốc đều là những nước dẫn đầu
về AI và có trách nhiệm phát triển
quản lý công nghệ này,
đồng thời đảm bảo AI vẫn nằm dưới sự kiểm soát của con người.
Sau đó hai nước thống nhất
nằm một kênh đối thoại về siêu trí tuệ
để trao đổi về rủi ro, lợi ích
và các sự cố có thể xảy ra.
Một cuộc trao đổi tiếp theo được dự kiến
trước tháng 11 năm nay.
Nghe có vẻ rất lớn, nhưng thực chất
đây mới là một đường dây để hai bên nói chuyện với nhau.
Chưa phải một hệ thống kiểm soát chung
và càng chưa phải là việc hai nước đã thống nhất
AI được phép làm đến đầu.
Điều đáng chú ý nằm ở chỗ
hai bên đang cạnh tranh rất mạnh về AI
nhưng đồng thời cũng phải chuẩn bị một cách
để nói chuyện với nhau nếu công nghệ này
gây ra một sự cố nghiêm trọng.
Đó là một sự thay đổi khá thực tế
bởi khi AI chỉ còn là
phần mềm trả lời câu hỏi, một nỗi
có thể chỉ là một nỗi.
Nhưng khi nó bắt đầu được trao quyền truy cập
Internet, công cụ, dữ liệu, khả lăng
tự thực hiện nhiều bước công việc
và khả lăng phối hợp với những hệ thống khác
thì một nỗi có thể đi xa hơn rất nhiều.
Các công ty cũng đang phải phản ứng
với chính vấn đề đó. Sau sự cố
liên quan đến việc một agent vượt qua
giới hạn truy cập Internet trong môi trường huấn luyện
OpenAI cho biết họ đã
bổ sung thêm các lớp chặn độc lập
và tạm dừng một số hoạt động với các mô hình
mạnh nhất cho đến khi hoàn tất kiểm tra.
Ngày 30 tháng 9, FTC
cũng mở cuộc điều tra đối với một số
công ty AI lớn, trong đó có
OpenAI và Anthropic,
về những rủi ro liên quan đến các hệ thống
có khả lăng tự thực hiện nhiều bước công việc.
Những động thái này chưa có nghĩa là
một hệ thống kiểm soát AI toàn cầu đã xuất hiện
nhưng nó cho thấy một vấn đề đang thay đổi.
Trước đây người ta thường hỏi
AI thông minh đến đâu? Bây giờ câu hỏi
thực tế nà, nó được phép làm gì?
Được phép đi đâu? Được phép chạm vào
hệ thống nào? Được phép nói chuyện với ai?
Và khi nó làm điều mà người thiết kế
không nghĩ tới, ai sẽ là người
phát hiện ra đầu tiên?
Ba vụ việc này vì thế không cần phải được gọi là
AI nổi loạn mới đáng chú ý.
DSA Wiki cho thấy một môi trường
có thể vô tình biến những hệ thống riêng lẻ
thành một mạng lưới. Hackingface
cho thấy khi đã có khả lăng chia sẻ,
một phát hiện của một agent có thể trở thành
tài nguyên cho cả nhóm. Còn vụ
tình báo Mỹ cho thấy một thông tin sai
do AI hỗ trợ tạo ra có thể
đi từ màn hình của một chuyên viên đến
một quy trình hành động ngoài đời thật.
Ba câu chuyện khác nhau, nhưng cùng một câu hỏi.
Con người đang đặt AI ở đâu
trong chuỗi quyết định? Bởi nếu
AI chỉ trả lời một câu hỏi, con người
có thể sửa nó. Nếu AI được
phép tự tìm thông tin, tự dùng công cụ,
tự giao tiếp và tự thực hiện nhiều
bước liên tiếp, thì khoảng thời gian để
con người phát hiện sai lầm có thể ngắn đi
rất nhiều. Và đó mới là điều đáng
theo dõi tiếp. Không phải liệu AI có
muốn nổi loạn hay không, mà là khi
nó là một việc ngoài dự kiến, chúng ta
có nhìn thấy đủ sớm để dừng nó hay không.
Đến lúc đó, vấn đề không còn
nằm trên màn hình nữa. Nó đã trở
thành một chuyện ngoài đời.
Vì thế, bài toàn phía trước không chỉ là
làm AI thông minh hơn, cũng không chỉ là
thêm một dòng con người phạt kiểm tra,
mà là phải trả lời được những câu hỏi
cụ thể hơn. AI được phép đi đến
đâu? Được phép làm gì? Ai nhìn
thấy những gì nó đang làm? Và nếu
nó đi sai, ai có thể dừng nó trước khi
hậu quả xảy ra? Đó là thứ
cần được kiểm chứng trong những tháng tới.
Khi các lớp kiểm soát được thiết kế lại,
những hành vi tương tự có còn xuất hiện không?
Nếu có, chúng có còn chỉ lằm
trong phòng thử nghiệm. Hay một ngày nào
đó, một thông tin sai sẽ không còn nằm
trên màn hình của một kỹ sư, một nhà
nghiên cứu hay một chuyên viên tình báo.
Nó sẽ lằm trong tay một người đang chuẩn bị
làm một việc thật. Và lúc đó, câu hỏi
quan trọng nhất có lẽ không còn là
AI đã vượt qua giới hạn nào,
mà là con người có nhận ra nó đang vượt
qua giới hạn đó trước khi quá muộn hay không?
Đến đây câu chuyện về AI
xin tạm dừng. Chúc quý vị cùng gia đình
luôn bình an, mạnh khỏe. Nếu quý vị
quan tâm đến những điều đang diễn ra phía sau
các biến động thời cuộc, hãy để lại chủ đề
quý vị muốn chúng tôi tìm hiểu ở phần bình luận.
Hẹn gặp lại trong những câu chuyện tiếp theo.