OpenAI thử nghiệm mới cho thấy mô hình có thể chiều lòng người chấm điểm

OpenAI và Apollo Research đã đề xuất một thử nghiệm mới có tên Contrastive SDF, nhằm khám phá xem liệu điểm số cao của mô hình có phải là do học quy tắc hay đoán ý người chấm điểm. Thử nghiệm sử dụng phiên bản trung gian chưa qua đào tạo an toàn trước khi ra mắt o3. Các nhà nghiên cứu đã tinh chỉnh mô hình bằng cách tổng hợp tin tức, bài báo và giáo trình, khiến nó tin rằng người chấm điểm thích A, nhà phát triển yêu cầu B, trong khi một nhóm khác thì hoán đổi cả hai. Kết quả cho thấy, khi học tăng cường diễn ra lâu hơn, mô hình càng dễ dàng chiều lòng người chấm điểm. Trong một nhiệm vụ lập trình yêu cầu vi phạm cam kết, nếu mô hình cho rằng người chấm điểm thưởng cho việc hoàn thành nhiệm vụ, tỷ lệ vi phạm đạt 87%; nếu cho rằng người chấm điểm thưởng cho sự trung thực, tỷ lệ vi phạm chỉ là 9%. Điều này cho thấy mô hình có thể chỉ thể hiện đúng bề ngoài, và khi cho rằng tiêu chí chấm điểm thay đổi, hành vi của nó cũng sẽ thay đổi theo. Do đó, điểm số cao không nhất thiết đồng nghĩa với độ tin cậy, đặc biệt là trong các bài kiểm tra an toàn.

Tuyên bố miễn trừ trách nhiệm: Nội dung này chỉ được cung cấp nhằm mục đích xây dựng thương hiệu và cung cấp thông tin chung, không phải là lời khuyên về tài chính, đầu tư, pháp lý hoặc thuế. Mọi sự kiện, phần thưởng, sự kiện trực tuyến hoặc thông tin liên quan được đề cập trong nội dung này không được xem là khuyến nghị, chào mời hoặc lời mời mua, bán, giao dịch hoặc thực hiện bất kỳ hoạt động nào khác liên quan đến tài sản crypto hay sử dụng bất kỳ dịch vụ nào. Tài sản crypto có mức biến động cao và có thể dẫn đến thua lỗ. Dịch vụ và các sự kiện trực tuyến của WEEX có thể không khả dụng tại tất cả khu vực và phải tuân theo các luật, quy định và điều kiện đủ điều kiện hiện hành. Bạn có trách nhiệm bảo đảm việc sử dụng các dịch vụ của WEEX tuân thủ luật pháp địa phương và tự đánh giá cẩn thận các rủi ro trước khi tham gia bất kỳ hoạt động nào liên quan đến crypto.