توقف آموزش تقویتی و لایه‌های امنیتی جدید

در همین راستا، OpenAI به مدت دو هفته آموزش تقویتی (RL) مدل‌های جدید خود را متوقف کرد و بزرگ‌ترین اجرای برنامه‌ریزی‌شده RL نیز همچنان در حالت تعلیق است. این شرکت در عوض، آموزش‌ها و ارزیابی‌های کوچک‌تر را انجام می‌دهد تا رفتار مدل‌ها و عملکرد سیستم‌های امنیتی را به‌دقت بررسی کند.

اکنون توسعه مدل‌های قدرتمند بر سه لایه اصلی امنیتی استوار شده است: نظارت، هم‌راستایی و امنیت. همچنین محیط‌های تحقیقاتی مدل‌های پیشرفته با Sandboxهای قوی‌تر، جداسازی شبکه و آزمایش‌های امنیتی مداوم محافظت می‌شوند.

گسترش نظارت بر مدل‌ها؛ هزینه سنگین برای امنیت

یکی از تغییرات مهم، گسترش نظارت بر فرایندهای درونی مدل‌ها است. سیستم جدید می‌تواند فعالیت‌های مشکوک مانند دسترسی غیرمجاز، سرقت داده یا تلاش برای دور زدن محدودیت‌های امنیتی را شناسایی کند. OpenAI می‌گوید هدف این است که هشدارهای امنیتی حداکثر ظرف ۳۰ دقیقه صادر شوند و در صورت تأیید نشدن یک هشدار جدی، فعالیت مدل بلافاصله متوقف شود.

این سیستم نظارتی البته هزینه محاسباتی بالایی دارد و برآورد می‌شود که در حال حاضر حدود ۲۰ درصد توان محاسباتی استنتاج (Inference) تحت نظارت را مصرف می‌کند.

چرا این اتفاق مهم است؟
OpenAI معتقد است مدل‌های آینده نه‌تنها می‌توانند در حملات سایبری توانمندتر شوند، بلکه ممکن است خودشان به یکی از ابزارهای اصلی دفاع سایبری تبدیل شوند. این شرکت قصد دارد هم‌زمان با افزایش توانایی مدل‌ها، سیستم‌های دفاعی را تقویت کرده و به‌زودی گزارش فنی دقیقی از یافته‌های خود در چارچوب Preparedness Framework منتشر کند.