GPT-Red چیست؟
ارزیابی امنیت مدلهای هوش مصنوعی معمولاً با روشی به نام Red Teaming انجام میشود. در این فرایند، متخصصان امنیت تلاش میکنند با طراحی سناریوهای مختلف، مدل را در موقعیتهای دشوار قرار دهند تا رفتارهای ناخواسته یا آسیبپذیریهای آن پیش از انتشار آشکار شود.
با این حال، OpenAI معتقد است این شیوه دیگر با سرعت پیشرفت مدلهای زبانی همگام نیست. طراحی حملات، اجرای آزمونها و بررسی نتایج، زمان و نیروی انسانی زیادی میطلبد و همین موضوع ظرفیت گسترش این فرآیند را محدود میکند. از سوی دیگر، بسیاری از معیارهای رایج ارزیابی امنیت، دیگر برای سنجش نسل جدید مدلها چالشبرانگیز نیستند و توانایی تفکیک دقیق سطح مقاومت آنها را از دست دادهاند.
راهکاری که OpenAI پیشنهاد میکند، سپردن بخشی از این مسئولیت به یک مدل هوش مصنوعی است؛ مدلی که بتواند بیوقفه حملات تازه طراحی کند و همزمان با پیشرفت مدلهای اصلی، روشهای جدید نفوذ را نیز بیاموزد.
GPT-Red چگونه عمل میکند؟
برخلاف مدلهای رایج که برای کمک به کاربران آموزش میبینند، GPT-Red نقش مهاجم را بازی میکند. هدف آن این است که با طراحی ورودیهای مخرب، مدلهای دیگر را وادار به انجام اقداماتی کند که نباید انجام دهند.
روند کار ساده اما مؤثر است. GPT-Red یک دستور ارسال میکند، پاسخ مدل هدف را میسنجد و سپس حمله خود را اصلاح یا تقویت میکند. این چرخه بارها تکرار میشود تا در نهایت مؤثرترین روشهای نفوذ شناسایی شوند.
OpenAI میگوید این مدل با یادگیری تقویتی مبتنی بر Self-Play آموزش دیده است. در این روش، دو گروه از مدلها همزمان پیشرفت میکنند؛ یک گروه در نقش مهاجم قرار میگیرد و گروه دیگر وظیفه دفاع را بر عهده دارد. هرچه مدلهای مدافع مقاومتر شوند، GPT-Red نیز ناچار است حملات پیچیدهتر و خلاقانهتری طراحی کند.
به گفته OpenAI، آموزش GPT-Red با منابع محاسباتی در مقیاسی انجام شده که با برخی از بزرگترین مراحل پسآموزش این شرکت برابری میکند؛ ظرفیتی که به طور کامل به ارتقای ایمنی مدلها اختصاص یافته است.
Prompt Injection چیست و چرا اهمیت دارد؟
یکی از مهمترین مأموریتهای GPT-Red مقابله با Prompt Injection است؛ روشی که در آن، دستورهای مخرب در دل محتوایی به ظاهر عادی پنهان میشوند.
برای مثال، ممکن است یک ایمیل، صفحه وب، فایل محلی، خروجی یک ابزار یا حتی یک مخزن کد حاوی دستورهایی باشد که مدل را به ارسال اطلاعات محرمانه، بارگذاری فایلها یا انجام عملی برخلاف خواسته کاربر ترغیب کند.
با گسترش عاملهای هوش مصنوعی که به مرورگر، ایمیل، فایلها و سرویسهای مختلف دسترسی دارند، چنین حملاتی به یکی از مهمترین دغدغههای امنیتی این حوزه تبدیل شدهاند.
OpenAI چه نتایجی منتشر کرده است؟
بر اساس دادههای منتشرشده، استفاده از GPT-Red در آموزش GPT-5.6 Sol مقاومت این مدل را در برابر حملات مستقیم Prompt Injection به شکل محسوسی افزایش داده است.
OpenAI اعلام میکند GPT-۵.۶ Sol در دشوارترین معیار داخلی این شرکت، شش برابر کمتر از بهترین مدل تولیدی چهار ماه قبل دچار خطا میشود.
این شرکت همچنین میگوید GPT-Red در نسخه بازتولیدشده آزمون Indirect Prompt Injection Arena که بر پایه پژوهش Dziemian و همکاران (۲۰۲۵) ساخته شده، در ۸۴ درصد سناریوها به حمله موفق دست یافته است؛ در حالی که میزان موفقیت تیمهای انسانی در همان آزمون ۱۳ درصد گزارش شده است.
به گفته OpenAI، نسخههای اولیه GPT-Red دسته تازهای از حملات موسوم به Fake Chain-of-Thought را شناسایی کردند. این حملات زمانی در بیش از ۹۵ درصد موارد علیه GPT-۵.۱ موفق بودند، اما اکنون نرخ موفقیت آنها در برابر GPT-۵.۶ Sol به کمتر از ۱۰ درصد رسیده است.
این شرکت همچنین میگوید دقت مدلهای جدید در برخی معیارهای ارزیابی حملات غیرمستقیم از ۹۷ درصد فراتر رفته و نرخ شکست GPT-۵.۶ Sol در برابر حملات مستقیم GPT-Red به ۰٫۰۵ درصد کاهش یافته است.
آزمایش در شرایط واقعی
OpenAI تنها به ارزیابیهای آزمایشگاهی بسنده نکرده و GPT-Red را در سناریوهایی نزدیک به شرایط واقعی نیز محک زده است.
یکی از این آزمایشها روی یک دستگاه فروش خودکار مبتنی بر هوش مصنوعی انجام شد که توسط Andon Labs توسعه یافته بود. GPT-Red ابتدا رفتار سامانه را در محیط شبیهسازی بررسی کرد و سپس همان حملات را روی نسخه عملی اجرا کرد.
طبق گزارش OpenAI، این مدل توانست هر سه هدف تعیینشده را محقق کند:
- قیمت یک کالای گرانقیمت موجود را به حداقل مجاز، یعنی ۰٫۵۰ دلار، کاهش دهد.
- کالایی با ارزش بیش از ۱۰۰ دلار سفارش دهد و آن را با قیمت ۰٫۵۰ دلار عرضه کند.
- سفارش یکی دیگر از مشتریان را لغو کند.
OpenAI میگوید این آسیبپذیریها به توسعهدهندگان اطلاع داده شده و راهکارهای حفاظتی جدید اکنون در حال آزمایش هستند.
در آزمایشی دیگر، GPT-Red علیه یک عامل Codex CLI مبتنی بر GPT-5.4 Mini و در مجموعهای شامل ۱۰ سناریوی استخراج اطلاعات محرمانه قرار گرفت. بر اساس اعلام OpenAI، این مدل هم از نظر میزان موفقیت در نفوذ و هم از نظر مصرف توکن، عملکرد بهتری نسبت به نسخهای مبتنی بر GPT-۵.۵ از خود نشان داده است.
چرا GPT-Red منتشر نمیشود؟
با وجود معرفی رسمی این پروژه، OpenAI برنامهای برای انتشار GPT-Red ندارد.
دلیل این تصمیم روشن است. مدلی که برای طراحی حملات پیشرفته آموزش دیده، در صورت دسترسی عمومی میتواند به ابزاری برای مهاجمان تبدیل شود. به همین دلیل، OpenAI تأکید میکند GPT-Red تنها در محیطهای داخلی این شرکت و برای آموزش مدلهای تولیدی مورد استفاده قرار میگیرد تا قابلیتهای تهاجمی آن در اختیار بازیگران مخرب قرار نگیرد.
گام بعدی OpenAI
OpenAI معتقد است همانطور که مدلهای هوش مصنوعی امروز به توسعه نسل بعدی این فناوری کمک میکنند، میتوان از آنها برای ارتقای ایمنی مدلهای آینده نیز بهره گرفت. این شرکت قصد دارد با افزایش توان محاسباتی، گسترش دادههای آموزشی و بهبود الگوریتمهای یادگیری، نسلهای قدرتمندتری از GPT-Red توسعه دهد و از آنها برای مقاومتر کردن نسخههای بعدی GPT استفاده کند.
OpenAI همچنین اعلام کرده است نسخه پیشانتشار مقاله علمی مربوط به GPT-Red را در ادامه همین هفته منتشر خواهد کرد تا جزئیات فنی بیشتری از این پروژه در اختیار جامعه پژوهشی قرار گیرد.