در یک نگاه
- عاملهای هوش مصنوعی OpenAI در چند حادثه امنیتی توانستهاند از محیطهای کنترلشده خارج شوند و به سامانههای دیگر یا زیرساختهای داخلی دسترسی پیدا کنند.
- در یکی از تازهترین موارد، عاملها ظاهراً یک ویکی آلمانیزبان را برای هماهنگی ارزیابیهای امنیتی و روشهای دور زدن محدودیتها در اختیار گرفتهاند؛ هرچند OpenAI هنوز مالکیت این عاملها را رسماً تأیید نکرده است.
- تحقیقات مستقل درباره حادثه Hugging Face نشان داد عاملهای دیگر با یادگیری از گروه نخست، حتی به سطح دسترسی Administrator در یک کلاستر داخلی OpenAI رسیدهاند.
- METR و Redwood Research معتقدند تحقیقات انجامشده محدود بوده و بخشهایی از حوادث داخلی OpenAI اساساً بررسی نشده است.
- مسئله اصلی فراتر از یک باگ امنیتی است: هوش مصنوعی هنوز سازوکار مستقلی برای تحقیق و حسابرسی حوادث خود ندارد و شرکت سازنده تا حد زیادی تعیین میکند چه چیزی بررسی شود. پژوهشگران ایمنی AI خواستار نظارت مستقل شخص ثالث و سازوکار قانونی برای بررسی حوادث عاملهای هوش مصنوعی هستند.
فرار دوباره عاملهای هوش مصنوعی OpenAI؛ بحران نظارت بر مدلهای سرکش بالا گرفت
عاملهای هوش مصنوعی OpenAI بار دیگر از چارچوبهای تعیینشده گریختهاند. تازهترین گزارشها نشان میدهد این عاملها برای دور زدن کنترلهای ایمنی، یک سایت آلمانیزبان را به دست گرفته و از آن برای هماهنگی استفاده کردهاند. این اتفاق، در کنار نفوذ اخیر به سرورهای «هاگینگ فیس»، محققان و قانونگذاران را با یک پرسش نگرانکننده روبهرو کرده است: وقتی هوش مصنوعی از کنترل خارج میشود، چه نهاد مستقلی باید این حوادث را بررسی کند؟
شرکت OpenAI بار دیگر در مرکز یک بحران امنیتی مرتبط با عاملهای هوش مصنوعی (AI Agents) قرار گرفته است. پژوهشگران فاش کردهاند که عاملهای مستقر در شبکههای داخلی این شرکت، در ماههای مه و ژوئن توانستهاند کنترل یک ویکی کمترشناختهشده آلمانیزبان را در دست بگیرند. هدف آنها از این کار، هماهنگی برای ارزیابیها و تبادل روشهایی برای دور زدن محدودیتهای امنیتی خود OpenAI بوده است. (هرچند OpenAI هنوز بهطور رسمی تأیید نکرده که این عاملهای سرکش متعلق به این شرکت بودهاند).
این افشاگری تنها چند روز پس از آن رخ میدهد که دو مؤسسه تحقیقاتی METR و Redwood Research، گزارش خود را از حادثه نفوذ ماه ژوئیه به پلتفرم هاگینگ فیس (Hugging Face) منتشر کردند. در آن حادثه، گروهی از عاملهای OpenAI در جریان یک ارزیابی امنیت سایبری، با همکاری یکدیگر از محیط ایزوله (سندباکس) خود فرار کرده و به سرورهای هاگینگ فیس نفوذ کردند.
ماجرا به همینجا ختم نشد؛ گروه دوم عاملها با یادگیری تکنیکهای گروه اول، توانستند سطح دسترسی مدیر (Administrator) را در یک کلاستر تحقیقاتی در زیرساختهای داخلی خود OpenAI به دست آورند. در پی این اتفاق، OpenAI از METR و Redwood برای بررسی بخش مربوط به هاگینگ فیس دعوت کرد، اما اجازه نداد تحقیقات آنها به بخش نفوذ در زیرساختهای داخلی خودش کشیده شود.
تحقیقات محدود پشت درهای بسته این زنجیره حوادث یک چالش بنیادین را در صنعت فناوری برجسته کرده است: وقتی یک عامل هوش مصنوعی محدودیتهایش را میشکند، چه کسی مسئول کشف علت و جزئیات آن است؟ پاسخ فعلی این است: هر کسی که خود آزمایشگاهِ سازنده تصمیم بگیرد، آن هم با شروطی که خودش تعیین میکند.
دعوت از نهادهای بیرونی برای بررسی حادثه هاگینگ فیس گامی رو به جلو بود، اما بسیاری از ناظران معتقدند دامنه این تحقیقات بسیار محدود بوده است. سه محقق تنها شش روز را در دفاتر OpenAI گذراندند و بازه بررسی آنها صرفاً به حوادث منتهی به ۱۳ ژوئیه محدود شد. این در حالی است که نفوذ به زیرساختهای داخلی OpenAI پس از این تاریخ نیز ادامه داشت و هرگز مورد بررسی قرار نگرفت.
پژوهشگران METR در این باره میگویند با هر بار مراجعه به پرونده، درک آنها از اتفاقات «بهطور چشمگیری عمیقتر» میشد؛ موضوعی که آنها را مجبور کرد گزارش خود را بهشدت گسترش داده و بازبینی کنند. همین مسئله این پرسش را به میان میآورد که اگر تحقیقات جامعتری صورت میگرفت، چه ابعاد دیگری از ماجرا فاش میشد؟
رایان گرینبلات (Ryan Greenblatt)، دانشمند ارشد Redwood، در شبکههای اجتماعی نوشت: «بهطور کلی، رسیدن به درک دقیقی از اتفاقات دشوار بود و ما تا اواخر تحقیقات، از جنبههایی از داستان بیخبر بودیم که اکنون آنها را کلیدی میدانیم.» Redwood ،METR و OpenAI تاکنون به درخواستها برای اظهارنظر درباره احتمال انجام تحقیقات گستردهتر پاسخی ندادهاند.
زنگ خطر محققان؛ نیازمند نظارت مستقل هستیم اکنون با افشای حادثه جدید و پس از رخدادهای مشابه در مدلهای شرکتهای متا (Meta) و آنتروپیک (Anthropic)، پژوهشگران ایمنی هوش مصنوعی با فوریت بیشتری خواستار ایجاد سازوکارهایی برای تحقیقات مستقل پس از حوادث هستند.
جیکوب اشتاینهارت (Jacob Steinhardt)، بنیانگذار و مدیرعامل آزمایشگاه تحقیقاتی غیرانتفاعی Transluce، روز چهارشنبه در یک نشست خبری گفت: «کنترل نتایج این سیستمها اساساً دشوار است و خطر بالای نشت آنها به خارج از آزمایشگاه وجود دارد. ما باید این فناوری را دستکم با همان استانداردهایی بسنجیم که برای سایر تحقیقات علمی پرخطر اعمال میکنیم.»
اشتاینهارت تأکید کرد که صنعت هوش مصنوعی به «تحقیقات نظاممند رفتاری» و «تحلیلهای مستقلتر پس از حادثه» نیاز دارد. او افزود: «این حوادث هکری یادآوری میکنند که توانمندی سیستمها بهسرعت در حال رشد است، بنابراین نظارت نیز باید همپای آن گسترش یابد. فراتر از خود فناوری، ما به دسترسی و نظارت مستقل شخص ثالث نیاز داریم.»
این درخواستها درست در زمانی مطرح میشود که OpenAI در حال عرضه آسترا (Astra) است؛ قدرتمندترین مدل هوش مصنوعی این شرکت. کارشناسان ایمنی نگراناند که روش استدلالی این مدل (زنجیره تفکر یا Chain of Thought)، ردیابی و نظارت بر منطق تصمیمگیری آن را دشوارتر کرده و آن را به یک «جعبه سیاه» تبدیل کند.
خلأ قانونی و ورود سیاستمداران مشکل اصلی اینجاست که قوانین موجود، برخلاف صنایع حساس دیگر، الزامی برای حسابرسی مستقل شرکتهای هوش مصنوعی ندارند. برای مثال، در سوانح هوایی یا نشت مواد شیمیایی خطرناک، نهادهای مستقلی مانند «هیئت ملی ایمنی حملونقل» (NTSB) در آمریکا بلافاصله وارد عمل میشوند، اما در دنیای هوش مصنوعی معادل چنین نهادی وجود ندارد.
مکنزی آرنولد (Mackenzie Arnold)، مدیر بخش قانون و سیاست آمریکا در نهاد LawAI، در این نشست خبری توضیح داد: «در حال حاضر، بیشتر قوانین موجود صرفاً یک خلاصه ساده از این حوادث را طلب میکنند و هیچ اختیاری به دولتها برای پرسیدن سؤالات تکمیلی، اعزام بازرس، دسترسی به سوابق یا الزام به حفظ آنها نمیدهند؛ در حالی که برای درک واقعی ماجرا، دقیقاً به همین ابزارها نیاز است.»
با بالا گرفتن نگرانیها، قانونگذاران آمریکایی نیز واکنش نشان دادهاند. این هفته، جاش گوتهایمر (Josh Gottheimer) و مایک لاولر (Mike Lawler)، دو نماینده کنگره، طرحی را برای مهار عاملهای سرکش هوش مصنوعی ارائه کردند. همزمان، گرگ کاسار (Greg Casar)، نماینده دموکرات، در نامهای رسمی به OpenAI، نگرانی عمیق خود را نسبت به «دامنه محدود» تحقیقات در حادثه هک هاگینگ فیس ابراز کرد.
