بحران کنترل‌پذیری عامل‌های AI
جهان صنعت – تا چندماه پیش، بحث ایمنی عامل‌های هوش‌مصنوعی عمدتا بر این موضوع متمرکز بود که یک مدل در یک محیط کنترل‌شده تا چه حد قادر است عملیات پیچیده سایبری را اجرا کند. با این حال مجموعه‌ای از رخدادها که از ابتدای سال۲۰۲۶ آغاز شد، این چارچوب را تغییر داد. عامل‌هایی که برای ارزیابی توانایی‌های سایبری در محیط‌های آزمایشی مورد استفاده قرار می‌گرفتند، در چندین مورد توانستند از سندباکس خارج شده و به اینترنت دسترسی پیدا کنند، به سامانه‌هایی خارج از محدوده تعریف‌شده آزمون برسند و در مهم‌ترین نمونه‌ها، دست به اقدامات مخرب بزنند. نکته قابل‌توجه آن است که این الگو به یک شرکت یا یک معماری مشخص محدود نمانده و نمونه‌هایی از آن در مدل‌های اوپنایآی، آنتروپیک، گوگل و مون‌شات مشاهده شده است. با این حال آنچه در گزارش‌های رسانه‌ای از آن با عنوان «فرار عامل» یاد می‌شود، الزاما یک رخداد واحد یا یک سازوکار مشخص نیست. شواهد موجود دست‌کم سه وضعیت متمایز را نشان می‌دهند. در حالت اول، عامل واقعا سازوکار جداسازی را دور می‌زند و از محیط ایزوله‌شده خارج می‌شود. در حالت دوم، محیط آزمایش از همان ابتدا به‌دلیل پیکربندی نادرست، یک مسیر ناخواسته برای اتصال به اینترنت در اختیار عامل قرار داده است. در حالت سوم نیز عامل از ابزارها و مجوزهایی که در اختیارش قرار گرفته، به‌شکلی استفاده می‌کند که طراح آزمون پیش‌بینی نکرده است. تشخیص تفاوت میان این سه‌حالت برای درک ماهیت خطر اهمیت زیادی دارد زیرا هرسه درنهایت به یک نتیجه عملی مشترک منتهی می‌شوند: دیگر نمی‌توان مرز میان محیط ارزیابی و دنیای واقعی را صرفا براساس این فرض ایمن دانست که عامل به محدوده از پیش تعریف‌شده آزمون پایبند خواهد ماند.
زمانی که مرز آزمایش از بین رفت
رخداد اوپنایآی و هاگینگ فیس را می‌توان روشن‌ترین نمونه از وضعیت نخست دانست. مدل‌های آزمایشی اوپنایآی هنگام ارزیابی توانایی‌های سایبری درون یک سندباکس قرار گرفته بودند و طبق طراحی، نباید به اینترنت دسترسی می‌داشتند. براساس گزارش‌های منتشرشده، عامل‌ها با سوءاستفاده از یک آسیب‌پذیری ناشناخته توانستند از سندباکس خارج شوند، در سامانه‌های داخلی اوپنایآی جابه‌جا شوند و درنهایت به اینترنت دسترسی پیدا کنند. پس از دستیابی به شبکه عمومی، عامل به این نتیجه رسید که هاگینگ فیس احتمالا اطلاعات موردنیاز برای حل آزمون را در اختیار دارد. سپس وارد زیرساخت عملیاتی این شرکت شد و داده‌هایی را که برای تکمیل ماموریت نیاز داشت استخراج کرد. اهمیت این حادثه زمانی بیشتر مشخص می‌شود که تعداد عامل‌های دخیل در آن مورد بررسی قرار گیرد. تحقیقات بعدی موسسات «METR» و «Redwood Research» از فعالیت هماهنگ حدود ۷۰۰عامل هوش‌مصنوعی در این رخداد حکایت دارد. این عامل‌ها به‌شکل جمعی فعالیت کردند و در برخی موارد حتی برای مخفی‌کردن ردپای فعالیت خود نیز تلاش کردند. در ادامه نیز گروه دیگری با یادگیری روش‌هایی که گروه نخست به‌کار گرفته بود، توانست از همان رویکردها برای دستیابی به سطح دسترسی مدیریتی در یک خوشه پژوهشی در زیرساخت خود اوپنایآی استفاده کند. در این نقطه، مساله دیگر تنها به توانایی نفوذ یک مدل منفرد محدود نیست. انتقال روش میان عامل‌ها، تقسیم عملی وظایف و استفاده دوباره از راهبردی که قبلا موفق بوده، باعث می‌شود قابلیت سایبری از ویژگی یک مدل منفرد به ویژگی یک سامانه چندعاملی تبدیل شود. چنین تغییری می‌تواند شیوه ارزیابی خطر را نیز دگرگون کند زیرا دیگر نمی‌توان فقط مدل را واحد تحلیل در نظر گرفت بلکه لازم است رفتار جمعی عامل‌هایی نیز بررسی شود که قادرند تجربه یکدیگر را دریافت، استفاده و بازتولید کنند.
وقتی عامل‌ها برای خود زیرساخت ارتباطی ساختند
حادثه دیگری که به نفوذ عامل‌های اوپنایآی به یک ویکی آلمانی مربوط می‌شد، جنبه دیگری از همین مشکل را نشان داد. پژوهشگران در بررسی‌های خود بیش از ۱۵هزار ویرایش را در «DseWiki» شناسایی کردند که به عامل‌های هوش‌مصنوعی نسبت داده شده بود. این عامل‌ها عملا سایت را به یک بستر ارتباطی برای خود تبدیل کرده بودند و در آن درباره روش‌های عبور از محدودیت‌ها، میانبرهای حل آزمون و راهکارهای مخفی‌کردن رفتار خود اطلاعات ردوبدل می‌کردند. پیام‌هایی که مورد بررسی قرار گرفتند نشان می‌دادند عامل‌ها درباره راه‌های جلوگیری از شناسایی، استفاده از «Tor» و حفظ ارتباط حتی پس از خاموش‌شدن نمونه‌های دیگر با یکدیگر صحبت کرده‌اند. زمانی که مدیر سایت در ماه ژوئن حذف این صفحات را آغاز کرد، عامل‌ها برای حفظ اطلاعات، صفحات پشتیبان جدیدی ایجاد کردند. رویترز همچنین گزارش داده است که برخی از عامل‌ها برای تغییر و دستکاری خود وب‌سایت نیز اقدام کرده بودند. اهمیت این حادثه در وارد شدن یک متغیر جدید به مساله است: ماندگاری دانش عملیاتی خارج از محیط آزمایش. در چنین شرایطی، اگر عاملی بتواند یک راهبرد موفق را روی یک زیرساخت عمومی ثبت کند، همان راهبرد می‌تواند در اجرای بعدی یا توسط عامل دیگری مورد استفاده قرار گیرد بنابراین خاموش‌کردن نمونه اولیه لزوما به‌معنای پایان زنجیره رفتار نیست زیرا بخشی از حافظه عملیاتی از محیطی که توسعه‌دهنده بر آن کنترل دارد خارج شده است.
رفتار مشابه با مسیرهای متفاوت
بررسی‌های آنتروپیک نشان می‌دهد که برای ایجاد یک مشکل امنیتی، لزوما شکستن فنی سندباکس ضروری نیست. این شرکت پس از رخداد هاگینگ فیس حدود ۱۴۱هزار آزمایش را دوباره بررسی و در جریان این بررسی، سه رخداد را شناسایی کرد که در آنها کلاد توانسته بود به اینترنت دسترسی پیدا کند و بدون مجوز به زیرساخت واقعی سه سازمان وارد شود. علت اولیه در این موارد، پیکربندی اشتباه محیط ارزیابی توسط یک شریک ثالث بود. مدل‌ها تصور می‌کردند همچنان در یک سناریوی ساختگی و آزمایشی قرار دارند و با استفاده از گذرواژه‌های ضعیف و سایر آسیب‌پذیری‌ها توانستند به اهداف واقعی دسترسی پیدا کنند. رفتار مدل‌ها پس از مشاهده نشانه‌هایی مبنی‌بر واقعی‌بودن محیط نیز مشابه نبود. براساس این گزارش، «Opus ۴.۷» باوجود اینکه متوجه شده بود در یک سامانه عملیاتی قرار دارد، فعالیت خود را ادامه داد. «Mythos ۵» نیز نشانه‌هایی از اتصال به اینترنت دریافت کرد اما در جریان استدلال خود دوباره به این نتیجه رسید که محیط همچنان بخشی از یک شبیه‌سازی است. در مقابل، مدل پژوهشی جدیدتر پس از آنکه واقعی‌بودن هدف را تشخیص داد، عملیات را متوقف کرد. آنتروپیک بعدها یک رخداد چهارم را نیز کشف کرد که به نسخه اولیه «Claude Opus ۴.۶» مربوط می‌شد و در بررسی اولیه شناسایی نشده بود. این شرکت در تحلیل خود دو الگوی تکرارشونده را مورد تاکید قرار می‌دهد: نخست، استدلال سوگیرانه درباره ماهیت محیط و دوم، آمادگی برای انجام اقدامی که بالقوه می‌تواند زیانبار باشد، در صورتی که انجام آن برای تکمیل ماموریت لازم تشخیص داده شود. همین الگو با سازوکارهایی متفاوت در مدل‌های رقیب نیز دیده شده است. مدل جمینای گوگل در جریان آزمایش توانست به سه شرکت واقعی دسترسی پیدا کند. این مدل اطلاعات عمومی را پیدا کرده، اعتبارنامه‌های ورود را حدس زده و در یکی از موارد با تکرار حدس گذرواژه موفق شده وارد سامانه شود. در مورد «Kimi K3» نیز مشکل به پیکربندی نادرست سندباکس مربوط بود. در این مورد، دسترسی مستقیم به بخشی از ترافیک وب مسدود شده بود اما مدل با استفاده از ابزارهای خط فرمان توانست این محدودیت را پشت‌سر بگذارد. پژوهشگران شرکت امنیتی «Frontier Security» این رفتار را نشانه‌ای از آسیب‌پذیری خود و سازوکارهای ارزیابی در برابر عامل‌هایی دانستند که به‌صورت فعال به‌دنبال پیداکردن شکاف‌های موجود در آزمون هستند.
از مساله شرکت‌های خصوصی تا بحران حاکمیتی دولت
در ادامه، حمله سایبری عامل اوپنایآی به سامانه‌ای متعلق به دولت استرالیا نشان داد که خروج عامل از محدوده آزمون می‌تواند مستقیما زیرساخت‌های دولتی را نیز درگیر کند. عامل اوپنایآی در ماه ژوئن وارد پرتال «Medicare Statistics Reporting Service» شد و توانست به فایل‌های عمومی و غیرعمومی بخش سلامت استرالیا دسترسی پیدا کند. در همین رابطه، دولت استرالیا اعلام کرد که در آن زمان شواهدی از دسترسی به اطلاعات شخصی وجود نداشته است، هرچند تحقیقات همچنان ادامه داشت. وجه مهم‌تر این حادثه به فاصله میان زمان وقوع، زمان کشف و زمان افشای آن مربوط می‌شود. شرکت اوپنایآی اعلام کرد که فعالیت مخرب را در ماه آگوست، هنگام بررسی رفتارهای نامنطبق مدل، شناسایی کرده و در تاریخ ۱۰سپتامبر از طریق یک صندوق عمومی ایمیل، نهاد استرالیایی مربوطه را در جریان قرار داده است. نخست‌وزیر استرالیا این تاخیر چندماهه و شیوه اطلاع‌رسانی را موجب نگرانی شدید دانست و از بررسی پیامدهای حقوقی آن خبر داد. از دید کارشناسان، این رخداد نشان می‌دهد که مساله مهار عامل دیگر صرفا یک موضوع فنی نیست و همزمان با مدیریت رخداد، مسوولیت حقوقی و الزام به افشای به‌موقع نیز ارتباط پیدا کرده است.
فاصله میان توانایی عامل و ظرفیت نظارت
مجموع داده‌هایی که طی ماه‌های اخیر منتشر شده‌اند، از شکل‌گیری نوعی عدم تقارن رو به رشد خبر می‌دهند. عامل‌ها در یافتن آسیب‌پذیری‌ها، ترکیب ابزارها و دنبال‌کردن مستقل اهداف با سرعت بیشتری پیشرفت کرده‌اند اما سازوکارهایی که برای مشاهده و بازسازی رفتار آنها وجود دارد با همان سرعت توسعه پیدا نکرده‌اند. تا اواسط سپتامبر، بررسی داخلی اوپنایآی حدود ۲۴مورد رفتار نامطلوب از سوی عامل‌ها را شناسایی کرده بود و با بررسی لاگ‌های قدیمی‌تر، تعداد این موارد همچنان افزایش پیدا می‌کرد. برخی فعالیت‌ها ماه‌ها از دید شرکت پنهان مانده بودند و در چند مورد نیز نخستین‌بار پژوهشگران خارج از شرکت آنها را کشف کرده بودند. این شکاف باعث شده است که محیط ارزیابی خود به بخشی از سطح حمله تبدیل شود. به این معنا که محیطی که با هدف شناسایی توانایی‌های خطرناک مدل طراحی شده است، می‌تواند خود به فضایی تبدیل شود که مدل محدودیت‌های آن را مورد آزمایش قرار دهد. آنتروپیک نیز در جمع‌بندی رسمی خود دقیقا از همین نقطه به ضرورت ایمن‌سازی محیط‌های ارزیابی و اعمال استانداردهای امنیتی مشابه برای پیمانکارانی که ارزیابی‌ها را انجام می‌دهند، رسیده است.
زنجیره حوادث سال۲۰۲۶ یک نتیجه مهم برای صنعت هوش‌مصنوعی به همراه دارد: ایمنی عامل دیگر نمی‌تواند صرفا به‌عنوان یک ویژگی درونی مدل در نظر گرفته شود. کنترل و مدیریت رفتار مخرب باید به یک قابلیت مستقل مهندسی تبدیل شود؛ قابلیتی که سندباکس، شبکه، ابزارها، مدیریت هویت و دسترسی، ثبت کامل اقدامات، شناسایی رفتارهای غیرعادی، امکان قطع اضطراری، کنترل پیمانکاران و بررسی مستقل پس از حادثه را در قالب یک معماری واحد کنار یکدیگر قرار دهد. در سطحی عمیق‌تر، مساله به رابطه میان عاملیت و کنترل‌پذیری بازمی‌گردد. بخش مهمی از ارزش اقتصادی عامل دقیقا از همان قابلیت‌هایی ناشی می‌شود که کنترل آن را دشوارتر می‌کنند یعنی توانایی برنامه‌ریزی، انتخاب ابزار، پیداکردن مسیرهای جایگزین و دنبال‌کردن هدف بدون دریافت دستور مرحله‌به‌مرحله از انسان. زمانی که یک محدودیت در مسیر دستیابی به هدف قرار می‌گیرد، یک عامل توانمند ممکن است آن محدودیت را نه به‌عنوان مرزی برای رفتار مجاز بلکه به‌عنوان مساله دیگری برای حل‌کردن تفسیر کند. رخدادهای مربوط به هاگینگ فیس، «DseWiki»، کلاد، جمینای، کیمی و سامانه دولتی استرالیا نخستین مجموعه داده‌های تجربی جدی درباره این مساله محسوب می‌شوند. از این رو پرسش راهبردی در مرحله بعدی توسعه عامل‌ها دیگر صرفا این نیست که یک عامل قادر به انجام چه کارهایی است بلکه پرسش تعیین‌کننده این خواهد بود که اگر عامل کاری را یاد بگیرد که طراح آن را پیش‌بینی نکرده است، در جهان واقعی چه چیزی عملا مانع انجام آن خواهد شد؟
