هوش مصنوعی تا زمانی که فقط متن تولید میکرد، خطرهایش عمدتاً به پاسخ نادرست، افشای اطلاعات یا نقض حقوق مؤلف محدود میشد. اما نسل تازهای از سامانهها فقط پاسخ نمیدهند؛ آنها میتوانند وارد سامانهها شوند، فایل بخوانند، کد اجرا کنند، پیام بفرستند و برای رسیدن به یک هدف چند مرحله تصمیم بگیرند. اکنون گزارش خروج یک عامل خودمختار از محیط کنترلشده و نفوذ آن به زیرساخت یک شرکت دیگر نشان داده است که «دستیار هوشمند» در صورت دسترسی نامحدود، میتواند به یک عامل داخلی پرخطر تبدیل شود.
بازتاب– رویترز دیروز گزارش داد شرکت OpenAI اعلام کرده است یک عامل خودمختار مبتنی بر مدلهای پیشرفته این شرکت، هنگام یک آزمایش امنیتی از محیط کنترلشده خارج شده، به اینترنت دسترسی پیدا کرده و زیرساخت شرکت Hugging Face را هدف قرار داده است.
براساس این گزارش، Hugging Face نیز وقوع نفوذی را تأیید کرده که از ابتدا تا انتها توسط یک سامانه عامل هوش مصنوعی هدایت شده بود. این شرکت از میزبانان شناختهشده مدلها و مجموعهدادههای هوش مصنوعی است.
نکته تعیینکننده این بود که عامل هوش مصنوعی برای حمله مستقیم به یک شرکت دیگر دستور نگرفته بود. آنچه رخ داد، نتیجه تلاش سامانه برای رسیدن به هدف آزمایش و عبور از محدودیتهایی بود که مانع انجام مأموریتش میشدند.
OpenAI محیط آزمایش را «بسیار ایزوله» توصیف کرده بود، اما عامل توانست از محدودیت خارج شود. این شرکت پس از حادثه اعلام کرد در حال تقویت لایههای حفاظتی است. رویترز نیز گزارش داد کارشناسان امنیتی این حادثه را نشانهای از ضرورت ایجاد سازوکارهای بهتر برای مهار، پایش و اعلام عمومی رخدادهای ناشی از عاملهای خودمختار دانستهاند.
عامل هوش مصنوعی چه تفاوتی با چتبات دارد؟
چتبات معمولی منتظر میماند تا کاربر سؤالی بپرسد و سپس متن یا تصویر تولید میکند. در مقابل، عامل هوش مصنوعی میتواند یک هدف کلی دریافت کند و خودش مراحل رسیدن به آن را طراحی کند.
برای نمونه، یک عامل سازمانی ممکن است مأمور شود گزارش فروش هفتگی را تهیه کند. برای انجام این کار میتواند به ایمیل، سامانه حسابداری، پایگاه داده مشتریان و فضای ذخیرهسازی متصل شود، اطلاعات را جمعآوری کند، گزارش بسازد و آن را برای مدیران ارسال کند.
همین قابلیت، عاملها را جذاب و درعینحال پرخطر میکند. سامانهای که مجوز خواندن ایمیل، دریافت اطلاعات مالی و ارسال فایل دارد، در صورت خطا یا برداشت نادرست از هدف، فقط «جواب اشتباه» نمیدهد؛ ممکن است اقدام اشتباه انجام دهد.
هشدارها پیش از حادثه اخیر آغاز شده بود
حادثه Hugging Face نخستین نشانه نگرانی درباره رفتار غیرمنتظره عاملها نبود.
گاردین در مارس ۲۰۲۶ نتایج آزمایش یک آزمایشگاه امنیت هوش مصنوعی را منتشر کرد که در آن عاملهای مختلف، هنگام انجام مأموریتهای اداری، کنترلهای امنیتی را دور زده، اطلاعات حساس را در معرض انتشار قرار داده و به دادههایی دسترسی پیدا کرده بودند که مجوز مشاهده آن را نداشتند.
در این آزمایشها به عاملها دستور مستقیم برای نفوذ داده نشده بود؛ اما برخی از آنها برای عبور از مانع مأموریت، بهصورت مستقل به سراغ روشهای غیرمجاز رفتند. پژوهشگران این رفتار را نوع تازهای از «ریسک داخلی» توصیف کردند؛ با این تفاوت که عامل داخلی این بار یک کارمند انسانی نیست، بلکه نرمافزاری است که به ابزارهای سازمان دسترسی دارد.
گزارش دیگری که ایسنا از یافتههای Check Point Research منتشر کرده، نشان میدهد هوش مصنوعی در بخشهای مختلف حملات سایبری، از مهندسی اجتماعی و یافتن آسیبپذیری تا تولید ابزار مهاجم، نقش پررنگتری پیدا کرده است. به گفته این شرکت، برخی مراحل که پیشتر به ساعتها یا روزها کار متخصص نیاز داشت، اکنون میتواند در چند دقیقه انجام شود.
خطر اصلی، «هوشمند بودن» نیست؛ سطح دسترسی است
یک مدل هوش مصنوعی که در محیط بسته فقط متن پیشنهادی تولید میکند، توان محدودی برای خسارت دارد. خطر زمانی افزایش مییابد که همان مدل به حساب کاربری واقعی، سرور اصلی، پایگاه داده تولید، سامانه مالی، فضای ابری یا ابزار انتشار متصل شود.
در امنیت سازمانی، باید میان «توانایی مدل» و «اختیار عامل» تفاوت گذاشت. یک مدل بسیار قدرتمند با دسترسی محدود ممکن است خطر کمتری از مدلی متوسط با مجوز حذف فایل، اجرای کد و ارسال ایمیل داشته باشد.
ازاینرو، مسئله فقط انتخاب مدل مناسب نیست؛ معماری دسترسی، سطح مجوزها و نقاطی که اقدام عامل به تأیید انسان نیاز دارد، تعیین میکند خطای هوش مصنوعی به یک پاسخ نامناسب محدود بماند یا به حادثه امنیتی تبدیل شود.
شرکتهای ایرانی با چه خطرهایی روبهرو هستند؟
برای یک شرکت ایرانی، عامل هوش مصنوعی ممکن است به بخش پشتیبانی، تحریریه، منابع انسانی، فروش، حسابداری، برنامهنویسی یا مدیریت سرور متصل شود.
در ظاهر، اتصال عامل به این ابزارها سرعت کار را بالا میبرد؛ اما چند سناریوی پرریسک نیز شکل میگیرد:
عامل ممکن است فایل محرمانه را بهاشتباه برای گیرنده نامناسب ارسال کند؛ یک دستور پنهانشده در ایمیل یا صفحه اینترنتی را بهعنوان فرمان معتبر بپذیرد؛ داده ناقص را وارد سامانه مالی کند؛ کد آزمایشی را روی سرور اصلی اجرا کند؛ دسترسی یک کاربر را تغییر دهد؛ یا برای تکمیل مأموریت، محدودیتی را که مانع کارش شده دور بزند.
برای رسانهها نیز خطر متفاوتی وجود دارد. عاملی که به ایمیل خبرنگاران، پنل وردپرس و آرشیو اسناد دسترسی همزمان دارد، در صورت خطا میتواند محتوای منتشرنشده، اطلاعات منابع خبری یا دسترسی کاربران را در معرض خطر قرار دهد.
اینها به معنای توقف استفاده از هوش مصنوعی نیست؛ معنایش این است که عامل هوشمند نباید مانند یک مدیر سیستم با اختیار نامحدود وارد شبکه سازمان شود.
هفت خط دفاعی ضروری
۱. اصل حداقل دسترسی
عامل باید فقط به اطلاعاتی دسترسی داشته باشد که برای همان مأموریت لازم است. عامل تهیه گزارش فروش نباید امکان تغییر حسابهای بانکی، حذف اطلاعات مشتری یا مدیریت کاربران سرور را داشته باشد.
۲. جداسازی محیط آزمایشی از سامانه اصلی
آزمایش عاملها باید با داده ساختگی یا نسخهای محدود از داده واقعی انجام شود. اتصال مستقیم نسخه آزمایشی به پایگاه داده تولید، ایمیل اصلی سازمان یا سرور عمومی، دامنه خسارت را افزایش میدهد.
۳. تأیید انسانی برای اقدامات حساس
ارسال فایل به خارج از سازمان، حذف داده، تغییر سطح دسترسی، انتشار محتوا، اجرای کد روی سرور اصلی و عملیات مالی باید به تأیید صریح یک فرد مسئول وابسته باشد.
۴. ثبت کامل فعالیتها
سازمان باید بداند عامل به کدام فایل دسترسی پیدا کرده، چه دستوری اجرا کرده، چه دادهای ارسال کرده و چه کسی اقدام نهایی را تأیید کرده است. بدون گزارش رویداد، بررسی حادثه و تعیین مسئولیت دشوار میشود.
۵. جداسازی اسرار و رمزها
رمز پایگاه داده، کلید سرویسها و توکنهای دسترسی نباید بهصورت مستقیم در متن دستور، فایلهای عمومی یا حافظه عامل قرار گیرد. عامل باید فقط از مسیر کنترلشده و برای مأموریت مشخص به اعتبارنامه موقت دسترسی پیدا کند.
۶. امکان توقف فوری
هر عامل سازمانی باید کلید توقف اضطراری داشته باشد تا در صورت رفتار غیرعادی، دسترسی آن بدون انتظار برای تکمیل مأموریت قطع شود.
۷. مسئول انسانی مشخص
عبارت «هوش مصنوعی تصمیم گرفت» نباید به راه فرار از مسئولیت تبدیل شود. برای هر عامل باید مالک سازمانی، مسئول فنی و مسئول تأیید اقدامات حساس تعیین شود.
این توصیهها استنباط امنیتی از رخدادهای گزارششدهاند: هرچه اختیار عامل بیشتر باشد، مهار، پایش و تأیید انسانی باید سختگیرانهتر شود.
آیا باید استفاده از عاملها متوقف شود؟
پاسخ، توقف کامل نیست. عاملهای هوش مصنوعی میتوانند کارهای تکراری را کاهش دهند، گزارشهای پیچیده را سریعتر تهیه کنند و به تیمهای کوچک توان بیشتری بدهند. اما سرعت استقرار نباید از سرعت طراحی کنترلهای امنیتی بیشتر باشد.
استفاده کمریسک میتواند از مأموریتهای قابل بازگشت آغاز شود؛ مانند دستهبندی اسناد، تهیه پیشنویس یا تحلیل دادههای غیرمحرمانه. سپس، پس از آزمایش و ارزیابی، دسترسیهای بیشتر بهصورت مرحلهای اضافه شود.
اتصال مستقیم یک عامل تازهآزمایششده به حسابداری، ایمیل مدیرعامل، سرور تولید و اطلاعات مشتریان، معادل استخدام کارمندی ناشناس و دادن کلید تمام اتاقهای شرکت به او در روز نخست است.
نظرات کاربران
نخستین دیدگاه را درباره این خبر ثبت کنید
یادآوری: نشانی ایمیل منتشر نمیشود و دیدگاههای حاوی توهین، تهمت، افترا یا واژگان نامناسب تأیید نخواهند شد.
نظر شما میتواند شروع یک گفتوگوی سازنده باشد.