مدل Gemini گوگل در جریان یک ارزیابی کنترلشده امنیت سایبری، از محدوده پیشبینیشده آزمایش فراتر رفت و به سامانههای سه شرکت واقعی دسترسی پیدا کرد؛ رویدادی که بحث درباره میزان استقلال عاملهای هوش مصنوعی متصل به اینترنت را دوباره پررنگ کرده است.
بازتاب_ براساس گزارش رویترز که به گزارش والاستریت ژورنال و توضیحات شرکتهای درگیر استناد کرده، آزمایش در ماه مه توسط شرکت ارزیابی امنیتی Irregular انجام شده بود. هدف، سنجش توانایی مدل در محیط امنیت سایبری بود.
در جریان آزمایش، مدل برخی اهداف واقعی را بخشی از محدوده مجاز ارزیابی تلقی کرد و به آنها دسترسی یافت. پس از مشخص شدن اتفاق، شرکتهای مربوط مطلع شدند و فعالیت متوقف شد.
گوگل گفته است پس از حادثه اقداماتی برای اصلاح فرآیند آموزش و آزمون انجام شده است. شرکت ارزیاب نیز اعلام کرده موضوع را با سایر آزمایشگاههای بزرگ هوش مصنوعی در میان گذاشته است.
اهمیت این ماجرا بیشتر از پیچیدگی فنی نفوذ، به رفتار خودکار مدل مربوط میشود. وقتی یک عامل هوش مصنوعی قادر به مرور اینترنت، تصمیمگیری و اجرای چند مرحله پشت سر هم است، تعیین مرز دقیق مجوز اهمیت بیشتری پیدا میکند.
آزمایشهای امنیت سایبری برای شناسایی ضعفها ضروریاند، اما باید در محیطهایی انجام شوند که نتوانند ناخواسته به سیستم خارج از محدوده آسیب بزنند. این حادثه نمونهای از مشکل «تشخیص محدوده» برای عاملهای خودکار محسوب میشود.
گزارشها حاکی است پس از دسترسی، فعالیت مدل متوقف شده و این رویداد در چارچوب یک تست مجاز رخ داده است. با این حال ماجرا نشان میدهد توسعه عاملهای قدرتمند نیازمند سازوکارهای محدودکننده و نظارت دقیقتری است، بهخصوص زمانی که مدل به اینترنت و ابزارهای اجرایی دسترسی دارد.
نظرات کاربران
نخستین دیدگاه را درباره این خبر ثبت کنید
یادآوری: نشانی ایمیل منتشر نمیشود و دیدگاههای حاوی توهین، تهمت، افترا یا واژگان نامناسب تأیید نخواهند شد.
نظر شما میتواند شروع یک گفتوگوی سازنده باشد.