مدیر امنیت مایکروسافت: هوش مصنوعی قابل اعتماد نیست و عاملهای هوش مصنوعی قدرت بیش از حدی دارند | دیجینوی
مایکروسافت هشدار میدهد که نمیتوان به مدلهای پیشرفته هوش مصنوعی اعتماد کرد و عاملهای هوش مصنوعی نیز رفتاری غیرقابل پیشبینی دارند و به نظارت نیازمندند.
هایته گالوت، معاون اجرایی بخش امنیت مایکروسافت، هشدار داده که مدلهای هوش مصنوعی قابل اعتماد نیستند و عاملهای هوش مصنوعی سازمانی با دسترسیهای گسترده میتوانند رفتارهای پیشبینیناپذیری از خود نشان دهند. او بر لزوم نظارت لحظهای از طریق عاملهای نگهبان و سازگار کردن پروژه پرسپشن برای پایش و کنترل رفتار این عاملها تأکید دارد.
گالوت مقاله جدیدی با عنوان «تأمین امنیت عامل داخلی» منتشر کرده که در آن به خطرات و تهدیدهای هوش مصنوعی مدرن، بهویژه هوش مصنوعی عاملمحور، پرداخته است. این مقاله به رویدادهای اخیر، از جمله حملهای مبتنی بر فناوری OpenAI به پلتفرم هاگینگ فیس، اشاره میکند؛ هرچند نامی از این حمله نمیبرد. گالوت در توضیح این رویدادها گفت:
این اتفاقات نشان دادهاند که مدلهای قدرتمند به چه سطحی از توانایی رسیدهاند و اگر بهدرستی مدیریت نشوند، چگونه میتوانند تهدیدی جدی ایجاد کنند.
گالوت معتقد است مدلهای هوش مصنوعی بهخودیخود لزوماً مخرب نیستند، اما این موضوع به معنای قابل اعتماد بودن آنها نیست. او گفت:
نمیتوان به مدلهای پیشرفته هوش مصنوعی، صرفنظر از منشأ و سازنده آنها، اعتماد کرد.
او همچنین عاملهای هوش مصنوعی را عوامل داخلی خودمختار توصیف کرده که رفتاری غیرقابل پیشبینی دارند و میتوانند بهصورت مستقل با عاملهای دیگر همکاری کنند یا حتی برای دستیابی به اهدافشان با یکدیگر تبانی داشته باشند.

در ادامه گزارش آمده که با گسترش استفاده از عاملهای هوش مصنوعی در محیطهای سازمانی، این فناوریها دیگر صرفاً ابزارهایی برای اجرای دستورها نیستند و به مشارکتکنندگان فعال در عملیات سازمانها تبدیل شدهاند. این عاملها در بسیاری از موارد به دادهها، ابزارها و سامانههایی دسترسی دارند که سطح اختیاراتشان را بیش از حد موردنیاز افزایش میدهد.
با اینحال، مقاله گالوت تنها هشداری درباره خطرات احتمالی نیست، بلکه بر ضرورت اقدام عملی برای مقابله با این تهدیدها تأکید دارد. پیشنهاد او استفاده از عاملهای نگهبان برای نظارت لحظهای بر فعالیت عاملهای هوش مصنوعی و شناسایی رفتارهای پرخطر است؛ رویکردی که در آن از هوش مصنوعی برای مدیریت خطرات ناشی از خود هوش مصنوعی استفاده میشود.
گالوت همچنین توضیح داده که چگونه سامانه امنیتی پروژه پرسپشن مایکروسافت، که با هدف مقابله با حملات مبتنی بر هوش مصنوعی طراحی شده، میتواند برای مهار عاملهای داخلی خودمختار توسعه پیدا کند. این سامانه با بهرهگیری از کنترلهای قطعی، امکان مدیریت رفتار عاملها را در سراسر یک زیرساخت فراهم میآورد. در چنین ساختاری، گروهی از عاملهای نگهبان بر تمام اقدامات نظارت میکنند و با افزایش احتمال رفتارهای ناخواسته، واکنشهای لازم را برای محدود کردن خطرها به اجرا میگذارند.