ابزارهای هوش مصنوعی به طور فزاینده ای به سیستم هایی که کسب و کارها هر روز استفاده می کنند متصل می شوند. آنها می توانند اسناد را جستجو کنند، ایمیل ها را هضم کنند، به اطلاعات داخلی دسترسی داشته باشند، وب سایت ها را مرور کنند و به طور فزاینده ای از طرف کاربران اقدام کنند.
این یک سوال جدید در مورد امنیت سایبری ایجاد می کند: چه اتفاقی می‌افتد اگر خود هوش مصنوعی فریب بخورد و کاری را انجام دهد که نباید انجام دهد؟
یکی از خطراتی که مورد توجه محققان امنیتی قرار گرفته است تزریق فوری نام دارد.
تزریق سریع چیست؟
تزریق فلاش زمانی اتفاق می‌افتد که دستورالعمل‌ها برای دستکاری یک سیستم هوش مصنوعی به گونه‌ای انجام می‌شود که متفاوت از آنچه در نظر گرفته شده است رفتار کند.
گاهی اوقات این دستورالعمل مستقیماً از تعامل انسانی با هوش مصنوعی می آید. اما همچنین می تواند اطلاعات داخلی پنهان باشد که هوش مصنوعی باید پردازش کند.
NIST این نوع دوم را تزریق سریع غیرمستقیم می نامد، که در آن دستورالعمل های مخرب از یک منبع خارجی به جای مستقیم از کاربر می آیند.
برای مثال، می‌توان از یک دستیار هوش مصنوعی درخواست کرد که یک صفحه وب، سند، ایمیل یا سایر اطلاعات خارجی را خلاصه کند. این محتوا ممکن است حاوی دستورالعمل‌هایی باشد که قصد دارند بر کارهای بعدی هوش مصنوعی تأثیر بگذارند.
چرا این موضوع به یک موضوع امنیت سایبری تبدیل شده است؟
این خطر زمانی افزایش می‌یابد که هوش مصنوعی بتواند کاری بیش از تولید متن انجام دهد.
دستیار هوش مصنوعی را تصور کنید که اجازه دارد:
- جستجوی اسناد شرکت
- ایمیل ها را بخوانید
- دسترسی به CRM
- فایل های داخلی را مرور کنید
- ارسال پیام
- از سایر برنامه های کاربردی تجاری استفاده کنید
اگر آن هوش مصنوعی با یک دستورالعمل مخرب مواجه شود، مهاجم می‌تواند سعی کند آن را به دسترسی به اطلاعات، افشای داده‌ها یا اقدامی که کاربر هرگز قصد نداشته است، وادار کند.
NIST به طور خاص این مشکل را با عوامل هوش مصنوعی بررسی کرده است. محققان او حملاتی را توصیف می‌کنند که در آن دستورالعمل‌های مخرب در ایمیل‌ها، وب‌سایت‌ها، مخازن کد یا سایر اطلاعات پردازش شده توسط یک عامل هوش مصنوعی درج می‌شوند و به طور بالقوه عامل باعث افشای داده‌های حساس یا انجام اقدامات مخرب می‌شوند.
خوراکی های کلیدی: هر چه یک هوش مصنوعی به سیستم های بیشتری دسترسی داشته باشد، مجوزهای آن اهمیت بیشتری پیدا می کند.
هوش مصنوعی نیازی به دسترسی به همه چیز ندارد
کسب و کارها در حال حاضر از اصل کمترین امتیاز در امنیت سایبری استفاده می کنند. کارکنان فقط باید به سیستم ها و اطلاعاتی که برای انجام کارهای خود نیاز دارند دسترسی داشته باشند.
با هوش مصنوعی نیز باید به همین صورت رفتار کرد.
قبل از اتصال ابزار هوش مصنوعی به سیستم های شرکت، بپرسید:
- واقعاً به چه اطلاعاتی نیاز دارد؟
- به چه سیستم هایی دسترسی دارد؟
- آیا می تواند فقط اطلاعات را بخواند یا می تواند اقدامی نیز انجام دهد؟
- آیا می تواند ایمیل ارسال کند، رکوردها را تغییر دهد یا فایل ها را دانلود کند؟
- آیا باید اقدامات حساس را تایید کرد؟
- آیا فعالیت ثبت می شود تا بتوان رفتار غیرعادی را بررسی کرد؟
دسترسی گسترده به دستیار هوش مصنوعی به این دلیل که این فناوری به آن اجازه می دهد می تواند نوردهی غیرضروری ایجاد کند.
تزریق سریع تنها با آموزش کارکنان قابل حل نیست
کارمندان باید درک کنند که پاسخ های تولید شده توسط هوش مصنوعی به طور خودکار قابل اعتماد نیستند. اما این فقط نسخه دیگری از آگاهی از فیشینگ نیست.
سازمان ها همچنین به حفاظت فنی نیاز دارند.
OWASP تزریق فوری را به عنوان یکی از اصلی ترین خطرات امنیتی که برنامه های کاربردی مبتنی بر الگوهای زبانی بزرگ با آن مواجه هستند، شناسایی کرده است. دستورالعمل‌های آن بر محدود کردن امتیازات، کنترل دسترسی به ابزارها و داده‌ها، و قرار دادن حفاظت‌های اضافی در مورد اقدامات پرخطر تأکید دارد.
این بدان معناست که امنیت هوش مصنوعی باید در حین اجرا در نظر گرفته شود، نه پس از اینکه سیستم از قبل به اطلاعات حساس تجاری دسترسی داشته باشد.
با دسترسی به هوش مصنوعی مانند هر دسترسی ممتاز دیگری رفتار کنید
کسب و کارها نباید از ابزارهای متصل هوش مصنوعی دوری کنند. توانایی کار با اطلاعات و برنامه های کاربردی شرکت بخشی از چیزی است که می تواند هوش مصنوعی را بسیار ارزشمند کند.
اما راحتی نباید مجوزها را دیکته کند.
قبل از اینکه ابزار هوش مصنوعی به ایمیل، اسناد، سیستم‌های مالی، سوابق مشتریان یا سایر منابع حساس دسترسی پیدا کند، کسب‌وکارها باید بدانند که چه چیزی می‌تواند ببیند، چه کاری می‌تواند انجام دهد و اگر چیزی سعی در دستکاری آن داشته باشد، چه دفاعی دارد.
BIS به سازمان‌ها کمک می‌کند هوش مصنوعی را در کنار محیط امنیت سایبری موجود خود ارزیابی کنند، از جمله کنترل‌های دسترسی، مجوزهای داده، خط‌مشی‌های هوش مصنوعی و خطرات ایجاد شده هنگام اتصال ابزارهای جدید به سیستم‌های تجاری حساس.
