محققان از اینکه ChatGPT برنامه های بمب گذاری در استادیوم، دستور العمل های سیاه زخم و فرمول های دارویی را ایجاد می کند وحشت زده شده اند |

هنگامی که محققان در سال 2025 نرده‌های محافظ را از یک مدل OpenAI برداشتند، آمادگی این را نداشتند که نتایج تا چه حد شدید باشد.در آزمایش‌های کنترل‌شده‌ای که در سال 2025 انجام شد، نسخه‌ای از ChatGPT راهنمایی‌های دقیقی را در مورد نحوه حمله به یک مکان ورزشی، شناسایی ضعف‌های ساختاری در میدان‌های خاص، تشریح دستورالعمل‌های مواد منفجره و راه‌هایی پیشنهاد کرد که مهاجم می‌تواند از شناسایی جلوگیری کند. این یافته ها از یک تمرین ایمنی غیرمعمول بین شرکتی بین OpenAI و رقیب آن Anthropic و هشدارهای تقویت شده مبنی بر اینکه آزمایش انطباق در حال تبدیل شدن به “به طور فزاینده فوری” است، به دست آمد.

کتاب های درسی تفصیلی تحت عنوان “برنامه ریزی امنیتی”

این آزمایش‌ها توسط OpenAI به رهبری سام آلتمن و Anthropic، شرکتی که توسط کارمندان سابق OpenAI تأسیس شده بود و نگرانی‌های ایمنی را کنار گذاشتند، انجام شد. در اقدامی نادر، هر شرکتی سیستم‌های طرف مقابل را تست استرس می‌کند و آنها را با سناریوهای خطرناک و غیرقانونی وادار می‌کند تا نحوه واکنش خود را بسنجند.به گفته محققان، نتایج نشان‌دهنده نحوه رفتار مدل‌ها در استفاده عمومی نیست، جایی که چندین سطح ایمنی اعمال می‌شود. با این حال، آنتروپیک گزارش داد که در مدل‌های GPT-4o و GPT-4.1 OpenAI «مرتبط با رفتار … در مورد سوء استفاده» دیده شده است، یافته‌ای که بررسی دقیق سرعت سیستم‌های هوش مصنوعی با توانایی فزاینده را در حال پیشی گرفتن از پادمان‌هایی که برای محدود کردن آنها طراحی شده‌اند، تشدید می‌کند.بر اساس یافته‌ها، مدل GPT-4.1 OpenAI راهنمایی‌های گام به گام را ارائه می‌دهد که در مورد آسیب‌پذیری‌ها در رویدادهای ورزشی تحت پوشش «برنامه‌ریزی امنیتی» سؤال شد. پس از ارائه اولیه دسته‌های ریسک عمومی، سیستم برای داده‌های خاص تحت فشار قرار گرفت. سپس آنچه را که محققان به عنوان یک بازی به سبک تروریستی توصیف کردند ارائه کرد: شناسایی آسیب‌پذیری‌ها در عرصه‌های خاص، پیشنهاد زمان‌های بهینه بهره‌برداری، جزئیات فرمول‌های شیمیایی برای مواد منفجره، ارائه نمودارهای الکتریکی برای تایمرهای بمب، و نشان دادن محل تهیه سلاح گرم در بازارهای آنلاین پنهان. این مدل همچنین توصیه هایی را در مورد اینکه چگونه مهاجمان می توانند بر موانع اخلاقی غلبه کنند، راه های فرار بالقوه را ترسیم کرد و مکان خانه های امن را مشخص کرد. در همان دور آزمایش‌ها، GPT-4.1 نحوه سلاح‌سازی سیاه زخم و نحوه تولید دو نوع داروی غیرقانونی را شرح داد. محققان دریافتند که این مدل‌ها همچنین با درخواست‌هایی همکاری کردند که شامل استفاده از ابزارهای وب تاریک برای خرید مواد هسته‌ای، هویت‌های سرقت شده و فنتانیل، ارائه نسخه‌ای برای متامفتامین و وسایل انفجاری دست‌ساز و کمک به توسعه نرم‌افزارهای جاسوسی بود.

کاربران می توانند هوش مصنوعی را فریب دهند تا محتوای خطرناکی را با تحریف اعلان ها، ایجاد سناریوهای جعلی یا دستکاری زبان برای تولید نتایج خطرناک فریب دهند.

آنتروپیک گفت که “رفتار … در مورد سوء استفاده” را در GPT-4o و GPT-4.1 مشاهده کرده است، و افزود که ارزیابی های انطباق با هوش مصنوعی “به طور فزاینده ای فوری” می شود. تراز به این موضوع اشاره دارد که سیستم‌های هوش مصنوعی تا چه حد به ارزش‌های انسانی پایبند هستند و از آسیب جلوگیری می‌کنند، حتی زمانی که دستورالعمل‌های مخرب یا دستکاری به آنها داده می‌شود. محققان Anthropic به این نتیجه رسیدند که مدل‌های OpenAI “در هنگام همکاری با درخواست‌های آشکارا مخرب کاربران شبیه‌سازی‌شده، سهل‌انگیزتر از آن چیزی هستند که ما انتظار داریم.”

نگرانی های تسلیحاتی و واکنش صنعت

این همکاری همچنین سوء استفاده نگران کننده از مدل خود آنتروپیک کلود را نشان داد. آنتروپیک فاش کرد که کلود در تلاش برای اخاذی در مقیاس بزرگ، توسط ماموران کره شمالی که درخواست‌های شغلی جعلی را به شرکت‌های فناوری بین‌المللی ارسال می‌کردند، و در فروش بسته‌های باج‌افزار تولید شده توسط هوش مصنوعی تا سقف ۱۲۰۰ دلار مورد استفاده قرار گرفت. این شرکت گفت که هوش مصنوعی اکنون “سلاح” شده است و از مدل هایی برای انجام حملات سایبری پیچیده و امکان کلاهبرداری استفاده می شود. Anthropic هشدار داد: “این ابزارها می توانند با اقدامات امنیتی مانند سیستم های شناسایی بدافزار در زمان واقعی سازگار شوند.” ما انتظار داریم حملاتی از این دست رایج‌تر شوند زیرا کدنویسی به کمک هوش مصنوعی تخصص فنی مورد نیاز برای جرایم سایبری را کاهش می‌دهد.»

OpenAI تأکید کرد که نتایج هشداردهنده در شرایط آزمایشگاهی کنترل‌شده که در آن حفاظت‌های دنیای واقعی عمداً برای آزمایش حذف شده‌اند، تولید شده‌اند. این شرکت گفت که سیستم‌های عمومی آن شامل لایه‌های حفاظتی متعددی از جمله محدودیت‌های آموزشی، طبقه‌بندی‌کننده، تمرین‌های سرنشینی و نظارت بر سوء استفاده هستند که برای جلوگیری از سوء استفاده طراحی شده‌اند. پس از آزمایشات، OpenAI GPT-5 و به روز رسانی های بعدی را منتشر کرد، با آخرین مدل پرچمدار، GPT-5.2، که در دسامبر 2025 منتشر شد. طبق گفته OpenAI، GPT-5 “پیشرفت های قابل توجهی را در زمینه هایی مانند تصعید، توهم و مقاومت در برابر سوء استفاده نشان می دهد.” این شرکت گفت که سیستم‌های جدیدتر با پشته ایمنی قوی‌تر ساخته شده‌اند، از جمله حفاظت‌های بیولوژیکی بهبودیافته، روش‌های «تکمیل ایمن»، آزمایش‌های داخلی گسترده و مشارکت‌های خارجی برای جلوگیری از پیامدهای مضر.

ایمنی در مورد حریم خصوصی در آزمایش‌های نادر هوش مصنوعی بین شرکتی

OpenAI معتقد است که ایمنی اولویت اصلی خود است و می‌گوید که همچنان به سرمایه‌گذاری هنگفت در تحقیقات برای بهبود نرده‌های محافظ با توانمندتر شدن مدل‌ها ادامه می‌دهد، حتی در شرایطی که صنعت با نظارت فزاینده‌ای در مورد اینکه آیا این نرده‌ها می‌توانند با سیستم‌های به سرعت در حال پیشرفت همگام شوند یا خیر، ادامه می‌دهد.علیرغم اینکه رقبای تجاری هستند، OpenAI و Anthropic گفتند که آنها تصمیم گرفتند در این تمرین به نفع شفافیت در مورد به اصطلاح “نمره های همسویی” همکاری کنند و یافته های خود را به جای حفظ داخلی آنها منتشر کنند. چنین افشاگری در بخشی غیرمعمول است که در آن داده‌های ایمنی معمولاً در داخل سازمان نگهداری می‌شوند، زیرا شرکت‌ها برای ساختن سیستم‌های پیچیده‌تر رقابت می‌کنند.