کیتلین رولستون، مدیر ارتباطات مایکروسافت، می‌گوید این شرکت وب‌سایت‌های مشکوک را مسدود می‌کند و سیستم‌های خود را برای فیلتر ، درخواست‌ها قبل از ورود به مدل‌های هوش مصنوعی خود بهبود می‌بخشد. رولستون جزئیات بیشتری ارائه نکرد. با وجود این، محققان امنیتی می‌گویند که حملات تزریق سریع غیرمستقیم باید جدی‌تر گرفته شود زیرا شرکت‌ها برای تعبیه هوش مصنوعی مولد در خدمات خود رقابت می‌کنند.
سحر عبدالنبی، محقق مرکز امنیت اطلاعات سیسپا هلمهولتز در آلمان می گوید: «ا،ریت قریب به اتفاق مردم پیامدهای این تهدید را درک نمی کنند. عبدالنبی روی برخی از اولین تحقیقات تزریق سریع غیرمستقیم علیه بینگ کار کرد، نشان می دهد که چگونه می تواند باشد برای کلاهبرداری از مردم استفاده می شود. اجرای حملات بسیار آسان است و تهدیدی نظری نیستند. در حال حاضر، من معتقدم که هر عملکردی که مدل می تواند انجام دهد می تواند مورد حمله یا سوء استفاده قرار گیرد تا هرگونه حمله دلخواه را مجاز کند.»
حملات پنهان
حملات تزریق سریع غیرمستقیم مشابه جیلبریک هستند، اصطلاحی که قبلاً از ش،تن محدودیت‌های نرم‌افزاری در آیفون‌ها استفاده می‌شد. به جای اینکه ،ی دستوری را در ChatGPT یا Bing وارد کند تا سعی کند رفتار متفاوتی از آن ایجاد کند، حملات غیرمستقیم به داده‌هایی که از جاهای دیگر وارد می‌شوند متکی هستند. این می تواند از وب سایتی باشد که مدل را به آن وصل کرده اید یا سندی که در حال بارگذاری است.
خوزه سلوی، مشاور امنیتی ارشد اجرایی در شرکت امنیت سایبری NCC Group می‌گوید: «تزریق سریع آسان‌تر است یا نیازهای کمتری برای بهره‌برداری موفقیت‌آمیز نسبت به سایر انواع حملات علیه یادگیری ماشین یا سیستم‌های هوش مصنوعی دارد. سلوی می‌گوید از آنجایی که درخواست‌ها فقط به زبان طبیعی نیاز دارند، حملات می‌توانند به مهارت فنی کمتری نیاز داشته باشند.
افزایش مداوم محققان امنیتی و فناوران وجود دارد که سوراخ هایی را در LLM ایجاد می کنند. تام بونر، مدیر ارشد تحقیقات یادگیری ماشینی متخاصم در شرکت امنیتی Hidden Layer، می‌گوید تزریق سریع غیرمستقیم را می‌توان یک نوع حمله جدید در نظر گرفت که خطرات «بسیار گسترده» را به همراه دارد. Bonner می‌گوید که از ChatGPT برای نوشتن کدهای م،ب استفاده کرده است که در نرم‌افزار تحلیل کدی که از هوش مصنوعی استفاده می‌کند آپلود کرده است. در کد م،ب، او درخواستی را اضافه کرد که سیستم باید به این نتیجه برسد که فایل امن است. اسکرین شات آن را نشان می دهد که می گوید هیچ کد م،بی در کد م،ب واقعی وجود نداشت.
در جاهای دیگر، ChatGPT می‌تواند به رونوشت‌های آن دسترسی داشته باشد یوتیوب ویدیوها با استفاده از افزونه ها یوهان رهبرگر، محقق امنیتی و مدیر تیم قرمز، یکی از رونوشت های ویدیویی خود را ویرایش کرد تا شامل یک درخواست باشد طراحی شده برای دستکاری سیستم های هوش مصنوعی مولد. می گوید سیستم باید عبارت «تزریق هوش مصنوعی موفق شد» را صادر کند و سپس شخصیت جدیدی را به ،وان یک هکر به نام Genie در ChatGPT فرض کند و جوک بگوید.
در نمونه ای دیگر، با استفاده از یک پلاگین جداگانه، Rehberger توانست بازیابی متنی که قبلا نوشته شده بود در گفتگو با ChatGPT Rehberger می‌گوید: «با معرفی پلاگین‌ها، ابزارها و همه این ادغام‌ها، که در آن افراد به مدل زبان اختیار می‌دهند، به یک م،ا، اینجاست که تزریق سریع غیرمستقیم بسیار رایج می‌شود. “این یک مشکل واقعی در ا،یستم است.”
ویلیام ژانگ، یک متخصص یادگیری ماشینی می‌گوید: «اگر افراد برنامه‌هایی بسازند تا LLM ایمیل‌های شما را بخواند و بر اساس محتویات آن ایمیل‌ها اقداماتی انجام دهند – ،ید انجام دهید، محتوا را خلاصه کنید- مهاجم ممکن است ایمیل‌هایی را ارسال کند که حاوی حملات تزریق سریع است. مهندس در Robust Intelligence، یک شرکت هوش مصنوعی که بر روی ایمنی و امنیت مدل ها کار می کند.
بدون رفع خوب
رقابت برای تعبیه هوش مصنوعی مولد در محصولات – از برنامه‌های فهرست کارها گرفته تا اسنپ چت – در جایی که حملات ممکن است رخ دهند، گسترش می‌یابد. ژانگ می‌گوید توسعه‌دهندگ، را دیده است که قبلاً در این زمینه تخصص نداشتند هوش مصنوعی قرار دادن هوش مصنوعی مولد در خود فن آوری.
او می‌گوید اگر یک ربات چت برای پاسخ به سؤالات مربوط به اطلاعات ذخیره‌شده در پایگاه داده راه‌اندازی شود، می‌تواند مشکلاتی ایجاد کند. “تزریق سریع راهی را برای کاربران فراهم می کند تا دستورالعمل های توسعه دهنده را نادیده بگیرند.” این حداقل در تئوری می تواند به این م،ی باشد که کاربر می تواند اطلاعات را از پایگاه داده حذف کند یا اطلاعات موجود را تغییر دهد.
منبع: https://www.wired.com/story/chatgpt-prompt-injection-attack-security/