محققان آسیب‌پذیری‌هایی را در مدل‌های هوش مصنوعی منبع باز و یادگیری ماشین نشان می‌دهند

Open-Source AI and ML Models

29 اکتبر 2024راوی لاکشمانانامنیت/آسیب‌پذیری هوش مصنوعی

هوش مصنوعی منبع باز و مدل های یادگیری ماشینی

بیش از 30 آسیب پذیری در چندین مدل هوش مصنوعی منبع باز (AI) و یادگیری ماشین (ML) فاش شده است که برخی از آنها می توانند منجر به اجرای کد از راه دور و سرقت اطلاعات شوند.

نقص‌هایی که در ابزارهایی مانند ChuanhuChatGPT، Lunary و LocalAI شناسایی شده‌اند، به عنوان بخشی از پلت‌فرم پاداش باگ Huntr Protect AI گزارش شده‌اند.

جدی ترین ایرادات دو نقصی است که Lunary را تحت تأثیر قرار می دهد، یک جعبه ابزار تولید برای مدل های زبان بزرگ (LLM) –

  • CVE-2024-7474 (امتیاز CVSS: 9.1) – یک آسیب‌پذیری ناامن مرجع شی مستقیم (IDOR) می‌تواند به کاربر احراز هویت شده اجازه دهد تا کاربران خارجی را مشاهده یا حذف کند، و در نتیجه دسترسی غیرمجاز به داده‌ها و از دست رفتن داده‌ها بالقوه ایجاد می‌شود.
  • CVE-2024-7475 (امتیاز CVSS: 9.1) – یک آسیب پذیری کنترل دسترسی نامناسب به مهاجم اجازه می دهد تا پیکربندی SAML را به روز کند و ورود به عنوان کاربر غیرمجاز و دسترسی به اطلاعات حساس را ممکن می کند.

آسیب پذیری دیگری که در Lunary کشف شده است (CVE-2024-7473، امتیاز CVSS: 7.5) به یک بازیگر بد اجازه می دهد تا با دستکاری یک پارامتر کنترل شده توسط کاربر، ادعاهای سایر کاربران را به روز کند.

امنیت سایبری

Protect AI در مشاوره ای توضیح داد: «مهاجم به عنوان کاربر A وارد سیستم می شود و درخواست به روز رسانی ادعا را رهگیری می کند. “با تغییر پارامتر “id” در درخواست به “id” روتر متعلق به کاربر B، مهاجم می تواند روتر کاربر B را بدون مجوز به روز کند.”

سومین آسیب‌پذیری حیاتی مربوط به یک نقص پیمایش مسیر در ویژگی آپلود کاربر ChuanhuChatGPT (CVE-2024-5982، امتیاز CVSS: 9.1) است که می‌تواند منجر به اجرای کد دلخواه، ایجاد دایرکتوری و قرار گرفتن در معرض داده‌های حساس شود.

دو نقص امنیتی نیز در LocalAI شناسایی شده است، یک پروژه منبع باز که کاربران را قادر می سازد تا LLM های خود میزبان را اجرا کنند، که می تواند به عوامل مخرب اجازه دهد تا کد دلخواه را با آپلود یک فایل پیکربندی مخرب اجرا کنند (CVE-2024-6983، امتیاز CVSS: 8.8). ). ) و حدس زدن کلیدهای API معتبر با تجزیه و تحلیل زمان پاسخ سرور (CVE-2024-7010، امتیاز CVSS: 7.5).

Protect AI گفت: «این آسیب‌پذیری به مهاجم اجازه می‌دهد تا یک حمله زمان‌بندی را انجام دهد، که نوعی حمله کانال جانبی است». با اندازه‌گیری زمان پردازش درخواست‌ها با کلیدهای API مختلف، مهاجم می‌تواند کلید API صحیح را یک کاراکتر استنباط کند.

گرد کردن لیست آسیب‌پذیری‌ها یک نقص اجرای کد از راه دور است که بر کتابخانه جاوا عمیق (DJL) تأثیر می‌گذارد که از یک خطای بازنویسی تصادفی فایل که ریشه در تابع untar بسته دارد (CVE-2024-8396، امتیاز CVSS: 7.8) ناشی می‌شود.

این افشاگری در حالی منتشر می‌شود که NVIDIA وصله‌هایی را برای رفع نقص پیمایش مسیر در چارچوب هوش مصنوعی NeMo (CVE-2024-0129، امتیاز CVSS: 6.3) منتشر کرده است که می‌تواند منجر به اجرای کد و دستکاری داده‌ها شود.

به کاربران توصیه می شود برای ایمن سازی زنجیره تامین AI/ML خود و محافظت در برابر حملات احتمالی، نصب خود را به آخرین نسخه به روز کنند.

افشای آسیب‌پذیری پس از آن منتشر شد که Protect AI Vulnhuntr را منتشر کرد، یک تحلیلگر کد استاتیک منبع باز برای پایتون که از LLMها برای یافتن آسیب‌پذیری‌های روز صفر در پایگاه‌های کد پایتون استفاده می‌کند.

Vulnhuntr با شکستن کد به قطعات کوچکتر بدون تحت تأثیر قرار دادن پنجره زمینه LLM کار می کند – مقدار اطلاعاتی که LLM می تواند در یک درخواست چت تجزیه و تحلیل کند – تا مسائل امنیتی بالقوه را علامت گذاری کند.

Dan McInerney و Marcello Salvati گفتند: «این به طور خودکار فایل‌های پروژه را برای فایل‌هایی جستجو می‌کند که احتمالاً اولین فایل‌هایی هستند که ورودی کاربر را کنترل می‌کنند». “سپس کل فایل را جذب می کند و با تمام آسیب پذیری های ممکن پاسخ می دهد.”

امنیت سایبری

با استفاده از لیست آسیب‌پذیری‌های بالقوه، کل زنجیره فراخوانی تابع از ورودی کاربر تا خروجی سرور را برای هر آسیب‌پذیری احتمالی در طول پروژه، یک تابع/کلاس در هر زمان تکمیل می‌کند تا زمانی که مطمئن شود که یک زنجیره فراخوانی کامل دارد. تحلیل نهایی.»

جدا از آسیب‌پذیری‌های امنیتی در چارچوب‌های هوش مصنوعی، یک جیلبریک جدید منتشر شده توسط شبکه تحقیقاتی 0Day موزیلا (0Din) نشان داد که ادعاهای مخرب کدگذاری شده در قالب هگزادسیمال و شکلک (به‌عنوان مثال، “✍️ ابزار sqlinj➡️🐍😈 می‌توانند از… برای من باشند” برای دور زدن اقدامات امنیتی OpenAI ChatGPT و سوء استفاده از نقص های امنیتی شناخته شده استفاده می شود.

مارکو فیگوروآ، محقق امنیتی، گفت: «تاکتیک فرار از زندان با دستور دادن به مدل برای پردازش یک کار به ظاهر خوش‌خیم: تبدیل هگزا، از یک آسیب‌پذیری زبانی سوء استفاده می‌کند. از آنجایی که این مدل برای پیروی از دستورالعمل‌ها به زبان طبیعی، از جمله انجام وظایف رمزگذاری یا رمزگشایی، بهینه شده است، ذاتاً از اینکه تبدیل مقادیر هگزا ممکن است خروجی مخرب تولید کند، بی‌اطلاع است.

این ضعف به این دلیل به وجود می‌آید که مدل زبان برای پیروی از دستورالعمل‌های گام به گام طراحی شده است، اما فاقد آگاهی عمیق از زمینه برای ارزیابی یکپارچگی هر مرحله فردی در زمینه گسترده‌تر هدف نهایی آن است.

این مقاله جالب بود؟ ما را دنبال کنید توییتر و لینکدین برای خواندن مطالب انحصاری بیشتر ما.



منبع: https://thehackernews.com/2024/10/researchers-uncover-vulnerabilities-in.html