يمكن لتحرير مكون من 13 كلمة أن يوجه ما يوصي به وكلاء الذكاء الاصطناعي للأبحاث العميقة

وجد باحثو جامعة كورنيل للتكنولوجيا أن عملاء الذكاء الاصطناعي للأبحاث العميقة يمكن التلاعب بهم من خلال تعديلات قصيرة على الصفحات العامة التي ينشئها المستخدمون، مما يسمح لتعليق واحد على غرار Reddit بأن يصبح توصية مستشهد بها للمنتجات أو الخدمات أو الكيانات المزيفة.

ووصفت الصحيفة تلك الصفحات المعدلة بأنها “مسمومة” لأن النص المضاف تم تصميمه لتوجيه ما استشهد به نظام الذكاء الاصطناعي وكرره. وقد حددت نقاط الضعف في الأنظمة التي تبحث في الويب، وتجمع المصادر، وتكتب التقارير المستشهد بها. أطلق الباحثون على الهجوم اسم WARP، وهو اختصار لعبارة Web Agent Retrieval Poisoning.

كيفية وصول النص الذي تم إدخاله إلى التقارير. ولا يتطلب الهجوم الوصول إلى النموذج أو المطالبات أو محرك البحث أو نظام الاسترجاع. وبدلاً من ذلك، يقوم المهاجم بتحرير نص أو إلحاقه بصفحة يميل الوكيل بالفعل إلى استردادها، مثل سلسلة رسائل Reddit، أو صفحة Wikipedia، أو منشور المنتدى.

عندما يبحث الوكيل لاحقًا عن مواضيع ذات صلة، فقد يسحب تلك الصفحة ويستشهد بها ويكرر الرسالة التي اختارها المهاجم.

غالبًا ما تقوم أدوات البحث العميق بتشغيل العديد من عمليات البحث ذات الصلة لطلب مستخدم واحد، ووجدت الورقة أن نفس الصفحات التي أنشأها المستخدم ظهرت عبر الاستعلامات ذات الصلة.

كان رديت أكبر افتتاح. عبر STORM وCo-STORM وOmniThink، جاءت نسبة 17% إلى 23% من عناوين URL المستردة من منصات أنشأها المستخدمون، بما في ذلك Reddit وYouTube وFacebook وWikipedia.

شكل Reddit الحصة الأكبر من تلك الصفحات. لقد شكلت ما بين 54% إلى 71% من عناوين URL التي أنشأها المستخدمون والتي تم استردادها بواسطة الأنظمة الثلاثة مفتوحة المصدر.

لم يغير الباحثون المواقع الحية. لقد استخدموا إطار عمل محاكاة يسمى GeoStorm لإدراج نص تم معالجته في المحتوى المسترد أثناء الاختبار.

إذا لم يتمكن الذكاء الاصطناعي من العثور عليك، فلن يتمكن العملاء من العثور عليك أيضًا.

تتبع ظهورك عبر بحث الذكاء الاصطناعي، واكتشف الفرص الضائعة، وعزز تواجدك حيث يطرح العملاء الأسئلة.

شاهد رؤية الذكاء الاصطناعي الخاصة بك

عملت بضع كلمات. وجد الباحثون أن الهجوم يعمل بمقتطفات قصيرة تصل إلى حوالي 13 كلمة:

في أحد الاختبارات، دفعت جملة مكونة من 15 كلمة عملة مشفرة مزيفة، BananaCoin، إلى تقرير Co-STORM كخيار استثماري “ناشئ” طويل الأجل. واستشهد التقرير بالمصدر المعدل إلى جانب مصادر العملات المشفرة المشروعة.

وعندما تم استرداد الصفحة التي تم التلاعب بها، ظهر الكيان المزيف في 38% إلى 51% من التقارير عبر الأنظمة. أدى استهداف صفحات متعددة إلى رفع هذا النطاق إلى 42% إلى 62%.

استمر الهجوم في العمل عندما استعادت الأنظمة سلاسل Reddit الكاملة، على الرغم من أن معدلات الإشارة كانت أقل. عندما تمت إضافة النص المدرج لإكمال سلاسل Reddit وشكل أقل من 4% من المحتوى المسترد، ظل الكيان المزيف يظهر في 30% إلى 53% من التقارير عند استرداد الصفحة.

كافحت الدفاعات. أدى حظر النطاقات التي أنشأها المستخدمون إلى إيقاف مسار الهجوم هذا، ولكنه أدى أيضًا إلى إزالة مصادر مثل تجارب المنتجات المباشرة والتوصيات المحلية.

فشلت مرشحات النص التي تم اختبارها في فصل المقاطع المحقونة بشكل موثوق عن محتوى المستخدم العادي. كانت المقاطع التي تم التلاعب بها بطلاقة لأنها كانت مكتوبة بواسطة نموذج الذكاء الاصطناعي، لذلك كانت المرشحات القائمة على الحيرة أكثر عرضة للإبلاغ عن محتوى المستخدم العادي أكثر من النص الذي تم إدخاله.

كما غاب عن عمليات التحقق على مستوى التقرير التلاعب. بدت التقارير المعدلة مشابهة للتقارير النظيفة لأن الوكيل نفسه قام بدمج التوصية المزيفة في إجابة عادية.

لماذا نهتم. يمكن أن يصبح أي تعديل بسيط على صفحة عامة جزءًا من إجابة الذكاء الاصطناعي المستشهد بها، حتى عندما يكون المصدر الأساسي من إنشاء المستخدم. يمكن للمعلومات الخاطئة المزروعة على مواقع مثل Reddit أو في المنتديات أن تنتقل من سلاسل المناقشة إلى التوصيات المستشهد بها في إجابات الذكاء الاصطناعي التي تبدو ذات مصداقية للمستخدمين.

حول البحث. هذه الورقة البحثية، التي تحمل عنوان “يمكن تسميم وكلاء البحث العميق عبر المحتوى الذي ينشئه المستخدم”، كتبها تينغوي تشانغ، وهارولد تريدمان، وفيتالي شماتيكوف من جامعة كورنيل للتكنولوجيا، وتم نشرها على موقع arXiv في 22 مايو. واختبر الباحثون الهجوم الكامل على ثلاثة أنظمة مفتوحة المصدر: STORM، وCo-STORM، وOmniThink. وقاموا بتحليل OpenAI Deep Research وGemini Deep Research بحثًا عن الاستشهادات التي أنشأها المستخدمون، لكنهم لم يجروا اختبارات معالجة مباشرة لأن ذلك يتطلب نشر محتوى معدل على الويب المفتوح.