80% من توصيات منتجات ChatGPT تتغير عند تمكين البحث: دراسة
تغيرت توصيات منتجات ChatGPT بنسبة 80.2% عندما تم تمكين البحث، وفقًا لدراسة شملت 20000 إجابة أجراها جيف أكسفورد، المؤسس والرئيس التنفيذي لشركة Visibility Labs.
اختبرت أكسفورد 1000 مطالبة بتوصية المنتج 10 مرات لكل منها مع تمكين بحث ChatGPT و10 مرات مع تعطيل البحث.
فقط 19.8% من المنتجات الموصى بها بدون بحث ظهرت أيضًا في التوصيات التي تم إنشاؤها مع تمكين البحث.
تم تغيير البحث عن أفضل الاختيارات. حتى المنتجات التي يوصى بها ChatGPT في أغلب الأحيان دون البحث نادرًا ما يتم ترحيلها. ومن بين المنتجات التي ظهرت في 100% من الاستجابات المعطلة للبحث، ظهر 15.8% فقط أيضًا عند تمكين البحث.
توقعت أكسفورد أن تظل المنتجات الموصى بها باستمرار شائعة عند تشغيل البحث. وبدلا من ذلك، كانت تلك المجموعة هي الأقل تداخلا.
يذكر المصدر الرؤية المتعقبة. درست الدراسة أيضًا ما إذا كانت المنتجات المذكورة في المصادر المذكورة في ChatGPT تظهر في كثير من الأحيان في توصياتها. أبلغت جامعة أكسفورد عن وجود علاقة بيرسون بنسبة 0.4 بين ذكر المصدر المستشهد به وتكرار التوصية.
قامت الدراسة بقياس تكرار التوصية من خلال “نقاط الرؤية”، التي تم تعريفها على أنها النسبة المئوية لعمليات التشغيل التي ظهر فيها منتج لمطالبة معينة. تميل المنتجات المذكورة في كثير من الأحيان في المصادر المذكورة إلى الحصول على نقاط رؤية أعلى.
لم يثبت التحليل أن ذكر المصادر المذكورة أدى إلى التوصية بالمنتجات.
البحث عن توصيات ضيقة. احتوت استجابات ChatGPT مع تمكين البحث على 5.2 منتج في المتوسط، مقارنة بـ 6.2 عندما تم تعطيل البحث.
عبر 10 عمليات تشغيل لكل مطالبة، أعاد ChatGPT متوسط 19 منتجًا فريدًا لكل موجه مع تمكين البحث و21.8 مع تعطيل البحث.
لماذا نهتم. قام البحث بتغيير المنتجات التي أوصى بها ChatGPT، بما في ذلك المنتجات التي قام بتسميتها في كل مرة تم فيها تعطيل الوصول إلى الويب. تشير النتائج إلى أن المنتجات التي تظهر في المصادر المستشهد بها قد تحظى برؤية أكبر عند تمكين البحث، على الرغم من أن الدراسة لا تحدد ما إذا كانت رؤية المصادر المستشهد بها أكثر أهمية من الرؤية الأوسع على الويب.
حول البيانات. قامت جامعة أكسفورد بتحليل 1000 طلب لتوصية المنتج، وتم تشغيل كل منها 10 مرات مع تمكين البحث و10 مرات مع تعطيل البحث. تم توحيد أسماء المنتجات بحيث يتم احتساب اختلافات التسمية على أنها نفس المنتج. ولأن الدراسة كانت قائمة على الملاحظة، فإنها لم تثبت وجود علاقة سببية بين ذكر المصادر المذكورة وتكرار التوصيات.
التقرير. تتغير توصيات منتج ChatGPT بنسبة 80.2% عند تمكين البحث مقابل تعطيله (دراسة شملت 20000 رد)
حفر أعمق. قوائم توصيات الذكاء الاصطناعي تتكرر في أقل من 1% من الوقت: دراسة
إرسال التعليق