ننقل لكم في مدونة مؤسسة إشراق العالم مقالاً بعنوان “تظهر محادثات كلود المفهرسة لماذا لا يعد Disallow Noindex
“ يفيدك في تنفيذ تجربتك في تحسين SEO موقعك ومتجرك الإلكتروني.
خلال عطلة نهاية الأسبوع، ظهرت محادثات كلود المشتركة بشكل غير متوقع في نتائج بحث Google.
في 27 يوليو، قمت بمراجعة قواعد الزحف على صفحات مشاركة Claude ووجدت توجيه noindex مخفيًا خلف كتلة، مما يمنع Google من الوصول إليه
تم حظر مسار المشاركة بواسطة ملف robots.txt على claude.ai. ترسل هذه الصفحات أيضًا رأس X-Robots-Tag مضبوطًا على لا شيء، والذي تتعامل معه إرشادات العلامة الوصفية لبرامج الروبوت من Google على أنها نفس معاملة noindex وnofollow.
ولهذا السبب تتعارض القواعد مع بعضها البعض. وفقًا لتوجيهات Google، لا تعمل علامة noindex إلا إذا تم السماح للزاحف بالوصول إلى الصفحة وقراءتها. إذا تم حظر إحدى الصفحات بواسطة ملف robots.txt، فلا يزال من الممكن فهرستها إذا كانت الصفحات الأخرى مرتبطة بها، نظرًا لأن Googlebot يلاحظ عنوان URL دون فتحه فعليًا.
الاقتران ليس فريدًا بالنسبة لشركات الذكاء الاصطناعي. إذا اكتشف Google عنوان URL محظورًا في مكان آخر، فيمكنه إدراج عنوان URL دون الزحف إلى علامة noindex.
ماذا حدث
ذكرت 404 Media يوم الاثنين أن صفحات مشاركة Claude كانت تظهر من خلال الموقع: المشغل. أفادت TechCrunch أنها تمكنت من العثور على مواد طبية ووثائق داخلية للشركة وملفات تحمل أسماء وأرقام هواتف الأطفال في سن المدرسة الابتدائية. ظهرت القطع الأثرية والمستندات والتطبيقات الصغيرة المبنية داخل كلود من خلال مسار ثانٍ.
ذكرت الكثير من التغطية، بما في ذلك The Decoder، أن صفحات المشاركة كانت تفتقر إلى علامة noindex. اعتبارًا من 27 يوليو، سيتم عرض رأس noindex وهو موجود خلف كتلة ملف robots.txt. من غير الواضح ما إذا كان هذا العنوان موجودًا قبل عطلة نهاية الأسبوع، حيث لم أتمكن من تأكيد ذلك.
ما تعود قواعد الزحف
نتائج الشيكات التي أجريتها في 27 يوليو ضد claude.ai:
- لا يسمح ملف robots.txt الموجود على claude.ai بـ /share/* ضمن مجموعة User-agent: *، مع عدم وجود مجموعة Googlebot منفصلة، لذا فهذه هي المجموعة التي يمر بها Google.
- يستجيب عنوان URL للمشاركة المباشرة بالرأس x-robots-tag: none عند طلب GET.
- يظهر نفس الرأس عندما يدعي الطلب أنه Googlebot، وتتضمن الاستجابة Vary: User-Agent.
- المسار /public/artifacts/ غير مدرج في ملف robots.txt.
لم أتحقق مما إذا كانت عناوين URL الاصطناعية تعرض علامة noindex على مستوى الصفحة، لذلك لا يمكن مقارنة هذين المسارين بناءً على عناصر التحكم الخاصة بهما.
أبلغ مستشار تكنولوجيا المعلومات المستقل دانييل جيه جلوفر عن نفس التعارض في 26 يوليو. ويظهر فحصي أن الإعداد لا يزال قائمًا في 27 يوليو، بعد أن تم الإبلاغ عن أن الدردشات لم تعد معروضة في نتائج البحث، ولكن لم أتمكن من تحديد ما تم تقديمه إلى Google عندما تم اكتشاف عناوين URL هذه لأول مرة.
لماذا لا يؤدي حظر الصفحة إلى إزالتها
يساعد ملف Robots.txt في توجيه كيفية زحف محركات البحث إلى موقعك على الويب، لكنه لا يحدد ما الذي سيتم فهرسته. لقد قامت جوجل بتوضيح هذا الأمر لسنوات.
على سبيل المثال، يوضح جون مولر أنه حتى الصفحات المحظورة بواسطة ملف robots.txt يمكن أن تظهر في نتائج البحث إذا كانت الصفحات الأخرى مرتبطة بها. إذا كنت تريد إبقاء الصفحة خارج نتائج البحث، فإن استخدام علامة “noindex” هو الخيار الصحيح. يوصي مارتن سبليت أيضًا بتجنب وضع القاعدتين في نفس الصفحة. وقد أكدت جوجل مؤخرًا على هذا التمييز مرة أخرى، كما رأينا في تحديثها الأسبوع الماضي.
لا يؤدي حظر عناوين URL باستخدام ملف robots.txt إلى إزالة الصفحات المفهرسة بالفعل. لإجراء عملية إزالة دائمة أكثر، تتمثل إرشادات Google في استخدام علامة “noindex” التي يمكن للزاحف قراءتها.
استجابة الأنثروبي
أخبرت Anthropic موقع TechCrunch أن روابط المشاركة لن تظهر في نتائج البحث إلا إذا قام الأشخاص بنشرها في مواقع يسهل على برامج الزحف الوصول إليها، ولن تتم فهرسة الروابط المرسلة عبر الرسائل الخاصة.
وأضافت المتحدثة آمي روثرهام أن هذه الروابط “لا يمكن تخمينها أو اكتشافها إلا إذا اختار الأشخاص مشاركتها بأنفسهم”. يعالج هذا إحدى الطرق التي يمكن من خلالها اكتشاف عنوان URL للمشاركة العامة، ولكنه لا يعالج القواعد المتعارضة التي وجدتها في 27 يوليو.
صرح المتحدث باسم جوجل، نيد أدريانس، أن محركات البحث لا تحدد الصفحات التي يتم نشرها للعامة، وأن جوجل توفر لأصحاب المواقع إمكانية التحكم في الزحف والفهرسة واتباع تلك الضوابط.
لماذا هذا مهم؟
لا يزال بإمكان أي شخص لديه الرابط الوصول إلى أي محادثات أو عناصر لم تقم بإلغاء مشاركتها. في Claude، انتقل إلى الإعدادات > الخصوصية > الدردشات المشتركة لرؤية القائمة الكاملة.
يؤدي إلغاء مشاركة الدردشة إلى تعطيل الرابط المباشر، ولكن إزالة عنوان URL من Google أمر مختلف. باعتبارك مستخدمًا لـ Claude، لا يمكنك التحكم في ما يقدمه إلى Googlebot أو إرسال طلب إزالة، حيث تتم إدارة هذه الأمور بواسطة Anthropic.
يتم نشر العناصر من خلال العملية الخاصة بها، مما يجعل إلغاء مشاركة الدردشة وإلغاء نشر العناصر من تلك الدردشة إجراءين منفصلين.
بالإضافة إلى تغييرات الإعدادات، فكر في إنشاء قاعدة حول مشاركة محادثات الذكاء الاصطناعي والعناصر. إذا كانت الدردشة تحتوي على شيء لا يمكنك نشره بشكل عام، فلا تشاركه من خلال رابط قد تتم فهرسته لاحقًا.
التطلع إلى الأمام
النمط ليس فريدًا بالنسبة إلى الأنثروبيين. قامت OpenAI بسحب محادثات ChatGPT المشتركة من البحث في أغسطس 2025، وحظرت Google فهرسة نصوص Bard في عام 2023. وتضمنت كل حالة عنوان URL مشتركًا عامًا انتقل إلى مسافة أبعد مما توقعه مالكه.
ظهرت الآن محادثات العملاء في ثلاث شركات في البحث. وهذا سبب كافٍ للتعامل مع رابط المشاركة العامة كصفحة ويب عامة منذ لحظة وجوده.
صورة مميزة: طاقم الآلاف / شترستوك
🚀 انطلق الآن لتحسين SEO موقعك ومتجرك الإلكتروني
إذا كنت ترغب في رفع ترتيب موقعك في نتائج Google، وزيادة الزيارات المجانية، وبناء باك لينك قوي عبر شبكة مواقع موثوقة، فاطلع على باقات تحسين محركات البحث من إشراق.
اكتشاف المزيد من مؤسسة اشراق العالم لتقنية المعلومات-خدمات مواقع ومتاجر الإنترنت
اشترك للحصول على أحدث التدوينات المرسلة إلى بريدك الإلكتروني.