أنس راشد
صاحبة متجر عبايات في الرياض طلبت من مبرمج تعديل تصميم متجرها على نسخة تجريبية، ووضع المبرمج في ملف robots.txt سطرًا يمنع محركات البحث من النسخة التجريبية كلها. بعد نقل التصميم الجديد للمتجر الحقيقي، انتقل السطر معه. خلال أسابيع، بدأت زيارات المتجر من جوجل تنخفض بشكل غريب. السبب كان سطرين فقط في ملف لا تعرف أنه موجود، ولم يلاحظهما أحد لأن المتجر كان يعمل بشكل طبيعي تمامًا أمام الزوار.
في هذه المقالة ستعرف ما ملف robots.txt ببساطة، وكيف تقرأ سطوره، وما الذي يفعله وما لا يفعله، وهل تحتاج تعديله فعلًا، وكيف تفحص ملف متجرك في دقيقتين، مع أخطر الأخطاء التي تقع فيه وقائمة تحقق.
“أصغر ملف في متجرك قد يكون أخطر ملف فيه.”
ما ملف robots.txt ببساطة؟
تخيل أن متجرك مبنى فيه محلات ومستودع ومكاتب إدارة. ملف robots.txt لوحة عند الباب تقول للزوار من محركات البحث: "تفضلوا إلى المحلات، لكن لا داعي لدخول المستودع والمكاتب". والزوار المحترمون، مثل زاحف جوجل، يقرؤون اللوحة ويلتزمون بها.
ويكون الملف دائمًا في جذر المتجر، أي على رابط مثل mystore.com/robots.txt. وهذا مثال مبسط لما قد تجده في متجر إلكتروني:
User-agent: * Disallow: /cart Disallow: /checkout Disallow: /account Disallow: /search Sitemap: https://mystore.com/sitemap.xml
هذا الملف يقول لكل محركات البحث: لا داعي لزيارة السلة وصفحة الدفع وحساب العميل ونتائج البحث الداخلي، وهذه خريطة صفحاتي المهمة. وكل ما لم يُذكر فهو مسموح. وشرحت معنى الزحف في القاموس تحت الزحف.
كيف تقرأ سطور الملف؟
الملف يتكون من أوامر بسيطة، وهذه أهمها:
| الأمر | معناه | مثال |
|---|---|---|
| User-agent | لأي زاحف تنطبق القواعد التالية. والنجمة * تعني كل الزواحف | User-agent: * |
| Disallow | مسار لا يزوره الزاحف | Disallow: /checkout |
| Allow | استثناء مسموح داخل مسار ممنوع | Allow: /account/help |
| Sitemap | رابط خريطة الموقع | Sitemap: https://mystore.com/sitemap.xml |
وانتبه لثلاث ملاحظات: المسارات تبدأ دائمًا بشرطة مائلة /، وهي حساسة لحالة الحروف الإنجليزية، فـ /Cart تختلف عن /cart. و"Disallow:" بلا شيء بعدها تعني أن لا شيء ممنوع. أما "Disallow: /" مع الشرطة المائلة وحدها فتعني منع المتجر كله.
وسطر Sitemap هو الطريقة الثانية لإخبار جوجل بخريطة موقعك، بعد إرسالها في Search Console، كما شرحت في مقالة ما هي خريطة الموقع ولماذا يحتاجها متجرك.
ماذا يفعل الملف وماذا لا يفعل؟
هنا أكثر سوء فهم شائع حول هذا الملف:
ما يفعله robots.txt
- يطلب من الزواحف عدم زيارة مسارات معينة
- يوفر على جوجل زيارة صفحات لا قيمة لها في البحث
- يدل الزواحف على خريطة الموقع
ما لا يفعله
- لا يضمن إخفاء صفحة من نتائج جوجل
- لا يحمي معلومات سرية
- لا يلزم الزواحف غير الملتزمة
توضح جوجل في مقدمتها عن ملف robots.txt أنه يُستخدم أساسًا لتنظيم زيارات الزواحف حتى لا يُثقل الموقع بالطلبات، وأنه ليس وسيلة لإبعاد صفحة عن جوجل.
تقول جوجل إن الصفحة الممنوعة في robots.txt قد تُفهرس رغم ذلك إذا أشارت إليها روابط من مواقع أخرى. فتظهر في النتائج برابطها، لكن دون وصف. ولإخفاء صفحة من النتائج فعلًا، استخدم وسم noindex أو احمها بكلمة مرور.
وهناك تفصيل مهم: إذا وضعت وسم noindex على صفحة، ثم منعتها في robots.txt، فلن يرى جوجل الوسم أصلًا، لأنه لن يزور الصفحة ليقرأه. لذلك لا تجمع بين الطريقتين على الصفحة نفسها. وشرحت معنى الوسم في القاموس تحت noindex.
الفرق بين الزحف والفهرسة بمثال من متجرك
الزحف يعني أن جوجل يزور الصفحة ويقرأ ما فيها. والفهرسة تعني أنه يحفظها في قاعدة بياناته ليعرضها في نتائج البحث. وهما خطوتان مختلفتان:
- صفحة السلة: تمنعها في robots.txt، فلا يزورها جوجل. وهذا مناسب، فلا أحد يبحث عن سلة متجرك.
- صفحة عرض قديم انتهى: إن أردت إخفاءها من النتائج، فلا تكفي robots.txt. ضع عليها noindex واتركها مسموحة للزحف حتى يقرأ جوجل الوسم، أو احذفها وحوّل رابطها.
- صفحة منتج: يجب أن تكون مسموحة للزحف والفهرسة معًا، وإلا فلن تظهر في البحث.
“robots.txt يقول لجوجل لا تدخل، ولا يقول له لا تعرض.”
هل تحتاج تعديل ملف متجرك؟
في أغلب المتاجر، لا. وجوجل نفسها تقول في المقدمة نفسها إن مستخدمي أنظمة إدارة المحتوى قد لا يحتاجون تعديل الملف مباشرة، أو قد لا يستطيعون ذلك أصلًا، لأن النظام يدير الملف أو يوفر إعدادات بديلة.
ومنصات المتاجر تضع عادة ملفًا مناسبًا يمنع الصفحات التي لا فائدة منها في البحث، مثل السلة والدفع وحساب العميل، ويسمح بالمنتجات والتصنيفات والمقالات. وبعضها لا يسمح بتعديله إطلاقًا، وهذا غالبًا في صالحك.
لكن هناك حالات قد تحتاج فيها مراجعة الملف أو تعديله:
- بعد تعديلات مبرمج أو نقل تصميم: للتأكد أنه لم يترك سطر منع من نسخة تجريبية.
- عندما تظهر صفحات لا قيمة لها في Search Console: مثل آلاف روابط الفلاتر أو البحث الداخلي، وكان متجرك يسمح بتعديل الملف.
- عندما يكون موقعك ليس على منصة متاجر: مثل موقع مبني بنظام خاص، فهنا أنت مسؤول عن الملف بالكامل.
وفي كل الحالات، لا تعدّل الملف دون أن تفهم كل سطر تضيفه. وإن احتجت ملفًا جديدًا لموقع خاص، فيمكنك إنشاؤه بـ أداة فحص وإنشاء ملف robots.txt.
ماذا يمنع ملف المتجر عادة، ولماذا؟
إذا فتحت ملف متجرك ووجدت مسارات ممنوعة كثيرة، فلا تقلق. هذه أشهر المسارات التي تمنعها المنصات، وسبب منعها:
- السلة والدفع: صفحات خاصة بكل عميل، ولا قيمة لها في البحث.
- حساب العميل وتسجيل الدخول: صفحات شخصية لا يجب أن تظهر لأحد.
- نتائج البحث الداخلي: كل كلمة يبحث بها زائر داخل متجرك قد تنشئ رابطًا جديدًا، فتتولد آلاف الصفحات المتشابهة بلا فائدة.
- روابط الترتيب والفلاتر: مثل ترتيب المنتجات حسب السعر، فهي نسخ من صفحة التصنيف نفسها بترتيب مختلف.
القاعدة البسيطة لفهم أي سطر: هل هذه صفحة يبحث عنها عميل جديد في جوجل؟ إن كانت لا، فمنعها منطقي. وإن كانت نعم، فمنعها خطأ.
كيف تفحص ملف متجرك؟
الفحص يأخذ دقيقتين، ويستحق أن تفعله الآن ثم بعد أي تعديل كبير على متجرك:
- افتح الملف في المتصفحاكتب رابط متجرك متبوعًا بـ /robots.txt، مثل mystore.com/robots.txt، واقرأ السطور.
- ابحث عن السطر الخطيرتأكد أنه لا يوجد سطر "Disallow: /" وحده تحت "User-agent: *" أو تحت "User-agent: Googlebot".
- تأكد من الصفحات المهمةالمنتجات والتصنيفات والمقالات يجب ألا تكون ممنوعة. والأداة المجانية تختبر لك أي رابط وتخبرك هل هو مسموح.
- راجع Search Consoleفي تقرير فهرسة الصفحات، ابحث عن حالة "محظورة بواسطة ملف robots.txt"، وتأكد أن الصفحات المذكورة فيها هي صفحات لا تريدها في البحث فعلًا.
- تأكد من سطر الخريطةوجود سطر Sitemap برابط كامل صحيح ميزة إضافية، وإن لم يوجد فأرسل الخريطة من Search Console.
وإذا وجدت أن صفحاتك المهمة لا تظهر في جوجل لسبب غير الملف، فراجع مقالة لماذا لا يظهر متجري الإلكتروني في جوجل.
ماذا تفعل إذا وجدت مشكلة؟
إذا وجدت سطرًا يمنع صفحاتك المهمة، فالحل يعتمد على منصتك:
- إن كانت المنصة تسمح بالتعديل: احذف السطر الخاطئ، واحفظ، ثم افتح الملف في المتصفح للتأكد أن التعديل ظهر.
- إن كانت المنصة لا تسمح بالتعديل: تواصل مع الدعم الفني فورًا، وأرسل لهم السطر الخاطئ ورابط الملف. فقد يكون في إعدادات متجرك خيار "إخفاء المتجر من محركات البحث" مفعّلًا بالخطأ.
- بعد الإصلاح: جوجل يعيد قراءة الملف تلقائيًا خلال فترة قصيرة غالبًا. وفي Search Console تقرير خاص بملف robots.txt يعرض آخر نسخة قرأها جوجل، ويمكنك منه طلب إعادة قراءته إن كان الإصلاح عاجلًا.
ثم راقب تقرير فهرسة الصفحات في الأسابيع التالية، وتأكد أن عدد الصفحات "المحظورة بواسطة ملف robots.txt" ينخفض، وأن منتجاتك بدأت تعود للفهرسة.
أخطر الأخطاء في ملف robots.txt
هذا أخطر خطأ على الإطلاق، وهو ما حدث في قصة متجر العبايات:
User-agent: *
Disallow: /
User-agent: *
Disallow: /cart
Disallow: /checkout
الفرق بينهما أن الأول يمنع كل شيء بشرطة مائلة واحدة، والثاني يمنع صفحات محددة فقط. وهذه أخطاء أخرى شائعة:
- منع ملفات التصميم والأكواد: منع ملفات CSS وJavaScript يجعل جوجل لا يرى الصفحة كما يراها الزائر، فيصعب عليه فهمها.
- منع التصنيفات أو المنتجات بالخطأ: مسار عام مثل "Disallow: /products" يمنع كل صفحات المنتجات دفعة واحدة.
- استخدام الملف للإخفاء: منع صفحة لتختفي من النتائج، بينما المطلوب noindex.
- استخدامه للحماية: الملف عام يقرؤه أي أحد، فوضع مسار سري فيه يدل الناس عليه بدل أن يخفيه.
- أوامر لا يدعمها جوجل: مثل Crawl-delay أو noindex داخل الملف، فجوجل يتجاهلها كما يوضح دليل طريقة تفسير جوجل لملف robots.txt.
ماذا عن زواحف الذكاء الاصطناعي؟
إلى جانب زواحف محركات البحث، توجد الآن زواحف لأدوات وشركات الذكاء الاصطناعي، لكل منها اسم مختلف يمكن ذكره في سطر User-agent. وبعض أصحاب المواقع يمنعونها في robots.txt.
والسؤال لصاحب المتجر بسيط: هل تريد أن تظهر منتجاتك ومقالاتك في إجابات أدوات الذكاء الاصطناعي عندما يسأل الناس عن منتجات مثل منتجاتك؟ إن كانت الإجابة نعم، فلا تمنع زواحفها دون سبب واضح. والأداة المجانية في موقعي تعرض لك أي أدوات ذكاء اصطناعي ممنوعة في ملف متجرك، حتى تعرف الوضع الحالي قبل أي قرار.
- فتحت ملف robots.txt لمتجري وقرأته
- لا يوجد سطر "Disallow: /" يمنع المتجر كله
- المنتجات والتصنيفات والمقالات غير ممنوعة
- السلة والدفع والحساب ممنوعة أو لا تظهر في البحث
- لا صفحة عليها noindex وممنوعة في الملف معًا
- راجعت الملف بعد آخر تعديل من مبرمج أو نقل تصميم
كلمة أخيرة: افحصه مرة، ولا تلمسه بلا سبب
ملف robots.txt صغير، لكنه أول ما يقرؤه جوجل عند زيارة متجرك. في أغلب المتاجر تديره المنصة بإعدادات مناسبة، فلا تحتاج تعديله. لكن افحصه الآن مرة واحدة، وبعد أي تعديل من مبرمج أو نقل تصميم، وتأكد أنه لا يمنع منتجاتك وتصنيفاتك. وتذكر الفرق الأهم: هو يمنع الزحف، لا الظهور في النتائج، فلإخفاء صفحة من جوجل استخدم noindex لا robots.txt. وإن وجدت مشكلة، فأصلحها فورًا، فكل يوم يبقى فيه المتجر ممنوعًا هو يوم بلا زيارات من جوجل.
وإذا أردت تعلم السيو لمتجرك بنفسك، فـ دليل السيو الشامل لأصحاب المتاجر الإلكترونية يشرحه خطوة بخطوة، أو اطلع على باقات تحسين محركات البحث للمتاجر لأراجع لك إعدادات متجرك التقنية، ومنها ملف robots.txt والفهرسة.
الأسئلة الشائعة
1 أين أجد ملف robots.txt لمتجري؟
اكتب رابط متجرك متبوعًا بـ /robots.txt، مثل mystore.com/robots.txt. الملف يكون دائمًا في جذر الموقع بهذا الاسم بالضبط.
2 هل أحتاج تعديل ملف robots.txt في سلة أو زد؟
غالبًا لا، فالمنصات تديره بإعدادات مناسبة، وبعضها لا يسمح بتعديله. المطلوب أن تفحصه وتتأكد أنه لا يمنع صفحاتك المهمة.
3 هل منع صفحة في robots.txt يخفيها من جوجل؟
لا. توضح جوجل أن الصفحة الممنوعة قد تُفهرس إذا أشارت إليها روابط من مواقع أخرى. ولإخفائها فعلًا، استخدم وسم noindex أو كلمة مرور.
4 ما معنى Disallow: / في الملف؟
تعني منع الزاحف من الموقع كله. إذا وجدتها تحت User-agent: * أو Googlebot في متجرك الحقيقي، فهذه مشكلة خطيرة يجب إصلاحها فورًا.
5 هل يمنع ملف robots.txt المتسللين من صفحاتي؟
لا. الملف عام يقرؤه أي أحد، والزواحف غير الملتزمة قد تتجاهله. لحماية أي صفحة، استخدم كلمة مرور أو صلاحيات دخول.
6 هل أمنع زواحف الذكاء الاصطناعي من متجري؟
هذا قرارك. لكن إن كنت تريد ظهور منتجاتك في إجابات أدوات الذكاء الاصطناعي، فمنعها قد يحرمك من ذلك. افحص ملفك أولًا لتعرف الوضع الحالي.
المصادر:
- Google Search Central. Introduction to robots.txt.
- Google Search Central. How Google interprets the robots.txt specification.
