هل جوجل يقدر يدخل صفحات متجرك؟
افحص ملف robots.txt لأي موقع، واعرف وش الصفحات المسموحة والممنوعة لجوجل وأدوات الذكاء الاصطناعي. أو أنشئ ملف جديد جاهز تنسخه. مجاناً وبدون تسجيل.
اختبر رابط
ملاحظات على الملف
أدوات الذكاء الاصطناعي
الحالة حسب الصفحة الرئيسية. إذا منعت أدوات البحث بالذكاء الاصطناعي، متجرك ممكن ما يظهر في إجاباتها.
الوضع الطبيعي لأي متجر شغال: محركات البحث تزحف على كل الصفحات ما عدا اللي تمنعها تحت.
رابط كامل يبدأ بـ https. وإذا عندك أكثر من خريطة، كل رابط في سطر.
المسار يبدأ بـ /. وتقدر تستخدم * لأي حروف، و$ لنهاية الرابط.
الملف لازم يكون في جذر الموقع بالضبط: mystore.com/robots.txt
ملف صغير يقرر وين يدخل جوجل في متجرك
أول شي يقرأه جوجل لما يزور متجرك هو ملف robots.txt. سطر واحد غلط فيه ممكن يمنع جوجل من صفحات منتجاتك كلها.
يوجّه الزحف
يقول لمحركات البحث وش الصفحات اللي ما تحتاج تزحف عليها، مثل السلة وصفحة الدفع، عشان تركز على منتجاتك.
المنع مو إخفاء
منع صفحة في robots.txt ما يشيلها من نتائج جوجل. إذا تبي تخفي صفحة من النتائج، استخدم noindex بدل المنع.
يدل على خريطة الموقع
سطر Sitemap يدل محركات البحث على خريطة موقعك، فتلقى صفحاتك الجديدة أسرع.
أدوات الذكاء الاصطناعي
تقدر تسمح أو تمنع أدوات مثل ChatGPT وClaude وPerplexity، وكل قرار له أثر على ظهورك في إجاباتها.
أسئلة عن ملف robots.txt
هل منع صفحة في robots.txt يشيلها من جوجل؟
لا. جوجل ممكن يعرض رابط الصفحة الممنوعة إذا فيه روابط لها من مواقع ثانية، لكن بدون وصف. إذا تبي تشيل صفحة من النتائج، خلها مسموحة وحط فيها noindex.
وش يصير إذا ما عندي ملف robots.txt؟
إذا الملف يرجع 404، جوجل يعتبر كل صفحات موقعك مسموحة. أما إذا يرجع خطأ في السيرفر (5xx)، جوجل ممكن يوقف الزحف على موقعك مؤقتاً لين يرجع الملف.
أمنع أدوات الذكاء الاصطناعي ولا لا؟
يعتمد على هدفك. فيه أدوات تجمع المحتوى لتدريب النماذج، وأدوات ثانية تبحث عشان تجاوب المستخدمين وتذكر المصادر. منع أدوات البحث معناه إن متجرك ممكن ما يظهر في إجابات ChatGPT أو Perplexity لما أحد يسأل عن منتجاتك.
هل Google-Extended يأثر على ظهوري في جوجل؟
لا. Google-Extended يتحكم باستخدام محتواك لتدريب نماذج Gemini، وما يأثر على الزحف ولا على ظهورك في نتائج البحث.
جوجل يلتزم بـ Crawl-delay؟
لا، جوجل يتجاهل هذا السطر ويضبط سرعة الزحف بنفسه حسب استجابة موقعك. بعض محركات البحث الثانية تلتزم فيه.
متأكد إن جوجل يشوف كل منتجاتك؟
أراجع متجرك وأتأكد إن ما فيه صفحات مهمة ممنوعة من جوجل، مع العناوين والوصف والروابط المعطلة، وتقرير وعيّنة قبل البدء.