إذا كان موقعك يضم صفحات سلة شراء، أو نتائج فلترة لا تنتهي، أو نسخة تجريبية نسيها المطور مفتوحة، فإن ملف robots.txt هو أول ما يقرؤه زاحف جوجل قبل أن يتجول في صفحاتك. سطر واحد خاطئ فيه قد يمنع محركات البحث من الوصول إلى صفحات خدماتك، وسطر صحيح يوفر عليها الزحف على صفحات لا قيمة لها في البحث.
في هذا الدليل نشرح ملف robots txt من الصفر: ما هو، وما الأوامر التي تدعمها جوجل فعلًا، وكيف تكتبه وتختبره بالأدوات المتاحة اليوم، وكيف تتعامل مع زواحف الذكاء الاصطناعي، مع أمثلة لمتجر في الرياض وعيادة في جدة وشركة في القاهرة.
جدول المحتويات
ما هو ملف robots.txt؟
ملف robots.txt ملف نصي بسيط يوضع في جذر النطاق، مثل example.com/robots.txt، ويخبر زواحف محركات البحث (Crawlers) بالمسارات المسموح لها بزيارتها والمسارات التي يُطلب منها تجنبها. وظيفته تنظيم الزحف (Crawling) وتخفيف الضغط على الخادم، وليس إخفاء الصفحات من نتائج البحث أو حمايتها من الوصول.
يعتمد الملف على معيار اسمه بروتوكول استبعاد الروبوتات (Robots Exclusion Protocol)، وتوضح وثائق Google Search Central عن robots.txt أن الغرض الأساسي منه إدارة حركة الزواحف على موقعك، وأنه ليس وسيلة لإبقاء صفحة خارج نتائج جوجل. فالرابط المحظور قد يظهر في النتائج إذا أشارت إليه صفحات أخرى، لكنه يظهر حينها دون وصف.
لفهم موقع الملف في الرحلة كاملة، تذكّر أن محركات البحث تمر بثلاث مراحل: الزحف لاكتشاف الصفحات، ثم الفهرسة (Indexing) لفهمها وتخزينها، ثم الترتيب لعرضها في النتائج. الملف يعمل في المرحلة الأولى فقط، أي أنه يحدد أين يمشي الزاحف، لا ما يظهر في النتائج ولا ترتيبه فيها.
شكل الملف من الداخل بسيط: مجموعات من الأسطر، تبدأ كل مجموعة بسطر User-agent يحدد الزاحف المقصود، تليه قواعد Disallow أو Allow. ويستطيع أي شخص رؤية ملف أي موقع بكتابة /robots.txt بعد اسم النطاق، لذلك لا تكتب فيه مسارات تفضّل ألا يعرفها أحد.
لماذا يهم ملف robots.txt في السيو؟
يهم الملف لأنه يوجّه وقت الزاحف نحو الصفحات التي تريد ظهورها، ويمنعه من استنزاف الخادم في صفحات مكررة أو داخلية مثل نتائج البحث الداخلي والفلاتر وسلة الشراء. تأثيره على الترتيب غير مباشر، لكن خطأً واحدًا فيه قد يحجب أقسامًا كاملة من موقعك عن جوجل وعن عملائك المحتملين.
تظهر قيمته بوضوح في المواقع الكبيرة. متجر إلكتروني في الرياض يعرض مئات المنتجات مع فلاتر للون والمقاس والسعر قد يولّد عددًا ضخمًا من الروابط المتشابهة، وكل رابط منها دعوة للزاحف كي يزوره. تنظيم هذه المسارات يساعد جوجل على صرف جهدها في صفحات المنتجات والأقسام بدل الروابط المكررة.
لكن تنظيم الزحف وحده لا يضمن الظهور، فالصفحة التي يصل إليها الزاحف تحتاج بعد ذلك إلى المرور بنجاح بمرحلة أرشفة موقعك في محركات البحث، وهي مرحلة لها إشاراتها الخاصة مثل جودة المحتوى ووسم canonical وغياب وسم noindex. لذلك نتعامل مع الملف على أنه جزء من منظومة السيو التقني، لا أداة تعمل وحدها.
وهناك سبب ثالث: أصبح الملف المكان الذي تعلن فيه سياستك تجاه زواحف الذكاء الاصطناعي، وهو ما نشرحه في قسم مستقل.
أوامر robots.txt وطريقة كتابتها
يدعم Google أربعة حقول فقط في الملف هي user-agent وdisallow وallow وsitemap. الحقل الأول يحدد الزاحف، والثاني يمنع مسارًا، والثالث يستثني مسارًا من المنع، والرابع يدل على خريطة الموقع. أي حقل آخر مثل crawl-delay أو noindex يتجاهله زاحف جوجل (Googlebot) تمامًا.
هذا ما تنص عليه مواصفات Google لملف robots.txt، وتضيف الوثيقة تفاصيل مهمة: الحد الأقصى لحجم الملف 500 كيبيبايت (KiB) وما زاد عنه يُتجاهل، ويجب أن يكون نصًا عاديًا بترميز UTF-8، وأسماء الحقول لا تتأثر بحالة الأحرف بينما المسارات تتأثر، فالمسار /Admin/ يختلف عن /admin/.
- User-agent: اسم الزاحف المقصود، والنجمة (*) تعني كل الزواحف. يتبع كل زاحف مجموعة واحدة فقط هي الأكثر تحديدًا لاسمه، فإذا خصصت مجموعة لـ Googlebot فسيتجاهل مجموعة النجمة.
- Disallow: المسار الممنوع زحفه، ويبدأ دائمًا بشرطة مائلة. السطر Disallow: / وحده يمنع الموقع كله.
- Allow: يستثني مسارًا محددًا داخل مجلد ممنوع.
- Sitemap: رابط كامل يبدأ بـ https يدل على خريطة الموقع، ويمكن تكراره إذا كان لديك أكثر من خريطة.
- الرموز المساعدة: علامة # لكتابة ملاحظات يتجاهلها الزاحف، والنجمة * لمطابقة أي سلسلة أحرف، وعلامة $ لتحديد نهاية الرابط.
عند تعارض قاعدتين تطبق جوجل القاعدة الأطول مسارًا لأنها الأكثر تحديدًا، وإذا تساوتا في الطول تُطبق القاعدة الأقل تقييدًا أي Allow. هذا مثال يجمع الأوامر كلها:
# قواعد لكل الزواحف
User-agent: *
Disallow: /cart/
Disallow: /search
Disallow: /*?sort=
Allow: /search/help
Sitemap: https://www.example.com/sitemap.xml
في هذا المثال تُمنع السلة ونتائج البحث الداخلي وروابط الترتيب، وتبقى صفحة المساعدة متاحة لأن قاعدتها أطول.
خطوات إنشاء ملف robots txt واختباره
لإنشاء الملف اكتب القواعد في محرر نصوص عادي واحفظه باسم robots.txt بترميز UTF-8، ثم ارفعه إلى جذر النطاق، وافتحه في المتصفح للتأكد من أنه متاح للعامة، وراجع بعدها تقرير robots.txt في Google Search Console للتأكد من أن جوجل جلبته وقرأته دون أخطاء.
هذه الخطوات تلخص دليل Google لإنشاء ملف robots.txt، الذي ينبه إلى أن زواحف جوجل تعثر على الملف وتبدأ استخدامه تلقائيًا دون حاجة إلى إرساله، وأن مستخدمي المنصات المستضافة قد لا يحتاجون إلى تعديله مباشرة أو لا يستطيعون ذلك.
- حصر المسارات: اكتب قائمة بما يجب منعه فعلًا، مثل السلة وصفحات الحساب ونتائج البحث الداخلي، وقائمة بما يجب ألا يُمس مثل صفحات الخدمات والمنتجات وملفات CSS وJavaScript، وهي خطوة أساسية في أي تهيئة المواقع لمحركات البحث.
- كتابة الملف: استخدم محرر نصوص مثل Notepad أو VS Code، وتجنب برامج معالجة النصوص لأنها قد تضيف رموزًا غير مرئية.
- الرفع إلى الجذر: يجب أن يكون على https://www.example.com/robots.txt تحديدًا. الملف داخل مجلد فرعي لا يقرؤه أي زاحف، وكل نطاق فرعي يحتاج ملفًا خاصًا به.
- الفحص في المتصفح: افتح الرابط في نافذة تصفح خاصة وتأكد أنه يعيد رمز الحالة 200 ويعرض النص كما كتبته.
- المراجعة في Search Console: افتح تقرير robots.txt من الإعدادات، وتحقق من حالة الجلب وتاريخ آخر زحف وأي تحذيرات.
- اختبار الروابط المهمة: افحص صفحة الخدمة الرئيسية وصفحة منتج نموذجية بأداة فحص عنوان URL للتأكد من أنها غير محظورة.
أداة الاختبار القديمة (robots.txt Tester) لم تعد جزءًا من Search Console، وحلّ محلها تقرير ملفات robots.txt الذي يعرض الملفات التي عثرت عليها جوجل لأهم 20 مضيفًا في موقعك، وتاريخ آخر محاولة زحف، وحالة الجلب، وأي أخطاء أو تحذيرات. ويتيح التقرير طلب إعادة الزحف بعد تعديل مهم، دون ضمان زحف فوري.
بعد الرفع لا تكتفِ بالتقارير التقنية، بل راقب الزيارات العضوية في جوجل أناليتكس خلال الأيام التالية، لأن تراجعًا مفاجئًا في زيارات قسم كامل قد يكون أول إشارة إلى قاعدة حظر خاطئة.
ولمن يريد اختبار القواعد قبل رفعها، نشرت جوجل مكتبة robots.txt مفتوحة المصدر التي تصفها بأنها شيفرة الإنتاج التي يستخدمها Googlebot مع تعديلات طفيفة، ويمكن للمطور تشغيلها محليًا لمعرفة ما إذا كان رابط معين مسموحًا أو ممنوعًا.
أمثلة robots.txt حسب نوع النشاط
لا يوجد ملف واحد يصلح لكل المواقع؛ فالمتجر يحتاج إلى منع مسارات السلة والفلاتر المكررة، والعيادة تكفيها غالبًا أسطر قليلة، والشركة التي تملك نسخة تجريبية تحتاج إلى حماية تلك النسخة بكلمة مرور لا بالملف. الأمثلة التالية توضح المنطق، ولا تُنسخ كما هي دون مراجعة مسارات موقعك.
متجر إلكتروني في الرياض
متجر أزياء في الرياض يعمل على ووردبريس مع ووكومرس (WooCommerce) يمكنه أن يبدأ بقواعد مثل هذه، بعد التأكد من أسماء المسارات الفعلية:
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?orderby=
Disallow: /*?filter_
Sitemap: https://www.example.com/sitemap_index.xml
قبل منع روابط الفلاتر اسأل: هل تستهدف أي صفحة فلترة كلمة بحث حقيقية مثل "عبايات سوداء"؟ إذا كان الجواب نعم فالأفضل تحويلها إلى صفحة قسم مستقلة بدل حظرها. هذه الموازنة جزء أساسي من تحسين محركات البحث للمتجر الإلكتروني، لأن الحظر العشوائي قد يخفي صفحات تجلب زيارات فعلية.
عيادة في جدة
عيادة أسنان في جدة يضم موقعها صفحات خدمات وصفحة حجز ومدونة لا تحتاج إلى أكثر من بضعة أسطر. الخطأ الشائع هنا محاولة حظر صفحات تأكيد الحجز ظنًا أن ذلك يحمي بيانات المرضى، بينما الحماية الحقيقية تكون عبر تسجيل الدخول على الخادم. أما صفحات الخدمات مثل تقويم الأسنان وزراعة الأسنان فهي أهم صفحات الموقع في البحث المحلي بجدة، ويجب أن تبقى مفتوحة تمامًا للزواحف.
User-agent: *
Disallow: /booking/confirm/
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap.xml
شركة في القاهرة لديها نسخة تجريبية
شركة خدمات في القاهرة يعمل مطورها على نطاق فرعي مثل staging.example.com. وضع Disallow: / في ملف هذا النطاق يقلل الزحف عليه، لكنه لا يمنع ظهوره إذا انتشر رابطه. الحل الأسلم حماية النسخة التجريبية بكلمة مرور، والحرص عند الإطلاق على ألا يُنقل ملفها إلى النطاق الرئيسي، لأن نسخ مجلد الموقع كاملًا من بيئة التطوير ينقل معه هذا السطر دون أن ينتبه أحد.
أما المتاجر المبنية على منصات مستضافة في السعودية فيُدار ملفها غالبًا من جهة المنصة، ويتركز دور صاحب المتجر على ما تتيحه لوحة التحكم، كما شرحنا في تحسينات SEO سلة بخصوص العناوين والوصف وروابط المنتجات.
robots.txt وزواحف الذكاء الاصطناعي
يمكنك عبر الملف التحكم في استخدام بعض أنظمة الذكاء الاصطناعي لمحتواك دون التأثير على ظهورك في بحث جوجل، باستخدام رموز مثل Google-Extended وGPTBot. لكن حظر زواحف البحث التوليدي نفسها قد يُخرج موقعك من إجابات تلك الأدوات، وهو قرار تسويقي قبل أن يكون قرارًا تقنيًا.
توضح قائمة زواحف Google الشائعة أن Google-Extended ليس زاحفًا مستقلًا، بل رمز تحكم يحدد ما إذا كان المحتوى الذي تزحف إليه جوجل يُستخدم في تدريب نماذج الذكاء الاصطناعي التوليدي لديها وتأسيس إجاباتها، وتنص على أنه لا يؤثر على إدراج الموقع في بحث Google ولا يُستخدم إشارةً للترتيب.
وعلى الجانب الآخر تفصل وثائق OpenAI عن زواحفها بين ثلاثة وكلاء: GPTBot المخصص لتدريب النماذج، وOAI-SearchBot الذي يُظهر المواقع في نتائج البحث داخل ChatGPT، وChatGPT-User الذي يعمل عند طلب المستخدم وقد لا تنطبق عليه قواعد الملف. وتذكر الوثائق أن المواقع التي تحظر OAI-SearchBot لن تظهر في إجابات البحث في ChatGPT.
ما نقترحه عادة للشركات في السعودية ومصر: السماح لزواحف البحث التوليدي لأنها مصدر محتمل للزيارات والإشارات إلى العلامة التجارية، ثم تحديد الموقف من زواحف التدريب حسب طبيعة المحتوى. فالظهور في إجابات الذكاء الاصطناعي أصبح امتدادًا طبيعيًا لمفهوم السيو. مثال يسمح بالبحث التوليدي ويمنع التدريب:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
هذه القواعد طوعية؛ يتبعها الزاحف الملتزم، أما المخالف فيحتاج إلى حلول على مستوى الخادم أو جدار الحماية.
أخطاء شائعة في robots.txt
أخطر الأخطاء سطر Disallow: / المنسي بعد الإطلاق، وحظر صفحة تحمل وسم noindex فلا يراه الزاحف، ومنع ملفات CSS وJavaScript اللازمة لعرض الصفحة، والاعتماد على أوامر لا تدعمها جوجل مثل crawl-delay، واستخدام الملف لإخفاء أقسام حساسة رغم أنه علني يقرؤه أي زائر.
- حظر الموقع كله بالخطأ: يحدث غالبًا عند نقل الموقع من بيئة التطوير. راجع الملف في يوم الإطلاق نفسه.
- الجمع بين الحظر وnoindex: تنص وثائق جوجل عن منع الفهرسة على أن وسم noindex لا يعمل إذا كانت الصفحة محظورة في robots.txt، لأن الزاحف لن يصل إليها ليقرأ الوسم. لإخراج صفحة من النتائج اسمح بزحفها وضع عليها noindex.
- حظر ملفات العرض: منع مجلدات CSS وJavaScript والصور التي تحتاجها الصفحة قد يجعل جوجل تراها ناقصة.
- أخطاء الخادم: إذا أعاد الملف خطأ من فئة 5xx تتوقف جوجل عن الزحف مؤقتًا، أما خطأ 404 فيُعامل كأنه لا توجد قيود.
- استخدامه للحماية: الملف علني، وكتابة مسار مثل /private-reports/ فيه تدل الفضوليين عليه.
تصحيح هذه الأخطاء يزيل عائقًا لا أكثر. بعد التأكد من وصول الزاحف إلى صفحاتك المهمة، ركّز على المحتوى والروابط وتجربة المستخدم كما فصّلنا في دليل تحسين ترتيب موقعك في جوجل.
كيف يعمل فريق رابح على ملف robots.txt
يبدأ فريق رابح بقراءة الملف الحالي ومقارنته بتقرير Search Console وسجلات الزحف، ثم يحدد المسارات التي تستنزف الزحف والصفحات المهمة المحظورة بالخطأ، ويكتب نسخة جديدة تُختبر قبل الرفع، ويراقب أثرها بعد النشر ويوثّق كل تعديل بتاريخه. هذا الملف جزء من مراجعة تقنية أشمل، لا خطوة منفصلة.
منذ تأسيس رابح للتسويق الإلكتروني عام 2014 ونحن نعمل على مواقع شركات ومتاجر في مصر والسعودية والخليج، والسيناريوهات المتكررة متشابهة: موقع أُطلق بتصميم جديد وبقي عليه ملف بيئة التطوير، أو متجر حظر مجلد الصور دون قصد، أو عيادة منعت صفحات خدماتها ظنًا أنها داخلية. وفي السوق السعودي نرى كثيرًا من المواقع ثنائية اللغة، وهنا نتأكد من أن أي قاعدة عامة لا تحظر مسار النسخة العربية /ar/ أو الإنجليزية /en/ بالخطأ، لأن سطرًا واحدًا قد يُسقط نصف الموقع من الزحف دون أي رسالة تحذير واضحة. والمشكلة غالبًا لا تظهر إلا بعد تراجع الزيارات، ولذلك نجعل فحص الملف بندًا ثابتًا في عمل شركة سيو لدينا مع كل موقع جديد.
- جمع البيانات: الملف الحالي، وتقرير robots.txt، وتقرير فهرسة الصفحات في Search Console، وسجلات الخادم إن توفرت، لمعرفة أين يقضي Googlebot وقته فعلًا.
- المطابقة: مقارنة القواعد بخريطة المحتوى والكلمات المستهدفة لمعرفة ما يُمنع بالخطأ من صفحات تجلب زيارات، وما يُترك مفتوحًا دون داعٍ من روابط مكررة.
- الكتابة: إعداد نسخة مقترحة مع تعليقات توضح سبب كل قاعدة، حتى يفهمها فريق العميل لاحقًا ولا يحذف قاعدة مهمة دون قصد عند تحديث الموقع.
- الاختبار: فحص الروابط الحرجة بأداة فحص عنوان URL والمكتبة مفتوحة المصدر قبل الرفع، مع عينة من صفحات كل قسم ومن النسخ اللغوية المختلفة إن وجدت.
- المتابعة: مراجعة التقرير بعد الرفع، ثم متابعة تقرير فهرسة الصفحات والزيارات العضوية خلال الأسابيع التالية.
- التسليم: شرح التعديلات لفريق العميل أو المطور، مع قائمة مختصرة بما يجب مراجعته في الملف عند أي إطلاق قادم أو تغيير في المنصة أو هيكل الروابط.
إذا لم تكن متأكدًا من حالة ملفك أو من أثره على صفحاتك وزياراتك، فخدمة تحليل المواقع الإلكترونية لدينا تبدأ بفحص الزحف والفهرسة، وتسلمك تقريرًا بالمشكلات مرتبة حسب أولويتها مع خطوات إصلاح واضحة.
الأسئلة الشائعة حول robots.txt
أكثر ما يُسأل عنه في هذا الملف ثلاثة أمور: هل هو ضروري، وهل يمنع ظهور الصفحات، وكم يستغرق تطبيق التعديل. باختصار: الملف غير إلزامي لكنه مفيد، ولا يمنع الفهرسة بشكل مضمون، وتعيد جوجل قراءته عادة خلال 24 ساعة. وفيما يلي إجابات مختصرة عن بقية الأسئلة.
هل يحتاج كل موقع إلى هذا الملف؟
لا. إذا لم يوجد الملف أو أعاد خطأ 404 تزحف جوجل إلى الموقع دون قيود. وجوده مفيد عندما تريد منع مسارات بعينها أو الإشارة إلى خريطة الموقع.
هل يمنع الملف ظهور الصفحة في جوجل؟
لا يمنعه بشكل مضمون، فقد يظهر الرابط إذا أشارت إليه صفحات أخرى. لإخراج صفحة من النتائج استخدم وسم noindex مع السماح بزحفها، أو احمها بكلمة مرور.
أين أجد ملف robots.txt لموقعي؟
اكتب اسم نطاقك ثم /robots.txt في المتصفح. إذا ظهرت صفحة خطأ فالموقع لا يملك ملفًا، ويمكنك أيضًا مراجعة تقرير robots.txt في Search Console.
هل يستطيع فريقي إدارة الملف دون متخصص؟
نعم إذا كان الموقع بسيطًا وفهم الفريق قواعد الأولوية وحساسية الأحرف. يمكن بناء هذه المعرفة عبر دورات SEO التي يقدمها رابح، مع الاحتفاظ بنسخة من كل إصدار من الملف وتاريخ تعديله.
كم يستغرق تطبيق التعديلات؟
تحتفظ جوجل عادة بنسخة مخزنة مدة تصل إلى 24 ساعة. بعد تعديل مهم يمكنك طلب إعادة الزحف من تقرير robots.txt، دون ضمان التنفيذ الفوري.
هل يدعم Google أمر crawl-delay؟
لا، يتجاهل Googlebot هذا الأمر. الحقول التي يدعمها هي user-agent وdisallow وallow وsitemap فقط.
ما الفرق بين الملف ووسم meta robots؟
الملف يتحكم في الزحف على مستوى المسارات، أما وسم meta robots فيوضع داخل الصفحة ويتحكم في فهرستها وطريقة عرضها، ولا يقرؤه الزاحف إلا إذا سُمح له بزحف الصفحة.
هل أحتاج ملفًا منفصلًا لكل نطاق فرعي؟
نعم. القواعد تنطبق على النطاق والبروتوكول والمنفذ الذي يوجد عليه الملف فقط، لذلك يحتاج shop.example.com ملفًا مستقلًا عن www.example.com، وهذا يشمل أي نطاق فرعي للمدونة أو المتجر.
هل حظر GPTBot يؤثر على ترتيبي في جوجل؟
لا. GPTBot زاحف تابع لـ OpenAI ولا علاقة له بترتيب جوجل، وحتى Google-Extended تؤكد جوجل أنه لا يؤثر على الظهور في البحث.
متى يجب مراجعة الملف؟
عند إطلاق موقع أو تصميم جديد، وعند تغيير المنصة أو هيكل الروابط، وعند ملاحظة صفحات مهمة في تقرير الفهرسة بحالة "محظورة بواسطة robots.txt". وإذا لاحظت تراجعًا في الزيارات بعد تعديل تقني ولا تعرف سببه، أرسل طلب الخدمة مع رابط موقعك ليراجع فريقنا الملف وتقارير الزحف ويحدد معك الخطوة التالية.
