هر وب سایت برای کسب رتبه مطلوب در صفحه نتایج موتور جستجوگر گوگل توسط ربات‌های مختلف و به طور روزانه مورد بررسی قرار می‌گیرد. این ربات‌ها به صورت خودکار تمامی صفحات یک سایت را بازدید کرده و آنها را به لحاظ ساختاری و فنی ارزیابی می‌کنند و سپس صفحات بازدید شده را در صفحه نتایج جستجو نمایش می‌دهند. اما هر وب سایت دارای برخی صفحات عمومی و یا محرمانه‌ای است که نمایش آنها در صفحه نتایج جستجو هیچ ضرورتی ندارد و حتی ممکن است به سئو سایت لطمه وارد کند. در حقیقت این امکان را فراهم می کنیم که صفحات اصلی در ساختار سایت بیشتر مورد توجه گوگل بوده و بررسی شوند.
موقعیت و نام فایل
فایل robots.txt دقیقاً چه کاری انجام می دهد؟
- در واقع در این مثال موتورهای جستجو به لینک گفته شده دسترسی پیدا می کنند.
- ربات‌ها در واقع نرم‌افزارهایی هستند که به صورت خودکار صفحه‌های مختلف را باز و بررسی می‌کنند.
- بنده پیشنهاد می کنم برای این کار از افزونه استفاده نکنید و صفحات را با دستور htaccess ریدایرکت کنید تا یک بار برای همیشه این مشکل را حل کنید چون همونطور که گفتم افزونه ها ممکن است در این تعداد صفحات دچار مشکل شوند.
- Wildcard امروزه توسط موتورهای جستجویی مانند گوگل، یاهو، بینگ و Ask پشتیبانی می شود.
- بنابراین اگر سایت شما است فایل robots.txt باید در آدرس example.com/robots.txt قابل دسترسی باشد.
- در این حالت یکی از راه حل‌های پیشنهادی گوگل، استفاده از تگ noindex در هدر صفحه مورد نظر است.
این ربات ها شامل ربات هایی می شوند که به دنبال اخبار یا تصاویر در وب سایت های مختلف هستند. یکی از مهم ترین نکات در زمان کار کردن با فایل robots.txt این است که روی تغییراتی که در این فایل اعمال می کنید نظارت کامل داشته باشید. برای این که یک ربات خاص نیز از دستورالعمل های عمومی تمامی ربات ها پیروی کند باید این دستورالعمل ها را برای ربات خاص مد نظر خود نیز تکرار کنید.