در مثال زیر ربات خزنده موظف است بین هر درخواست ۸ میلی ثانیه توقف کند. گوگل از این دستور پشتیبانی نمیکند و شما میتوانید فرکانس خزش را در گوگل سرچ کنسول تنظیم کنید. در برخی موارد بلاک کردن موتورهای جستجو از بررسی بخشهای مشکل دار سایت شما، مخصوصا در سایتهای که نیاز به پاکسازی سئویی گسترده دارند، میتواند مفید باشد. در نهایت پس از پیاده سازی اصلاحات سئویی میتوانید مجددا اجازه بررسی صفحات اصلاح شده را به ربات موتورهای جستجو بدهید. در یک فایل Robots.txt با چندین دستورالعمل، میتوان قوانین مجاز به دسترسی و عدم مجاز به دسترسی را ایجاد کرد. همانطور که در تصویر زیر مشاهده میکنید یک Robots.txt مشخص شده است که در آن قواعد مختلف برای رباتها توسط یک کاربر ایجاد شده است.
رباتهای موتورهای جستوجو فقط دستورات Disallow و Allow را قبول دارند و میدانند. البته میتوانیم با دستور Crawl-delay، گشتن و کراول کردن آنها را برای صفحهای خاص به تاخیر بیاندازیم. سایت مپ، سایت شما نیز در دستورات فایل Robot.txt قرار میگیرد که به رباتهای موتورهای جستوجو میگوید فایل XML نقشه سایت کجاست. پس برای اینکه به آنها بگویید صفحهای را ایندکس نکنند باید از دستور Disallow و برای اینکه بگویید بعدا این صفحه را کراول کنند از دستور Crawl-delay باید استفاده کنید.
http://asusmag.irدر حال حاضر دلایل بسیار زیادی برای شروع دیجیتال مارکتینگ و ارتقای آن برای کسبوکارتان وجود دارد. اگر تاکنون سرمایهگذاری برای استراتژیهای دیجیتال مارکتینگ خود نکردهاید، الان وقت آن است. در این مقاله میخواهیم درباره دیجیتال مارکتینگ و دلایلی که لازم است تا در سال ۲۰۲۱ وارد آن شوید، بپردازیم. ماکسیمم سایز قابل پشتیبانی برای فایل robots.txt، 500 کیلو بایت است. اگر نیاز به تعلیق موقت خزیدن دارید، توصیه میکنیم برای هر URL در سایت یک کد وضعیت 503 HTTP ارائه دهید. مسدود سازی تمام تصاویر برای ربات Google Imagesگوگل نمی تواند تصاویر و ویدیوها را بدون خزیدن در آنها فهرست کند.
تست درستی robots.txt با ابزار گوگل
اگر مجله خبری تم مارکت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست میکنند که در این صورت نمیتوانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایلها را پیمایش کنند. موتور جستجو قبل از آنکه وارد سایتی شود، ابتدا فایل robots.txt را از سرور درخواست می کند تا از تمام محدودیت های پیش روی خود در آن سایت آگاه شود. استفاده از فایل robots.txt در افزایش سئو و بهینه سازی سایت کاربرد فراوانی دارد با این فایل می توانید ربات یا crawler های موتور جستجو را کنترل کنید که به کدام شاخه یا فایل ها دسترسی داشته، یا نداشته باشند. فایل Robots.txt، یک فایل متنی است که با آن دستوراتی برای رباتهای Crawler موتورهای جستوجو تعیین میکنید.
در ادامه disallow به معنای این است که مسیر ذکر شده را دنبال نکند و اجازه ای برای خزیدن نداشته باشد.
در بخش بعد توضیح میدهیم که چطور یک فایل Robots.txt بسازیم، آن را در جای درستش قرار دهیم و تست کنیم تا رباتهای گوگل به آن دسترسی داشته باشند.
در صورتی که سایت شما دارای ساب دامین است لازم است هریک از این ساب دامینها دارای فایل robots.txt مختص خود باشند.
اگر در وب سایت شما هیچ بخشی برای پنهان کردن در نتایج جستجو وجود ندارد، شاید بهتر باشد که فایل robots.txt را به کل نادیده بگیرید. با استفاده از فایل robots.txt می توان به مدیریت دسترسی پایشگر ها در وب سایت پرداخت. با اینکه این امکان می تواند در صورت اشتباه شما کمی خطر ناک نیز باشد، اما از طرفی بسیار کارامد نیز است. 5xx از آنجایی که سرور نمی تواند پاسخ قطعی به درخواست robots.txt گوگل بدهد، گوگل موقتاً خطاهای سرور را 5xx و 229 تفسیر می کند که گویی سایت کاملاً غیر مجاز است. Google سعی میکند فایل robots.txt را بخزد تا زمانی که کد وضعیت HTTP بدون خطای سرور را دریافت کند. اگر robots.txt بیش از 30 روز در دسترس نباشد، Google از آخرین نسخه کش شده robots.txt استفاده خواهد کرد.