مجله خبری تم مارکت جستجوی بینگ، یاهو و Yandex همگی از دستورالعمل Crawl-delay پشتیبانی می کنند که در صورت تمایل می توانید از این ویژگی در فایل robots.txt وب سایت خود استفاده کنید. در این مثال باز هم هیچ یک از موتورهای جستجو اجازه دسترسی به مسیری که شامل پوشه /wp-admin/ است را ندارند ویک نقشه سایت نیز در آدرسی که بیان شده است موجود می باشد. استفاده از فایل robots.txt برای تمام سایت‌های متوسط و بزرگ تقریبا اجتناب ناپذیر است.
نحوه بهینه سازی فایل robots.txt سایت
کنترل دسترسی ربات‌های جستجوگر
طراحی سایت خبری به‌واسطه‌ی آنلاین شدن تمامی کسب‌وکار اهمیت بسیاری پیدا کرده است. خبرگزاری‌ها، مطبوعات و روزنامه‌ها از قافله‌ی کسب‌وکارهای آنلاین جا نمانده‌اند و با طراحی سایت خبری، فعالیت خود را به شکل دیگری ادامه می‌دهند. مه ویژن آماده همکاری با این سازمان‌ها برای طراحی سایت خبری است. طراحی سایت رستوران و فست فود به واسطه‌ی سفارشات آنلاین غذا حسابی طرفدار پیدا کرده است. امروزه رستوران‌ها و فست فودها برای مقاصد بسیاری اقدام به طراحی سایت رستوران و فست فود می‌کنند. در این مقاله قصد داریم تا طراحی سایت رستوران و فست فود را به طور کامل بررسی کنیم.
فایل Robots.txt یک فایل متنی ساده (با پسوند txt) است که توسط موتورهای جستجو و برخی سیستم‌های دیگر خوانده می‌شود و نام دیگر آن «Robots Exclusion Protocol» به معنی پروتکل حذف ربات‌ها است. این فایل حاصل یک اجماع بین توسعه دهندگان موتورهای جستجو در روزهای ابتدایی بوجود آمدن اینترنت است ولی همچنان اغلب موتورهای جستجو بدان پایبند هستند. گوگل اعلام کرده است یک تگ روبات جدید در آینده پیش روی شما قرار خواهد گرفت که این تگ یرچسب indexifembedded نام دارد. این موضوع این امکان را در اختیار شما قرار خواهد داد که به کنترل تگ های خود بپردازید. در این بخش متوجه خواهید شد آیا گوگل قصد دارد صفحه ای را با محتوای جاسازی شده فهرست کند یا خیر.
- برای کاربران واقعی user-agent شامل نوع مرورگر، و سیستم عامل است و حاوی اطلاعات شخصی نیست.
- فایل robots.txt گوگل به صورت شگفت آوری انعطاف پذیر است و همین مسئله کار را برای خزیدن در وب سایت شما راحت تر می کند.
- در مثال بالا همه ربات‌های خزنده از دسترسی به تمامی آدرسهایی که دارای کاراکتر ؟ هستند منع شده‌اند.
- در این روش شما آدرس یه صفحه از سایت رو از دید گوگل مخفی نگه می دارین.
- این کارها تنها می تواند از نمایش داده شدن این صفحات توسط موتورهای جستجو در لیست جستجوی آنها جلوگیری کند.
به بیانی ساده فایل robots.txt اجازه بررسی سایت و صفحات را به ربات های موتورهای جستجو می دهد. با تایپ دستوراتی در این فایل متنی از دسترسی همه یا تعدادی از ربات های موتورهای جستجو برای بازدید و ایندکس سایت جلوگیری می گردد و یا با مشخص نمودن بخش های غیرضروری سایت، از لیست ایندکس توسط ربات ها خارج می شوند. Robots.txt فایلی است که به ربات‌های موتورهای جستجو می‌گوید که چه صفحات یا بخش‌های خاصی از یک وب سایت را بررسی نکنند و مجاز به بررسی چه صفحاتی هستند. اگر در فایل Robots دستور دهید که ربات‌های گوگل اجازه دسترسی به صفحاتی را ندارند، این صفحات کلاً بررسی نمی‌شوند اما هیچ تضمینی وجود ندراد که این صفحه در نتایج جستجوی گوگل ظاهر نشود.