چرا که مجله خبری تم مارکت علاقه مند به مشاهده وب سایت به شکلیست که برای کاربران به نمایش در می آید. گوگل این گونه می تواند وب سایت را از دید موبایل فرندلی بودن بررسی نماید. آیا از وجود فایل robots.txt در وب سایت خود مطمئن نیستید؟ تنها کافیست که عبارت robots.txt را به انتهای نام دامنه خود اضافه کرد و یو آر ال نهایی را در مرورگر خود وارد کنید. اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.
چه دستورات دیگری بخشی از پروتکل حذف روبات ها هستند؟
اما اگر می‌خواهید تنها به یک ربات خاص مانند ربات گوگل دستور خاصی را بدهید، دستور شما باید به شکل زیر نوشته شود. این کد به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است. دیجیتال مارکتینگ (بازاریابی دیجیتال) چیزی است که این روزها خیلی می شنویم. به دنبال طراحی سایت و سئوی سایت هستیم اما نمی دانیم که تمامی این فعالیت های جزء دیجیتال مارکتینگ است.
- اگر سایت شما وردپرسی است با نصب افزونه‌های سئو وردپرس نظیر رنک مث یا یوست سئو بصورت خودکار برای شما این فایل ایجاد خواهد شد.
- در صورتی که از قبل به کمک این پلاگین یک فایل robots.txt هم برای سایت‌تان ایجاد نکرده باشید به صورت زیر به شما پیشنهاد ایجاد یک فایل جدید می‌دهد که باید بر روی آن کلیک کنید.
- حتی اگر فایل robots.txt برای این ساخته شده باشد که به موتورهای جستجو بگوییم که در کدام یک از صفحات وب سایت ما اجازه خزیدن ندارند باز هم می توان از این فایل برای هدایت موتورهای جستجو به نقشه XML سایت استفاده کرد.
از طرفی این موضوع به گوگل اجازه خواهد دهد تا محتوای یک صفحه را در صورتی که در صفحه دیگری از طریق iframe یا تگ های HTML مشابه بارگزاری شده باشد را علی‌رغم دستور noindex، فهرست بندی کند. اگر در نحوه دسترسی به ریشه وب سایت خود مشکل دارید یا برای انجام این کار به مجوز نیاز دارید، با ارائه دهنده خدمات میزبانی سایت تماس بگیرید. توصیه میشه که فایل readme.txt رو داخل فایل robots.txt قرار دهید. اگه داخل فایل ربات قرارش ندین براحتی میشه از طریق مرورگر این فایل رو خوند. لازم نیست که صفخه ورود، دایرکتوری مدیریت و یا صفحه ثبت نام رو داخل فایل robots.txt قرار بدین چون صفحات ورود و ثبت نام تگ noindex را بعنوان تگ متا در وردپرس قرار داده است. تو این مثال فایل robots.txt وردپرس، ما تعیین کردیم که تمام نگارش های موتور جستجو میتونن پوشه upload رو که غالبا تصاویر ما داخل این پوشه س رو شاخص گذاری کنن.
مثالی از فایل robots.txt
ارجاع دادن به نقشه XML سایت در robots.txt یکی از بهترین قابلیت های این فایل است که به شما پیشنهاد می کنیم همواره از آن استفاده کنید. برای نشان دادن انتهای یک لینک می توانید از علامت $ در انتهای مسیر مد نظر خود استفاده کنید. در صورتی که هیچ مسیری در این بخش تعریف نشده باشد این دستورالعمل به طور کامل نادیده گرفته می شود.