مجله خبری تم مارکت بالا به این معنا است که “دستورات فایل، برای همه رباتهای جستجوگر یکسان عمل میکند”. از آنجایی که منبع محدودی از خزیدن دارید، میتوانید robots.txt را نصب کنید تا از صفحات اضافی از طریق Googlebot جلوگیری کرده و آنها را به موارد مهم معرفی کنید. نحوه ایجاد فایل Robots.txt داشتن فایل Robots.txt برای هر سایت لازم است. زمانی که یک موتور جستجو سایتی را بررسی می کند، اول فایل robots.txt را در سطح ریشه پیدا کرده و بعد از شناسایی آن، خزنده، فایل را خوانده و در آخر فایل ها و دایرکتوری هایی را که ممکن است مسدود شده باشند، پیدا می کند. فایل Robots.txt یک فایل متنیست که وبمسترها با ایجاد آن می توانند ربات های موتورهای جستجو را در هنگام پایش وب سایت راهنمایی کنند. فایل robots.txt جزیی از پروتکلی با نام REP است که به استانداردسازی نحوه پایش وب توسط رباتها و چگونگی دسترسی و ایندکس محتوا و ارائه آن به کاربران می پردازد.
برای مثال می توانید به ربات های گوگل بگویید که کدام صفحات سایت شما را ایندکس کنند و در نتایج گوگل نمایش دهند و کدام صفحات را در نتایج گوگل نمایش ندهند و ایندکس نکنند. فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت .txt دارد و در دایرکتوری سایتتان قرار خواهد داشت. شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید.
Disallow
دستور sitemap که در ادامه این دستور آدرس نقشه سایت میآید یک روش برای نشان دادن نقشه سایت به موتور جستجو است. این دستور برای اطمینان حاصل کردن از این است که هیچ صفحهای در حین خزیدن در سایت فراموش نشود. با این وجود وجود نقشه سایت تاثیری در اولویتبندی خزش صفحات توسط ربات ندارد. علاوه بر این یک فایل robots.txt به موتورهای جستجو بیان می کند که نقشه سایت XML در کجا واقع شده است. پس از درک مفهوم فایل robots.txt به تاثیر این فایل در سئو و بهینه سازی سایت می پردازیم. فایل Robots.txt یک فایل متنی است که مدیران وبسایتها برای آموزش به رباتهای موتورهای جستجو ایجاد میکنند.
بررسی و کنترل محتوای به وسیله تگ ربات های جدید گوگل
لطفا توجه داشته باشید که فایل robots.txt شما به صورت عمومی در دسترس خواهد بود. با این حال باید توجه داشت که اولین دستورالعمل همواره در ابتدا مورد بررسی قرار می گیرد. دقت داشتن به دستورالعمل هایی که برای تمامی فایل های robots.txt و در عین حال برای یک فایل خاص می باشند. توجه داشته باشید که دستورالعمل Crawl-delay دقیقا باید بعد از دستورالعمل های Disallow یا Allow قرار گیرد. وب سایتی که قصد تعریف کردن نرخ خزیدن یا نرخ درخواست در آن دارید را انتخاب کنید. دستورالعمل Crawl-delay یک دستورالعمل غیررسمی است که برای جلوگیری از overload شدن سرورها با درخواست های زیاد مورد استفاده قرار می گیرد.
کنترل دسترسی رباتهای جستجوگر
“/” در اینجا نشان دهنده “ریشه” در سلسله مراتب یک وب سایت یا صفحهای است که همه صفحات دیگر از آن منشعب میشوند، بنابراین شامل صفحه اصلی و تمام صفحات لینک شده از آن میشود. با این دستور، ربات های موتورهای جستجو به هیچ وجه نمیتوانند وب سایت را بخزند. برخلاف رباتهای موتور جستجو گوگل، برخی از موتورهای جستجو دستورات موجود در فایل robots.txt را نادیده میگیرند. اما نباید فراموش کنید که اگرچه میتوان سایت مپ در داخل فایل ربات سایت به رباتهای موتور جستجو گوگل معرفی کرد اما این روش بهترین روش معرفی سایت مپ به رباتهای گوگل نیست. گوگل برای وبمسترها و صاحبان وبسایتها چند راه برای دسترسی به نقشه سایت گذاشته است.
- درواقع موتورهای جستجو توسط این ربات متوجه میشوند که به چه بخشهایی اجازه دسترسی دارند.
- در ادامه ی مقاله نحوه ساخت فایل ربات را با دستورات آن آورده ایم.
- برای مشاهده عملکرد ربات ارتقاء سئو، نسخه آزمایشی را تست کنید.
- این واقعاً مهم است که فایل robots.txt شما به درستی تنظیم شود.