اگر نمی توانید به ریشه وب سایت خود دسترسی پیدا کنید، از یک روش مسدودسازی جایگزین مانند متا تگها استفاده کنید. پروتکل سایت مپ (نقشه سایت) به رباتها کمک می کند تا بدانند چه چیزی را در خزیدن خود در یک وب سایت قرار دهند. گاهی اوقات به جای فهرست کردن همه فایلها به صورت جداگانه، مسدود کردن چندین صفحه به طور همزمان کارآمدتر است. اگر همه آنها در یک بخش از وب سایت باشند، یک فایل robots.txt میتواند دایرکتوری حاوی آنها را مسدود کند. برای جستجوی کلمات کلیدی، بهینه سازی و استراتژی محتوا، رپورتاژ تنها چند مورد از خدمات سئو ebgroup است. فایل Robots.txt یک فایل متنی و ساده است که با ساخت آن میتوانید از ایندکس شدن برخی صفحات در وب سایت خود جلوگیری نمایید.
کی باید در فایل robots.txt تغییرات بدیم؟
با تنظیم صحیح این فایل میتوانید فرایند خزش در سایت خود را بهینه سازی کنید و از فهرست شدن صفحات با محتوای تکراری جلوگیری کنید. ربات موتورهای جستجو با خزیدن و بررسی کردن صفحات مختلف در سایتهای مختلف، صفحات را ایندکس کرده و با استفاده از الگوریتم رتبه بندی خود، نتایج را مرتب کرده و در صفحه نتایج موتورهای جستجو نشان میدهند. موتورهای جستجو لینکهای موجود در هر صفحه را دنبال میکنند و از سایت A به سایت B رفته و از سایت B به سایت C و این فرایند را به همین شکل ادامه میدهند. Robots.txt نحوه خزیدن در صفحات مختلف وبسایت را به رباتها اعلام میکند در حالی که متا ربات و ربات X رفتارهای یک صفحه یا محتویات یک صفحه را به رباتهای خزنده اعلام میکنند.
سایت دنیز کشت و صنعت
آیا واقعا به فایل Robots.txt نیاز است؟
این مجله خبری تم مارکت درست مثل هر فایل متنی معمولی است و شما میتوانید آن را با یک ویرایشگر متن ساده مانند Notepad باز کنید. با توجه به اینکه بخش اعظمی از مشتریان در این بازار مجازی به دنبال شما هستند، بنابراین شما با حجم زیادی از مشتریان روبهرو هستید که باید خودتان را به آنها معرفی کنید. طراحی سایت بیمه بهترین فرصت برای معرفی کسب و کار شما به حجم زیادی از مشتریان بالقوهی شماست. در تصویر بالا گوگل اعلام می کند که چنین صفحه ای وجود دارد، اما اطلاعات آن از دید گوگل قابل مشاهده نیست، چرا که جلوی دسترسی به آن گرفته شده است. برای جلوگیری از چنین مشکلی ابتدا بایست صفحات مورد نظر را با استفاده از متا robots نوایندکس نمود و پس از خارج شدن آن صفحات از ایندکس گوگل، اقدام به بلاک نمودن آدرس ها کرد. مسیر نقشه های سایت را می توانید در انتهای دستورات فایل robots.txt به مانند تصویر زیر قرار دهید.
- هر چه در طول روز تعداد بیشتری محتوا در وبسایتتان قرار بگیرد و تغییرات سایت اهمیت زیادی داشته باشد، رباتهای جستجوگر دفعات بیشتری به سایت شما مراجعه میکنند.
- برای انجام این کار و یافتن خطاهای فایل Robots.txt ابتدا وارد وب سایت Google Search Console شده و سپس وارد بخش robots.txt Tester شوید و گزینه Test را انتخاب کنید.
- دستورالعمل Crawl-delay یک دستورالعمل غیررسمی است که برای جلوگیری از overload شدن سرورها با درخواست های زیاد مورد استفاده قرار می گیرد.
- در غیر این صورت موتورهای جستجو در زمان تجزیه فایل robots.txt سردرگم می شوند.