مجله خبری تم مارکتهای زیر نشان میدهند که خزندههای Google کدام قانون را روی یک URL خاص اعمال میکنند. یک پسوند خاص را برای ممنوع کردن خزیدن مشخص کنیدبه عنوان مثال، خزیدن همه فایل های gif را ممنوع کنید. یک user-agent می تواند تنها با یک مجموعه قوانین مطابقت داشته باشد، که اولین و خاص ترین مجموعه دستوری است که با یک user-agent مشخص مطابقت دارد. بنابراین بغیر از این سه مورد، توصیه می کنیم به جای robots.txt از دستورات متا استفاده کنید. و احتمال وقوع فاجعه کمتری وجود دارد (مانند مسدود کردن کل سایت شما).
مزایای فایل robots.txt چیست؟
بهترین راه برای بالا بردن بازدید سایت شما بالا بردن رتبه سایتتان در موتورهای جستجو است. زمانی که رتبه سایت شما در این موتورها بالا رود شما بازدید بیشتری داشته و درنتیجه میتوانید درآمد بیشتری نیز داشته باشید. بهواسطهی رباتهای موتورهای جستجوگر شما میتوانید سایتتان را به این موتورها بهراحتی معرفی کنید و میزان بازدید کاربران از سایتتان را افزایش دهید. در این مقاله به اهمیت فایل robots.txt در سایت و سئو سایت شما میپردازیم. با این کار میتوانید سئو سایت خود را بالابرده و در ضمن روی رتبه الکسا سایت شما نیز تأثیر زیادی دارد. شما میتوانید توسط این فایل آمار ترافیک سایت خود را بهبود دهید؛ و فروش محصولات خود را بالا برده و فروش خود را گسترش دهید.
به عنوان مثال در بسیاری از سایتها بخشی تحت عنوان پروفایل کاربران وجود دارد که نمایش این پروفایلهای کاربری در نتایج گوگل هیچ ترافیکی برای سایت مورد نظر ایجاد نمیکنند. بدین ترتیب و با نوشتن این دستورالعملهای ساده میتوانید فعالیت رباتها در وب سایت خود را محدود کرده و کنترل کاملی بر آن داشته باشید. فقط فراموش نکن من بارها در آموزش سئو وبین سئو گفتم که site map سایت مپ ات را هم داخل robots.txt به گوگل معرفی کن. یک فایلی هست به نام robots.txt، می گذاری اش در روت هاستت و این جوری به آنها دستور می دهی. در این فایل اول با user agent مشخص می کنی که با کدام ربات داری صحبت می کنی و می خواهی به کی دستور بدهی. بعد با allow , disallow می گویی که به چی دسترسی داشته باشی و به چی دسترسی نداشته باشی.
اما برگردیم به بحث اصلی در مورد تعداد کلیک خور شدن و رشد کردن توی گوگل. زمانی که میخواهید یک URL را مسدود یا اجازه ورود دهید، فایلهای Robots.txt کمی پیچیده میشوند چون با استفاده از تطبیق الگوها (Pattern-matching) میتوانند طیف وسیعی از URLها را پوشش دهند. علاوه بر این شما می توانید با خالی گذاشتن فایل نیز این کار را انجام دهید. در صفحه ظاهر شده تنها یک گزینه وجود دارد که می توانید آن را تغییر دهید و این گزینه Crawl rate می باشد.
- شما نمی خواهید که موتورهای جستجو این صفحات تکراری مربوط به فیلتر را ایندکس کنند و وقت خود را با این لینک های تکراری تلف کنند.
- اگر فایل robots.txt خود را بهروزرسانی کردید و باید در اسرع وقت نسخه ذخیرهشده گوگل را بررسی کنید.
- این امکان برای شما فراهم هست که ربات های خزنده رو کنترل کرده و دسترسی اون ها رو محدود کنین.
- Robots.txt فایلی است که به رباتهای موتورهای جستجو میگوید که چه صفحات یا بخشهای خاصی از یک وب سایت را بررسی نکنند و مجاز به بررسی چه صفحاتی هستند.
- در این فایل اول با user agent مشخص می کنی که با کدام ربات داری صحبت می کنی و می خواهی به کی دستور بدهی.
با مسدود کردن صفحات بیاهمیت با robots.txt، گوگل بات میتواند بیشتر بودجه خزشِ شما را صرف صفحاتی کند که واقعاً مهم هستند. در این دستور شما زمان تاخیر را هم به ربات ها اعلام می کنید؛ البته این دستور برای رباتی مانند Googlebot قابل اجرا نیست و برای انجام آن باید از ابزاری مانند گوگل سرچ کنسول بهره بگیرید. Crawl-delay به موتور های جستجو دستور می دهد که صفحه ای را با تاخیر ایندکس کنند؛ این دستور زمانی کاربرد دارد که صفحه شما دارای مشکل است و می خواهید آن را برطرف کنید. به طور کلی، دو نوع دستور برای این فایل ها داریم؛ اولین دستور برای محدود کردن موتور های جستجو از کراول کردن است و دومین دستور هم برای اجازه دادن به موتور های جستجو برای کراول کردن خواهد بود.
مثال هایی از فایل robots.txt