در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط این فایل به‌عنوان یک وب‌مستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است! همانطور که می‌دانیم ربات خزنده و ایندکس کنندۀ گوگل، Googlebot نام دارد. این ربات نسبت به سایر ربات‌های جستجوگر، دستورات بیشتری را متوجه می‌شود. علاوه بر دستورات “User-agent” و “Disallow”، ربات گوگل دستور دیگری به نام “Allow” را نیز درک می‌کند. در ادامه توجه شما را به نکاتی جلب می کنیم که رعایت آن ها در ساخت فایل robots.txt موجب سئو هر چه بهتر وب سایت شما خواهد شد.
http://asusmag.irبهترین مجله خبری تم مارکت برای انجام اینکار معرفی آدرس نقشه سایت در داخل گوگل سرچ کنسول است. برای انجام اینکار پیشنهاد می‌کنیم که حتما مقاله “صفر تا صد نقشه سایت” را مطالعه کنید. اگرچه برخی از ربات‌ها به دستورات موجود در این فایل توجهی نمی‌کنند. اما خوشبختانه برخلاف این عده خاص، بسیاری از خزنده‌های مهم سطح وب به این قوانین و دستورات احترام می‌گذارند و از آنها پیروی می‌کنند.
یک نمونه فایل ربات جالب
در واقع در این مثال موتورهای جستجو به لینک گفته شده دسترسی پیدا می کنند. زمانی که مانند این مثال دستورالعمل سایت به صورت دقیق مشخص نیست آنها سعی می کنند که کمترین محدودیت را برای دسترسی به صفحات مختلف اعمال کنند. دستورالعمل Allow در داخل فایل robots.txt دقیقا در مقابل دستورالعمل Disallow قرار می گیرد.
- آیا از وجود فایل robots.txt در وب سایت خود مطمئن نیستید؟ تنها کافیست که عبارت robots.txt را به انتهای نام دامنه خود اضافه کرد و یو آر ال نهایی را در مرورگر خود وارد کنید.
- درود زیادی شلوغ شده توی سایت ما سرچ کنید ساخت فایل ربات آموزشش هست یه فایل ساده باید بسازید.
- اگر سایت وردپرسی شما دارای فایل robots.txt نباشد، موتورهای جستجو تمام وبسایت شما را پیمایش و فهرست می‌کنند که در این صورت نمی‌توانید به موتورهای جستجو دستور دهید که نباید کدام صفحات و فایل‌ها را پیمایش کنند.
- همانطور که گفتیم، هاست و منابع سرور سایت ما برای پاسخ دادن به درخواست‌های ربات‌ها دقیقا همانند پاسخگویی به درخواست‌های کاربران واقعی مشغول می‌شود.
به عنوان مثال، اگر محتوای دانلود شده به جای قوانین robots.txt HTML باشد، گوگل سعی می کند محتوا را تجزیه کند و قوانین را استخراج کند و هر چیز دیگری را نادیده بگیرد. فایل ربات این پتانسیل را دارد که بخش‌هایی از وبسایت را برای موتورهای جستجو از دسترس خارج کند. از آن جایی که فایل Robot.txt یک فایل متنی ساده است، ایجاد کردن آن کار دشواری نیست؛ برای انجام این کار نیاز به یک ویرایشگر متن ساده مانند Notepad دارید.
Robots.txt و وردپرس