http://asusmag.ir
- برای مثال می توانید به ربات های گوگل بگویید که کدام صفحات سایت شما را ایندکس کنند و در نتایج گوگل نمایش دهند و کدام صفحات را در نتایج گوگل نمایش ندهند و ایندکس نکنند.
- هر بار که دکمه test را بزنید در همان لحظه به شما نشان می‌دهد اجازه دسترسی ربات‌ها به صفحه را داده‌اید یا نه.
- مسیر نقشه های سایت را می توانید در انتهای دستورات فایل robots.txt به مانند تصویر زیر قرار دهید.
- نتایج کم کلیک باید در نتایج پایین تر قرار بگیرند زیرا کمتر با عبارات جستجو شده ارتباط دارند، و بدیهی است که نتایجی که مرتباً کلیک می شوند به سمت نتایج بالا صفحه می روند.
برخی از موتورهای جست‌وجو مانند گوگل ربات‌های خاص برای خود داند. گوگل ربات‌هایی دارد که عکس را جست‌وجو می‌کنند و ربات‌هایی نیز دارند که به سراغ محتواها می‌روند. نیازی نیست برای این دو ربات جداگانه دستورالعمل مشخص کنیم، اما دادن دستورالعمل می‌تواند، نحوه‌ی خزیدن این ربات‌ها در سایت شما را تنظیم و کنترل کند. بنابراین برای جلوگیری از جمع آوری اطلاعات صفحات غیرضروری سایت و کاهش حجم رفت و آمد ربات‌ها به وب سایت خود حتما باید به فکر ایجاد فایل Robots.txt باشید. جالب اینجاست که بدونین فایل Robots.txt یه فایل متنی ساده هست که در مسیر اصلی فضای سایت شما یا Root Directory قرار می گیره. در واقع وظیفه اصلی این فایل معرفی بخش های قابل دسترسی و بخش های محدود شده برای دسترسی ربات ها یا خزنده های سطح وب که از طرف موتورهای جستجو برای بررسی و ثبت اطلاعات سایت ها به وجود شدن هست.
آنالیز تخصصی سئوکار
۱. مدیریت ترافیک ربات‌ها به وبسایت
برای مجله خبری تم مارکت در بین وب‌سایت‌ها موتورهای جستجو از لینک‌های قرار داده شده در سایت‌ها استفاده می‌کنند. درنتیجه در داخل یک سایت چرخیده و از یک سایت به سایت دیگر لینک می‌شوند. درنهایت خزنده‌ها بین میلیاردها لینک و وبسایت می‌خزند و اطلاعات را جمع‌آوری می‌کنند. نگارش یک فایل robots.txt موتور جستجو رو از گشتن و شاخص گذاری سایت شما باز نمیداره. یعنی موتور جستجو طبق عادت همیشه سایت شما رو کامل بررسی میکنه و اینکه کدوم صفخه رو تو نتایج جستجو به کاربرا نشون بده یا نه رو میتونین داخل این فایل مشخص کنین.