تمامی دستورالعمل هایی که بین user-agent اول و user-agent بعدی قرار می گیرند به عنوان دستورالعمل هایی برای user-agent اول شناخته می شوند. هر موتور جستجو باید خود را با استفاده از یک user-agent شناسایی کند. دگردیسی، نخستین پلتفرم آموزش آنلاین دیجیتال مارکتینگ در ایران است که با هدف ایجاد مرجعی کامل از آموزشهای تخصصی دیجیتال مارکتینگ و حوزههای مرتبط ایجاد شده است. ما تلاش میکنیم تا بستری ایجاد کنیم که افراد با شرایط مختلف زمانی، مکانی و جسمانی، بتوانند با بهرهگیری از آموزشهای باکیفیت، بهروز و کاربردی، زندگی شخصی و شغلی خود را متحول کنند. این دو خط اما اجازه بررسی سایت ما را به صورت استثنا به ربات Googlebot میدهد.
- برای مثال می توانید به ربات های گوگل بگویید که کدام صفحات سایت شما را ایندکس کنند و در نتایج گوگل نمایش دهند و کدام صفحات را در نتایج گوگل نمایش ندهند و ایندکس نکنند.
- هر بار که دکمه test را بزنید در همان لحظه به شما نشان میدهد اجازه دسترسی رباتها به صفحه را دادهاید یا نه.
- مسیر نقشه های سایت را می توانید در انتهای دستورات فایل robots.txt به مانند تصویر زیر قرار دهید.
- نتایج کم کلیک باید در نتایج پایین تر قرار بگیرند زیرا کمتر با عبارات جستجو شده ارتباط دارند، و بدیهی است که نتایجی که مرتباً کلیک می شوند به سمت نتایج بالا صفحه می روند.
برخی از موتورهای جستوجو مانند گوگل رباتهای خاص برای خود داند. گوگل رباتهایی دارد که عکس را جستوجو میکنند و رباتهایی نیز دارند که به سراغ محتواها میروند. نیازی نیست برای این دو ربات جداگانه دستورالعمل مشخص کنیم، اما دادن دستورالعمل میتواند، نحوهی خزیدن این رباتها در سایت شما را تنظیم و کنترل کند. بنابراین برای جلوگیری از جمع آوری اطلاعات صفحات غیرضروری سایت و کاهش حجم رفت و آمد رباتها به وب سایت خود حتما باید به فکر ایجاد فایل Robots.txt باشید. جالب اینجاست که بدونین فایل Robots.txt یه فایل متنی ساده هست که در مسیر اصلی فضای سایت شما یا Root Directory قرار می گیره. در واقع وظیفه اصلی این فایل معرفی بخش های قابل دسترسی و بخش های محدود شده برای دسترسی ربات ها یا خزنده های سطح وب که از طرف موتورهای جستجو برای بررسی و ثبت اطلاعات سایت ها به وجود شدن هست.
آنالیز تخصصی سئوکار
برای ویرایش robots.txt در وردپرس بایستی یک فایل متنی با همین نام را در مسیر روت آن آپلود نمایید. با انجام این کار دیگر فایل robots.txt مجازی وردپرس مشاهده نخواهد شد. این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که می توانند تمام صفحات دامنه را پایش کنند. این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که هیچ صفحه ای در دامنه را پایش نکنند.
۱. مدیریت ترافیک رباتها به وبسایت
برای مجله خبری تم مارکت در بین وبسایتها موتورهای جستجو از لینکهای قرار داده شده در سایتها استفاده میکنند. درنتیجه در داخل یک سایت چرخیده و از یک سایت به سایت دیگر لینک میشوند. درنهایت خزندهها بین میلیاردها لینک و وبسایت میخزند و اطلاعات را جمعآوری میکنند. نگارش یک فایل robots.txt موتور جستجو رو از گشتن و شاخص گذاری سایت شما باز نمیداره. یعنی موتور جستجو طبق عادت همیشه سایت شما رو کامل بررسی میکنه و اینکه کدوم صفخه رو تو نتایج جستجو به کاربرا نشون بده یا نه رو میتونین داخل این فایل مشخص کنین.
هنگامی که فایل robots.txt خود را دارید، وقت آن است که آن را زنده کنید. این قانون به Googlebot میگوید که پوشه تصویر وبسایت شما را ایندکس نکند. اگر یک سئو کار حرفه ای نیستید، به هیچ عنوان سمت استفاده از این روش نروید؛ این تکنیک یکی از تکنیک های سئوی کلاه سیاه به حساب می آید و حتما باید توسط افراد حرفه ای و متخصص انجام شود. تمامی حقوق مادی و معنوی این وبسایت متعلق به نوین می باشد و هر گونه کپی برداری پیگرد قانونی دارد.