http://asusmag.ir
- در مقاله پیشرو به بررسی کامل موضوع مهمی در بخش سئو به نام راهنمای سئو…
- فایل robots.txt به کنترل پایش صفحات وب سایت پرداخته، در حالی که متا robots و x-robots به مدیریت ایندکس صفحات سایت در موتورهای جستجو می پردازند.
- شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید.
- هرکدام از این ربات‌ها با توجه به شناختی که از سایت ما پیدا می‌کنند با نرخ مشخصی به نام “Crawl Budget” به سایت‌مان سر می‌زنند و تغییرات آن را بررسی می‌کنند.
- در مرحله دوم، بعد از اینکه مشخص کردیم دقیقا با چه رباتی طرف هستیم، حالا باید مشخص کنیم که محدودیت‌های این ربات چیست و چه صفحات و منابعی از وبسایت شما را نباید بررسی کند.
با استفاده از این فایل شما در حقیقت به معرفی بخش های قابل دسترس و همچنین مشخص نمودن بخش هایی که نمی خواهید ربات های جستجوگر سطح وب یا همان Web Crawlers به آن ها دسترسی داسته باشند؛ می پردازید. در واقع این خزندگان سطح وب، با بررسی این فایل، اطلاعات سایت شما را به ثبت می رسانند. جلوگیری از دسترسی به یک سری از آدرس های سایت به معنای پاک شدن آنها از ایندکس گوگل نخواهد بود. به عبارتی دیگر اگر دسترسی به صفحه ایندکس شده ای را توسط فایل robots.txt بلاک کنید، همچنان آن صفحه در نتایج جستجو قابل رویت است. موتورهای جستجو محتوای فایل robts.txt را کش کرده و معمولا روزی یک بار آن را بروزرسانی می نمایند. در صورت تغییر در فایل robots.txt می توانید آن را از طریق ابزار مربوطه در گوگل سرچ کنسول، تغییرات صورت گرفته را سریعا بروزرسانی کنید.
۲. جلوگیری از نمایش صفحات یا فایل‌ها در نتایج جستجوی گوگل
موتور جست‌وجوهای گوگل و بینگ هردو از یک الگوی منظم برای بررسی URL ها در این فایل استفاده می‌کنند. فایل txt برای مخفی کردن اطلاعات خصوصی مناسب نیست و فقط باید دستورالعمل‌های ربات‌ها را در آن قرار داد. با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که اجازه دسترسی به این فایل و بررسی آن را ندارند. با استفاده از این کد شما به ربات‌ها اعلام می‌کنید که همه صفحات و محتوای سایت را مجاز به بررسی هستند. RPA مخفف Robotic Process Automation به معنی خودکارسازی فرایندهای رباتیک است. به بیان ساده‌تر،RPA جایگزینی ربات‌های نرم‌افزاری بجای انسان است.
آشنایی با محدودیت های Robots.txt
گوگل بعد از این که گفت استفاده از دستورات noindex و disallow کمکی به خارج کردن صفحات از نتایج جستجو نمی‌کند، راهکارهای دیگری برای این کار معرفی کرد. اگر هم می‌خواهید صفحه‌های مشخصی را تست کنید، کافی است آدرس آن را در نوار پایینی وارد کنید و بعد ربات گوگلی که مد نظرتان است را انتخاب کنید. هر بار که دکمه test را بزنید در همان لحظه به شما نشان می‌دهد اجازه دسترسی ربات‌ها به صفحه را داده‌اید یا نه. بهتر است دستورالعمل‌های هر موتور جستجو را بخوانید تا مطمئن شوید دستوراتی که می‌نویسید برای همه موتورهای جستجو کار می‌کند. با استفاده درست از فایل robots.txt می توانید به ربات‌های جستجو بگویید که Crawl Budget سایت‌تان را به درستی مصرف کنند.