(همچنین، اگر از پلاگین های وردپرس برای ریدایرکت یا کاستومایز پرمالینک ها استفاده کرده باشید، ممکنه اشکال از این پلاگین ها باشه و با غیر فعال کردنشون ممکنه که این مشکل برطرف بشه). در مورد مشکلت فکر نمی کنم robots.txt بتونه بهت کمکی بکنه چون این مشکل باید از یک جای دیگه درست بشه. بازم ممنون بابت صبر و حوصلتون و اینکه سرتونو بدرد آوردم امیدوارم جوابی بمن بدید که مشکلات سایتمو حل کنه و راه حلاتون عملی باشه عین مقاله هاتون . و اگه توسط این قابلیت میشه من باید چکار کنم تا از دست این دسته ها و آدرس های قدیمی که ارور هستش راحت شم . با مشخص کردن یک یا چند فیلتر مختلف، مقالههای جذاب و مناسب خودتان را پیدا کنید.
اهمیت فایل Robots.txt در سئو
پروتکل ممانعت از رباتها یک استاندارد وب است که چگونگی خزیدن رباتهای موتورهای جستوجو، دسترسی و ایندکس محتوا و در اختیار گذاشتن محتوا به کاربران را تعیین میکند. این پروتکل همچنین شامل راهنماییهایی مانند متا رباتها و همچنین دستورالعملهای صفحههای اصلی و فرعی وب برای اینکه موتورهای جستوجو چگونه با لینکها (مانند لینکهای فالو یا نوفالو) برخورد کنند، نیز است. در عمل، فایل Robots.txt مشخص میکند برخی رباتهای موتور جستوجو میتوانند یا نمیتوانند به بخشهایی از سایت دسترسی پیدا کنند. همچنین با دستورهای Allow و DisAllow میتوان مشخص کرد که همهی رباتها یا فقط رباتهای خاصی، به بخشهای مختلف سایت دسترسی داشته باشند یا دسترسی نداشته باشند. فایل ربات robots.txt حاوی دستورالعملهایی است که برای موتورهای جستجو مشخص میکند اجازه دسترسی به کدام بخشهای وبسایت را دارند و دسترسی به کدام بخشها برای آنها مجاز نیست.
از Disallow برای مسیرها استفاده کنید نه صفحات خاص
http://asusmag.ir
- پس از بازخوانی صفحه، همچنین میتوانید روی منوی کشویی کلیک کنید تا مُهر زمانی را که Google برای اولین بار آخرین نسخه فایل robots.txt شما را مشاهده کرده است، مشاهده کنید.
- در این دستورات به ربات ها می گویید که کدام یک از صفحات شما اجازه ایندکس شدن دارند یا ندارند.
- این فایل به موتورهای جستجو می گوید که چگونه می توانند به بهترین شکل ممکن وب سایت شما را جستجو کنند.
- همانطور که همهی ما میدانیم، رباتهای موتورهای جستجو پررنگترین نقش ممکن برای معرفی کامل یک سایت به موتورهای جستجو را ایفا میکنند.
مجله خبری تم مارکت ای را که ما به عنوان مثال در آن کدهای مربوطه را جایگذاری می کنیم به طور حتم ایندکس خواهند شد. در این بخش، گوگل به شما کنترل بیشتری می دهد تا بگویید، صفحه ای را که در آن کدهای مربوطه جایگذاری شده اند را چگونه فهرست کنید. این موضوع را به عنوان هشداری در گوگل در مورد جایگذاری شبکه های اجتماعی از جمله اینستاگرام یا سایر تصاویر و مشکلات سئو که می توانید ایجاد کنید موثر خواهد بود. موتورهای جستجو معمولاً اطلاعات قرار داده شده در Robots.txt را برای چند روز در حافظه خود نگه میدارند.