از سال ۱۳۹۴ شروع بهکار کردیم و هدف ما کمک به شما برای ساخت یک کسبوکار اینترنتی موفق است. اما چطور؟ بهترین سایتساز دنیا را ساختهایم که بیش از ۲۵۰۰ وبسایت از آن استفاده میکنند. ما در تیم تولید محتوای میهن وردپرس در تلاش هستیم تا بهترین مقالات آموزشی در زمینه وردپرس و کسبوکارهای اینترنتی را تهیه کنیم.
واژهپردازها اغلب فایلها را در قالبی اختصاصی ذخیره میکنند و میتوانند کاراکترهای غیرمنتظرهای مانند نقل قولها به آن اضافه کنند که میتواند برای خزندهها مشکل ایجاد کند. نکته مهمی که باید به آن توجه داشت این است که همه زیر دامنه ها به فایل robots.txt خود نیاز دارند. به عنوان مثال، دامنه فایل مخصوص به خود را دارد، همه زیر دامنه های Cloudflare (blog.cloudflare.com، community.cloudflare.com و غیره) نیز به فایل خود نیاز دارند. اگه شما از افزونهyoast’s wordpress SEOو یا افزونه دیگه ای که xml نقشه سایت تولید میکنه استفاده میکنین افزونه تلاش میکنه که بطور خودکار خطوط مربوط نقشه سایت رو به فایل robots.txt اضافه کنه. همچنین میتونین دایرکتوری افزونه وردپرس رو disallow کنین تا موتورهای جستجو این صفحه رو شاخص گذاری نکنن.
درواقع در گزارش سئو شما میتوانید از روند فعالیتهای انجامگرفته و بازخوردهای آن اطلاعاتی به دست بیاورید و البته مهمترین کارها در بهینه سازی سایت است. بهترین روش پیشگیری از مسدود کردن دسترسی به دایرکتوری های بک اند شما و دایرکتوری های غیرضروری دیگر برای سئو شما از طریق robots.txt است. اگردقت داشته باشید در وردپرس از نسخه ۴ به بعد، مشخص شد که در فایل ربات این سیستم مدیریت محتوا دایرکتوری هایی مثل wp include یا plugins دیگر مورد ایندکس شدن قرار نمی گیرند.
فایل robots.txt دقیقاً چه کاری انجام می دهد؟
با ابزار انلاین که مجله خبری تم مارکت robots.txt رو چک کردم میگفت وجود نداره اما از طریقی که شما اموزش دادید فایلی رو اورد که اصلا دستوراتش فرق میکنند. اگر اجازه بررسی صفحهای را با دستورات فایل ربات نداده باشیم باز هم امکان دارد گوگل آن را ایندکس کند و در نتایج جستجو ظاهر شود. ربات گوگل یا باید به صورت مستقیم صفحه را دریافت و بررسی کند (معمولاً به کم نقشه سایت) یا باید از لینکهای دیگری که از صفحهها و سایتهای دیگر به آن صفحه دادهاند آن را پیدا و بررسی کند. هرچه تعداد صفحات وبسایت شما بیشتر باشد، رباتهای موتور جستجو زمان بیشتری برای خزیدن و ایندکس کردن صفحات نیاز دارد.
کدام یک بهتر است؟ Robots.txt یا noindex؟
در صورتی که قصد این را دارید که بصورت قابل اطمینان یک صفحه را از نتایج جستجو حذف کنید بایستی از تگ noindex در صفحه مورد نظر استفاده کنید. برای مشاهده این تگ بایستی اجازه بررسی صفحه و مشاهده این تگ را به موتور جستجو بدهید پس بهتر است صفحه را در robots.txt بلاک نکنید. بنابراین اگر سایت شما است فایل robots.txt باید در آدرس example.com/robots.txt قابل دسترسی باشد.
- به عنوان مثال در بسیاری از سایتها بخشی تحت عنوان پروفایل کاربران وجود دارد که نمایش این پروفایلهای کاربری در نتایج گوگل هیچ ترافیکی برای سایت مورد نظر ایجاد نمیکنند.
- برای سال های طولانی گوگل توصیه می کرد که از دستورالعمل غیر رسمی noindex استفاده کنید.
- اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.