کل وب سایت را از ربات ها مخفی کنید
فایل Robots.txt و تاثیر آن بر سئو
- دستورالعمل های فایل robots.txt تنها برای دامنه یا زیردامنه ای که در آن قرار دارد اعمال می شود.
- جاب تیم یک پلتفرم خلاقانه جهت برند سازی شخصی و کسب درآمد از طریق تولید محتوای تخصصی و با کیفیت است.
- این فایل را فقط یکبار باید آماده کنید و دیگر کاری با آن نخواهید داشت مگر این که تغییرات مهمی در ساختار سایت ایجاد کنید.
- استانداردهای خاصی برای آن وجود ندارد و نمیتوان با قطعیت گفت کدام المانها و به چه شکل در فایلهای Robots.txt میتوانند سرنوشت ساز باشند.
در حقیقت مشکل اصلی شما این است که وب سایت شما در یک هاست ضعیف اجرا می شود و به شکل نادرستی تنظیم شده است. برای انجام این کار باید از بخش Disallow در فایل robots.txt استفاده کنید. در صورتی که شما در این فایل ها از دستورالعمل های سردرگم کننده ای استفاده کنید گوگل به صورت کاملا امن بخش های مد نظر خود را محدود می کند. در ادامه نحوه بروزرسانی و انجام تغییرات در داخل فایل robots.txt را در دو پلاگین یواست و رنک مت ، بررسی خواهیم کرد. گاهی اوقات با بزرگ شدن فایل ربات لازم میشود که یادداشتهایی برای خودمان بگذاریم تا بعدا خیلی سریعتر متوجه کارهایی که قبلا انجام دادهایم شویم و ضریب خطا هم کاهش پیدا کند.
Robots.txt یا تگ noindex
استفاده از تگ noindex برای پیاده سازی روی منابع چندرسانه ای مانند فیلم ها و فایل های PDF دشوار خواهد بود. اولین قدم شما این است که واقعاً فایل robots.txt خود را ایجاد کنید. اگر فاصله مراجعه رباتها خیلی زیاد هست یعنی سایت یا سرور مشکلی داره که باید حل بشه. اگر کمی با کدهای HTML آشنایی داشته باشید پس میدانید که هر صفحه دو قسمت هد و بدنه دارد. اگر ترغیب شدید که نگاهی به فایل robots.txt سایت خودتان یا هر سایتی بیاندازید، پیدا کردنش سخت نیست.