برای مشاهده و ویرایش فایل ربات در وردپرس یا هر سایت دیگری به فایل منیجر در پنل هاست مراجعه کنید و درون فولدر public_html بدنبال فایل robots.txt بگردید. خوب است بدانید که بصورت پیش فرض این فایل وجود ندارد و برای ویرایش محتوای آن باید یک فایل متنی بصورت robots.txt ایجاد کنید و دستورات لازم را در آن قرار دهید. این دستور به ربات‌ها اجازه می‌دهد به یک صفحه یا بخش وبسایت دسترسی پیدا کنند. از کاربردهای این دستور زمانی است که شما بخش بزرگی از سایت را بلاک کرده‌اید و قصد دارید اجازه دسترسی به یک یا چند صفحه از همان بخش به ربات‌های خزنده بدهید.
پیدا کردن فایل Robots.txt خود را آسان کنید
برای مثال، در وبسایت‌های خبری که همیشه در حال انتشار خبر و به‌روزرسانی اخبارشان هستند ربات‌ها با سرعت بیشتری صفحات را بررسی و ایندکس می‌کنند. با لیست کردن برخی صفحات خاص و استفاده از Disallow در حقیقت شما به ربات‌های مخرب و هکرها می‌گویید که این صفحات سایت مهم هستند و نباید به آنها دسترسی پیدا کنید و آنها به راحتی این صفحات را پیدا می‌کنند. اما اگر مسیرها و دایرکتوری‌ها را دیس‌آلو کنید این ربات‌ها صرفا می‌توانند صفحه‌ی دایرکتوری را ببینند و امکان دیدن سایر صفحات و وب‌پیج‌ها وجود ندارد. توجه داشته باشید که حتما از یک صفحه‌ی 404 یا صفحات مشابه برای دایرکتوری‌هایی که قرار نیست ایندکس شوند اما وجود دارند استفاده کنید. فایل robots.txt فایلی جهت مشخص کردن دسترسی موتورهای جستجو به وب سایت است. 5 تاکتیک سئو برای کاهش ریسک این فایل در این مقاله اموزشی سئو آمده است.
- فایل robots.txt در وب سایت های بزرگی که دارای صفحات زیادی می باشند از اهمیت بسیار بیشتری برخوردار می باشد چرا که می تواند یک راهنمای کامل برای نحوه جستجو و خزیدن در صفحات وب سایت را برای موتورهای جستجو فراهم کند.
- این مسئله بدین معناست که در صورت عدم وجود آن لینک در هیچ کجای وی یا یک صفحه بلاک نشده دیگر از وب سایت شما، توسط موتورهای جستجو دیده نشده و در نتیجه ایندکس نخواهد شد.
- کد بالا به این معنی است که “اجرای دستورات فایل، تنها برای ربات گوگل الزامی است.
- و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید.
- فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت .txt دارد و در دایرکتوری سایتتان قرار خواهد داشت.
مجله خبری تم مارکت robots.txt نقش مهمی رو در سراسر عملکرد سئوی سایت شما به عهده داره. بطور اساسی به شما اجازه میده که با موتور جستجو ازتباط برقرار کنید و به اون اجازه بدین که چه قسمت هایی از سایت شما رو باید شاخص گذاری یا index کنه. روش های مختلفی وجود دارد که شما با پیاده سازی آنها در فایل robots.txt می توانید دسترسی موتورهای جستجو به بخش های مختلف سایت خود را فراهم کنید. شما می توانید به موتورهای جستجو بگویید که به فایل ها، صفحات یا لینک های خاصی از وب سایت شما دسترسی نداشته باشند. بعد از ایجاد و یا انجام اصلاحات در فایل ربات، باید از صحت تغییرات خود مطمئن شوید. بهترین روش برای اینکار استفاده از ابزار تست فایل robots.txt گوگل سرچ کنسول است.