شما با اضافه کردن کلمه robots.txt به انتهای ادرس سایت خود میتوانید فایل robots.txt کنونی را ملاحظه بفرمایید. به عنوان مثال اگر دامنه شما example.com است به آدرس example.com/robots.txt بروید و فایل robots.txt را مشاهده کنید. در صورتی که نتیجهای در برنداشت باید به پوشه public_html در هاست خود بروید و یک فایل متنی با نام robots.txt ایجاد کنید و محتوای آن را مطابق با نیازهای خود و مطالب ارائه شده در این مقاله اصلاح کنید. اعمال تغییرات ناخواسته در این فایل میتواند کل سایت یا بخش بزرگی از سایت شما را از دسترس موتورهای جستجو خارج کند.
آیا واقعا به فایل Robots.txt نیاز است؟
این کار با مقایسه قاعده با مؤلفه مسیر URL که خزنده سعی در واکشی آن را دارد کار می کند. نقش اصلی آن بهینه سازی نرخ خزش است و اینکه به ربات ها بگویید کجا را کراول کنند و کجا را کراول نکنند تا فرصت کراول برای صفحات مهم تر ایجاد شود. وباید در کل بشینم همه لینک هارو درست کنم و به صفحات درست خودشون ریدایرکت کنم بجز این فکری به ذهنم نمیرسه . دستورات فایل ربات شما از ایندکس جلوگیری نمی کند و می بایست مابقی تنظیمات وردپرس را برای این مورد بررسی نمایید. در انتها هم با زدن دکمه submit از گوگل بخواهید تا فایل جدید را دریافت و بررسی کند.
گوگل فقط به دستور شما صفحاتی مشخص را مورد دسترسی قرار می دهد.
اما دستور htaccess که شما می فرمائید رو بنده نمیدونم به چه شیوه ای عمل میکنه اگه شما میتونید تو این زمینه فیلم یا آموزشی ارائه بدبد که تست کنم ممنون میشم .
گوگل در این باره می گوید که تگ indexifembedded “به یک مشکل رایج می پردازد.
یکی از ابزارهای مختلف که به شما در بررسی صحت فایل robots.txt کمک میکند استفاده از ابزار تست robots.txt گوگل است.
این دستور به ربات گوگل میگوید که اجازه مشاهده و ایندکسِ فایل seo.png را دارد، علیرغم اینکه فولدر Photos از دسترس رباتها خارجشده است.
ساخت فایل ربات ساز تاثیرات مثبتی بر سئو وب سایت دارد و از ایندکس شدن و قرار گرفتن صفحات غیرضروری سایت در نتایج جستجو کاربران جلوگیری خواهد کرد. استفاده از فایل Robots.txt تاثیر بسزایی بر عملکرد بهینه سایت و سئو آن دارد و به همین دلیل است که تمامی وب سایتها باید دارای فایل ربات ساز باشند. جمع آوری این اطلاعات به طور روزانه، سرعت وب سایت و عملکرد بهینه آن را تحت تاثیر قرار داده و همین موضوع نیز به طور مستقیم بر سئو سایت و رتبه آن در صفحه نتایج جستجو تاثیر خواهد داشت. در اینجاست که ساخت فایل Robots.txt به کمک شما میآید و این مشکل را به راحتی برطرف میسازد. با ایجاد یک فایل robots.txt میتوانید فعالیت رباتها و خزندههای وب را برای ایندکس کردن صفحات سایت خود محدود سازید. اما چطور و چگونه؟ در ادامه این مطلب ماهیت و کارکرد فایل ربات ساز را مورد بررسی قرار میدهیم و نحوه ساخت فایل Robots.txt را نیز به شما آموزش خواهیم داد.
نحوه کار با ربات درج پیام در بخش تماس با ما سایت ها
امکان دارد رباتها از طریق لینکهایی که به همان صفحه داده شدهاند و کمک گرفتن از همان انکر تکست لینک، صفحه را ایندکس کنند. در حال حاضر بهترین راه برای حذف صفحهای از نتایج جستجو، اضافه کردن دستور noindex در قسمت head صفحهها است. اگر از وردپرس استفاده میکنید افزونههایی برای این کار وجود دارد و در غیر اینصورت باید از طراحی وبسایت خود بخواهید که امکاناتی برای افزودن این کدها یا دستورات در قسمت هد هر صفحه فراهم کند.
http://asusmag.irاستانداردهای مجله خبری تم مارکتی برای آن وجود ندارد و نمیتوان با قطعیت گفت کدام المانها و به چه شکل در فایلهای Robots.txt میتوانند سرنوشت ساز باشند. در این مقاله به طریقه و روش استفادهی صحیح از این فایلها پرداختهایم تا بدون هر گونه ریسک و تاثیرگذاری منفی در سئو از آنها استفاده کنید. یکی از ابزارهای مختلف که به شما در بررسی صحت فایل robots.txt کمک میکند استفاده از ابزار تست robots.txt گوگل است. برای صدور دسترسی کامل به کل سایت برای رباتهای خزنده دستور Disallow به شکل زیر خواهد بود. معمولا موتورهای جستجو محتویات فایل robotx.txt را ذخیره میکنند تا به دانلود مجدد آن نیاز نداشته باشند، با این حال روزانه چندبار نسخه جدید فایل را بارگذاری میکنند.