به عنوان یک فایل متنی، در واقع می توانید با استفاده از دفترچه یادداشت ویندوز یک فایل ایجاد کنید. فایل Robot.txt در دایرکتوری روت سایت شما ذخیره می شود؛ برای پیدا کردن آن می توانید به دسترسی FTP در سی پنل یا دایرکت ادمین بروید. این فایل حجم سنگینی ندارد و در اکثر مواقع نهایتاً چند صد بایت خواهد بود. از رتبه ۲ هزار گوگل به ۵۰ هزار نزول پیدا کردیم و بهتر بگم عین ۱۰ هزار صفحه ما شد ارور ۴۰۴ که طراحان جدید گفتن بعد از مدتی از بین میرن که نرفت تکرار میکنم از بین نرفت و یا اگه رفت بالای ۶ ماه طول کشید.
- کاهش سرعت بارگذاری سایت نیز ارتباط مستقیمی با سئو و تجربه کاربران دارد.
- به همین علت نیز باید قوانینی را تنظیم کنید تا موتورهای جستجو به صفحات تولید شده توسط این فیلتر دسترسی نداشته باشند.
- دقیقا همانطوری که حرف زدن به زبان چینی برای بسیاری از مردم جهان کاملا غیر قابل مفهوم و درک است.
- در غیر این صورت ممکن است سایت شما برای همیشه از نتایج گوگل محو و پنالتی شود که نتیجه آن بر باد رفتن زحمات شما خواهد بود.
- همان‌طور که در بالا گفته شد می‌شود صفحه نتایج جست‌وجو داخلی سایت را از ایندکس شدن و نمایش در صفحه نتایج جست‌وجو موتورهای جست‌وجو مانند گوگل را به وسیله فایل Robots.txt مسدود کرد.
این صفحه هیچ ارزشی برای ایندکس ندارد و گاهی ممکن است باعث محتوای تکراری هم شود. همان‌طور که در بالا گفته شد می‌شود صفحه نتایج جست‌وجو داخلی سایت را از ایندکس شدن و نمایش در صفحه نتایج جست‌وجو موتورهای جست‌وجو مانند گوگل را به وسیله فایل Robots.txt مسدود کرد. در این مثال به راحتی می‌توان این‌کار را انجام داد تا مشکل حل شود.
آیا با فایل Robots.txt می‌توان صفحه‌ای را از نتایج جستجو حذف کرد؟
http://asusmag.ir
دستورالعمل Disallow در این فایل