به عبارت دیگر، ربات گوگل باید ارزشمندترین و مهم‌ترین صفحات شما را بهتر و بیشتر بررسی کند. در نهایت، ما با بررسی Crawl Rate و Crawl Demand، مقدار Crawl Budget یک وب‌سایت را تعریف می‌کنیم. در واقع Crawl Budget، تعداد URLهایی است که ربات گوگل می‌خواهد و می‌تواند ایندکس کند. Crawl Stats وجود دارد که دفعات بررسی صفحه‌های سایت به صورت روزانه را نمایش می‌دهد. در همین صفحه، حجم دانلود شده توسط ربات‌ها و همینطور زمان بارگذاری صفحه‌ها را می‌توانید ببینید.
http://asusmag.ir
می توانید قوانینی را که برای چندین انجین اعمال می شود با تکرار user-agent خطوط برای هر خزنده، گروه بندی کنید. فرض پیش‌فرض این است که یک user-agent می‌تواند هر صفحه یا فهرستی را که توسط یک disallow قانون مسدود نشده است بخزد. کدام دایرکتوری ها یا فایل هایی که user-agent نمی تواند به آن دسترسی داشته باشد. کدام دایرکتوری ها یا فایل هایی که user-agent می تواند به آن دسترسی داشته باشد. هر مجموعه دستور از چندین قانون یا دستورالعمل (دستورالعمل) تشکیل شده است، یک دستورالعمل در هر خط. هر مجموعه دستور با یک User-agent خط شروع می شود که هدف مجموعه دستور ها را مشخص می کند.
ساخت فایل ربات (Robots.txt Generator)
Robot.txt یک فایل متنی است که برای سئو استفاده می‌شود و حاوی دستوراتی برای روبات‌های فهرست‌کننده موتورهای جستجو است که صفحاتی را مشخص می‌کند که می‌توانند یا نمی‌توانند ایندکس شوند. هر حالت دیگری که فایل ربات در ریشه سایت نباشد آن را از دسترس ربات‌های گوگل خارج می‌کند. اگر از تگ نوایندکس استفاده کنید مستقیما به ربات‌های کراولر اعلام می‌کنید که این صفحه نباید در نتایج جستجو نمایش داده شود. یعنی کراولر صفحه‌ی شما را کراول و شناسایی می‌کند اما نمی‌تواند و حق ندارد محتوای شما را در نتایج نشان دهد. این مورد برای صفحات محرمانه با دسترسی عمومی بسیار مناسب است. برای صفحاتی محرمانه‌ای که نباید به صورت عمومی نمایش داده شوند ایجاد پسورد و یا شناسایی IP پیشنهاد می‌شود.
- موتور جستجوی گوگل ربات‌های مختلفی دارد که هرکدام وظیفه خاصی دارند، شناخت این ربات‌ها به ما کمک می‌کند تا ارتباط بهتری با آنها برقرار کنیم و به صورت خیلی دقیق‌تری بتوانیم فایل ربات سایتمان را طراحی کنیم.
- همواره از عدم وجود خطا در فایل robots.txt خود اطمینان حاصل کنید.
- برای ایجاد فایل Robots.txt ابتدا شما باید به هاست دسترسی داشته باشید و این فایل را در ریشه اصلی آن کپی کنید.