خوشبختانه، قوانین سختگیرانه ای برای قرار دادن این فایل وجود دارد؛ بنابراین شما همیشه می توانید آن را برای هر وب سایتی که یکی دارد (همه وب سایت ها یک فایل ندارند) پیدا کنید. برای یافتن فایل robots.txt برای هر وب سایت، کافی است به مسیر domain.com/robots.txt بروید و می توانید ببینید که آیا لینکی به نقشه سایت دارد یا خیر. 42.7 درصد از وب سایت ها از سیستم مدیریت محتوای وردپرس استفاده می کنند، اما نقشه سایت برای شما ایجاد نمی کند. برای ایجاد آن باید از افزونه ای مانند Yoast SEO استفاده کنید.
همانطور که در تصویر زیر نشان داده شده است، فقط روی دکمه XML Sitemap کلیک کنید. سپس، تمام آن نقشه های سایت از طریق فهرست نقشه سایت قابل دسترسی خواهند بود. این اساسا با یک سایت مپ XML تفاوتی ندارد، اما برای کاربران. URLهای داخل نقشه سایت شما یک تاریخ آخرین تغییرات یا “Last Modified” مربوط به خود دارند. یا حتی ممکن است تعداد صفحات سایت شما از نرخ خزش سایتتان بیشتر باشد.
- مثلا ممکن است تعداد زیادی محتوای تکراری در آن 5000 صفحه وجود داشته باشد و گوگل همه آنها را ایندکس نکند.
- این نباید به عنوان جایگزینی برای جست و جوی سایت یا عناصر ناوبری در نظر گرفته شود، بلکه در صورت گم شدن کاربر در وب سایت شما، کمکی اضافه به کاربر می کند.
- نقشه‌های سایت XML اعتبار سایت را منتقل نمی‌کنند؛ URLهای لیست شده لینک اعتبار سایت را مانند لینک HTML بر روی وبسایت شما قبول نمی‌کنند.
ما دوست داریم که اخبار تازه در کمترین زمان ممکن ایندکس شوند به همین دلیل اولویت ایندکس اخبار را بالاتر از دسته‌بندی و برچسب قرار داده‌ایم. وحتی سایتی که با مقدار “سالانه” مشخص شده است را ممکن است هر چند ماه یک بار مورد اندیس گذاری قرار دهد. توجه داشته باشید که این تگ با هدرIf-Modified-Since متفاوت است و موتور جستجو می تواند از هر کدام از آنها به طور جداگانه استفاده کند. همانند نقشه های سایت، Sitemap index file نیز باید از کدگذاری UTF-8 پشتیبانی کند. با استفاده از این پلاگین شما می توانید محتواهای خود را نیز بهینه سازی نمایید و همچنین از دیگر امکانات این پلاگین بهره ببرید. فایل HTML توسط این ابزارها به راحتی تولید می شود و کافی است که این فایل را دانلود نمایید.
تگ Lastmod (مخفف Last Modified)
هر خبری که کامنت بیشتری داشته باشد، بیشتر جلب توجه کرده و هنوز هم داغ است. در صفحات دسته‌بندی و برچسب، استراتژی یک سایت خبری مشخص کننده آخرین تغییر است. برای مثال کمتر کسی عبارت «اخبار سیاسی» را در گوگل جستجو می‌کند و از طرف دیگر هدف او از جستجو مشخص نیست. اگر اصطلاح «هدف جستجو» برای شما ناآشنا است، پیشنهاد می‌کنیم مقاله هدف کاربر از جستجو را مطالعه کنید. بنابراین اگر هدف‌گذاری مشخصی برای دسته‌بندی و برچسب نیست، می‌توان آخرین تغییر را به صورت هفتگی در نظر گرفت.
مجله خبری تم مارکت این صفحه در نقشه سایت وجود دارد، اما تگ نوایندکس یا noindex در آن قرار داده شده است. این افزونه همچنین می‌تواند برای محتواهای مختلف سایت (عکس، ویدئو، پست و غیره) سایت مپ جداگانه بسازد و همچنین امکان اتصال مستقیم به گوگل کنسول را داراست. افزونه Google XML Sitemaps افزونه اختصاصی گوگل برای وردپرس است که به کمک آن می‌توانید برای سایت خود سایت مپ تهیه کنید. بعد از وارد کردن آدرس، گزینه Submit را بزنید تا سایت مپ سایت شما در گوگل ثبت شود. به این ترتیب فایل سایت مپ شما آماده می‌شود و می‌توانید آن را در دایرکتوری سایت خود آپلود کنید.