راهنمای تکنیکال سئو: تنظیم Sitemap و robots.txt برای ووکامرس (نقشه راه و نگهبان)

شما بهترین محتوا را می‌نویسید، اما گوگل آن را نمی‌بیند. چرا؟ چون ربات‌های گوگل (Googlebot) در هزارتوهای سایت شما گیر کرده‌اند! آن‌ها دارند صفحات “بازیابی رمز عبور” یا “فیلتر قیمت زیر ۵۰ تومان” را ایندکس می‌کنند و وقتی برای ایندکس کردن “محصول پسته اکبری” ندارند.

در این راهنما، یاد می‌گیریم چطور مسیر ربات‌ها را مهندسی کنیم.

بخش اول: نقشه سایت (XML Sitemap) – نقشه گنج

نقشه سایت یک فایل XML است که لیست تمام صفحات مهم سایت را به گوگل می‌دهد. در وردپرس، ما این فایل را دستی نمی‌سازیم (چون پویاست)؛ از افزونه‌هایی مثل RankMath یا Yoast SEO استفاده می‌کنیم.

۱. چه چیزهایی باید در نقشه سایت باشد؟ (Include)

• Products (محصولات): حیاتی‌ترین بخش.

• Product Categories (دسته‌بندی‌ها): مثل “خشکبار”، “میوه خشک”.

• Posts (مقالات وبلاگ): برای جذب ورودی آموزشی.

• Pages (برگه‌های مهم): مثل “درباره ما”، “تماس با ما”.

۲. چه چیزهایی باید حذف شوند؟ (Exclude)

امیررضا جان، اشتباه اکثر سایت‌ها اینجاست. این‌ها را حتماً از نقشه سایت حذف کن:

• Tags (برچسب‌ها): قاتل سئو! برچسب‌ها معمولاً محتوای تکراری (Duplicate Content) تولید می‌کنند. اگر استراتژی خاصی نداری، کلاً آن‌ها را نوایندکس کن و از سایت مپ بردار.

• Author Archives (بایگانی نویسنده): اگر سایت تک‌نویسنده است، این صفحه دقیقاً کپی صفحه وبلاگ است. حذفش کن.

• Media Attachment (رسانه): هر عکس در وردپرس یک صفحه جداگانه دارد (Attachment Page) که معمولاً خالی است. این را حتماً ریدایرکت کن به خود عکس.

• صفحات سیستمی: سبد خرید، تسویه حساب، حساب کاربری.

۳. تنظیمات در RankMath:

مسیر: Rank Math > Sitemap Settings

• تیک Images in Sitemap را بزنید (برای سئو تصاویر حیاتی است).

• در بخش Taxonomies، تیک “Include in Sitemap” را برای Tags بردارید.

بخش دوم: فایل robots.txt – نگهبان سایت

این یک فایل متنی ساده در ریشه (Root) هاست است که قوانین ورود و خروج را تعیین می‌کند. اگر این فایل اشتباه تنظیم شود، کل سایت از گوگل حذف می‌شود!

سینتکس (Syntax) پایه:

• User-agent: یعنی کدام ربات؟ ( * یعنی همه ربات‌ها).

• Disallow: یعنی “وارد نشو”.

• Allow: یعنی “وارد شو” (معمولاً برای باز کردن دسترسی به فایلی که در پوشه مسدود شده قرار دارد).

کد طلایی robots.txt برای ووکامرس (Copy/Paste Ready):

این کد بهینه شده برای فروشگاه‌های وردپرس است. آن را در تنظیمات RankMath (بخش Edit robots.txt) یا مستقیماً در هاست قرار بده.

User-agent: *
# جلوگیری از دسترسی به فایل‌های هسته وردپرس
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# جلوگیری از ایندکس صفحات خرید و اکانت
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*/feed/
Disallow: /*/trackback/
Disallow: /xmlrpc.php

# جلوگیری از ایندکس نتایج جستجو داخلی (مهم برای بودجه خزش)
Disallow: /?s=
Disallow: /search/

# جلوگیری از ایندکس فیلترهای ووکامرس (برای جلوگیری از هزاران صفحه تکراری)
Disallow: /*?filter_*
Disallow: /*?orderby=*
Disallow: /*?add-to-cart=*

# مسیر نقشه سایت (حتماً آدرس سایت خودت را بگذار)
Sitemap: https://yoursite.com/sitemap_index.xml

تحلیل خط به خط برای امیررضا:

1. Allow: /wp-admin/admin-ajax.php: حیاتی! ووکامرس برای قیمت‌دهی لحظه‌ای و سبد خرید ایجکس (AJAX) به این فایل نیاز دارد. اگر این را ببندی، سایتت درست کار نمی‌کند.

2. Disallow: /*?add-to-cart=*: بعضی وقت‌ها لینک‌های “افزودن به سبد خرید” توسط گوگل کراول می‌شوند و باعث می‌شوند گوگل هی محصول به سبد اضافه کند! این خط جلویش را می‌گیرد.

3. Disallow: /?s=: صفحه جستجوی داخلی سایت، کیفیت پایینی دارد و نباید در گوگل ایندکس شود.

بخش سوم: مدیریت پارامترها (Query Parameters)

در سایت‌های خشکبار، فیلترهای زیادی داریم:

• site.com/shop/?filter_weight=1kg

• site.com/shop/?min_price=1000&max_price=5000

این URLها محتوای جدیدی ندارند، فقط همان محصولات را جور دیگر نشان می‌دهند. اگر گوگل این‌ها را ایندکس کند، دچار Cannibalization (هم‌نوع‌خواری) می‌شوید.

• راه حل: همان خط Disallow: /*?filter_* در کد بالا، این مشکل را حل می‌کند.

بخش چهارم: تست و ثبت در سرچ کنسول

بعد از اینکه فایل‌ها را ساختی، باید آن‌ها را تست کنی.

1. ابزار Robots Testing: در گوگل سرچ کنسول قدیمی ابزاری بود، الان می‌توانید از سایت‌های واسط مثل technicalseo.com استفاده کنید تا مطمئن شوید صفحات مهم (محصولات) بلاک نشده‌اند.

2. ثبت سایت مپ:

   • وارد Google Search Console شوید.

   • به منوی Sitemaps بروید.

   • آدرس sitemap_index.xml را وارد کرده و Submit را بزنید.

   • باید وضعیت Success سبز رنگ را ببینید.

نکات پیشرفته برای توسعه‌دهنده (The Developer’s Edge)

۱. سایت مپ‌های جداگانه (Split Sitemaps)

اگر مشتری تو ۵۰,۰۰۰ محصول دارد، یک فایل XML سنگین می‌شود. RankMath به صورت خودکار هر ۲۰۰ لینک را در یک فایل جدا (sitemap-product-1.xml, sitemap-product-2.xml) می‌گذارد. این عالی است، دست نزنید.

۲. اولویت‌بندی (Priority) و فرکانس (Frequency)

در فایل XML تگ‌هایی به نام <priority> و <changefreq> وجود دارد.

• نکته: گوگل سال‌هاست اعلام کرده که این تگ‌ها را نادیده می‌گیرد. پس وقتت را برای تنظیم اینکه “صفحه اصلی اولویت ۱ دارد و محصول ۰.۸” هدر نده. گوگل خودش می‌فهمد چه چیزی مهم است (بر اساس لینک‌سازی داخلی).

بخش پرسش و پاسخ فنی (FAQ)

۱. تفاوت Noindex و Disallow چیست؟

• Disallow (در robots.txt): به ربات می‌گوید “وارد نشو”. ربات محتوا را نمی‌بیند. (مناسب برای صرفه‌جویی در بودجه خزش).

• Noindex (تگ متا): به ربات می‌گوید “وارد شو، ببین، اما در گوگل ثبت نکن”.

• کدام بهتر است؟ برای صفحات سیستمی (مثل سبد خرید) Disallow بهتر است. برای صفحات بی‌کیفیت (مثل تگ‌های کم‌ارزش) Noindex بهتر است.

۲. آیا باید فایل‌های CSS و JS را در robots.txt ببندیم؟ هرگز! گوگل باید سایت را “رندر” کند تا بفهمد موبایل‌فرندلی است یا نه. اگر دسترسی به CSS را ببندید، گوگل سایت شما را یک صفحه بهم‌ریخته می‌بیند و رتبه‌تان افت می‌کند.

۳. فایل robots.txt کجاست؟ در پوشه public_html هاست. اگر نیست، یک فایل متنی با نوت‌پد بسازید، کدها را داخلش بریزید، نامش را robots.txt بگذارید و آپلود کنید.

جمع‌بندی: نظم، کلید سئو

سئو فقط کلمات کلیدی نیست؛ سئو یعنی “احترام به وقت گوگل”. وقتی با robots.txt جلوی ورود گوگل به جاهای بیهوده را می‌گیرید، گوگل وقت بیشتری را صرف بررسی محصولات و مقالات ارزشمند شما می‌کند.

به عنوان توسعه‌دهنده وب، تحویل دادن سایتی که فایل robots.txt تمیز و sitemap دقیقی دارد، نشان‌دهنده حرفه‌ای بودن توست. اکثر طراحان سایت اصلاً به این فایل‌ها دست نمی‌زنند!

اقدام بعدی: آیا می‌خواهی کد PHP سفارشی (Snippet) برای فایل functions.php را بنویسم که به صورت خودکار محصولاتی که “ناموجود” شده‌اند را از نقشه سایت حذف کند؟ (این تکنیک برای سئو عالی است).