چگونه مشکلات ایندکس صفحات را در Google Search Console پیدا کنیم؟
مشکلات ایندکس میتوانند باعث شوند صفحات مهم یک سایت در نتایج گوگل نمایش داده نشوند. با استفاده از گزارشهای Google Search Console، ابزار URL Inspection و گزارش Page Indexing میتوان صفحات ایندکسنشده و دلایل آنها را شناسایی و برای رفع مشکل اقدام کرد.
فهرست مطالب
- ایندکس شدن صفحه در گوگل یعنی چه؟
- چرا باید مشکلات ایندکس را بررسی کنیم؟
- Google Search Console چه اطلاعاتی درباره ایندکس ارائه میدهد؟
- گام اول: وارد گزارش Page Indexing شوید
- گام دوم: بخش صفحات ایندکسنشده را بررسی کنید
- مهمترین دلایل ایندکس نشدن صفحات
- صفحه با دستور noindex
- Blocked by robots.txt
- صفحه دارای redirect
- Duplicate بدون canonical مناسب
- Crawled - currently not indexed
- Discovered - currently not indexed
- Server error
- گام سوم: URLهای مهم را با URL Inspection بررسی کنید
- گام چهارم: بررسی کنید URL در گوگل ایندکس شده است یا خیر
- گام پنجم: وضعیت Live Test را بررسی کنید
- گام ششم: Canonical صفحه را بررسی کنید
- گام هفتم: Sitemap سایت را بررسی کنید
- گام هشتم: لینکهای داخلی صفحات را بررسی کنید
- گام نهم: وضعیت HTTP صفحه را بررسی کنید
- گام دهم: بررسی کنید صفحه واقعاً ارزش ایندکس شدن دارد
- تفاوت Crawling و Indexing چیست؟
- آیا درخواست Indexing برای همه صفحات لازم است؟
- چه زمانی مشکلات ایندکس جدی هستند؟
- یک فرایند مناسب برای بررسی ایندکس سایت
- اشتباهات رایج در بررسی ایندکس
- تلاش برای ایندکس کردن تمام URLها
- نگرانی درباره هر URL ایندکسنشده
- تمرکز فقط بر تعداد صفحات
- استفاده بیش از حد از درخواست Indexing
- جمعبندی
- سوالات متداول
- از کجا بفهمیم یک صفحه در گوگل ایندکس شده است؟
- چرا صفحهای که باز میشود در گوگل ایندکس نشده است؟
- آیا باید همه صفحات سایت را ایندکس کنیم؟
- آیا درخواست Indexing باعث ایندکس قطعی صفحه میشود؟
- مهمترین گزارش برای بررسی ایندکس سایت چیست؟
- منابع
ایندکس شدن صفحات یکی از پیشنیازهای دیدهشدن محتوا در نتایج جستجوی گوگل است. اگر یک صفحه در فهرست ایندکس گوگل قرار نداشته باشد، معمولاً نمیتواند برای جستجوهای مرتبط در نتایج عادی گوگل نمایش داده شود.
Google Search Console یکی از مهمترین ابزارهایی است که میتوان با استفاده از آن وضعیت ایندکس صفحات سایت را بررسی کرد. در این مقاله یاد میگیریم چگونه صفحات ایندکسنشده را پیدا کنیم، دلیل مشکل را تشخیص دهیم و بررسی کنیم که آیا صفحهای که برای کسبوکار اهمیت دارد واقعاً توسط گوگل شناسایی و ایندکس شده است یا خیر.
ایندکس شدن صفحه در گوگل یعنی چه؟
گوگل ابتدا صفحات را از طریق فرایندهایی مانند کشف URL، خزیدن و پردازش محتوا بررسی میکند. اگر صفحه شرایط لازم را داشته باشد، اطلاعات آن میتواند در فهرست ایندکس گوگل قرار بگیرد.
بنابراین قابل دسترس بودن یک URL در مرورگر به معنی ایندکس شدن آن نیست. ممکن است صفحه برای کاربر باز شود اما هنوز توسط گوگل ایندکس نشده باشد یا به دلایل مختلف در ایندکس قرار نگرفته باشد.
چرا باید مشکلات ایندکس را بررسی کنیم؟
ممکن است بخشی از صفحات مهم یک سایت به دلایل فنی یا ساختاری ایندکس نشده باشند. برای مثال یک صفحه ممکن است بهصورت تصادفی دارای دستور noindex باشد یا گوگل نسخه دیگری از URL را بهعنوان نسخه اصلی انتخاب کرده باشد.
بررسی منظم وضعیت ایندکس به شما کمک میکند مشکلات صفحات مهم را زودتر شناسایی کنید و مطمئن شوید محتوای موردنظر شما امکان حضور در نتایج جستجو را دارد.
Google Search Console چه اطلاعاتی درباره ایندکس ارائه میدهد؟
Google Search Console گزارشهایی درباره وضعیت صفحات سایت ارائه میکند. یکی از بخشهای مهم برای این کار، گزارش Page Indexing است که میتواند وضعیت URLهای بررسیشده توسط گوگل را نشان دهد.
این گزارش کمک میکند متوجه شوید چه تعداد URL در وضعیت ایندکسشده قرار دارند و چه تعداد URL با وضعیتهای مختلف در گزارشهای ایندکس مشاهده شدهاند.
برای استفاده از این قابلیت باید سایت خود را در Google Search Console ثبت و تأیید کرده باشید.
گام اول: وارد گزارش Page Indexing شوید
پس از ورود به Google Search Console، property مربوط به سایت خود را انتخاب کنید. سپس در بخش Indexing، گزارش Page Indexing را باز کنید.
در این گزارش میتوانید وضعیت کلی URLهایی را که گوگل در ارتباط با سایت شما بررسی کرده است مشاهده کنید.
هدف این بخش فقط بررسی عدد صفحات ایندکسشده نیست؛ بلکه باید URLهای دارای مشکل و دلیل احتمالی آنها را نیز بررسی کنید.
گام دوم: بخش صفحات ایندکسنشده را بررسی کنید
اگر در گزارش Page Indexing صفحاتی در بخش مربوط به URLهای ایندکسنشده وجود داشته باشند، باید دلیل وضعیت آنها را بررسی کنید.
همه URLهای ایندکسنشده الزاماً مشکل فنی ندارند. برای مثال برخی صفحات ممکن است عمداً noindex شده باشند یا URLهایی باشند که اصلاً نباید در نتایج جستجو ظاهر شوند.
بنابراین هدف شما نباید رساندن عدد صفحات ایندکسنشده به صفر باشد؛ هدف، اطمینان از این است که صفحات مهم سایت بهدرستی ایندکس شدهاند.
مهمترین دلایل ایندکس نشدن صفحات
Google Search Console میتواند دلایل مختلفی را برای قرار نگرفتن URLها در ایندکس نشان دهد. هر وضعیت باید بر اساس ساختار و هدف واقعی صفحه بررسی شود.
صفحه با دستور noindex
اگر صفحه دارای دستور noindex باشد، مالک سایت به موتور جستجو اعلام کرده است که آن URL نباید در نتایج جستجو ایندکس شود.
اگر این دستور بهصورت عمدی استفاده شده باشد، معمولاً مشکلی وجود ندارد. اما اگر صفحه مهمی بهصورت تصادفی noindex شده باشد، باید تنظیمات آن بررسی شود.
Blocked by robots.txt
فایل robots.txt میتواند دسترسی خزندههای موتورهای جستجو به برخی URLها یا مسیرهای سایت را محدود کند.
باید بررسی کنید آیا مسیری که برای گوگل مسدود شده است واقعاً باید مسدود باشد یا خیر.
صفحه دارای redirect
اگر یک URL به URL دیگری Redirect شود، معمولاً URL اولیه صفحه مستقلی برای ایندکس شدن نیست. در چنین شرایطی باید URL مقصد را بررسی کنید.
Duplicate بدون canonical مناسب
اگر چند URL محتوای مشابه یا یکسان داشته باشند، گوگل ممکن است یکی از آنها را بهعنوان نسخه اصلی انتخاب کند.
در این وضعیت باید بررسی کنید آیا URL انتخابشده توسط گوگل با URL موردنظر شما مطابقت دارد یا خیر.
Crawled - currently not indexed
در این حالت گوگل صفحه را خزیده است اما در حال حاضر آن را در ایندکس قرار نداده است. وجود این وضعیت بهتنهایی به معنی یک خطای قطعی نیست.
برای صفحات مهم باید کیفیت محتوا، ارزش صفحه، تکراری نبودن محتوا، لینکهای داخلی و وضعیت کلی سایت بررسی شود.
Discovered - currently not indexed
این وضعیت نشان میدهد گوگل URL را کشف کرده اما هنوز آن را خزیده و پردازش نکرده است.
اگر این وضعیت برای تعداد زیادی از صفحات مهم و جدید دیده شود، بهتر است ساختار لینکهای داخلی، Sitemap، وضعیت سرور و نحوه تولید URLها بررسی شود.
Server error
خطاهای سمت سرور میتوانند مانع دسترسی صحیح خزنده گوگل به صفحه شوند. در چنین شرایطی باید وضعیت سرور و پاسخ HTTP صفحه بررسی شود.
گام سوم: URLهای مهم را با URL Inspection بررسی کنید
گزارش Page Indexing برای مشاهده وضعیت کلی سایت مفید است، اما برای بررسی یک URL مشخص میتوانید از URL Inspection استفاده کنید.
URL موردنظر را در ابزار URL Inspection وارد کنید تا اطلاعاتی درباره وضعیت آن URL در Google Search Console دریافت کنید.
از این ابزار میتوان برای بررسی URLهای مهم مانند صفحات خدمات، محصولات، دستهبندیها و مقالات استفاده کرد.
گام چهارم: بررسی کنید URL در گوگل ایندکس شده است یا خیر
پس از وارد کردن URL، Search Console وضعیت ایندکس آن را نمایش میدهد.
اگر URL ایندکس شده باشد، میتوانید اطلاعات بیشتری درباره وضعیت صفحه مشاهده کنید. اگر ایندکس نشده باشد، Search Console معمولاً اطلاعاتی درباره دلیل یا وضعیت URL ارائه میکند که باید بر اساس آن بررسی را ادامه دهید.
گام پنجم: وضعیت Live Test را بررسی کنید
در شرایطی که میخواهید وضعیت فعلی URL را بررسی کنید، میتوانید از قابلیت تست زنده URL در URL Inspection استفاده کنید.
این کار میتواند برای بررسی تغییرات اخیر مفید باشد؛ زیرا وضعیت فعلی صفحه ممکن است با اطلاعات ذخیرهشده مربوط به آخرین خزیدن گوگل متفاوت باشد.
گام ششم: Canonical صفحه را بررسی کنید
یکی از موارد مهم در بررسی ایندکس، canonical است. زمانی که چند URL محتوای مشابهی دارند، تعیین نسخه اصلی میتواند به موتور جستجو کمک کند.
در URL Inspection میتوانید اطلاعات مربوط به canonical اعلامشده توسط سایت و canonical انتخابشده توسط گوگل را بررسی کنید.
اگر گوگل URL دیگری را بهعنوان نسخه اصلی انتخاب کرده باشد، باید بررسی کنید آیا این انتخاب منطقی است یا ناشی از مشکل ساختاری سایت است.
گام هفتم: Sitemap سایت را بررسی کنید
Sitemap میتواند فهرستی از URLهای مهم سایت را در اختیار موتورهای جستجو قرار دهد. وجود Sitemap صحیح بهخصوص برای سایتهای بزرگ یا سایتهایی که صفحات زیادی دارند اهمیت دارد.
مطمئن شوید URLهای مهم سایت در Sitemap قرار دارند و URLهای غیرضروری مانند صفحات Redirect شده یا URLهای دارای noindex در آن قرار نگرفتهاند.
همچنین وضعیت Sitemap ثبتشده در Search Console را بررسی کنید.
گام هشتم: لینکهای داخلی صفحات را بررسی کنید
موتورهای جستجو برای کشف بسیاری از صفحات از لینکهای موجود در سایت استفاده میکنند. اگر یک صفحه مهم تقریباً هیچ لینک داخلی نداشته باشد، ممکن است کشف و درک ارتباط آن با سایر صفحات دشوارتر شود.
بررسی کنید صفحات مهم از بخشهای مرتبط سایت لینک دریافت میکنند و ساختار لینکهای داخلی منطقی است.
گام نهم: وضعیت HTTP صفحه را بررسی کنید
صفحهای که برای کاربران و موتور جستجو باید قابل دسترسی باشد، باید پاسخ HTTP مناسبی ارائه دهد.
خطاهایی مانند 404 یا خطاهای سمت سرور میتوانند مانع دسترسی صحیح خزنده به صفحه شوند.
اگر URL مهمی با خطای HTTP مواجه است، ابتدا مشکل فنی آن را برطرف کنید و سپس وضعیت URL را مجدداً بررسی کنید.
گام دهم: بررسی کنید صفحه واقعاً ارزش ایندکس شدن دارد
همه صفحات سایت لزوماً نباید در گوگل ایندکس شوند. برخی صفحات ممکن است کاربرد فنی داشته باشند یا محتوای کافی و ارزش مستقلی برای نتایج جستجو نداشته باشند.
بنابراین قبل از تلاش برای ایندکس کردن یک URL، از خود بپرسید آیا این صفحه واقعاً برای کاربران موتور جستجو ارزش مستقلی ایجاد میکند یا خیر.
تفاوت Crawling و Indexing چیست؟
Crawling به فرایند کشف و بررسی URL توسط خزنده موتور جستجو اشاره دارد، در حالی که Indexing مرحله پردازش و قرار گرفتن اطلاعات صفحه در فهرست موتور جستجو است.
بنابراین ممکن است گوگل یک صفحه را Crawl کرده باشد اما آن را Index نکرده باشد. این تفاوت هنگام تحلیل گزارشهای Search Console اهمیت زیادی دارد.
آیا درخواست Indexing برای همه صفحات لازم است؟
خیر. استفاده از درخواست ایندکس برای تمام URLهای سایت روش مناسبی نیست.
اگر صفحه جدید و مهمی منتشر کردهاید یا تغییر قابل توجهی در آن ایجاد کردهاید، میتوانید URL را با URL Inspection بررسی کنید و در صورت نیاز درخواست ایندکس ارسال کنید.
با این حال درخواست ایندکس تضمین نمیکند که صفحه حتماً در نتایج گوگل قرار بگیرد.
چه زمانی مشکلات ایندکس جدی هستند؟
مشاهده چند URL ایندکسنشده لزوماً نشانه وجود مشکل بزرگ در سایت نیست. باید اهمیت URL و دلیل ایندکس نشدن آن را در نظر گرفت.
مشکل زمانی جدیتر است که صفحات مهم و باکیفیت سایت بدون دلیل منطقی ایندکس نشده باشند یا تعداد زیادی از URLهای مهم به دلیل مشکلات فنی از دسترس خزنده خارج شوند.
یک فرایند مناسب برای بررسی ایندکس سایت
- گزارش Page Indexing را بررسی کنید.
- دلایل URLهای ایندکسنشده را دستهبندی کنید.
- صفحات مهم کسبوکار را مشخص کنید.
- URLهای مهم را با URL Inspection بررسی کنید.
- وضعیت canonical را بررسی کنید.
- noindex و robots.txt را بررسی کنید.
- وضعیت HTTP صفحات را بررسی کنید.
- Sitemap را بررسی کنید.
- لینکهای داخلی را بررسی کنید.
- پس از اصلاح، وضعیت صفحات را دوباره بررسی کنید.
اشتباهات رایج در بررسی ایندکس
تلاش برای ایندکس کردن تمام URLها
هدف سئو نباید ایندکس کردن تمام URLهای موجود باشد. تنها صفحاتی که ارزش جستجویی دارند باید برای ایندکس شدن در اولویت باشند.
نگرانی درباره هر URL ایندکسنشده
برخی URLها عمداً نباید ایندکس شوند. بنابراین ابتدا هدف صفحه و دلیل وضعیت آن را بررسی کنید.
تمرکز فقط بر تعداد صفحات
افزایش تعداد صفحات ایندکسشده بهتنهایی نشانه موفقیت سئو نیست. کیفیت صفحات و میزان ارزش آنها برای کاربران اهمیت بیشتری دارد.
استفاده بیش از حد از درخواست Indexing
درخواست ایندکس جایگزین رفع مشکلات فنی یا محتوایی نیست. اگر صفحه مشکل اساسی داشته باشد، درخواست مجدد معمولاً مشکل اصلی را حل نمیکند.
جمعبندی
Google Search Console یکی از بهترین ابزارها برای بررسی وضعیت ایندکس صفحات سایت است. گزارش Page Indexing برای مشاهده وضعیت کلی URLها و URL Inspection برای بررسی دقیق صفحات مشخص کاربرد دارند.
هنگام بررسی مشکلات ایندکس، نباید فقط به تعداد صفحات ایندکسشده توجه کرد. باید مشخص شود کدام صفحات مهم سایت ایندکس نشدهاند و دلیل آن چیست. بررسی noindex، robots.txt، canonical، Sitemap، لینکهای داخلی، وضعیت HTTP و کیفیت صفحات میتواند به پیدا کردن علت مشکل کمک کند.
در نهایت، هدف یک سایت سالم این نیست که تمام URLهای آن در گوگل ایندکس شوند؛ بلکه باید صفحات ارزشمند و موردنیاز کاربران به شکل صحیح در دسترس موتور جستجو قرار بگیرند و صفحات غیرضروری نیز مدیریت مناسبی داشته باشند.
سوالات متداول
از کجا بفهمیم یک صفحه در گوگل ایندکس شده است؟
میتوانید URL صفحه را در ابزار URL Inspection در Google Search Console وارد کنید و وضعیت ایندکس آن را بررسی کنید.
چرا صفحهای که باز میشود در گوگل ایندکس نشده است؟
قابل دسترس بودن صفحه برای کاربر به معنی ایندکس شدن آن نیست. عواملی مانند noindex، مشکلات خزیدن، canonical، کیفیت محتوا یا تصمیم گوگل درباره ایندکس صفحه میتوانند مؤثر باشند.
آیا باید همه صفحات سایت را ایندکس کنیم؟
خیر. برخی صفحات ارزش مستقلی برای نتایج جستجو ندارند یا به دلایل فنی نباید ایندکس شوند.
آیا درخواست Indexing باعث ایندکس قطعی صفحه میشود؟
خیر. درخواست ایندکس باعث میشود URL برای بررسی مجدد به گوگل ارائه شود، اما تضمینی برای ایندکس شدن صفحه نیست.
مهمترین گزارش برای بررسی ایندکس سایت چیست؟
گزارش Page Indexing برای بررسی وضعیت کلی URLهای سایت اهمیت زیادی دارد و URL Inspection نیز برای بررسی دقیق یک صفحه مشخص کاربرد دارد.