5/5 - (1 امتیاز)

۱۰ روش برای ایندکس شدن سایت شما (روش‌ های واقعا کاربردی) – قسمت اول

131

اگر گوگل سایت شما را ایندکس نکند، تقریبا سایت شما در گوگل غیر قابل مشاهده خواهد بود. سئوی سایت شما انجام نمی‌شود و سایت در هیچ جستجویی نمایش داده نخواهد شد و ابدا هیچ ترافیک ارگانیکی دریافت نخواهید کرد. هیچ ترافیکی! در این مقاله به شما یاد خواهیم داد که با چه روش‌هایی ایندکس سایت خود را تضمین کنید و چگونه این مشکلات را حل و فصل کنید:

  1. وقتی که کل سایت شما ایندکس نشده باشد.
  2. زمانی که برخی صفحات شما ایندکس شده و برخی ایندکس نشده باشند.
  3. به تازگی صفحه‌ای منتشر کرده‌اید اما با سرعت مناسبی ایندکس نشده است.

قبل از شروع در ابتدا بیایید مطمئن شویم که به خوبی منظور از ایندکس سایت را می‌دانیم.

کراول و ایندکس سایت به چه معناست؟

گوگل از طریق خزیدن در سراسر وب، صفحات جدید وب را کشف می‌کند که به آن کراول کردن می‌گویند. سپس این صفحات را به ایندکس (فهرست) خود اضافه می‌کند. گوگل این کار را توسط یک خزنده وب (یا عنکبوت وب) انجام می‌دهد که با نام Googlebot شناخته می‌شود.

شاید کمی گیج شده باشید. پس بیایید چند واژه کلیدی را تعریف کنیم.

کراول کردن: فرآیند دنبال کردن هایپرلینک‌ها در وب برای کشف محتوای جدید.

ایندکس کردن: فرآیند ذخیره کردن صفحات وب در یک پایگاه داده عظیم.

خزنده یا عنکبوت وب: بخشی از یک نرم‌افزار که برای انجام مراحل خزیدن در مقیاس بزرگ طراحی شده است.

Googlebot: خزنده وب مخصوص گوگل.

وقتی که چیزی را در گوگل جستجو می‌کنید، در واقع از گوگل می‌خواهید که تمام نتایج مرتبط با جستجوی شما را از ایندکس خود به شما نشان دهد. اغلب، میلیون‌‌ها صفحه مرتبط با موضوع جستجو شده وجود دارد و گوگل سعی می‌کند به بهترین شکل ممکن صفحات را رتبه‌بندی کند تا بهترین و مرتبط‌ترین نتایج را نشان دهد.

نکته مهم در اینجا این است که ایندکس شدن و رتبه گرفتن در گوگل دو چیز متفاوت از هم هستند.
ایندکس شدن مانند حضور در مسابقه است اما رتبه گرفتن برنده شدن در مسابقه است.
شما نمی‌توانید بدون حضور در یک مسابقه در آن برنده شوید.

 

 

 

 

چگونه متوجه شویم که در گوگل ایندکس شده‌ایم یا خیر؟

وارد گوگل شوید و عبارت زیر را وارد کنید:

Site:yourwebsite.com

البته به جای yourwebsite.com نام وب‌سایت خود را وارد کنید.

تعداد ایندکس های سایت

عددی که در عکس مشاهده می‌کنید، نشان می‌دهد که چه تعداد از صفحات وب‌سایت شما در گوگل ایندکس شده است.

اگر قصد دارید که وضعیت ایندکس شدن یک URL خاص را بررسی کنید بعد از عبارت site: باید URL مد نظر خود را وارد کنید. بدین شکل:

Site:yourwebsite.com/web-page-slug

بررسی ایندکس یک صفحه خاص

اگر این صفحه خاص ایندکس نشده باشد هیچ نتیجه‌ای به شما نشان داده نخواهد شد.

البته اگر از گوگل سرچ کنسول استفاده می‌کنید می‌توانید از گزارش coverage در این ابزار بینش دقیق‌تری را نسبت به وضعیت ایندکس شدن سایت خود مشاهده کنید. بدین منظور این مسیر را طی کنید:

Google Search Console > Index > Coverage

بررسی ایندکس شدن سایت در گوگل سرچ کنسول

در اینجا عددی برای صفحات معتبر (valid) و دیگری صفحات معتبر همراه با اخطار نشان داده می‌شود.

اگر مجموع این دو عدد چیزی غیر از صفر باشد، یعنی گوگل دست کم برخی از صفحات سایت شما را ایندکس کرده است. در غیر این صورت، با مشکل بزرگی مواجه هستید به این دلیل که هیچ یک از صفحات وب شما ایندکس نشده است.

نکته: گوگل سرچ کنسول یک ابزار رایگان است و هرکسی که یک وب‌سایت راه‌اندازی می‌کند و کسب ترافیک از گوگل برایش مهم است، باید از این ابزار استفاده کنید.

همچنین می‌توانید از این ابزار استفاده کنید تا متوجه شوید صفحه خاصی که مد نظر دارید ایندکس شده است یا خیر. برای انجام این کار، URL مد نظر خود را داخل ابزار the URL Inspection وارد کنید.

اگر این صفحه ایندکس شده باشد، این عبارت به شما نمایش داده می‌شود : «URL is on Google» که یعنی صحفه مد نظر ایندکس شده است.

صفحه در گوگل ایندکس شده

اگر این صفحه ایندکس نشده باشد این عبارت نشان داده می‌شود: «URL is not on google»

صفحه در گوگل ایندکس نشده است

 

چگونه توسط گوگل ایندکس شویم؟

اگر متوجه شدید سایت یا صفحه وب شما ایندکس نشده‌اند این روش را امتحان کنید:

۱. وارد گوگل سرچ کنسول شوید.

۲. به بخش ابزار URL inspection بروید.

۳. URL مد نظر خود را که قصد دارید گوگل آن را ایندکس کند وارد کنید.

۴. صبر کنید تا گوگل URL را بررسی کند.

۵. سپس بر روی گزینه Request indexing کلیک کنید.

این فرآیند برای زمانی که یک صفحه یا مطلب جدید را منتشر کرده‌اید، روش خوبی است. در این حالت به شکل موثری به گوگل گفته‌اید که چیز جدیدی به سایت اضافه کرده‌اید و گوگل باید نگاهی به آن بیاندازد.

با این حال ثبت درخواست ایندکس کردن احتمالا مشکل اساسی که باعث شده گوگل صفحات قدیمی‌تر شما را ایندکس نکند، حل نخواهد کرد. اگر شما نیز چنین مشکلی دارید، از چک‌لیست زیر استفاده کنید تا بتوانید مشکل را شناسایی و حل کنید.

 

۱. رفع مسدودی کراول شدن در فایل robots.txt

اگر گوگل کلا سایت شما را ایندکس نکرده است شاید به این علت باشد که در فایل موسوم به robots.txt فرآیند کراول شدن مسدود یا بلاک شده باشد.

برای بررسی این مسئله به این آدرس بروید:

yourdomain.com/robots.txt

ببینید این دو قطعه کد در این فایل وجود دارد یا خیر؟

مسدود شدن ربات

هر دوی این قطعه کدها به ربات گوگل می‌گویند که اجازه ندارد هیچ صفحه‌ای از این سایت را کراول کند. برای حل این مشکل کافیست به سادگی این دو قطعه کد را حذف کنید.

حتی اگر گوگل یکی از صفحات شما را ایندکس نکرده است نیز ممکن است مشکل از سمت این فایل باشد. برای اینکه متوجه شوید که صفحه‌ مد نظر شما آیا به دلیل مشکلی در این فایل ایندکس نشده است، ابتدا URL صفحه مد نظر خود را وارد ابزار URL inspection در گوگل سرچ کنسول کنید. سپس بر روی Coverage block کلیک کنید تا اطلاعات بیشتری به شما نمایش داده شود. سپس سعی کنید به دنبال این عبارت بگردید:

Crawl allowed? No: blocked by robots.txt

وجود این عبارت نشان‌دهنده این است که این صفحه از طریف فایل robot.txt  مسدود شده است.

اگر چنین مشکلی داشت دوباره به این فایل مراجعه کرده و به دنبال disallow مربوط به صفحه یا زیرمجموعه مربوطه بگردید.

disallow in robort txt

هرجا لازم بود این عبارت را حذف کنید.

 

۲. حذف تگ‌ های noindex که ناخواسته ایجاد شده‌اند

اگر شما به گوگل بگویید سایت‌ یا صفحاتی از سایت شما را ایندکس نکند، گوگل نیز این کار را انجام نمی‌دهد. این روش برای زمانی مناسب است که قصد دارید برخی صفحات را خصوصی نگاه دارید. بدین منظور دو روش وجود دارد:

الف: متا تگ

صفحاتی شامل یکی از این متا تگ‌ها در بخش <head> خود توسط گوگل ایندکس نمی‌شوند:

حذف تگ‌ های noindex

این‌ها موسوم به meta robots tag هستند و به موتورهای جستجو می‌گویند که آیا اجازه ایندکس کردن صفحه را دارند یا خیر.

 

نکته:

بخش کلیدی این تگ، noindex است. اگر آن را مشاهده کردید، بنابراین این صفحه برای ایندکس نشدن تنظیم شده است.

 

برای اینکه بتوانید تمام صفحاتی را که در سایت شما از متا تگ noindex استفاده کرده‌اند را پیدا کنید، می‌توانید از ابزار  ahref Site Audit متعلق به سایت Ahrefs استفاده کنید و سایت خود را از طریق این ابزار کراول کنید. سپس به گزارش Indexability رجوع کنید و به اخطارهای Noindex page دقت کنید.

اخطارهای Noindex page

حالا بر روی این گزینه کلیک کنید تا این صفحات را مشاهده کنید. سپس سعی کنید این متا تگ را از صفحاتی که قصد دارید گوگل آنها را ایندکس کند حذف کنید.

ب: x-Robots-Tag

کراولرها همچنین از X-Robots-Tag در بخش هدر HTTP نیز تبعیت می‌کنند. شما می‌توانید این مورد را با استفاده از زبان‌های سمت سرور مانند PHP یا درون فایل .htaccess و یا از طریق تغییرات در تنظیمات سرور خود، پیاده‌سازی کنید.

ابزار URL inspection درون سرچ کنسول گوگل به شما می‌گوید که آیا گوگل از ایندکس کردن یک صفحه از طریق این هدر منع شده است یا خیر. کافیست که URL خود را در این ابزار وارد کنید، سپس به دنبال این عبارت بگردید:

Indexing allowed? No:”noindex” detected in “X-Robots-Tag” http header

اگر قصد دارید از این جهت سایت خود را بررسی کنید، سایت خود را از طریق ابزار Site Audit که پیشتر معرفی کردیم کراول کنید، سپس فیلتر Robots information in HTTP header را در بخش جستجوی صفحات (Page Explorer) اعمال کنید.

می‌توانید با کمک برنامه‌نویس خود صفحاتی که می‌خواهید را از این طریق در حالتی قرار دهید که دیگر اندکس نشوند.

 

۳. قرار گرفتن صفحات سایت در نقشه سایت

سایت مپ یا نقشه سایت به گوگل می‌گوید که چه صفحاتی در سایت شما مهم هستند و کدام یک مهم نیستند. همچنین ممکن است اطلاعاتی را در مورد اینکه هر چند وقت یکبار بهتر است کراول شوند را نیز در اختیار گوگل قرار دهند.

گوگل باید قادر باشد تا صفحات سایت شما را بدون در نظر گرفتن اینکه این صفحات در نقشه سایت شما قرار دارند یا خیر پیدا کنند. با این حال روش خوبی است که صفحات مورد نظر خود برای ایندکس شدن را در نقشه سایت قرار دهید. بدین ترتیب کار گوگل را نیز راحت‌تر کرده‌اید.

برای اینکه بررسی کنید که یک صفحه در نقشه سایت شما قرار دارد یا خیر مجددا از ابزار URL inspection متعلق به سرچ کنسول استفاده کنید. اگر خطایی با عنوان URL is not on Google و همچنین Sitemap: N/A را مشاهده کردید، بنابراین این صفحه در نقشه سایت شما وجود ندارد یا اینکه ایندکس نشده است.

قرار گرفتن صفحات سایت در نقشه سایت

اگر از گوگل سرچ کنسول استفاده نمی‌کنید معمولا می‌توانید از طریق آدرس زیر وارد نقشه سایت خود شوید:

Yourdomain.com/sitemap.xml

سپس می‌توانید صفحه مورد نظر خود را در اینجا جستجو کنید تا ببینید در نقشه سایت وجود دارد یا خیر.

همچنین اگر قصد دارید تا تمامی صفحاتی که قابل کراول و ایندکس شدن هستند اما در نقشه سایت شما وجود ندارند را پیدا کنید، از ابزار Site Audit استفاده کنید. به قسمت Page Explorer بروید و فیلترها را مطابق شکل زیر وارد کنید:

این صفحات بهتر است که در نقشه سایت شما حضور داشته باشند بنابراین آنها را اضافه کنید. بعد از اضافه کردن این صفحات به گوگل اطلاع دهید که نقشه سایت شما به‌روزرسانی شده است. این کار را توسط پینگ کردن URL زیر انجام دهید:

http://www.google.com/ping?sitemap=http://yourwebsite.com/sitemap_url.xml

البته به جای بخش آخر URL نقشه سایت خود را قرار دهید. سپس باید چیزی شبیه به این را مشاهده کنید:

اطلاع به گوگل به روزرسانی نقشه سایت

این کار سرعت ایندکس کردن این صفحه توسط گوگل را افزایش می‌دهد.

 

4. حذف تگ‌های canonical ناخواسته

تگ کنونیکال به گوگل می‌گوید که کدام نسخه یک صفحه باید به دیگر نسخه‌ها ترجیح داده شود. این تگ چیزی شبیه به این است:

<link rel=”canonical” href=”/page.html/”>

بیشتر صفحات تگ canonical یا چیزی که با عنوان تگ کنونیکال خود ارجاع شناخته می‌شود را ندارند. این تگ به گوگل می‌گوید که خود این صفحه، نسخه ترجیح داده شده است و احتمالا تنها نسخه است. به عبارت دیگر، این همان صفحه‌ای است که می‌خواهید ایندکس شود.

اما اگر صفحه شما یک تگ canonical ناخواسته داشته باشد، ممکن است به صفحه‌ای به عنوان صفحه ترجیح داده شده ارجاع دهد که اصلا وجود نداشته باشد. در این حالت صفحه شما ایندکس نخواهد شد.

برای بررسی تگ canonical نیز از ابزار URL inspection استفاده کنید. اگر تگ canonical در این صفحه به صفحه‌ دیگری ارجاع داده باشد، این خطا را مشاهده خواهید کرد:

Alternate page with canonical tag

اگر این تگ نباید در یک صفحه وجود داشته باشد و شما تمایل دارید این صفحه ایندکس شود، بنابراین سعی کنید تگ canonical را حذف کنید.

نکته:

تگ‌های canonical همیشه هم بد نیستند. اغلب صفحات به دلایل مختلفی می‌توانند چنین تگی را به خود گرفته باشند. اگر مشاهده کردید که صفحه شما چنین تگی دارد از این صفحه بازدید کنید. اگر این صفحه به درستی به نسخه اصلی ارجاع داده بود و نیازی به                      ایندکس شدن نداشت، این تگ canonical باید پابرجا بماند.

اگر قصد دارید به سرعت تگ‌های canonical را در سراسر سایت خود کشف کنید، از ابزار Site Audit استفاده کنید. به قسمت Page Explorer بروید و این تنظیمات را اعمال کنید.

این ابزار به دنبال صفحاتی در نقشه سایت شما می‌گردد که دارای تگ canonical هستند که به دیگر صفحات ارجاع داده‌اند. از آنجا که شما قطعا تمایل دارید که صفحاتی که در نقشه سایت شما وجود دارند ایندکس شوند، باید بیشتر جستجو کنید و به دنبال نتایجی باشید که این ابزار به شما ارئه می‌دهد.

احتمال اینکه این صفحات دارای تگ canonical ناخواسته باشند زیاد است. یا حداقل نشانگر این است که این صفحات نباید در نقشه سایت شما حضور داشته باشند.

 

۵. بررسی کنید که صفحه مد نظر بدون والد نباشد

صفحات بدون والد صفحاتی هستند که هیچ لینک داخلی در سایت به آنها داده نشده است.

از آنجا که گوگل از طریق کراول کردن وب به مطالب جدید دسترسی پیدا می‌کند، نمی‌توانند از این طریق صفحات بدون والد را کشف کنند. همچنین بازدیدکنندگان سایت نیز قادر به پیدا کردن آنها نخواهند بود.

برای بررسی این صفحات مجددا از طریق ابزار Site Audit سایت خود را کراول کنید. سپس گزارش Link را برای پیدا کردن اخطار Orphan page بررسی کنید.

بدین ترتیب تمام صفحاتی که هم قابل ایندکس هستند و هم در نقشه سایت شما وجود دارند اما هیچ لینک داخلی به آنها ایجاد نشده است به شما نمایش داده خواهد شد.

نکته: این روش فقط با رعایت این دو شرط به درستی کار می‌کند:
  • تمام صفحاتی که می‌خواهید ایندکس شوند در نقشه سایت شما موجود باشند.
  • هنگام تعریف پروژه داخل ابزار Site Audit قسمت استفاده از صفحات درون نقشه سایت، به عنوان نقطه شروع را تیک بزنید.

اگر مطمئن نیستید که تمام صفحاتی که می‌خواهید ایندکس شوند درون نقشه سایت شما حضور دارند این روش را امتحان کنید:

  • از طریق CMS یا همان سیستم مدیریت محتوای خود لیست کامل صفحات موجود در سایت خود را دانلود کنید.
  • با استفاده از ابزارهایی مانند Site Audit سایت خود را کراول کنید.
  • این دو لیست را با هم مقایسه کنید.

URLهایی که در طی کراول کردن سایت پیدا نشدند صفحات بدون والد هستند.

مسئله صفحات بدون والد را می‌توانید به یکی از این دو روش حل کنید:

۱. اگر این صفحه، صفحه مهمی نیست آن را از نقشه سایت خود حذف یا پاک کنید.

۲. اگر این صفحه مهم است سعی کنید با توجه به ساختار لینک‌ سازی داخلی سایت خود به این صفحه نیز لینک‌هایی ایجاد کنید.

 

در قسمت اول مقاله با مفاهیم کراول و ایندکس سایت آشنا شدیم و 5 روش برای سریع تر ایندکس شدن سایت را بیان کردیم. در قسمت دوم این مقاله قرار است به 5 روش دیگر برای ایندکس کردن سایت اشاره کنیم. با ما همراه باشید…

 

اگر در ایندکس شدن سایت خود مشکل دارید و یا رتبه بندی سایت شما به کندی انجام می‌شود، تیم آژانس سئودو با متخصصان سئو خبره، برای کمک به شما آماده است.

برای دریافت مشاوره سئو رایگان با ما تماس بگیرید.

مشاوره سئو

5/5 - (1 امتیاز)
منبع Ahrefs
ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.