بودجه خزش چیست و آیا برای سئو نگران کننده است؟

11

بودجه خزش یا Crawl Budget به این معناست که یک خزنده موتور جستجو چقدر سریع و چند صفحه از سایت شما را خزش میکند. این بودجه تحت تأثیر میزان منابعی است که یک خزنده نیاز دارد و یا میزان خزش سرور شماست.

خزش بیشتر به معنی رتبه بندی بهتر نیست، اما اگر صفحات شما کرال و ایندکس نشده باشند، به هیچ وجه رتبه ­ای نخواهند داشت. اکثر افراد متخصص سئو نگرانی در مورد بودجه خزش ندارند، اما در برخی موارد باید بودجه خزش سایت خود را در نظر بگیرید. در اینجا برخی از این موارد را بررسی می­کنیم.

  • چه زمانی باید نگران بودجه خزش بود؟
  • نحوه بررسی فعالیت خزش
  • نحوه تعیین بودجه خزش
  • نحوه تنظیم کراول در گوگل
  • نحوه سریع­تر کردن خزش در گوگل
  • نحوه کندتر کردن خزش در گوگل

چه زمانی باید نگران بودجه خزش بود؟

معمولاً نباید نگران بودجه خزش در صفحات پرطرفدار و محبوب باشید. معمولاً صفحات جدیدتری که به خوبی بهم لینک نشده ­اند یا تغییر چندانی ندارند اغلب کراول نمیشوند.

سایت­های جدیدتر باید نگران بودجه خزش خود باشند، به ویژه سایت­هایی که صفحات زیادی دارند. ممکن است سرور شما بتواند خزش بیشتری را پشتیبانی کند، اما از آنجا که سایتتان جدید است و احتمالاً هنوز از محبوبیت بالایی برخوردار نیست، ممکن است موتور جستجو تمایل چندانی به خزش سایت شما نداشته باشد. به همین دلیل باید انتظاراتتان را کم کنید.

قطعا شما تمایل دارید صفحاتتان کراول و ایندکس شوند، اما گوگل نمی­داند که آیا صفحات شما ارزش ایندکس دارد یا خیر و ممکن است مایل نباشد به تعداد صفحاتی که دارید در سایت شما خزش کند.

یکی از دغدغه­ ها و نگرانی­های سایت­های بزرگ با میلیونها صفحه و یا سایتهایی که روزانه به روز می­شوند همین بودجه خزش است. به طور کلی، اگر تعداد زیادی از صفحات شما به اندازه ­ای که می­خواهید خزیده یا به روز نمی­شوند، ممکن است بخواهید سرعت خزش را بررسی کنید. در مورد نحوه چگونگی انجام این کار در ادامه این مقاله صحبت خواهیم کرد.

نحوه بررسی فعالیت خزش

اگر می­خواهید نحوه فعالیت خزش در گوگل و یا هر گونه مشکلی که در این رابطه شناسایی شده را بررسی و مشاهده کنید، بهترین مکان برای دیدن چنین گزارشاتی Crawl Stats در گوگل سرچ کنسول است.

نحوه بررسی فعالیت خزش

 

گزارشات مختلفی در اینجا وجود دارد که به شما کمک می­کند هر گونه تغییر در رفتار خزش و مشکلات مربوط به آن را شناسایی کرده و اطلاعات بیشتری در مورد نحوه خزش گوگل از سایت شما در اختیارتان قرار بگیرد. قطعاً می­خواهید هر وضعیت خزشی که علامت گذاری شده را مشاهده کنید؛ مانند مواردی که در اینجا به آن اشاره می­کنیم:

 

وضعیت خزشی که علامت گذاری شده

در این قسمت همچنین می­توانید زمان بندی آخرین زمان خزش صفحات خود را نیز مشاهده کنید.

اگر می­خواهید بازدیدهای مربوط به تمامی ربات­ها و کاربران را مشاهده کنید، باید به فایل‌های ورود خود دسترسی داشته باشید. بسته به نوع هاست و روش نصب و راه اندازی، ممکن است به ابزارهایی مانند: Awstats و Webalizer نیاز داشته باشید، همانطور که اینجا در هاست مشترک با cPanel می­توانید این مورد را مشاهده کنید. این ابزارها برخی از داده­ های جمع آوری شده از فایل­های گزارشات شما را نشان می­دهند.

فایل LOG

برای تنظیمات پیچیده ­تر، باید به پرونده­ های خام گزارش دسترسی داشته و آنها را ذخیره کنید، احتمالاً هم باید از منابع متعدد استفاده کنید. همچنین ممکن است برای پروژه­ های بزرگتر به ابزارهای تخصصی تری چون ELK (elasticsearch, logstash, kibana) نیاز داشته باشید که امکان ذخیره، پردازش و تجسم فایل های log را برای شما فراهم می­کند. ابزارهایی برای تجزیه و تحلیل ورود به سیستم هم وجود دارند؛ مانند: Splunk

نحوه تعیین بودجه خزش

همه آدرس­های اینترنتی (URLs) و درخواستها در بودجه خزش شما محاسبه می­شوند که شامل آدرسهای جایگزینی مانند: صفحات AMP یا m-dot ، hreflang ، CSS  و جاوا اسکریپت، از جمله درخواست­های XHR است.

 این آدرس­ها ممکن است با خزش و تجزیه و تحلیل صفحات یا از منابع مختلف دیگر از جمله نقشه سایت ، فیدهای RSS ، ارسال آدرس­ها برای ایندکس در سرچ کنسول گوگل یا استفاده از ایندکس API یافت شوند. همچنین گوگل چندین ربات دارد که بودجه خزش را به اشتراک می­گذارند. در گزارش Crawl Stats در GSC می­توانید لیستی از Googlebots های مختلف که وب سایت شما را خزیده­ اند، بیابید.

نحوه تعیین بودجه خزش

نحوه تنظیم خزش در گوگل

هر وب سایت دارای بودجه خزش متفاوتی است که از چند ورودی مختلف تشکیل شده است.

  • تقاضای خزش

تقاضای خزش نشان می­دهد که گوگل چقدر می­خواهد در وب سایت شما خزش کند. صفحات پرطرفدار و پربازدید که تغییرات قابل توجهی را تجربه می­کنند، بیشتر خزیده خواهند شد.

صفحات پرطرفدار و محبوب که بیشتر به آنها لینک می­شوند عموماً بر صفحات دیگر اولویت خواهند داشت. به یاد داشته باشید که گوگل باید صفحات شما را برای خزش به نحوی اولویت بندی کند که این لینک­ها و پیوندها بتواند یک راه آسان برای تعیین محبوبیت بیشتر صفحات وب سایت شما باشد. این موضوع تنها شامل سایت نمی­شود؛ بلکه، شامل تمامی صفحات در سایت­های اینترنتی می­باشد که گوگل باید نحوه اولویت بندی آنها را پیدا کند.

می­توانید از گزارش Best by links در سایت ahref به عنوان نشانه ­ای از صفحاتی که به احتمال زیاد بیشتر خزیده می­شوند، استفاده کنید. یا حتی زمانی که ابزار Ahrefs آخرین بار صفحات شما را خزیده نشان می­دهد.

گزارش Best by links در سایت ahref

همچنین مفهومی از خرابی و عدم اعتبار وجود دارد. اگر گوگل متوجه شود که صفحه­ای تغییر نمی­کند،  آن صفحه را کمتر می­خزد. به عنوان مثال، اگر صفحه ­ای خزیده شد و بعد از یک روز تغییری مشاهده نشد، ممکن است سه روز قبل از خزیدن مجدد، خزش دفعه بعدی 10 روز، 30 روز ،حتی 100 روز نیز بطول بینجامد. اما با گذشت زمان کمتر و کمتر می­شود. با این حال، اگر گوگل تغییرات بزرگی را در کل سایت یا حرکت سایت مشاهده کند، معمولاً نرخ خزیدن آنها را حداقل به طور موقت افزایش می­دهد.

ابزار محدودیت نرخ خرش

ابزار محدودیت نرخ خزش میزانی را نشان می­دهد که وب سایت شما از خزش پشتیبانی می­کند. هر وب سایتی مقدار مشخصی از خزش را دارد که می­توانند قبل از بروز مشکلاتی چون کندی یا خطا در قسمت پایداری سرور آن را کنترل کنند.

 اگر خزنده­ ها با وجود مشکلاتی چون کندی یا خطا در سرور شروع به خزش کنند، پشتیبانی وب سایت در صورت مشاهده آنها را از سایت خود خارج می­کند تا به سایت آسیبی نرساند. گوگل بر اساس وضعیت خزش سایت تنظیم شده است. اگر برای سایت، خزیدن بیشتر خوب باشد، این محدودیت­ها افزایش می­یابد. اگر سایت دچار مشکل شده باشد، گوگل سرعت خزیدن آنها را کاهش می­دهد.

نحوه خزش سریع ­تر در گوگل

چند کار می­توانید انجام دهید تا مطمئن شوید سایت شما می­تواند خزش بیشتر را پشتیبانی کرده و تقاضای خزش سایت شما را افزایش دهد. در این قسمت برخی از این گزینه­ ها را بررسی ­می­کنیم.

  • افزایش سرعت سرور و منابع آن

روشی که گوگل صفحات را می­خزد به این گونه است که منابع را دانلود کرده و سپس در انتها آنها را پردازش می­کند. به عنوان یک کاربر این را می­فهمد که سرعت صفحه شما یکسان نیست. آنچه بر بودجه خزش تأثیر می­گذارد این است که گوگل چگونه می­تواند منابعی را به سرعت به هم وصل و دانلود کند که بیشتر به سرور و منابع آن مرتبط باشد.

  • لینک­های بیشتر، لینک داخلی و خارجی

به یاد داشته باشید که تقاضای خزش عموماً بر اساس میزان محبوبیت یا تعداد لینک‌هاست. با افزایش میزان لینک‌های خارجی و یا لینک‌های داخلی می­توانید بودجه خزش خود را افزایش دهید. از آنجایی که لینک‌های داخلی قابل کنترل هستند بنابراین افزایش میزان آنها آسان تر است. لینک‌های داخلی پیشنهادی را می­توانید در قسمت  Link Opportunities در Site Audit سایت ahref پیدا کنید، که آموزش نحوه عملکرد آنها نیز توضیح داده شده است.

قسمت  Link Opportunities در Site Audit سایت ahref

 

  • رفع لینک های شکسته و لینک­ های ریدایرکتی

لینک‌های شکسته و با لینک های ریدایرکت شده در سایت شما تأثیر کمی بر بودجه خزش خواهد داشت. به طور معمول، صفحات لینک داده شده در این قسمت دارای اولویت نسبتاً کمی هستند زیرا احتمالاً مدتی است که تغییر نکرده­اند، اما تشخیص هر گونه مشکلی به طور کلی برای نگهداری وب سایت خوب است و به بودجه خزش کمی کمک می­کند.

لینک‌های شکسته (4XX) و ریدایرکت‌ها (3XX) می توانید در سایت خود به راحتی در قسمت گزارش صفحات داخلی ahref در  Site Audit بیابید.

  • تا جایی که می توانید از GET به جای POST استفاده کنید

این مورد کمی فنی ­تر است زیرا شامل روش­های درخواست HTTP است. از درخواست­های POST در جایی که درخواست GET کار می­کند استفاده نکنید. اساساً GET (pull) در مقابل POST (push) قرار دارد. درخواست­های POST ذخیره نمی­شوند بنابراین بر بودجه خزش تأثیر می­گذارند، اما درخواستهای GET  میتوانند ذخیره شوند.

  • از Indexing API استفاده کنید

اگر نیاز دارید که صفحاتتان سریعتر خزش شوند، بررسی کنید که آیا واجد شرایط API یا ایندکس گوگل هستید یا خیر. در حال حاضر این مورد تنها برای موارد معدودی چون آگهی­ های شغلی یا فیلم­های لایو در دسترس است. بینگ همچنین دارای یک API نمایه سازی است که برای هرکسی در دسترس است.

مشکل کار کجاست؟

چند مورد وجود دارد که بعضی اوقات افراد تلاش می­کنند تا از طریق آن بودجه خزش را کاهش دهند اما موفق نمی­شوند:

  • تغییرات کوچک در سایت: ایجاد تغییرات کوچک در صفحات مانند به روزرسانی تاریخ­ها، فاصله­ها یا علائم نگارشی به امید خزش بیشتر در صفحات. گوگل در تعیین اینکه آیا این تغییرات قابل توجه و بزرگ هستند یا خیر بسیار خوب عمل می­کند، بنابراین تغییرات کوچک هیچ تاثیری در خزش ندارند.
  • دستورالعمل تاخیر خزش در txt. این دستورالعمل سرعت بسیاری از ربات ها را کند می­کند. با این حال گوگل بات از آن استفاده نمی­کند بنابراین تاثیری نخواهد داشت. اگرچه ما در Ahrefs برای این موضوع احترام قائلیم، بنابراین اگر همچنان نیاز به کاهش سرعت خزش دارید می­توانید تأخیر خزش را به فایل robots.txt خود اضافه کنید.
  • حذف اسکریپت­های شخص ثالث: اسکریپت­های شخص ثالث جزو بودجه خزش محسوب نمی­شود، بنابراین حذف آنها کمکی نخواهد کرد.
  • لینک نوفالو: این لینک کمی مبهم است. در گذشته لینک­ها یا پیوندهای نوفالو از بودجه خزش استفاده نمی­کردند. با این حال نوفالو اکنون به عنوان یک راهنما تلقی می­شود، بنابراین گوگل ممکن است در خزش این پیوندها را نیز انتخاب کند.

نحوه کندتر کردن خزش در گوگل

تنها چند راه مناسب وجود دارد که باعث کند شدن سرعت جستجوی گوگل شود. تنظیمات دیگری وجود دارد که می­توانید با استفاده از آنها خزش گوگل در سایت خود را کندتر کنید، اما اینها روشهایی نیستند که من به شخصه توصیه کنم.

کندکردن خزش با تضمین کندی آن

کنترل اصلی که گوگل در اختیار ما قرار می­دهد تا کندتر حرکت کنیم این است که یک ابزار محدود کننده نرخ در کنسول جستجوی گوگل تعبیه کرده است. میتوانید سرعت خزش را با این ابزار کاهش دهید، اما تا دو روز طول می­کشد تا تأثیر آن را ببینید.

نحوه کندتر کردن خزش در گوگل

 

سریع تر کردن خزش همراه با ریسک

اگر به راهکار سریعتری نیاز دارید، می­توانید از تنظیمات سرعت خزش گوگل مربوط به سلامت سایت خود استفاده کنید. اگر به گوگل بات یک کد “503 Service Unavailable” یا “429 Too Many Requests” در صفحات ارائه دهید، آنها کندتر شروع به خزش می­کنند یا ممکن است به طور موقت خزیدن را متوقف کنند. اما اگر این کار را بیش از چند روز انجام دهید، ممکن است صفحات شما از فهرست ایندکس خارج شوند.

 

 

نتیجه نهایی

باز هم تأکید می­کنم که بودجه خزش چیزی نیست که جای نگرانی داشته باشد. اگر نگرانی دارید، امیدوارم این راهنما مفید واقع شده باشد. فقط زمانی به این موضوع توجه کنید که صفحات شما خزیده یا ایندکس نشده باشند.

آژانس سئودو با تیمی متخصص آماده قبول انواع سفارش سئو است.
مشاهده هزینه سئو

منبع Ahrefs
ارسال یک پاسخ

آدرس ایمیل شما منتشر نخواهد شد.