بودجه خزش یا Crawl Budget به این معناست که یک خزنده موتور جستجو چقدر سریع و چند صفحه از سایت شما را خزش میکند. این بودجه تحت تأثیر میزان منابعی است که یک خزنده نیاز دارد و یا میزان خزش سرور شماست.
خزش بیشتر به معنی رتبه بندی بهتر نیست، اما اگر صفحات شما کرال و ایندکس نشده باشند، به هیچ وجه رتبه ای نخواهند داشت. اکثر افراد متخصص سئو نگرانی در مورد بودجه خزش ندارند، اما در برخی موارد باید بودجه خزش سایت خود را در نظر بگیرید. در اینجا برخی از این موارد را بررسی میکنیم.
- چه زمانی باید نگران بودجه خزش بود؟
- بررسی فعالیت خزش
- تعیین بودجه خزش
- تنظیم کراول در گوگل
- سریعتر کردن خزش در گوگل
- کندتر کردن خزش در گوگل
چه زمانی باید نگران بودجه خزش بود؟
معمولاً نباید نگران بودجه خزش در صفحات پرطرفدار و محبوب باشید. معمولاً صفحات جدیدتری که به خوبی بهم لینک نشده اند یا تغییر چندانی ندارند اغلب کراول نمیشوند.
سایتهای جدیدتر باید نگران بودجه خزش خود باشند، به ویژه سایتهایی که صفحات زیادی دارند. ممکن است سرور شما بتواند خزش بیشتری را پشتیبانی کند، اما از آنجا که سایتتان جدید است و احتمالاً هنوز از محبوبیت بالایی برخوردار نیست، ممکن است موتور جستجو تمایل چندانی به خزش سایت شما نداشته باشد. به همین دلیل باید انتظاراتتان را کم کنید.
قطعا شما تمایل دارید صفحاتتان کراول و ایندکس شوند، اما گوگل نمیداند که آیا صفحات شما ارزش ایندکس دارد یا خیر و ممکن است مایل نباشد به تعداد صفحاتی که دارید در سایت شما خزش کند.
یکی از دغدغه ها و نگرانیهای سایتهای بزرگ با میلیونها صفحه و یا سایتهایی که روزانه به روز میشوند همین بودجه خزش است. به طور کلی، اگر تعداد زیادی از صفحات شما به اندازه ای که میخواهید خزیده یا به روز نمیشوند، ممکن است بخواهید سرعت خزش را بررسی کنید. در مورد نحوه چگونگی انجام این کار در ادامه این مقاله صحبت خواهیم کرد.
نحوه بررسی فعالیت خزش
اگر میخواهید نحوه فعالیت خزش در گوگل و یا هر گونه مشکلی که در این رابطه شناسایی شده را بررسی و مشاهده کنید، بهترین مکان برای دیدن چنین گزارشاتی Crawl Stats در گوگل سرچ کنسول است.
گزارشات مختلفی در اینجا وجود دارد که به شما کمک میکند هر گونه تغییر در رفتار خزش و مشکلات مربوط به آن را شناسایی کرده و اطلاعات بیشتری در مورد نحوه خزش گوگل از سایت شما در اختیارتان قرار بگیرد. قطعاً میخواهید هر وضعیت خزشی که علامت گذاری شده را مشاهده کنید؛ مانند مواردی که در اینجا به آن اشاره میکنیم:
در این قسمت همچنین میتوانید زمان بندی آخرین زمان خزش صفحات خود را نیز مشاهده کنید.
اگر میخواهید بازدیدهای مربوط به تمامی رباتها و کاربران را مشاهده کنید، باید به فایلهای ورود خود دسترسی داشته باشید. بسته به نوع هاست و روش نصب و راه اندازی، ممکن است به ابزارهایی مانند: Awstats و Webalizer نیاز داشته باشید، همانطور که اینجا در هاست مشترک با cPanel میتوانید این مورد را مشاهده کنید. این ابزارها برخی از داده های جمع آوری شده از فایلهای گزارشات شما را نشان میدهند.
برای تنظیمات پیچیده تر، باید به پرونده های خام گزارش دسترسی داشته و آنها را ذخیره کنید، احتمالاً هم باید از منابع متعدد استفاده کنید. همچنین ممکن است برای پروژه های بزرگتر به ابزارهای تخصصی تری چون ELK (elasticsearch, logstash, kibana) نیاز داشته باشید که امکان ذخیره، پردازش و تجسم فایل های log را برای شما فراهم میکند. ابزارهایی برای تجزیه و تحلیل ورود به سیستم هم وجود دارند؛ مانند: Splunk
نحوه تعیین بودجه خزش
همه آدرسهای اینترنتی (URLs) و درخواستها در بودجه خزش شما محاسبه میشوند که شامل آدرسهای جایگزینی مانند: صفحات AMP یا m-dot ، hreflang ، CSS و جاوا اسکریپت، از جمله درخواستهای XHR است.
این آدرسها ممکن است با خزش و تجزیه و تحلیل صفحات یا از منابع مختلف دیگر از جمله نقشه سایت ، فیدهای RSS ، ارسال آدرسها برای ایندکس در سرچ کنسول گوگل یا استفاده از ایندکس API یافت شوند. همچنین گوگل چندین ربات دارد که بودجه خزش را به اشتراک میگذارند. در گزارش Crawl Stats در GSC میتوانید لیستی از Googlebots های مختلف که وب سایت شما را خزیده اند، بیابید.
نحوه تنظیم خزش در گوگل
هر وب سایت دارای بودجه خزش متفاوتی است که از چند ورودی مختلف تشکیل شده است.
-
تقاضای خزش
تقاضای خزش نشان میدهد که گوگل چقدر میخواهد در وب سایت شما خزش کند. صفحات پرطرفدار و پربازدید که تغییرات قابل توجهی را تجربه میکنند، بیشتر خزیده خواهند شد.
صفحات پرطرفدار و محبوب که بیشتر به آنها لینک میشوند عموماً بر صفحات دیگر اولویت خواهند داشت. به یاد داشته باشید که گوگل باید صفحات شما را برای خزش به نحوی اولویت بندی کند که این لینکها و پیوندها بتواند یک راه آسان برای تعیین محبوبیت بیشتر صفحات وب سایت شما باشد. این موضوع تنها شامل سایت نمیشود؛ بلکه، شامل تمامی صفحات در سایتهای اینترنتی میباشد که گوگل باید نحوه اولویت بندی آنها را پیدا کند.
میتوانید از گزارش Best by links در سایت ahref به عنوان نشانه ای از صفحاتی که به احتمال زیاد بیشتر خزیده میشوند، استفاده کنید. یا حتی زمانی که ابزار Ahrefs آخرین بار صفحات شما را خزیده نشان میدهد.
همچنین مفهومی از خرابی و عدم اعتبار وجود دارد. اگر گوگل متوجه شود که صفحهای تغییر نمیکند، آن صفحه را کمتر میخزد. به عنوان مثال، اگر صفحه ای خزیده شد و بعد از یک روز تغییری مشاهده نشد، ممکن است سه روز قبل از خزیدن مجدد، خزش دفعه بعدی 10 روز، 30 روز ،حتی 100 روز نیز بطول بینجامد. اما با گذشت زمان کمتر و کمتر میشود. با این حال، اگر گوگل تغییرات بزرگی را در کل سایت یا حرکت سایت مشاهده کند، معمولاً نرخ خزیدن آنها را حداقل به طور موقت افزایش میدهد.
ابزار محدودیت نرخ خرش
ابزار محدودیت نرخ خزش میزانی را نشان میدهد که وب سایت شما از خزش پشتیبانی میکند. هر وب سایتی مقدار مشخصی از خزش را دارد که میتوانند قبل از بروز مشکلاتی چون کندی یا خطا در قسمت پایداری سرور آن را کنترل کنند.
اگر خزنده ها با وجود مشکلاتی چون کندی یا خطا در سرور شروع به خزش کنند، پشتیبانی وب سایت در صورت مشاهده آنها را از سایت خود خارج میکند تا به سایت آسیبی نرساند. گوگل بر اساس وضعیت خزش سایت تنظیم شده است. اگر برای سایت، خزیدن بیشتر خوب باشد، این محدودیتها افزایش مییابد. اگر سایت دچار مشکل شده باشد، گوگل سرعت خزیدن آنها را کاهش میدهد.
نحوه خزش سریع تر در گوگل
چند کار میتوانید انجام دهید تا مطمئن شوید سایت شما میتواند خزش بیشتر را پشتیبانی کرده و تقاضای خزش سایت شما را افزایش دهد. در این قسمت برخی از این گزینه ها را بررسی میکنیم.
-
افزایش سرعت سرور و منابع آن
روشی که گوگل صفحات را میخزد به این گونه است که منابع را دانلود کرده و سپس در انتها آنها را پردازش میکند. به عنوان یک کاربر این را میفهمد که سرعت صفحه شما یکسان نیست. آنچه بر بودجه خزش تأثیر میگذارد این است که گوگل چگونه میتواند منابعی را به سرعت به هم وصل و دانلود کند که بیشتر به سرور و منابع آن مرتبط باشد.
-
لینکهای بیشتر، لینک داخلی و خارجی
به یاد داشته باشید که تقاضای خزش عموماً بر اساس میزان محبوبیت یا تعداد لینک‌هاست. با افزایش میزان لینکهای خارجی و یا لینکهای داخلی میتوانید بودجه خزش خود را افزایش دهید. از آنجایی که لینکهای داخلی قابل کنترل هستند بنابراین افزایش میزان آنها آسان تر است. لینکهای داخلی پیشنهادی را میتوانید در قسمت Link Opportunities در Site Audit سایت ahref پیدا کنید، که آموزش نحوه عملکرد آنها نیز توضیح داده شده است.
-
رفع لینک های شکسته و لینک های ریدایرکتی
لینکهای شکسته و با لینک های ریدایرکت شده در سایت شما تأثیر کمی بر بودجه خزش خواهد داشت. به طور معمول، صفحات لینک داده شده در این قسمت دارای اولویت نسبتاً کمی هستند زیرا احتمالاً مدتی است که تغییر نکردهاند، اما تشخیص هر گونه مشکلی به طور کلی برای نگهداری وب سایت خوب است و به بودجه خزش کمی کمک میکند.
لینکهای شکسته (4XX) و ریدایرکت‌ها (3XX) می توانید در سایت خود به راحتی در قسمت گزارش صفحات داخلی ahref در Site Audit بیابید.
-
تا جایی که می توانید از GET به جای POST استفاده کنید
این مورد کمی فنی تر است زیرا شامل روشهای درخواست HTTP است. از درخواستهای POST در جایی که درخواست GET کار میکند استفاده نکنید. اساساً GET (pull) در مقابل POST (push) قرار دارد. درخواستهای POST ذخیره نمیشوند بنابراین بر بودجه خزش تأثیر میگذارند، اما درخواستهای GET میتوانند ذخیره شوند.
-
از Indexing API استفاده کنید
اگر نیاز دارید که صفحاتتان سریعتر خزش شوند، بررسی کنید که آیا واجد شرایط API یا ایندکس گوگل هستید یا خیر. در حال حاضر این مورد تنها برای موارد معدودی چون آگهی های شغلی یا فیلمهای لایو در دسترس است. بینگ همچنین دارای یک API نمایه سازی است که برای هرکسی در دسترس است.
مشکل کار کجاست؟
چند مورد وجود دارد که بعضی اوقات افراد تلاش میکنند تا از طریق آن بودجه خزش را کاهش دهند اما موفق نمیشوند:
- تغییرات کوچک در سایت: ایجاد تغییرات کوچک در صفحات مانند به روزرسانی تاریخها، فاصلهها یا علائم نگارشی به امید خزش بیشتر در صفحات. گوگل در تعیین اینکه آیا این تغییرات قابل توجه و بزرگ هستند یا خیر بسیار خوب عمل میکند، بنابراین تغییرات کوچک هیچ تاثیری در خزش ندارند.
- دستورالعمل تاخیر خزش در txt. این دستورالعمل سرعت بسیاری از ربات ها را کند میکند. با این حال گوگل بات از آن استفاده نمیکند بنابراین تاثیری نخواهد داشت. اگرچه ما در Ahrefs برای این موضوع احترام قائلیم، بنابراین اگر همچنان نیاز به کاهش سرعت خزش دارید میتوانید تأخیر خزش را به فایل robots.txt خود اضافه کنید.
- حذف اسکریپتهای شخص ثالث: اسکریپتهای شخص ثالث جزو بودجه خزش محسوب نمیشود، بنابراین حذف آنها کمکی نخواهد کرد.
- لینک نوفالو: این لینک کمی مبهم است. در گذشته لینکها یا پیوندهای نوفالو از بودجه خزش استفاده نمیکردند. با این حال نوفالو اکنون به عنوان یک راهنما تلقی میشود، بنابراین گوگل ممکن است در خزش این پیوندها را نیز انتخاب کند.
نحوه کندتر کردن خزش در گوگل
تنها چند راه مناسب وجود دارد که باعث کند شدن سرعت جستجوی گوگل شود. تنظیمات دیگری وجود دارد که میتوانید با استفاده از آنها خزش گوگل در سایت خود را کندتر کنید، اما اینها روشهایی نیستند که من به شخصه توصیه کنم.
کندکردن خزش با تضمین کندی آن
کنترل اصلی که گوگل در اختیار ما قرار میدهد تا کندتر حرکت کنیم این است که یک ابزار محدود کننده نرخ در کنسول جستجوی گوگل تعبیه کرده است. میتوانید سرعت خزش را با این ابزار کاهش دهید، اما تا دو روز طول میکشد تا تأثیر آن را ببینید.
سریع تر کردن خزش همراه با ریسک
اگر به راهکار سریعتری نیاز دارید، میتوانید از تنظیمات سرعت خزش گوگل مربوط به سلامت سایت خود استفاده کنید. اگر به گوگل بات یک کد “503 Service Unavailable” یا “429 Too Many Requests” در صفحات ارائه دهید، آنها کندتر شروع به خزش میکنند یا ممکن است به طور موقت خزیدن را متوقف کنند. اما اگر این کار را بیش از چند روز انجام دهید، ممکن است صفحات شما از فهرست ایندکس خارج شوند.
نتیجه نهایی
باز هم تأکید میکنم که بودجه خزش چیزی نیست که جای نگرانی داشته باشد. اگر نگرانی دارید، امیدوارم این راهنما مفید واقع شده باشد. فقط زمانی به این موضوع توجه کنید که صفحات شما خزیده یا ایندکس نشده باشند.
آژانس سئودو با تیمی متخصص آماده قبول انواع سفارش سئو است.
مشاهده هزینه سئو
- عالی