هر بار که گوگلبات به سایت شما سر میزند، پیش از هر کار دیگری سراغ یک فایل متنی ساده در ریشهٔ دامنه میرود. همان فایل تعیین میکند خزنده اجازه دارد کدام مسیرها را بخواند و کدام را نه. یک خط اشتباه در این فایل میتواند کل سایت را از دید گوگل پنهان کند، و یک برداشت غلط رایج باعث میشود مدیران سایت خیال کنند صفحهای را از نتایج حذف کردهاند در حالی که آن صفحه هنوز آنجاست. در این راهنما دقیقا میبینیم گوگل کدام دستورها را واقعا میفهمد، قانون اولویت بین Allow و Disallow چیست، تست درست در سال ۲۰۲۶ چطور انجام میشود و کدام اشتباهها بیشترین آسیب را میزنند.
فایل robots.txt چیست و دقیقا چه کاری میکند؟
فایل robots.txt یک فایل متنی ساده در ریشهٔ دامنه است که به خزندههای موتور جستوجو میگوید اجازهٔ درخواست کدام مسیرهای سایت را دارند. کارکرد اصلی آن مدیریت بار درخواست روی سرور است، نه پنهانکردن محتوا. گوگل در مستندات رسمی خود تصریح میکند که این فایل «سازوکاری برای بیرون نگهداشتن یک صفحه از گوگل نیست».
این تمایز، مهمترین چیزی است که باید از این مقاله بردارید. robots.txt دربارهٔ خزش تصمیم میگیرد نه دربارهٔ ایندکس. خزش یعنی خواندن محتوای صفحه توسط ربات، و ایندکس یعنی ثبت آن صفحه در فهرست گوگل. وقتی مسیری را Disallow میکنید، فقط گفتهاید «این آدرس را نخوان»؛ نگفتهاید «این آدرس را نشان نده». تفاوت این دو در بخشهای بعدی به یک اشتباه پرهزینه تبدیل میشود.
کاربرد واقعی و درست این فایل جایی است که سایت شما مسیرهای بیارزشی دارد که خزنده وقت و منابع سرور را صرف آنها میکند: صفحات فیلتر و مرتبسازی فروشگاه، نتایج جستوجوی داخلی، مسیرهای مدیریتی و آدرسهای تکراری با پارامتر. بستن اینها باعث میشود سهم خزش سایت به صفحات مهم برسد. اگر سایتتان بزرگ است، پیشنهاد میکنم قبل از دستزدن به این فایل، مفهوم بودجهٔ خزش را بشناسید چون تنظیم درست robots.txt دقیقا از همانجا معنا پیدا میکند.
یک نکتهٔ حقوقی هم هست که کمتر گفته میشود: robots.txt یک قرارداد داوطلبانه است نه قفل. موتورهای جستوجوی معتبر به آن احترام میگذارند، ولی رباتهای مخرب و اسکرپرها میتوانند کاملا نادیدهاش بگیرند. برای محتوایی که واقعا نباید دیده شود، رمز عبور یا محدودیت سطح سرور تنها راه مطمئن است.
فایل robots.txt کجاست و چطور آن را ببینیم؟
این فایل همیشه باید دقیقا در ریشهٔ دامنه و با نام کاملا کوچک قرار بگیرد، یعنی example.com/robots.txt. برای دیدن robots.txt هر سایتی کافی است همین مسیر را در مرورگر باز کنید. اگر فایل را در زیرپوشه بگذارید، هیچ خزندهای آن را پیدا نمیکند و عملا وجود ندارد.
قانونی که تقریبا هیچ راهنمای فارسی به آن اشاره نمیکند این است: قوانین هر فایل robots.txt فقط روی همان میزبان، همان پروتکل و همان پورت اعمال میشود. یعنی فایل https://example.com/robots.txt هیچ حکمی برای http://example.com/، برای زیردامنهٔ https://blog.example.com/ و برای https://example.com:8181/ ندارد. این یعنی اگر بلاگ شما روی زیردامنه است، به یک فایل robots.txt جداگانه نیاز دارد.
نکتهٔ دوم اینکه نام فایل به بزرگی و کوچکی حروف حساس است. Robots.txt یا ROBOTS.TXT کار نمیکند و باید همهچیز کوچک نوشته شود. مسیرهای داخل فایل هم به همین شکل حساساند: دستور Disallow: /File.php روی /file.php اثری ندارد.
یک محدودیت فنی هم وجود دارد که برای سایتهای بزرگ اهمیت پیدا میکند. گوگل حداکثر ۵۰۰ کیبیبایت از این فایل را میخواند و هر چیزی بعد از آن حجم را کاملا نادیده میگیرد. اگر فایل شما بهخاطر صدها خط Disallow متورم شده، خطوط پایانی احتمالا اصلا خوانده نمیشوند.
دستورات robots.txt؛ گوگل کدامها را واقعا پشتیبانی میکند؟
گوگل فقط چهار دستور را میفهمد: user-agent، disallow، allow و sitemap. دستورهای محبوبی مثل crawl-delay و noindex که هنوز در بسیاری از آموزشهای فارسی بهعنوان دستور معتبر معرفی میشوند، توسط گوگل پشتیبانی نمیشوند و نوشتنشان فقط شما را به یک امنیت خیالی میرساند.
ماجرای noindex در robots.txt از این قرار است که گوگل هرگز رسما از آن پشتیبانی نمیکرد ولی در عمل تا حدی به آن عمل میکرد. در اول سپتامبر ۲۰۱۹ پشتیبانی غیررسمی هم بهطور کامل قطع شد. یعنی اگر امروز در robots.txt خط Noindex: /private/ نوشته باشید، آن خط صرفا نادیده گرفته میشود و صفحه همچنان قابل ایندکس است. جدول زیر وضعیت واقعی هر دستور را نشان میدهد.
| دستور | کارش چیست | وضعیت در گوگل | نکتهٔ مهم |
|---|---|---|---|
User-agent | مشخص میکند قوانین بعدی برای کدام خزنده است | پشتیبانی میشود | هر خزنده فقط دقیقترین گروه مربوط به خودش را میخواند، نه همهٔ گروهها |
Disallow | مسیری که خزنده نباید درخواست کند | پشتیبانی میشود | مقدار خالی یعنی هیچ محدودیتی نیست |
Allow | استثنا کردن یک مسیر از داخل مسیر بستهشده | پشتیبانی میشود | برای بازکردن یک فایل داخل پوشهٔ Disallow شده |
Sitemap | آدرس کامل نقشهٔ سایت | پشتیبانی میشود | باید آدرس مطلق باشد و تنها دستوری است که الگوی * نمیگیرد |
Crawl-delay | فاصلهٔ زمانی بین درخواستهای خزنده | پشتیبانی نمیشود | بینگ به آن عمل میکند؛ برای گوگل باید نرخ خزش را از سرچ کنسول تنظیم کنید |
Noindex | جلوگیری از ایندکس شدن | پشتیبانی نمیشود (از سپتامبر ۲۰۱۹) | راه درست، متا تگ noindex داخل خود صفحه است |
Host | تعیین دامنهٔ اصلی | پشتیبانی نمیشود | برای این کار از تگ کنونیکال استفاده کنید |
دربارهٔ دستور Sitemap یک نکتهٔ عملی وجود دارد: این خط مستقل از گروههای user-agent است و میتواند هر جای فایل بیاید. اضافهکردنش کار سختی نیست ولی به کشف سریعتر صفحات کمک میکند، بهخصوص برای سایتهای تازه. اگر هنوز نقشهٔ سایت ندارید، ساختن آن مقدم بر بهینهسازی robots.txt است.
الگوهای * و $ و قانون اولویت بین Allow و Disallow
ستاره یعنی «هر تعداد کاراکتر دلخواه» و علامت دلار یعنی «پایان آدرس». وقتی یک آدرس هم با Allow و هم با Disallow مطابقت داشته باشد، گوگل قانون مشخصی دارد: دستوری برنده است که مسیر طولانیتر و دقیقتری دارد، و اگر طول دو دستور برابر بود، دستور کممحدودکنندهتر یعنی Allow اجرا میشود.
این قانون اولویت جایی است که بیشتر تنظیمهای اشتباه از آن میآید. مثال زیر را ببینید:
# قانون اولویت: مسیر دقیقتر برنده است
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# الگوی ستاره: هر آدرسی که پارامتر دارد
Disallow: /*?
# الگوی دلار: فقط آدرسهایی که به pdf ختم میشوند
Disallow: /*.pdf$
# باز گذاشتن فایلهای ظاهری سایت
Allow: /*.css
Allow: /*.js
Sitemap: https://example.com/sitemap_index.xmlدر این نمونه، آدرس /wp-admin/admin-ajax.php با هر دو خط مطابقت دارد ولی چون مسیر Allow طولانیتر است، فایل باز میماند. این دقیقا الگویی است که وردپرس بهصورت پیشفرض تولید میکند و درست است.
به دو خط آخر قبل از سایتمپ دقت کنید. نوشتن Allow: /*.css با ستاره درست است، ولی نوشتن Allow: /.css بدون ستاره یک خطای بیصداست: این الگو فقط آدرسی را مطابقت میدهد که واقعا با /.css شروع شود، یعنی عملا هیچ فایلی. چنین خطی نه خطا میدهد نه هشدار، فقط بیاثر است. وقتی برای همین مقاله فایل robots.txt خود سئودو را بازبینی کردیم، دقیقا همین دو خط را با همین ایراد پیدا کردیم؛ نمونهای از اینکه چرا این فایل باید دورهای بازبینی شود نه یکبار برای همیشه.
تفاوت حیاتی Disallow با noindex؛ چرا صفحهٔ بستهشده باز هم در گوگل دیده میشود
گوگل تصریح میکند صفحهای که در robots.txt بسته شده، اگر سایت دیگری به آن لینک بدهد همچنان میتواند ایندکس شود. در این حالت آدرس صفحه در نتایج ظاهر میشود ولی بدون توضیحات، چون گوگل اجازهٔ خواندن محتوایش را نداشته است. یعنی Disallow نهتنها صفحه را حذف نمیکند، بلکه ظاهر بدتری هم میسازد.
اینجا یک تلهٔ منطقی وجود دارد که خیلیها در آن میافتند. فرض کنید صفحهای دارید که نمیخواهید در گوگل باشد. متا تگ noindex را داخل صفحه میگذارید و برای اطمینان بیشتر همان مسیر را در robots.txt هم Disallow میکنید. نتیجه دقیقا برعکس انتظار است: چون گوگل اجازهٔ خواندن صفحه را ندارد، هرگز آن متا تگ noindex را نمیبیند و دستور حذف را دریافت نمیکند. صفحه در فهرست باقی میماند.
قاعدهٔ درست این است: برای اینکه صفحهای از نتایج بیرون برود، باید مسیرش باز باشد تا گوگل بتواند تگ نو ایندکس را بخواند و اجرا کند. بعد از اینکه صفحه از فهرست خارج شد، در صورت نیاز میتوانید مسیر را ببندید. برای درک بهتر رابطهٔ خزش و فهرستشدن، مقالهٔ ایندکس چیست این چرخه را کامل توضیح میدهد.
یک نتیجهٔ فرعی مهم هم دارد: بستن مسیر در robots.txt باعث میشود گوگل تگ کنونیکال داخل آن صفحه را هم نبیند. پس برای مدیریت محتوای تکراری هرگز به Disallow تکیه نکنید و بهجای آن از تگ کنونیکال استفاده کنید که ابزار مخصوص همین کار است.
robots.txt، متا ربات و X-Robots-Tag؛ کدام را کجا به کار ببریم؟
سه ابزار متفاوت برای کنترل رفتار موتور جستوجو وجود دارد و هرکدام لایهٔ خودشان را دارند. robots.txt جلوی درخواست را میگیرد، متا تگ ربات جلوی نمایش در نتایج را میگیرد، و X-Robots-Tag همان کار متا تگ را برای فایلهایی انجام میدهد که اصلا HTML نیستند. انتخاب اشتباه بین این سه، ریشهٔ بیشتر مشکلات ایندکس است.
مورد سوم جایی است که تقریبا همهٔ راهنماهای فارسی ساکت میمانند. فرض کنید دهها فایل PDF دارید که نمیخواهید در گوگل باشند. داخل فایل PDF نمیتوانید متا تگ بگذارید و بستنشان در robots.txt هم مشکل را حل نمیکند چون همان تلهٔ آشنا تکرار میشود. راهحل، ارسال هدر X-Robots-Tag: noindex از سمت سرور است که دقیقا برای همین ساخته شده.
| ابزار | کجا نوشته میشود | چه چیزی را کنترل میکند | بهترین کاربرد |
|---|---|---|---|
robots.txt | فایل متنی در ریشهٔ دامنه | خزش، یعنی درخواستشدن یا نشدن آدرس | مسیرهای بیارزش و پرمصرف مثل فیلترها و جستوجوی داخلی |
| متا تگ ربات | بخش head خود صفحهٔ HTML | ایندکس و نمایش در نتایج | حذف یک صفحهٔ مشخص از نتایج جستوجو |
X-Robots-Tag | هدر پاسخ سرور | ایندکس، برای هر نوع فایلی | فایلهای غیر HTML مثل PDF، تصویر و ویدیو |
قاعدهٔ ساده برای انتخاب: اگر مشکل شما «گوگل دارد منابع سرورم را هدر میدهد» است سراغ robots.txt بروید، و اگر مشکلتان «این صفحه نباید در نتایج باشد» است سراغ دو مورد دیگر. این دو جمله را با هم قاتی نکنید چون هر بار که قاتی شوند، نتیجه دقیقا برعکس چیزی میشود که انتظار داشتهاید.
robots.txt در وردپرس؛ فایل مجازی و نمونهٔ آمادهٔ درست
وردپرس بهصورت پیشفرض یک فایل robots.txt مجازی میسازد که روی هاست وجود فیزیکی ندارد و بهصورت لحظهای تولید میشود. به همین دلیل وقتی با FTP دنبالش میگردید پیدایش نمیکنید، ولی در مرورگر نمایش داده میشود. بهمحض اینکه یک فایل واقعی در ریشه بسازید، نسخهٔ مجازی کنار میرود.
سه راه برای ویرایش دارید. سادهترین راه استفاده از افزونههای سئو مثل رنک مث یا یواست است که بخش ویرایش robots.txt دارند. راه دوم ساختن فایل فیزیکی در ریشهٔ هاست با فایلمنیجر یا FTP است که کنترل کامل میدهد. راه سوم استفاده از فیلتر robots_txt در فایل قالب است که برای توسعهدهندهها مناسب است.
پیش از هر تغییری یک هشدار مهم: یک گزینه در وردپرس با عنوان «از موتورهای جستجو بخواهید سایت را ایندکس نکنند» در تنظیمات خواندن وجود دارد که اگر فعال بماند، کل سایت را از گوگل پنهان میکند. این گزینه در سایتهای تازهراهاندازیشده یکی از رایجترین دلایل ایندکسنشدن است. نمونهٔ زیر یک تنظیم سالم و محافظهکارانه برای یک سایت وردپرسی است:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
# نتایج جستوجوی داخلی، ارزش خزش ندارند
Disallow: /?s=
Disallow: /search/
# فیدها و مسیرهای تکراری
Disallow: */feed/
Disallow: */trackback/
# فایلهای ظاهری باید باز باشند تا گوگل صفحه را درست ببیند
Allow: /*.css
Allow: /*.js
Sitemap: https://example.com/sitemap_index.xmlسه نکته دربارهٔ همین نمونه. اول، پوشهٔ /wp-content/uploads/ را نبندید مگر دلیل روشنی داشته باشید، چون تصاویر شما منبع ترافیک جستوجوی تصویر هستند. دوم، اگر فروشگاه دارید صفحات سبد خرید و تسویه را ببندید ولی صفحات دستهبندی را هرگز، چون همانها صفحات پولساز شما هستند. سوم، در سایتهای ووکامرسی مسیرهای فیلتر و مرتبسازی معمولا بیشترین اتلاف خزش را میسازند و بستنشان بیشترین اثر را دارد. اگر میخواهید تنظیمات فنی سایتتان را از پایه درست بچینید، سئو وردپرس فراتر از این یک فایل است.
چطور robots.txt را در سال ۲۰۲۶ تست کنیم؟
ابزار قدیمی robots.txt Tester در سرچ کنسول بازنشسته شده و دیگر در دسترس نیست. امروز مسیر درست، گزارش robots.txt در بخش تنظیمات سرچ کنسول است که نسخهٔ خواندهشده توسط گوگل، زمان آخرین بازخوانی و خطاهای احتمالی را نشان میدهد. برای بررسی یک آدرس مشخص هم ابزار بازرسی URL جواب میدهد.
خیلی از آموزشهای فارسی هنوز کاربر را به ابزاری ارجاع میدهند که چند سال است وجود ندارد. مسیر فعلی این است: در گوگل سرچ کنسول وارد بخش Settings شوید و گزارش robots.txt را باز کنید. آنجا میبینید گوگل آخرین بار چه زمانی فایل را خوانده، محتوای همان نسخه چه بوده و آیا خطای نگارشی داشته است.
یک نکتهٔ زمانبندی هم بدانید: گوگل محتوای این فایل را معمولا تا ۲۴ ساعت کش میکند. یعنی اگر همین الان خط اشتباهی را اصلاح کنید، ممکن است تا یک روز طول بکشد تا گوگل نسخهٔ جدید را ببیند. پس بعد از تغییر، فورا نتیجهگیری نکنید.
برای بررسی یک آدرس خاص، ابزار URL Inspection صریحا میگوید آیا آن آدرس بهخاطر robots.txt مسدود شده یا نه. در گزارش Pages هم وضعیتی با عنوان «Blocked by robots.txt» وجود دارد که فهرست کامل آدرسهای مسدودشده را میدهد؛ اگر در آن فهرست صفحهای دیدید که نباید آنجا باشد، همانجا یک مشکل واقعی پیدا کردهاید. این بازبینی بخش ثابتی از هر بررسی سئو سایت است و معمولا سریعترین یافتهٔ یک ممیزی فنی محسوب میشود.
۷ اشتباه مرگبار در فایل robots.txt
خطرناکترین اشتباهها آنهایی هستند که هیچ پیام خطایی تولید نمیکنند. فایل معتبر میماند، سایت بالا میآید و همهچیز عادی بهنظر میرسد، ولی هفتهها بعد متوجه میشوید بخشی از سایت اصلا خزیده نشده است. جدول زیر هفت مورد پرتکرار را با پیامد و راه درستشان فهرست میکند.
| اشتباه | چه اتفاقی میافتد | راه درست |
|---|---|---|
Disallow: / جامانده از محیط تست | کل سایت از خزش خارج میشود؛ ویرانگرترین حالت ممکن | بعد از انتقال سایت به محیط اصلی، اولین کاری که میکنید بازبینی این فایل باشد |
| بستن مسیر برای حذف صفحه از گوگل | گوگل تگ noindex را نمیبیند و صفحه بدون توضیحات در نتایج میماند | مسیر را باز بگذارید و از متا تگ noindex استفاده کنید |
| بستن فایلهای CSS و JS | گوگل صفحه را ناقص رندر میکند و ارزیابی موبایلفرندلی خراب میشود | این فایلها را باز بگذارید یا صریحا Allow کنید |
جاافتادن ستاره در الگو (مثل /.css بهجای /*.css) | خط بیاثر میشود بدون هیچ هشداری | هر الگوی پسوندی را با /*. شروع کنید |
| نوشتن آدرس نسبی برای Sitemap | خط نادیده گرفته میشود | همیشه آدرس کامل با https بنویسید |
| تکیه بر robots.txt برای پنهانکردن اطلاعات حساس | فایل عمومی است و عملا نقشهٔ راه مسیرهای حساس را لو میدهد | از رمز عبور یا محدودیت سطح سرور استفاده کنید |
| بستن مسیر صفحات دستهبندی فروشگاه | صفحات پولساز از چرخهٔ خزش خارج میشوند | فقط پارامترهای فیلتر و مرتبسازی را ببندید نه خود دستهبندی |
اگر بخواهم از میان این هفت مورد یکی را برجسته کنم، همان مورد اول است. سایتی که در محیط توسعه با Disallow: / بسته شده و بدون بازبینی منتقل شده، ممکن است ماهها بدون هیچ کلیکی بماند در حالی که تیم محتوا مرتب مقاله منتشر میکند. بازبینی این یک خط، پنج ثانیه وقت میبرد. جای این بررسی در چک لیست سئو تکنیکال همیشه در ردیفهای اول است.
اگر فایل نباشد یا سرور خطا بدهد، گوگل چه میکند؟
نبود فایل robots.txt خطا نیست. اگر سرور خطای ۴۰۴ برگرداند، گوگل فرض میکند هیچ محدودیتی وجود ندارد و کل سایت را آزادانه میخزد. اما خطای ۵xx داستان کاملا متفاوتی دارد و میتواند خزش سایت را متوقف کند.
رفتار گوگل در برابر پاسخهای مختلف سرور دقیقا مستند شده است. در برابر خطاهای دستهٔ ۴xx، بهجز کد ۴۲۹، گوگل چنین رفتار میکند که انگار فایلی وجود ندارد و خزش بدون محدودیت ادامه مییابد. اما در برابر خطاهای دستهٔ ۵xx یعنی خطای سرور، گوگل خزش سایت را تا حدود ۱۲ ساعت متوقف میکند و در این مدت از نسخهٔ کششدهٔ قبلی استفاده میکند؛ این نسخهٔ کششده تا ۳۰ روز معتبر میماند.
پیامد عملی این قانون را کمتر کسی جدی میگیرد: اگر سرور شما ناپایدار است و مسیر robots.txt گاهی خطای ۵۰۳ میدهد، ممکن است بدون اینکه هیچ تغییری در محتوا داده باشید، خزش سایتتان بهشدت کند شود. پس در دسترس بودن این یک آدرس باید همانقدر جدی گرفته شود که در دسترس بودن صفحهٔ اصلی.
robots.txt و خزندههای هوش مصنوعی
همان فایلی که دسترسی گوگلبات را تعیین میکند، امروز تعیین میکند سایت شما در پاسخهای ChatGPT و Perplexity دیده شود یا نه. تفاوت مهم این است که این سرویسها چند خزندهٔ جداگانه با کارکردهای متفاوت دارند و بستن نابهجای یکی از آنها میتواند شما را از فهرست منابع حذف کند.
خلاصهٔ ماجرا این است که خزندهٔ آموزش مدل با خزندهٔ جستوجو یکی نیست. مثلا در اوپنایآی، GPTBot برای آموزش مدل است و بستنش اثری بر دیدهشدن شما ندارد، ولی OAI-SearchBot مسئول فهرست جستوجوی ChatGPT است و بستن آن یعنی حذف از منابع. چون این بحث لایهٔ جداگانهای دارد، بهطور کامل در راهنمای خزندههای هوش مصنوعی و llms.txt بررسی شده است.
نکتهٔ کاربردی برای اکثر کسبوکارها ساده است: اگر هدفتان دیدهشدن و جذب مشتری است، بهترین تنظیم معمولا دستنزدن به این بخش است. باز بودن پیشفرض دقیقا چیزی است که میخواهید.
جمعبندی
فایل robots.txt ابزار مدیریت خزش است نه ابزار پنهانکردن محتوا، و همین یک جمله ریشهٔ بیشتر اشتباههای رایج را میخشکاند. گوگل تنها چهار دستور را میفهمد و هر چیز دیگری که در آموزشهای قدیمی دیدهاید صرفا نادیده گرفته میشود. اگر میخواهید صفحهای از نتایج بیرون برود مسیرش را باز بگذارید تا گوگل تگ noindex را ببیند، فایلهای ظاهری سایت را هرگز نبندید، الگوهایتان را با ستاره بنویسید و بعد از هر تغییر، گزارش robots.txt سرچ کنسول را چک کنید. این فایل چند خط بیشتر نیست ولی از معدود جاهایی در سئو است که یک خط اشتباه میتواند نتیجهٔ ماهها کار را صفر کند.
سوالات متداول
آیا داشتن فایل robots.txt اجباری است؟+
خیر. اگر این فایل وجود نداشته باشد و سرور کد ۴۰۴ برگرداند، گوگل فرض میکند محدودیتی نیست و کل سایت را میخزد. برای سایتهای کوچک این وضعیت کاملا سالم است. داشتن فایل وقتی ارزش پیدا میکند که بخواهید مسیر مشخصی را ببندید یا آدرس نقشهٔ سایت را اعلام کنید.
با Disallow میتوانم صفحهای را از نتایج گوگل حذف کنم؟+
خیر و این رایجترین سوءتفاهم دربارهٔ این فایل است. گوگل تصریح میکند صفحهٔ بستهشده اگر از جای دیگری لینک بگیرد همچنان ایندکس میشود، فقط بدون توضیحات نمایش داده میشود. برای حذف واقعی باید مسیر باز باشد تا گوگل متا تگ noindex را بخواند.
دستور Crawl-delay روی گوگل اثر دارد؟+
خیر. گوگل این دستور را پشتیبانی نمیکند و آن را نادیده میگیرد، هرچند بینگ به آن عمل میکند. اگر خزش گوگل به سرور شما فشار میآورد، باید نرخ خزش را از طریق سرچ کنسول مدیریت کنید یا مشکل سرعت سرور را حل کنید.
چرا فایل robots.txt سایت وردپرسیام روی هاست پیدا نمیشود؟+
چون وردپرس بهصورت پیشفرض یک نسخهٔ مجازی میسازد که فایل فیزیکی روی هاست ندارد و لحظهای تولید میشود. میتوانید از طریق افزونهٔ سئو ویرایشش کنید یا یک فایل واقعی در ریشه بسازید که در آن صورت نسخهٔ مجازی کنار میرود.
بعد از اصلاح فایل، چقدر طول میکشد گوگل تغییر را ببیند؟+
گوگل معمولا محتوای این فایل را تا ۲۴ ساعت کش میکند، پس تغییرات فورا اعمال نمیشوند. در گزارش robots.txt سرچ کنسول میتوانید ببینید آخرین بازخوانی چه زمانی بوده و در صورت نیاز درخواست بازخوانی بدهید.
آیا زیردامنه به فایل robots.txt جداگانه نیاز دارد؟+
بله. قوانین هر فایل فقط روی همان میزبان، پروتکل و پورت اعمال میشود. فایل دامنهٔ اصلی هیچ حکمی برای زیردامنه ندارد، پس اگر بلاگ یا فروشگاهتان روی زیردامنه است باید فایل مستقل خودش را داشته باشد.
منابع
