موتورهای جستجو مانند گوگل معمولا با مشکلی با نام محتوای تکراری1 مواجه هستند. محتواهای تکراری به این معناست که در سایت شما دو یا چند محتوای یکسان اما با URLهای مختلف وجود دارند. با وجود چنین محتواهای تکراری در سایت موتورهای جستجو سردرگم می‌شوند و نمی‌دانند که کدام یک را در صفحه نتایج جستجو نشان دهند. این مشکل می‌تواند به رتبه‌گیری و سئو این صفحات لطمه وارد کند. به علاوه وقتی که افراد مختلف شروع به لینک دادن به انواع مختلف این مطالب شبیه به هم کنند مشکلات بیشتر هم می‌شود.
این مقاله به شما کمک خواهد کرد که دلایل ایجاد شدن مطالب تکراری در سایت را شناسایی کنید و نحوه حل انواع این مشکل را نیز فرا بگیرید. با ما همراه باشید.
محتوای تکراری چیست؟
محتوای تکراری محتوایی است که در سایت شما در جاهای مختلف (با لینک‌های مختلف) وجود دارد. به دلیل وجود لینک‌های مختلف برای مطالب یکسان، موتورهای جستجو نمی‌توانند تشخیص دهند کدام‌یک را بالاتر از دیگری در موتورهای جستجو قرار دهند. بنابراین ممکن است رتبه هر دو را کاهش دهند و سایت‌های دیگر را بالاتر قرار دهند.
در این مقاله بیشتر بر دلایل فنی و تکنیکی ایجاد محتوای تکراری در سایت و حل این مشکلات تمرکز خواهیم کرد.
نمونه ای محتوای تکراری
بیایید با یک مثال موضوع محتوای تکراری را روشن‌تر کنیم.
تصور کنید که در یک جاده در حال رانندگی هستید و قصد سفر به یک شهر خاص را دارید. اگر تابلوهای جاده دو مسیر مختلف و متضاد را به همان شهر نشان دهند چه اتفاقی می‌افتد؟ کدام مسیر را باید رفت؟ در این حالت حتما سردرگم خواهید شد.
در مورد محتوای تکراری هم همین مشکل وجود دارد.
شاید برای کاربران خیلی فرقی نکند که از کدام محتوا (بین چند محتوای یکسان) دیدن کنند. چون این محتواها یکسان هستند برای کاربران مهم نیست که با چه لینکی منتشر شده‌اند. اما این موضوع برای موتورهای جستجو مهم است. آنها باید بتوانند تشخیص دهند که کدام محتوا را در صفحه نتایج جستجو نشان دهند و قصد ندارند که دو محتوای تکراری را به مخاطبان عرضه کنند.
تصور کنید شما مطلبی در سایت خود دارید با عنوان X که در این آدرس قرار دارد:
حالا تصور کنید که این مطلب در جایی دیگر از سایت شما با این لینک نیز وجود دارد:
شاید فکر کنید این یک موقعیت خیالی است اما واقعیت این است که این اتفاق در بسیاری از وب‌سایت‌ها اتفاق می‌افتد. حالا در نظر بگیرید که برخی از بلاگرها و یا وبمسترها به مطلب اول شما لینک بدهند و برخی نیز به مطلب دوم. اینجاست که مشکل موتورهای جستجو یا بهتر بگوییم مشکل شما بیشتر می‌شود.
محتوای تکراری مشکل شماست به این دلیل که این بک لینک‌ها هر دو باعث اعتباربخشی به هر دو محتوای شما می‌شوند و به این ترتیب موتورهای جستجو نمی‌دانند کدام‌یک مد نظر شماست. اما اگر همگی به یکی از این مطالب لینک دهند شانس شما برای رتبه‌گیری این صفحه بیشتر خواهد شد.
دلایل ایجاد محتوای تکراری
دلایل متعددی وجود دارند که باعث ایجاد محتوای تکراری در سایت شما می‌شوند. از آنجا که هیچ شخصی آگاهانه چند محتوای مشابه را بدون اینکه مشخص کند کدام یک محتوای اصلی است، در سایت قرار نمی‌دهد، به سادگی می‌توان فهمید که اغلب این دلایل فنی هستند که باعث می‌شوند محتوای تکراری در سایت ایجاد شود.
این اشکالات فنی اغلب به این خاطر اتفاق می‌افتد که توسعه‌دهندگان2 و برنامه‌نویسان وب مانند موتورهای جستجو فکر نمی‌کنند.
-
عدم درک درست از مفهوم URL
می‌توان گفت که نوعی از تفاوت در طرز نگاه توسعه‌دهندگان و موتورهای جستجو وجود دارد.
اغلب سیستم‌های مدیریت محتوا3 به گونه‌ای هستند که مقالات یکسان را در دیتابیس خود به عنوان یک مقاله ذخیره می‌کنند ولی اجازه می‌دهند این مقاله با URLهای مختلف بازیابی شود. به همین دلیل اغلب توسعه‌دهندگان به ID مقاله توجه می‌کنند و ID را به عنوان شناسنده منحصر به فرد یک مقاله می‌شناسند و به URLها توجهی ندارند. اما در مقابل از دید موتورهای جستجو، این URLها هستند که شناسنده و تمایز دهنده مقالات از هم هستند. حتما اگر این موضوع را به برنامه‌نویس سایت خود بگویید آن را درک خواهد کرد. در ضمن پس از خواندن این مقاله قادر هستید که خودتان راه‌حل درست را به برنامه‌نویس خود یاد بدهید!
-
IDهای مربوط به نشست ها4
حتما به عنوان یک وبمستر شما نیز باید امکاناتی را در اختیار کاربران خود قرار دهید.
مثلا این امکان برای آنها فراهم شود که محصولات مورد نظر خود را در سبد خرید ذخیره کنند. در این مواقع برای کاربران یک نشست یا session ایجاد می‌شود. این نشست در واقع تاریخچه مختصری از اقداماتی است که کاربران در سایت شما انجام داده‌اند مانند همان انتخاب محصولات و اضافه کردن آنها به سبد خرید که پیشتر به آن اشاره کردیم.
برای اینکه این نشست وقتی که کاربر بر روی لینک‌های مختلف در سایت شما کلیک می‌کند حفظ شود، مشخص‌کننده نشست که به آن Session ID می‌گویند، باید در جایی ذخیره شود. رایج‌ترین راه برای ذخیره این ID استفاده از کوکی‌هاست. با این حال موتورهای جستجو اغلب کوکی‌ها را ذخیره نمی‌کنند.
به همین خاطر برخی سیستم‌ها از این IDها در URL استفاده می‌کنند. بدین ترتیب ID مربوط به هر نشست به تمام لینک‌های داخلی سایت شما اضافه می‌شود و بدین ترتیب URLهای جدید اضافه می‌شود. در این حالت یک مطلب می‌تواند URLهای مختلفی به خود بگیرد و محتوای تکراری در سایت شما ایجاد شود.
-
پارامترهایی که در URL به منظور ردیابی5 و دسته‌بندی استفاده می‌شود
می‌دانید که می‌توان برای ردیابی برخی اطلاعات و آمارها پارامترهایی را به URL اضافه کرد. به عنوان مثال برای لینک زیر:
یک پارامتر در نظر گرفته‌اید تا متوجه شوید مخاطبین سایت شما از چه جاهایی وارد سایت شما شده‌اند:
در این حالت نیز با اینکه مطلب شما تفاوتی نداشته است اما شما دو URL مختلف را دارید و این خود از دلایل ایجاد محتوای تکراری در سایت است.
شاید در این حالت اطلاعات خاصی را به دست بیاورید، اما از سوی دیگر رتبه گرفتن این صفحه در موتورهای جستجو با مشکل مواجه خواهد شد.
پارامترهای دیگری هم هستند که موجب ایجاد محتوای تکراری می‌شوند.
به عنوان مثال اگر شما از پارامترهایی برای تغییر دسته‌بندی و نمایش محصولات مختلف در سایت خود استفاده کنید نیز همین اتفاق خواهد افتاد و محتوای تکراری ایجاد می‌شود.
-
کپی کردن مطالب سایت شما
گاهی ایجاد محتوای تکراری به علت خطا یا بی‌توجهی شماست.
اما گاهی نیز پیش می‌آید که مقصر این امر دیگران هستند. در برخی مواقع سایت‌های دیگر عین مطلب سایت‌تان را بدون رضایت شما کپی و منتشر می‌کنند و به سایت شما که منبع اصلی این مقاله است نیز لینک نمی‌دهند. به همین دلیل موتورهای جستجو متوجه این امر نشده و باز هم با دو URL با محتوای یکسان روبه‌رو هستند. هرچه سایت شما محبوب‌تر شود این اتفاق بیشتر و بیشتر تکرار می‌شود.
-
ترتیب پارامترها
یکی دیگر از دلایل رایج ایجاد محتوای تکراری این است که CMS از URLهای تمیز و واضح استفاده نمی‌کند.
بلکه از مواردی مانند /?id=1&cat=2 استفاده می‌کند که در آن ID به مقاله و cat به دسته‌بندی یا کتگوری اشاره می‌کنند.
از طرفی /?cat=2&id=1 نیز در اکثر سیستم‌ها همان محتوا را باز می‌گرداند. اما این دو URL کاملا برای موتورهای جستجو متفاوت هستند.
-
صفحه‌بندی6 کامنت‌ها
در وردپرس و بسیاری دیگر از سیستم‌ها، قابلیتی وجود دارد که از طریق آن می‌توانید کامنت‌های خود را صفحه‌بندی کنید. این کار با ایجاد /comment-page-1/ و /comment-page-2/ در انتهای URL مختص به همان مقاله، در واقع چند URL برای یک محتوا در سایت شما ایجاد می‌کند.
-
صفحات بهینه شده برای پرینت
اگر سیستم مدیریت محتوایی که از آن استفاده می‌کنید صفحاتی را مختص پرینت گرفتن ایجاد می‌کند، و شما نیز از درون مقالات خود به آنها لینک می‌دهید، در این حالت نیز گوگل معمولا این صفحات مختص پرینت را نیز پیدا می‌کند. مگر اینکه مخصوصا این صفحات را بلاک کرده باشید.
اما گوگل باید کدام صفحه را نشان دهد؟ صفحه‌ای که تبلیغات و مطلب شما در آن است یا صفحه‌ای که فقط مطلب در آن است و برای پرینت گرفتن مهیا شده است؟
-
www و بدون www
این مورد را شاید در جاهای دیگر نیز شنیده باشید و تکراری باشد اما موتورهای جستجو هنوز هم وقتی نسخه دارای www و نسخه بدون www سایت شما در دسترس است، این دو را محتوای تکراری در نظر می‌گیرند.
همچنین اگر سایت شما در دو نسخه دارای HTTP و HTTPS در دسترس باشد نیز دوباره با مشکل محتوای تکراری مواجه خواهید شد.
توضیح مفهومی راه حل مشکل محتوای تکراری: Canonical URL
همانطور که دیدیم به دلایل مختلف ممکن است که URLهای مختلفی برای یک مطلب ایجاد شوند و دچار مشکل محتوای تکراری شوید. اما این مشکل را می‌توان حل کرد. بدین منظور باید URL اصلی مشخص شود. این URL اصلی با نام کنونیکال (canonical URL) شناخته می‌شود.
پیدا کردن مشکل محتوای تکراری
شاید این سوال برایتان به وجود آمده باشد که اگر سایت شما نیز دچار محتوای تکراری است چگونه باید متوجه آن شوید. استفاده از گوگل یکی از ساده‌ترین راه‌هاییست که می‌توانید این موضوع را بررسی کنید.
هنگام جستجو در گوگل عملگرهای مختلفی وجود دارند که می‌توانید با استفاده از آنها جستجوی خود را هدفمند‌تر کنید و در مواردی مانند پیدا کردن محتوای تکراری می‌توانید از آن استفاده کنید. اگر قصد دارید که تمام URLهایی که در سایت شما شامل یک کلمه کلیدی خاص هستند را پیدا کنید می‌توانید به صورت زیر عملیات جستجو را در گوگل انجام دهید:
در اینجا به جای example.com نام سایت مد نظر خود و به جای Keyword x کلمه کلیدی مد نظر خود را وارد کنید.
با انجام این کار گوگل تمام صفحاتی را که در این دامنه قرار داشته و شامل کلمه کلیدی مورد نظر هستند را به شما نمایش خواهد داد.
از واژه Intitle نیز می‌توانید به تنهایی برای پیدا کردن محتوای تکراری در گوگل استفاده کنید.
به عنوان مثال فرض کنید که عنوان کامل مقاله سایت شما ‘Keyword X – why it is awesome’ می‌باشد. بنابراین با جستجوی عبارت زیر گوگل تمام سایت‌هایی را که با این عنوان مطابقت دارند را به شما نمایش خواهد داد.
اگر تصور می‌کنید که شاید برخی سایت‌ها محتوای شما را کپی کرده ولی عنوان آن را تغییر داده‌اند می‌توانید از همین روش استفاده کرده و یک یا دو جمله کامل از مقاله خود را جستجو کنید.
راهکارهای عملی برای مشکل محتوای تکراری در سایت
برای حل این مشکل باید به گوگل، تگ کنونیکال خود را هرچه زودتر معرفی کنید. برای حل مشکل محتوای تکراری این ۴ روش را می‌توان به کار برد:
- کاری کنید که محتوای تکراری ایجاد نشود.
- محتواهای تکراری را به canonical URL ریدایرکت کنید.
- المان لینک canonical URL را به صفحه تکرار شده اضافه کنید.
- لینک canonical URL را به صورت HTML در صفحات تکرار شده قرار دهید.
-
پرهیز از ایجاد محتوای تکراری
برخی از این دلایلی که باعث ایجاد محتوای تکراری می‌شود را می‌توان به سادگی حل کرد:
- آیا در URLهای شما Session ID وجود دارد؟
وجود چنین IDهایی را می‌توان اغلب به راحتی در تنظیمات سیستم خود غیرفعال کرد.
- آیا برای صفحات خود، صفحه مخصوص پرینت نیز ایجاد می‌کنید؟
این صفحات واقعا غیرضروری نیستند. آنها را ایجاد نکنید.
- آیا از صفحه‌بندی نظرات مخاطبین در وردپرس استفاده می‌کنید؟
در این صورت کافیست که به سادگی این قابلیت را در بخش گفتگوی تنظیمات وردپرس غیرفعال کنید.
- آیا پارامترهای شما ترتیب‌های مختلفی دارند؟
در این صورت به برنامه‌نویس خود بگویید که با نوشتن یک اسکریپت کاری کند که همیشه پارامترهای URLهای شما به یک ترتیب قرار بگیرد.
- پارامترهایی که برای ردیابی تعبیه شده‌اند را نیز بررسی کنید
گاهی می‌توان برای ردیابی مشتریان از هشتگ‌های مخصوص استفاده کنید. استفاده از پارامترهایی که در انتهای URLها قرار می‌گیرند می‌توانند مشکل محتوای تکراری را ایجاد کنند.
- شاید دچار مشکل www شده باشید
یا نسخه www و یا نسخه بدون www را انتخاب کنید و دیگری را روی نسخه‌ای که انتخاب کرده‌اید ریدایرکت کنید.
-
استفاده از ریدایرکت 301
گاهی و در سیستم‌های مختلف شاید نتوانید از ایجاد URLهای مختلف برای یک مطلب جلوگیری کنید. در این حالت باید از ریدایرکت7 استفاده کنید. به برنامه‌نویس خود بگویید که تمام محتواهای تکراری قدیمی را به URL اصلی ریدایرکت کند.
- استفاده از لینک‌ها
گاهی ممکن است کارهایی انجام دهید ولی نتوانید مشکل محتوای تکراری را حل کنید. یا به دلیلی قصد حدف URLهای دیگر را نداشته باشید. موتورهای جستجو برای حل این مشکل خاص المان canonical URL را معرفی کرده‌اند. این المان در بخش <head> سایت شما قرار می‌گیرد و چنین ظاهری دارد:
در بخش href متعلق به لینک canonical، باید canonical URL درست را وارد کنید. وقتی موتورهای جستجو که از این المان پشتیبانی می‌کنند به این المان برخورد می‌کنند ریدایرکت ۳۰۱ انجام می‌شود.
- بک‌لینک دادن به محتوای اصلی
اگر به هر دلیل نتوانستید از راه‌حل‌هایی که در بالا به آنها اشاره کردیم استفاده کنید، بک‌لینک دادن از URLهای مختلف، در بخش اول یا انتهای مقاله، به مطلب اورجینال ایده جایگزین خوبی است. با این لینک دادن‌هاست که گوگل متوجه می‌شود که URL اصلی کدام است.
نتیجه گیری: مشکل محتوای تکراری در سایت قابل حل است و باید حل شود
مشکل محتوای تکراری در هرجایی ممکن است اتفاق بیافتد و شما یه عنوان یک سئوکار باید به صورت منظم حواستان به این مشکل باشد. و در نظر داشته باشید که این مشکل قابل حل است. با حل کردن مشکل محتوای تکراری، مطلب شما در URL درست، شانس بیشتری برای رتبه‌گیری در صفحه نتایج موتورهای جستجو خواهد داشت.
1: Duplicate Content
2: Developers
3: CMS
4: Session
5: Tracking
6: Pagination
7: Redirect