الگوریتم گوگل در طول سالیان متمادی به طرز چشمگیری تکامل یافته است. از سال ۲۰۱۳ با آپدیت مرغمگسخوار (Hummingbird)، گوگل توانست با تفسیر قصد واقعی کاربران از جستوجو، نه فقط تکیه بر خود واژه، نتایج مرتبطتری نشان دهد. یکی از ابزارهایی که در این مسیر به کار گوگل و تولیدکنندگان محتوا میآید، تحلیل آماری TF-IDF است. استفاده از خدمات سئو حرفهای میتواند کمک کند تا این تحلیل روی صفحات سایت شما درست اجرا شود و رتبهٔ بهتری کسب کنید.
مثالی از تغییر رویکرد گوگل به قصد کاربر
تا پیش از مرغمگسخوار، گوگل بیشتر روی تکتک واژههای عبارت جستوجو تمرکز داشت، نه معنی کلی پشت آن. برای مثال وقتی کاربری عبارت «رئیس جمهور کانادا» را جستوجو میکند، گوگل میداند که کانادا نظام پادشاهی دارد و منظور واقعی کاربر، نخستوزیر است، پس اطلاعاتی در همین باره نشان میدهد؛ نه صرفا صفحاتی که عیناً همان واژهها را تکرار کردهاند. الگوریتم رنک برین گوگل (RankBrain) در سالهای بعد همین مسیر را ادامه داد و یک گام فراتر رفت: برقراری ارتباط میان مفاهیم مرتبط در یک متن و محاسبهٔ فراوانی آن مفاهیم برای تشخیص اینکه کدام مطلب به موضوعات فرعی بیشتری پرداخته و به طرز قابلملاحظهای عمیقتر به موضوع پرداخته است. تحلیل TF-IDF دقیقا همین محاسبه را شبیهسازی میکند.
اگر از دیدگاه سئو سایت به این موضوع بنگریم، نتیجه این است که دیگر لازم نیست متن خود را پر از کلمات کلیدی و کلمات مترادف با آن کنیم، بلکه باید بر ایجاد مطالب با کیفیت و مرتبط با قصد کاربران تمرکز کنیم.
TF-IDF چیست؟
TF-IDF مخفف Term Frequency-Inverse Document Frequency است؛ روشی آماری برای سنجش اهمیت یک کلمه در یک متن، نسبت به مجموعهای بزرگتر از متنهای مشابه. هرچه کلمهای در یک صفحه پرتکرارتر و در بقیهٔ آن مجموعه کمتکرارتر باشد، وزن TF-IDF آن بالاتر میرود. به همین دلیل گاهی از آن با نام فارسیِ فراوانی وزنی کلمه کلیدی هم یاد میشود؛ تعریف کاملتر این مفهوم آماری را ویکیپدیای فارسی با جزئیات ریاضی توضیح داده است.
در واقع TF-IDF اهمیت یک عبارت کلیدی را با مقایسهٔ میزان تکرار آن در یک سند، در برابر میزان تکرارش در مجموعهای بزرگتر از اسناد اندازهگیری میکند؛ هدف آن، سنجیدن این است که یک کلمه در مجموعهای از مطالب چه میزان اهمیت آماری دارد.
فرمول TF-IDF با یک مثال ساده
TF-IDF از ضرب دو عدد ساده به دست میآید: فراوانی کلمه در همان سند (TF)، ضربدر معکوس فراوانی سند در کل مجموعه (IDF). فرمول را میتوان اینطور نوشت:
TF = (تعداد تکرار کلمه در سند) ÷ (تعداد کل کلمات سند)IDF = لگاریتم[ (تعداد کل اسناد) ÷ (تعداد اسنادی که کلمه در آنها آمده) ]TF-IDF = TF × IDF
مثلا اگر کلمهٔ «سئو» ۲۰ بار در مقالهای ۵۰۰ کلمهای تکرار شده باشد، TF آن برابر ۰٫۰۴ است. اگر این کلمه در ۹۰ مقاله از مجموع ۱۰۰ مقالهٔ مشابه هم آمده باشد، IDF پایینی میگیرد چون تقریبا همهجا هست؛ ولی اگر عبارتی تخصصیتر مثل «فراوانی وزنی کلمه کلیدی» فقط در ۳ مقاله از آن ۱۰۰ تا آمده باشد، IDF بالایی میگیرد و TF-IDF نهاییاش، با وجود تکرار کمتر، از کلمهٔ عمومی «سئو» جلو میزند. این دقیقا همان چیزی است که به یک صفحه کمک میکند برای عبارات تخصصی و کمرقابت، سیگنال ارتباط قویتری بفرستد.
چگالی کلمات کلیدی (Keyword Density) با TF-IDF چه فرقی دارد؟
چگالی کلمات کلیدی فقط درصد تکرار یک کلمه در همان صفحه را میسنجد، بدون توجه به رقبا؛ TF-IDF همان تکرار را با میزان تکرار در مجموعهای از صفحات مشابه مقایسه میکند. به همین دلیل تراکم کلمات کلیدی بالا لزوما به معنی رتبهٔ بهتر نیست، در حالی که TF-IDF بالا نشانهٔ پوشش موضوعی قویتر نسبت به رقباست.
| معیار | چگالی کلمات کلیدی | TF-IDF |
|---|---|---|
| چه چیزی را میسنجد | درصد تکرار کلمه در همان صفحه | اهمیت کلمه نسبت به مجموعهای از صفحات مشابه |
| نگاه به رقبا | ندارد | دارد؛ اساس محاسبه همان مقایسه است |
| خطر اصلی | کلمهچینی در صورت هدف قرار دادن یک عدد ثابت | اضافه کردن کلمات بدون گنجاندن موضوع واقعی پشت آنها |
| کاربرد پیشنهادی | چک سریع و اولیهٔ طبیعی بودن متن | پیدا کردن زیرموضوعات فراموششده نسبت به رقبای رتبهدار |
به همین خاطر تیمهای سئو باتجربه، هدفگذاری روی یک درصد ثابت چگالی کلمات کلیدی را کنار گذاشتهاند؛ TF-IDF ابزار دقیقتری است چون رقبا را هم وارد محاسبه میکند، نه فقط خودِ صفحه را.
TF-IDF چه فرقی با کلمهچینی (Keyword Stuffing) دارد؟
TF-IDF یک ابزار سنجش است، نه یک دستور برای تکرار کلمه؛ در حالی که کلمهچینی یعنی گنجاندن کورکورانهٔ یک عبارت به تعداد زیاد در متن، که طبق سیاستهای ضد هرزنامهٔ گوگل تخلف محسوب میشود. گوگل بهصراحت تکرار بیمورد کلمات کلیدی را در سیاستهای هرزنامهٔ خود نام برده و آن را میتواند نشانهٔ محتوای کمارزش بداند.
مرتبط دانستن کلمات و عبارات مشابه و مترادف، مربوط به دورهٔ ابتدایی الگوریتم گوگل بود. اکنون گوگل با برقراری ارتباط بین مفاهیم مرتبط، میتواند تشخیص دهد کدام مطلب به موضوعات فرعی بیشتری پرداخته و کدام مطلب بهطرز قابلملاحظهای عمیقتر از رقبایش به موضوع پرداخته است. نتیجه برای شما این است که دیگر لازم نیست متن را پر از کلمات کلیدی و مترادفهای آن کنید؛ باید روی ساختن مطالب باکیفیت و مرتبط با قصد کاربر تمرکز کنید، در حالی که TF-IDF فقط به شما نشان میدهد کدام زیرموضوع را فراموش کردهاید.
از نظر ریاضی، TF-IDF روشی نسبتا ساده و قدیمی است؛ الگوریتمهای امروز گوگل مثل BERT و MUM، معنای جمله و رابطهٔ بین مفاهیم را با مدلهای زبانی پیچیدهتری میفهمند، نه فقط شمارش تکرار کلمه. با این حال، TF-IDF هنوز بهعنوان یک ابزار خودارزیابی سریع و کمهزینه برای تشخیص زیرموضوعات فراموششده کاربرد دارد؛ چیزی که مدلهای زبانی پیچیده بهتنهایی و بهسادگی به شما نشان نمیدهند.
چه زمانی از تحلیل TF-IDF استفاده کنیم؟
فعالان سئو معمولا از TF-IDF برای پیدا کردن نقاط ضعف محتوای خود نسبت به ۱۰ نتیجهٔ برتر گوگل استفاده میکنند؛ سه نوع صفحه بیشترین بازده را از این تحلیل میگیرند. بررسی قیمت سئو و ارزش سرمایهگذاری در بهبود محتوا هم میتواند به تصمیمگیری دربارهٔ اولویت این کار کمک کند.
۱. مطالبی که در صفحهٔ دوم گوگل گیر کردهاند
با صفحاتی شروع کنید که مدتی است در سایت شما حضور دارند و برای عبور از صفحهٔ دوم گوگل به صفحهٔ اول مشکل دارند. اگر سئوی تکنیکال این صفحات انجام شده و اعتبار دامنهای دارند، ارزشش را دارد که با تحلیل TF-IDF روی محتوایشان کار بیشتری انجام دهید.
۲. مطالبی که بهآرامی رتبه و ترافیک خود را از دست میدهند
افت آرام رتبه معمولا یا بهخاطر افزایش رقابت در آن کلمهٔ کلیدی است، یا تغییرات الگوریتمی گوگل برای پیدا کردن محتوای مرتبطتر. با ابزاری مثل SpyFu میتوانید نتایج گوگل برای یک عبارت کلیدی خاص را در بازههای زمانی مختلف مقایسه کنید و ببینید آیا محتوای شما هنوز شایستگی رتبهٔ بهتر را دارد یا نیاز به ارتقا دارد.
۳. صفحات محصولی که در گرفتن رتبه مشکل دارند
تحلیل TF-IDF بیشتر برای مقالاتی به کار میرود که قصد فروش مستقیم ندارند؛ با این حال اگر صفحهٔ محصول شما هم در گرفتن رتبه مشکل دارد، همین تحلیل میتواند نشان دهد چه بخشهایی از اطلاعات محصول در صفحهٔ شما جا افتاده است.
چگونه تحلیل TF-IDF را انجام دهیم؟
جمعآوری داده برای تحلیل TF-IDF نسبتا ساده است: عبارت هدف را در گوگل جستوجو کنید، ۱۰ نتیجهٔ اول را با ابزاری مثل Screaming Frog بررسی کنید و سپس محتوای خودتان را با آنها مقایسه کنید.
ابتدا کلمهٔ کلیدی مدنظرتان را در گوگل جستوجو کرده و ۱۰ صفحهٔ اول را پیدا کنید. سپس با Screaming Frog میانگین تعداد کلمات این صفحات را به دست آورید؛ این عدد به شما نشان میدهد آیا لازم است بخش بزرگی از مطلب را به محتوای خود اضافه کنید یا برخی مطالب غیرضروری را حذف کنید.
گام بعدی، اجرای خودِ تحلیل TF-IDF است. ابزارهایی مثل Ryte و Link Assistant صفحهٔ شما را با ۱۰ نتیجهٔ اول گوگل مقایسه کرده و لیستی از کلمات مهمِ جاافتاده را نشان میدهند؛ Ryte حتی میگوید کدام صفحهٔ رقیب بیشتر از این کلمات استفاده کرده تا مستقیم از آن الهام بگیرید. بسیاری از تیمهای فنیتر هم ترجیح میدهند این محاسبه را مستقیم با پایتون و کتابخانهٔ رسمی TfidfVectorizer از scikit-learn انجام دهند، که کنترل بیشتری روی وزندهی کلمات میدهد.
چگونه با TF-IDF متن را برای کاربران بهینه کنیم؟
لیست کلماتی که ابزار TF-IDF به شما میدهد را کورکورانه در متن جا ندهید؛ اول آن را ویرایش کنید، بعد ببینید کدام زیرموضوع را واقعا فراموش کردهاید.
۱. لیست کلمات کلیدی را ویرایش کنید
با دانش قبلیتان از سئو، لیست بهدستآمده را کوچکتر کنید و موارد اضافی مثل نام برند رقبا را حذف کنید؛ مگر در مقالات مقایسهای که آوردن نام رقیب لازم باشد.
۲. موضوعات فراموششده را پیدا کنید، نه بهانهای برای تکرار کلمه
هدف TF-IDF پیدا کردن موضوعاتی است که در متن خود فراموش کردهاید، نه تکرار چندبارهٔ همان کلمات. این موضوعات فراموششده میتواند یک بخش سایزبندی در صفحهٔ محصول یا چند پاراگراف در مقالهٔ وبلاگ شما باشد که مطلب را جامعتر میکند. با بازبینی مطالب رقبا و آنچه از قلم انداختهاید، حتی میتوانید بهترین زاویه را برای سفارش سئو حرفهای سایت خود پیدا کنید.
۳. اگر لازم شد، طراحی و ساختار سایت را هم تغییر دهید
تغییر طرح و ساختار سایت هزینه و زمان میبرد و انجامش برای بسیاری از اقدامات سئو غیرضروری است. اما اگر بعد از بررسی رقبا به این نتیجه رسیدید که طراحی کلی صفحه باید تغییر کند، این کار تجربهٔ کاربر را بهتر میکند و بهینهسازی مطالب آیندهٔ شما را هم آسانتر میکند. چه زمانی دست به این تغییر بزنیم:
- وقتی ساختار فعلی سایت اجازهٔ ایجاد یک بخش تازه از محتوا را نمیدهد.
- وقتی صفحهٔ شما اساسا برای موضوع یا نیت اشتباهی نسبت به قصد واقعی کاربران ساخته شده است.
- وقتی مطلب شما برای جا گرفتن در ساختار قبلی، بیش از حد حجیم شده است.
- وقتی ساختار فعلی اجازه نمیدهد فضای خالی یا تصویر مناسب میان محتوا بگذارید.
- وقتی مطلب شما طولانی است و نیاز به جزئیات تعاملی بیشتری برای اثرگذاری در مخاطبین دارد.
نکاتی که هنگام بهروزرسانی یک صفحه باید در نظر داشت:
- مطلبی که اضافه میکنید باید چیزی باشد که کاربر فعالانه دنبالش است، نه فقط پرکنندهٔ فضا.
- سلسلهمراتب را فراموش نکنید؛ پیام اصلی در ابتدای مقاله بیاید و مطالب مکمل بعد از آن.
- برای مطالب تکراری، دکمههای اقدامبهعمل (CTA) بیشتری در متن جا دهید.
- برای مطالب طولانی از منوها و دیگر المانهای تعاملی استفاده کنید.
- از تیترها، میانتیترها و عبارات برجسته استفاده کنید تا کاربر در یک نگاه بخش موردنظرش را پیدا کند.
استفاده از توصیههای یک آژانس سئو حرفهای هم میتواند به رسیدن به این ساختار کمک کند.
مزایا و معایب TF-IDF پیش از استفاده
مزیت اصلی TF-IDF، پیدا کردن زیرموضوعات فراموششده نسبت به رقباست؛ عیب اصلیاش این است که فقط تکرار کلمات را میسنجد، نه کیفیت واقعی جملهبندی یا نیت پشت آنها.
مزایا:
- پیدا کردن سریع زیرموضوعاتی که رقبای رتبهدار پوشش دادهاند و محتوای شما ندارد.
- عینی و قابلمحاسبه بودن؛ نظر شخصی جای کمتری در تصمیمگیری دارد.
- قابل اجرا روی هر مقیاسی، از یک صفحه تا صدها صفحهٔ یک سایت.
معایب:
- هیچ اطلاعی از کیفیت جملهبندی یا خوانایی متن نمیدهد؛ فقط فراوانی کلمه را میسنجد.
- بهتنهایی نیت جستوجوی کاربر را تشخیص نمیدهد؛ ممکن است کلمهای پرتکرار باشد ولی به کار محتوای شما نیاید.
- نسخهٔ ابزارهای مختلف (Ryte، Link Assistant و غیره) بسته به روش وزندهی، نتایج کمی متفاوت میدهند؛ عدد را مطلق نگیرید.
جمعبندی
TF-IDF یک ابزار سنجش عمق محتواست، نه یک دستور برای تکرار کلمه. کاربرد درستش این است که با فرمول TF × IDF نقاط ضعف محتوای خودتان را نسبت به ۱۰ نتیجهٔ برتر گوگل پیدا کنید، موضوعات فراموششده را به متن اضافه کنید و از تکرار کورکورانهٔ کلماتی که با سیاستهای هرزنامهٔ گوگل تداخل دارد، دوری کنید.
سوالات متداول
TF-IDF به زبان ساده چیست؟+
TF-IDF روشی آماری است که نشان میدهد یک کلمه چقدر برای یک صفحهٔ خاص مهم است، در مقایسه با میزان تکرار همان کلمه در مجموعهای بزرگتر از صفحات مشابه. هرچه این عدد بالاتر باشد، آن کلمه سیگنال موضوعی قویتری برای همان صفحه است.
آیا TF-IDF یک فاکتور مستقیم رتبهبندی گوگل است؟+
گوگل رسما تایید نکرده که دقیقا از فرمول TF-IDF استفاده میکند، اما بسیاری از تحلیلگران سئو معتقدند نسخهای پیچیدهتر از همین منطق در ارزیابی عمق و ارتباط محتوا نقش دارد. به همین دلیل TF-IDF بیشتر ابزار خودارزیابی محتواست تا یک فاکتور رسمی و تاییدشده.
TF-IDF با کلمهچینی (Keyword Stuffing) چه فرقی دارد؟+
کلمهچینی یعنی گنجاندن کورکورانهٔ یک عبارت به تعداد زیاد در متن، که طبق سیاستهای هرزنامهٔ گوگل تخلف است. TF-IDF برعکس، به شما نشان میدهد کدام زیرموضوعات را فراموش کردهاید؛ هدفش افزودن محتوای جدید و مرتبط است، نه تکرار بیشتر یک کلمه.
برای تحلیل TF-IDF به برنامهنویسی نیاز داریم؟+
نه لزوما. ابزارهایی مثل Ryte و Link Assistant بدون نیاز به کدنویسی این تحلیل را انجام میدهند. تیمهای فنی که کنترل بیشتری میخواهند، معمولا از کتابخانهٔ TfidfVectorizer در پایتون استفاده میکنند، اما برای اکثر کسبوکارها ابزارهای آماده کافی است.
منابع
