הרצתי את אותה שאלה, מילה במילה, 40 פעם מול ChatGPT לאורך שבועיים. השם של הלקוח שלי הופיע ב-9 תשובות מתוך 40. באותו שבוע הוא היה משוכנע שהוא "מופיע ב-AI", כי חבר שלו שאל פעם אחת וראה אותו ראשון ברשימה. זה כל התחום בשלוש שורות, ובמאמר הזה אני מפרק לגורמים את השיטה המלאה שבה אנחנו בודקים ומודדים את זה, כולל הטעויות שעולות הכי הרבה כסף.
מה תדעו לעשות בסוף המאמר
- להבין את ההבדל בין אזכור, ציטוט ונתח קול, ולמה בלבול בין השלושה מטעה קמפיינים שלמים
- לבנות סט פרומפטים עקבי שאפשר להשוות אליו בעוד חצי שנה
- לחשב נתח קול משוקלל ולא גולמי, כי הגולמי משקר
- לזהות מתי אתם צריכים כלי אוטומטי ומתי גיליון ידני מספיק
- להימנע מחמש הטעויות שכל לקוח שהגיע אלינו עשה לפני שהגיע
התחלתם לקרוא, עוד כמה דקות ותדעו יותר מ-90% מהעסקים בשוק
מה בעצם מודדים כשאומרים "מעקב אזכורי מותג ב-AI"
מעקב אזכורי מותג ב-AI הוא תהליך שיטתי שבודק אם, מתי, ובאיזה הקשר מערכות בינה מלאכותית מזכירות אתכם בתשובות שלהן. לא רק אם הופעתם. גם איך.
יש הבדל עצום בין "חברת X היא אחת האפשרויות המובילות בתחום" לבין "קיימות גם חברות כמו X". שתי התשובות נספרות כאזכור בגיליון, אבל רק אחת מהן מייצרת פנייה. אצל לקוח שלנו בתחום ציוד רפואי גילינו ששיעור ההופעה עמד על 34%, ובתוך זה רק 6% היו המלצה מפורשת. כל השאר היו אזכורים אגביים בסוף פסקה.
אם אתם רוצים את התמונה הרחבה של איך AI משנה את כללי המשחק בחיפוש, קראו גם את המדריך המלא שלנו על קידום אתרים בגוגל עם AI. כאן אני נשאר על המדידה עצמה.
נראות ב-AI ותנועה אורגנית הן שני מטבעות שונים
בגוגל קלאסי המטרה ברורה. הופעה, קליק, כניסה לאתר, המרה. מול מודל שפה המשתמש מקבל תשובה מלאה בתוך הממשק, ולפעמים לא נכנס לשום אתר. אין קליק, אין רישום ב-Analytics, ובכל זאת התקבלה החלטה.
ראיתי את זה אצל לקוח בתחום תוכנה לניהול מלאי. התנועה האורגנית ירדה ב-8% ברבעון, והפניות הישירות עלו ב-22%. כשהתחלנו לשאול לקוחות חדשים איך הגיעו, שלושה מתוך עשרה אמרו שהתייעצו עם ChatGPT לפני שחיפשו את השם בגוגל.
לכן המדידה חייבת לעבור לצד השני. זה השלב שרוב הצוותים השיווקיים נתקעים בו, כי הם ממשיכים לחפש את המספרים במקום הישן.
רוצים לדעת מה מודלי ה-AI אומרים על המותג שלכם עכשיו?
איך בונים סט פרומפטים שאפשר להשוות אליו בעוד חצי שנה
הכלל היחיד שאסור לשבור הוא עקביות. שינוי ניסוח באמצע הדרך הורג את כל הסדרה ההיסטורית.
אנחנו מחלקים את הסט לארבע קבוצות לפי שלב במסע הלקוח, ומקפידים על יחס קבוע ביניהן. הפרומפטים חייבים להיות ניטרליים לחלוטין. ברגע שאתם כותבים "האם חברת X היא הטובה ביותר", הובלתם את המודל והמדידה חסרת ערך.
אם אתם רוצים לדייק את הניסוחים עצמם, המדריך שלנו לכתיבת פרומפט טוב ב-ChatGPT יחסוך לכם כמה סבבים של ניסוי וטעייה.
אזכור וציטוט זה לא אותו דבר, וההבדל הזה עולה כסף
אזכור הוא הופעה של שם המותג בגוף התשובה. ציטוט הוא הפניה למקור, כלומר כתובת URL שהמודל נשען עליה. שני דברים נפרדים לגמרי.
אפשר להיות מוזכרים בלי שאף עמוד שלכם צוטט, כי המודל למד עליכם ממקורות של אחרים. ואפשר לצטט את התוכן שלכם בלי להזכיר אתכם בשם, מה שקורה הרבה כשהתוכן מקצועי אבל המותג לא משולב בו בשום מקום.
אצל לקוח בתחום הביטוח מצאנו ש-71% מהאזכורים שלו הגיעו משלושה מאמרי השוואה באתרים חיצוניים, ואפס אחוז מהבלוג שלו. הבלוג היה מצוין. הוא פשוט לא הכיל את שם החברה בהקשר של פתרון.
למה ציטוט שווה משהו גם בלי קליק אחד
כשמודל מצטט אתכם, הוא למעשה מסמן שהתוכן שלכם משמש בסיס לתשובה בקטגוריה. גם אם המשתמש לא לחץ, הסמכות נצברת. ובקטגוריות שבדקנו, אתרים שצוטטו באופן עקבי התחילו להופיע גם באזכורים ישירים תוך שניים עד ארבעה חודשים.
יש לכם אתר חזק וה-AI מתעלם, הנה מה שקורה
זו השיחה הכי נפוצה שיש לי בזום. אתר עם 900 עמודים, דומיין ותיק, דירוגים יפים בגוגל, ואפס אזכורים בשאלות קטגוריה.
שלוש סיבות שאני רואה שוב ושוב. הראשונה, המותג מופיע רק בשאלות ממותגות. השנייה, אין כיסוי במקורות חיצוניים שהמודל סומך עליהם. השלישית, התוכן שלכם מנוסח סביב מוצרים ולא סביב בעיות.
פער הקטגוריה מול המותג
מודלי שפה מקשרים ישויות לקטגוריות. אם באתר שלכם כתוב 40 פעם "מערכת ניהול פרויקטים מתקדמת" ואף פעם לא כתוב "איך בוחרים מערכת ניהול פרויקטים לצוות של 15 עובדים", אתם קיימים בשכבת המוצר ולא קיימים בשכבת השאלה. שם מתקבלות ההחלטות.
איך מחשבים Share of Voice בתוך תשובות של מודל שפה
נתח קול הוא שיעור ההופעות שלכם מתוך כלל אזכורי המותגים בקטגוריה, בסט פרומפטים נתון. המונח מוגדר רשמית במאגר המונחים של האקדמיה ללשון העברית, וההיגיון זהה לעולם הפרסום המסורתי. השדה שהשתנה הוא רק הזירה.
החישוב הבסיסי הוא מספר התשובות שבהן הופעתם חלקי מספר התשובות שנבדקו. פשוט, ומטעה.
אנחנו נותנים משקל לעוצמת ההופעה. הופעה כהמלצה ראשונה מקבלת משקל 3, הופעה ברשימה מקבלת 2, אזכור אגבי בסוגריים מקבל 1. לקוח שהיה עם 30% שיעור הופעה גולמי ירד ל-14% נתח קול משוקלל, וזאת הייתה השיחה הכי חשובה שניהלנו איתו באותה שנה.
איך נמנעים מהטיית מדגם
הריצו כל פרומפט שתיים עד שלוש פעמים, בשיחות נפרדות וללא היסטוריה. שונות של 20% בין ריצות היא נורמלית לגמרי. מי שמדווח על מספר בודד בלי חזרות מוכר לכם ודאות שלא קיימת.
רוצים לחשב את נתח הקול המשוקלל שלכם בקטגוריה?
כל כמה זמן צריך לבדוק, ולמה בדיקה חודשית לא מספיקה
שבועי לקטגוריות קריטיות. חודשי לדוח הנהלה. יומי בתקופת קמפיין או השקה.
הסיבה פשוטה. עדכוני מודלים יוצאים בלי הודעה מוקדמת, ומאמר השוואה חדש שעולה באתר גדול יכול לשנות את התמונה תוך שבוע. בפברואר האחרון ראינו אצל לקוח בתחום התיירות ירידה משיעור הופעה של 41% ל-12% בתוך תשעה ימים. המקור היה מאמר "עשרת הטובים" שעלה בפורטל תיירות ותיק, ואנחנו פשוט לא היינו בו.
בלי מעקב שבועי היינו מגלים את זה בדוח הרבעוני. עם מעקב שבועי הגבנו תוך עשרה ימים.
סנטימנט זה לא חיובי ושלילי, זה "למה"
סיווג טון לשלוש קטגוריות הוא נקודת התחלה. ניתוח סנטימנט אוטומטי הוא תחום מחקרי ותיק בעברית, וגם במחקרים אקדמיים מציינים במפורש שהסיווג האוטומטי עלול לפספס. אז אל תסמכו רק על תיוג מכני.
מה שבאמת שווה כסף זה התיוג של הסיבה. אנחנו מתייגים כל אזכור שלילי או מסויג לפי חמישה צירים, מחיר, אמינות, שירות, התאמה לסוג עסק, וביצועים. אחרי ארבעה שבועות מקבלים דפוס.
אצל לקוח בתחום פיתוח אתרים חזרה הטענה "יקר יחסית למתחרים" ב-11 מתוך 19 אזכורים. מצאנו את המקור, פוסט פורום משנת 2021 עם תגובה אחת מתוסכלת. ייצרנו שלושה תכני עומק על מודל התמחור, ותוך חודשיים הניסוח התחיל להשתנות.
אילו מדדים באמת מזיזים משהו
חמישה מדדי ליבה, וזהו. שיעור הופעה, נתח קול משוקלל, הקשר ההופעה, טון, וטענות חוזרות. כל השאר הוא רעש.
הכלל שאני עובד לפיו הוא פשוט. אם המדד לא מוביל לפעולה קונקרטית תוך שבוע, הוא לא נכנס לדוח. "ציון נראות כללי" לא אומר לצוות התוכן מה לכתוב מחר בבוקר.
מעקב ידני בגיליון, 30 דקות בשבוע
אין שום בעיה להתחיל בלי כלים. אקסל, שיטס, מה שנוח לכם.
הגיליון צריך שמונה עמודות: תאריך, נוסח הפרומפט המדויק, האם הופיע אזכור, המיקום ברשימה, הניסוח המלא, הטון, הסיבה לטון, והערה על פעולה נדרשת.
- עשר דקות ראשונות להרצת חמישה עד עשרה פרומפטים קריטיים, בעיקר שאלות קטגוריה והמלצה
- עשר דקות לתיעוד מלא בגיליון
- עשר דקות אחרונות להשוואה מול השבוע הקודם ולסימון דגלים אדומים
שלושים דקות, פעם בשבוע, בלי בולשיט. מי שלא מוצא חצי שעה בשבוע לזה, לא באמת רוצה לדעת מה קורה שם.
מעקב אוטומטי, ומה חובה לבדוק לפני שאתם חותמים על כלי
בשלב מסוים הידני נשבר. עם 60 פרומפטים, שלוש חזרות, וארבעה מודלים, אתם ב-720 הרצות בחודש. אף אחד לא עושה את זה ביד.
מה שאני בודק לפני שאני מכניס כלי לתהליך עבודה: שמירה וניהול של סטים קבועים, היסטוריה מלאה של טקסט התשובות ולא רק ציון, ייצוא נתונים ל-CSV או אקסל, פילוח לפי סוג שאלה, וזיהוי שינויי ניסוח לאורך זמן.
מה גורם למודל להמליץ דווקא על מותג אחד
ארבעה גורמים חוזרים בכל הקטגוריות שבדקנו: נוכחות עקבית במקורות שאינם שלכם, חיבור ברור בין השם שלכם לבעיה שאתם פותרים, הצגה מאוזנת שכוללת גם מגבלות, ושכבת אמינות של מקורות עם סמכות שמזכירים אתכם.
ופה חשוב לומר משהו לא נעים. מודלים ממציאים. הזיות הן מאפיין מוכר של מודלי שפה גדולים, וראיתי מודל שמייחס ללקוח שלנו שירות שהוא מעולם לא נתן, בביטחון מוחלט. לכן אימות ידני של מה שנאמר עליכם הוא חלק מהתהליך ולא תוספת אופציונלית.
איך משפרים נראות ב-AI בלי תקציב של תאגיד
הדבר הכי זול והכי יעיל הוא לכתוב תוכן שעונה על השאלה כפי שהיא נשאלת, ולשלב בו את השם שלכם בהקשר של פתרון. לא בפוטר. בגוף הטקסט, ליד הבעיה.
אחרי זה, נישות. הרבה יותר קל להיכנס לתשובות על "מערכת ניהול תורים למרפאות שיניים" מאשר על "מערכת ניהול עסק". לקוח שלנו התחיל משלוש שאלות נישה מאוד ספציפיות, הגיע ל-60% שיעור הופעה בהן תוך חמישה חודשים, ומשם התרחב.
חמש טעויות שאני רואה כמעט אצל כולם
הראשונה, בדיקה במודל אחד בלבד. השנייה, שינוי נוסח הפרומפטים כל פעם מחדש. השלישית, ספירת אזכורים בלי הקשר. הרביעית, מדידה חד פעמית והסקת מסקנה אסטרטגית ממנה. והחמישית, התעלמות מהזיות שהמודל ממציא.
תאמינו לי, את כל החמש עשיתי בעצמי בשנתיים הראשונות שעבדנו על זה.
כדאי לנטר גם את המקורות עצמם. דף העזרה הרשמי של גוגל מסביר איך מגדירים התראה על תוכן חדש שמזכיר את שם המותג. זה לא מכסה את מה שקורה בתוך המודל, אבל זה מכסה את מה שמזין אותו. וזה הרבה.
אנחנו מתמחים בקידום אורגני בלבד, בלי מחלקת מדיה שמושכת את הכסף לכיוון אחר. מאות לקוחות בארץ, בארה"ב, בגרמניה, באנגליה ובשוויץ עובדים איתנו בלי התחייבות חודשית. בעמוד השירות שלנו על קידום אתרים עם AI תוכלו לראות איך זה מתחבר לעבודת הקידום הרגילה.
שאלות שחוזרות בכל שיחת אבחון
כמה זמן לוקח לראות שינוי באזכורים אחרי שמתחילים לעבוד על התוכן?
בממוצע בין שניים לארבעה חודשים, בהתאם לקטגוריה ולכמות המקורות החיצוניים שכוללים אתכם. קטגוריות נישה מגיבות מהר יותר מקטגוריות רוויות.
האם צריך לבדוק בכל המודלים או שמספיק ChatGPT?
התשובות שונות מהותית בין הפלטפורמות. מי שבודק רק ב-ChatGPT מפספס חצי תמונה לפחות, וכדאי לכלול גם מודלים נוספים בסט הבדיקה הקבוע.
מה ההבדל בין אזכור לציטוט בפועל?
אזכור הוא הופעת השם שלכם בטקסט התשובה. ציטוט הוא הפניה למקור URL שהמודל נשען עליו. שני הדברים נמדדים בנפרד, כי אחד יכול להתקיים בלי השני.
כמה פרומפטים צריך כדי שהמדידה תהיה אמינה?
אנחנו עובדים עם בין 30 ל-80 פרומפטים לקטגוריה, כל אחד מורץ שתיים עד שלוש פעמים. פחות מזה, וההטיה בין ריצות מקבלת משקל גדול מכדי להסיק מסקנות.
האם אפשר לקבל התראה אוטומטית כששיעור ההופעה שלי משתנה?
אין מנגנון רשמי מהמודלים עצמם, אבל אפשר להריץ סט קבוע בלוח זמנים אוטומטי ולקבל התראה כשיש סטייה מהבסיס. זה בדיוק מה שאנחנו עושים ב-WEBFORCE.
כמה עולה מעקב אזכורים מקצועי?
זה תלוי בהיקף הקטגוריה ומספר הפרומפטים הנדרש. הדרך הטובה ביותר לקבל מספר מדויק היא אבחון ראשוני קצר, שאצלנו ניתן בלי התחייבות.
רוצים לדעת מה מודלי ה-AI אומרים על המותג שלכם ברגע זה?
צרו קשר עם הצוות שלנו לאבחון ראשוני ללא התחייבות, ותקבלו תוך ימים ספורים תמונה מדויקת של הנראות שלכם ב-AI.