השוואת נראות בין מנועי AI: ChatGPT מול Gemini – מי מנצח בתוצאות?

הרצתי אותה שאלה בדיוק, עשרים פעם, על אותו מנוע AI, באותו יום, מאותו חשבון. המותג של הלקוח שלי הופיע באחת עשרה תשובות מתוך עשרים. עכשיו תחשבו רגע מה היה קורה אם הייתי מודד פעם אחת ביום שלישי בבוקר לעומת יום רביעי. אותה מציאות, שתי מסקנות הפוכות. זו הבעיה האמיתית של מדידת נראות במנועי AI, והיא לא בעיה של כלים אלא של מתודולוגיה.

זמן קריאה: כ-9 דקות, בסוף תדעו בדיוק איך למדוד נראות ב-AI בלי לטעות

המדידה נשברה, וכלי ה-SEO שלכם עוד לא שמו לב

בחיפוש קלאסי הכל היה נוח. מיקום 4 הוא מיקום 4, אפשר לצלם אותו, אפשר להשוות אותו לשבוע שעבר. בתשובת AI אין מיקום. יש נוכחות בתוך פסקה, או אין.

ומה שמעצבן? חלון החשיפה קטן בצורה דרמטית. במקום עשרה קישורים כחולים, המשתמש מקבל תשובה אחת שמזכירה שלושה עד חמישה שמות. אם אתם השישי, אתם לא קיימים.

שלוש דרכים להופיע בתשובה, ורק אחת מהן באמת מביאה תנועה

נראות במנועי AI היא ההסתברות שהמותג, האתר או הישות שלכם יופיעו בתשובה עבור סט שאלות מוגדר מראש, בצורה שמשפיעה על החלטה. זו ההגדרה שאני עובד איתה, והיא חייבת להיות זהה בכל מדידה, אחרת אתם משווים תפוזים לחשבוניות.

שימו לב לשורה האחרונה. ראיתי דוחות שספרו אותה כהצלחה.

אזכור זה חשיפה, ציטוט זה סמכות, ורוב האנשים מודדים אותם ביחד

אזכור מודד נוכחות. ציטוט מודד סמכות. שני מדדים נפרדים לחלוטין, ששניהם יכולים לזוז לכיוונים הפוכים באותו חודש.

מותג יכול להיות מוזכר בעשרות תשובות בלי שאף אחד יקשר אליו. הוא מקבל חשיפה מותגית ואפס תנועה. מנגד, אתר יכול להיות מצוטט כמקור נתונים בלי המלצה, וזה עדיין שווה זהב לטווח ארוך.

ואם אתם מתעדים פרומפטים שכוללים מידע אישי של לקוחות, כדאי מאוד לעבור על ההמלצות של הרשות להגנת הפרטיות לשימוש במערכות בינה מלאכותית יוצרת לפני שאתם בונים את הגיליון.

עשרים ריצות, אחת עשרה תוצאות, וזה נקרא רעש

מנועי AI אינם דטרמיניסטיים. אותה שאלה מחזירה ניסוחים שונים, מקורות שונים ולפעמים המלצות שונות לגמרי. זה לא באג, זו הדרך שבה המערכות האלה מייצרות טקסט.

המשמעות המעשית פשוטה. ריצה בודדת היא לא נתון, היא אנקדוטה.

אני מריץ כל פרומפט לפחות שלוש פעמים, לפעמים חמש בקטגוריות תנודתיות, ומחשב ממוצע וטווח. בקטגוריות מסחריות ראיתי רצפת רעש של 8 עד 12 נקודות אחוז ב-Share of Voice.

שבעה משתנים שאני נועל לפני שאני לוחץ Enter

השוואה הוגנת מתחילה בקיבוע. אם משתנה אחד זז בין ריצה לריצה, כל הדוח לא שווה כלום.

• שפה, עברית ואנגלית הן שני ניסויים נפרדים

• אזור גאוגרפי, ישראל וארה"ב מחזירות תשובות שונות

• פרסונה, בעל עסק קטן ומנהל רכש מקבלים תשובות שונות

• קטגוריית פרומפט, הסברה, השוואה או החלטה

• תאריך ושעה מדויקים

• גרסת מודל, אם היא זמינה

• מצב חיפוש ברשת, דלוק או כבוי

שבעה שדות. גיליון אחד. חמש דקות הכנה שחוסכות חודש של ויכוחים עם הלקוח.

סט פרומפטים בלי כוונת חיפוש הוא סקר בין חברים שלכם

הטעות הכי נפוצה שאני רואה היא סט פרומפטים שנבנה לפי מה שהמנכ"ל חושב שאנשים שואלים. סט נכון בנוי בשלוש שכבות, שכבה רחבה שמבררת מושגים ובעיות, שכבה אמצעית שמשווה פתרונות וקריטריונים, ושכבה תחתונה שנוגעת במחיר, בסיכון ובבחירה בפועל.

כמה פרומפטים צריך כדי שהמספר יהיה אמיתי

מהניסיון שלי, מתחת ל-30 פרומפטים לקטגוריה אתם בעיקר מודדים מזל. בטווח של 30 עד 60 פרומפטים, עם שלוש חזרות לכל אחד, מתחילה להתקבל תמונה שאפשר להישען עליה. בקטגוריות רועשות במיוחד אני עולה ל-80.

מי שרוצה להבין את המנגנון לעומק, ההסבר של הלשכה המרכזית לסטטיסטיקה על טעות דגימה ורווח סמך הוא החומר הכי נקי שאני מכיר בעברית, וכן, הוא רלוונטי לחלוטין גם כשמודדים מודלי שפה.

שבועי, חודשי, או פעם ברבעון

מדידה חד פעמית לא שווה כלום. המבנה שעובד לי הכי טוב הוא שני מעגלים, מעגל שבועי קטן של 10 עד 15 פרומפטים קריטיים שתפקידו לתפוס נפילות חדות, ומעגל חודשי מלא שתפקידו לזהות מגמה.

מי שרוצה לראות איך זה נראה במתודולוגיה רשמית, כדאי לעיין במסמך המתודולוגיה של סקר כוח אדם החודשי של הלמ"ס, במיוחד בחלק שמסביר איך משווים בין תקופות בלי לייצר קפיצות מלאכותיות.

הנוסחה של Share of Voice פשוטה, ההגדרה שלה היא המלכודת

מספר התשובות שבהן הופעתם, חלקי מספר התשובות שנבדקו, כפול 100. זהו. אין כאן קסם. המלכודת נמצאת במילה "הופעתם". יש שלוש הגדרות אפשריות, וכל אחת נותנת מספר אחר לגמרי, SoV לפי אזכורים, SoV לפי ציטוטים, ו-SoV משוקלל.

אני עובד עם SoV משוקלל, ואני כותב את המשקלות בעמוד הראשון של הדוח. אם ספק מדידה לא מוכן לפרט לכם איך הוא מחשב, זה לא כלי, זה קסם.

שישה מדדים שמגלים בדיוק מה ש-SoV מסתיר

SoV לבד הוא מדד יהיר. הוא אומר לכם כמה, לא אומר לכם למה.

המדד שהכי הפתיע אותי בשנתיים האחרונות הוא גיוון המקורות. אצל לקוח בתחום הפיננסים גילינו שבכל תשובה חזרו ארבעה דומיינים שהוא בכלל לא הכיר. שם היה כל המשחק.

למה ChatGPT ו-Gemini לא מספרים עליכם את אותו סיפור

אותה שאלה, שני מנועים, שתי תשובות שנראות כאילו מדובר בשני שווקים שונים. Gemini יושב על התשתית של גוגל ומושפע מעקרונות איכות ותיקים, כפי שעולה גם מהדיון הרשמי על אתרים שמקבלים תנועה מ-ChatGPT ולא מופיעים בתוצאות של גוגל. מנועים אחרים משלבים ידע מאומן מראש עם גלישה, כפי שמתואר בסקירה של Siteimprove על משטחי מנועי התשובות.

המסקנה המעשית? אל תחשבו ממוצע אחד לכל המנועים. תנהלו טור נפרד לכל מנוע, ותחליטו מראש איפה נמצא הקהל שלכם.

המדד שמשקר הכי הרבה, כשמערבבים עברית ואנגלית

אנחנו עובדים עם לקוחות בגרמניה, בשוויץ, באנגליה ובארה"ב, ואני רואה את אותה טעות חוזרת בכל פרויקט בינלאומי. מישהו מריץ 30 פרומפטים בעברית ו-30 באנגלית, מחשב ממוצע אחד, ומדווח על מספר אחד. המספר הזה לא קיים במציאות, הוא ממוצע של שני שווקים שאין ביניהם שום קשר.

יש על זה עבודה אקדמית ישראלית טובה, כולל מחקר בפקולטה להנדסה באוניברסיטת בר אילן על הערכת הוגנות במודלי שפה גדולים והשוואה בין שפות. אצל אחד הלקוחות שלנו הפער היה 61 אחוז נראות באנגלית מול 19 אחוז בעברית, אותו מותג, אותו חודש, אותם פרומפטים מתורגמים אחד לאחד.

מיפוי פרומפט לעמוד, ושם מתחבא הפער האמיתי

מדידה בלי מיפוי היא בידור. היא אומרת לכם שאתם לא מופיעים, ולא אומרת מה לעשות מחר בבוקר. אני ממפה כל פרומפט לעמוד יעד אחד באתר, ואז בודק שתי שאלות, האם המנוע הזכיר אותנו, והאם הוא הזכיר את העמוד הנכון.

איך משפרים נראות ב-AI בלי לרדוף אחרי טריקים

אני יכול להגיד לכם דבר אחד בוודאות. אין קיצור דרך, ומי שמוכר לכם כזה מוכר לכם אוויר. הבסיס נשאר SEO טכני נקי, ועליו נבנית שכבת AEO, תוכן שעונה על שאלה שלמה בפסקה אחת, נתונים מובנים, ועדכון שוטף.

אנחנו מתמחים בקידום אורגני בלבד, וזה בדיוק מה שמאפשר לנו להעמיק בשכבה הזו במקום לפזר תקציב על חמישה ערוצים.

מה הייתי עושה במקומכם השבוע

תבחרו קטגוריה אחת. תכתבו 30 פרומפטים בלי שם המותג שלכם. תריצו שלוש חזרות על שני מנועים. תרשמו הכל בגיליון עם שבעת השדות הקבועים. זה הכל. אחרי חודשיים יהיה לכם משהו שאף דוח מרשים לא יכול לתת, קו בסיס אמיתי.