בעיות אינדוקס בגוגל: מדריך מקיף לפתרון בעיות סריקה וקידום אתר

87% מהפעמים שלקוח מתקשר אליי בפאניקה ואומר "האתר שלי נעלם מגוגל" — האתר לא נעלם. הוא פשוט מעולם לא היה שם באמת. זו אבחנה שלקח לי שנים לחדד, אחרי מאות פרויקטים, ואני יכול להגיד לכם דבר אחד בוודאות: רוב בעלי העסקים מבלבלים בין בעיית דירוג לבעיית אינדוקס, ובגלל זה הם מטפלים בבעיה הלא נכונה במשך חודשים.

אני גלעד קמר, מ-2014 אני וצוות WEBS עובדים עם מאות לקוחות בארץ ובחו"ל — ארה"ב, גרמניה, אנגליה, שוויץ — וזה אחד התחומים שבהם אני רואה הכי הרבה כסף נשרף לחינם. אז בואו נעשה סדר.

הבעיה הראשונה שצריך לפתור: זו בעיית אינדוקס או בעיית דירוג?

שתי בעיות שונות לחלוטין. דירוג זה כשהעמוד נמצא במאגר של גוגל אבל מופיע במקום 47. אינדוקס זה כשהעמוד לא קיים במאגר בכלל. אם אתם משקיעים בקופירייטינג, בקישורים, ב-Core Web Vitals — אבל הדף עצמו לא מאונדקס, אתם משלמים על מירוץ שלא התחלתם בו.

הבדיקה הכי מהירה? חיפוש בגוגל של site:yourdomain.com/your-page. אם לא מופיע כלום, יש לכם בעיית אינדוקס. אם מופיע אבל לא נמצא בחיפושים אמיתיים, יש לכם בעיית דירוג. שני עולמות, שני טיפולים.

איך באמת בודקים אם עמוד מאונדקס (לא הבדיקה שכולם עושים)

בדיקת ה-site: שהזכרתי היא נחמדה לאינדיקציה ראשונית, אבל היא משקרת. ראיתי המון מקרים שבהם site: החזיר תוצאה אבל הדף בפועל לא הופיע באף שאילתה רלוונטית. הכלי האמיתי הוא Google Search Console, ובתוכו שני דוחות שאתם חייבים להכיר.

הראשון, דוח Page Indexing של Search Console, מציג את הסטטוסים האמיתיים: "נסרק – לא נכלל באינדקס כרגע", "הדף התגלה אבל לא נוסף לאינדקס בשלב זה", ועוד עשרות סטטוסים שכל אחד מהם מספר סיפור אחר. השני הוא URL Inspection Tool, שמראה לכם בדיוק מה גוגל ראתה, איזה canonical היא בחרה בפועל, ומה היה ב-HTML שהיא קיבלה.

סריקה זה לא אינדוקס. ההבדל שמשנה הכל

זאת ההבחנה הכי לא מובנת בעולם ה-SEO הישראלי. סריקה (Crawling) היא הפעולה שבה Googlebot מגיע, קורא את התוכן, ומבין מה כתוב. אינדוקס (Indexing) זאת ההחלטה של גוגל אם להכניס את הדף הזה למאגר שלה ולשקול אותו לתוצאות חיפוש.

דף יכול להיסרק ולא להיות מאונדקס. דף יכול להיות מאונדקס בלי להיסרק לעומק (למשל אם הוא חסום ב-robots.txt אבל יש לו קישורים חיצוניים). זה לא תיאוריה. זה קורה כל יום. המסמך הרשמי של גוגל על Crawling and Indexing מסביר את זה היטב, אבל אני אגיד לכם את האמת — רוב הסוכנויות שאני פוגש עדיין מבלבלות בין השניים.

תוך כמה זמן באמת גוגל מאנדקסת אתר חדש?

השאלה הזאת מקבלת אצלי תשובה כל יום. אין מספר קסם. ראיתי דומיין חדש לחלוטין שאונדקס תוך 18 שעות, וראיתי אתר עם 400 עמודים איכותיים שלקח לו שלושה חודשים להגיע לאינדוקס מלא. הנה הגורמים שמשפיעים בפועל.

אני אומר ללקוחות שלי: תכננו 4 שבועות, תהיו מופתעים לטובה אם זה קורה מהר יותר. וחשוב יותר — אל תבקשו אינדוקס ידני 47 פעם ביום. המסמך הרשמי של גוגל מציין במפורש שיש מכסה לבקשות והיא לא מבטיחה אינדוקס.

"הדף התגלה אבל לא נוסף לאינדקס" — מה זה אומר באמת?

הסטטוס הזה אומר שגוגל יודעת שהדף קיים (בדרך כלל ראתה אותו ב-sitemap או דרך קישור), אבל החליטה לא לבזבז משאבי סריקה עליו כרגע. זאת לא בעיה טכנית. זאת בעיית אותות חשיבות.

הסיבה הכי נפוצה שאני רואה? אתרי איקומרס עם 12,000 וריאציות מוצר שכל אחת מהן זהה ל-95% לאחותה. גוגל פשוט מחליטה: "לא, תודה, אני לא מעניינת אותי לסרוק עוד ורסיה של אותה חולצה בצבע קצת אחר".

"נסרק – לא נכלל באינדקס כרגע" זה הסטטוס שמעצבן הכי הרבה

זה הסטטוס שגורם לי הכי הרבה שיחות עצובות עם לקוחות. ההבדל מהקודם? פה גוגל כבר קראה את הדף וראתה את התוכן. ובכל זאת החליטה: לא מעניין. לא מאונדקס. וזה מה שמעצבן? אין הסבר רשמי לכל מקרה.

מהניסיון שלי, אלו הסיבות שאני רואה שוב ושוב בפרויקטים: תוכן דק (פחות מ-300 מילים בלי ערך מוסף), כפילות פנימית (דפי תגיות, פילטרים, גרסאות הדפסה), חוסר אמון של הדומיין, או דפים שגוגל מחשיבה כמיושנים. תאמינו לי, עשיתי את כל הטעויות האלה בפרויקטים מוקדמים שלי. כתבתי 200 מאמרים של 400 מילה כל אחד וחשבתי שגוגל תאהב את זה. היא לא אהבה.

תג noindex: הבאג השקט שמוחק לכם את האתר מגוגל

הסיפור הקלאסי. לקוח מתקשר: "האתר נעלם אחרי שדרוג". בודק. כל האתר עם noindex ב-meta robots. איך זה הגיע לשם? תוסף SEO שהיה במצב "סביבת פיתוח" ועלה לפרודקשן בלי שמישהו שם לב.

הבעיה הקשה יותר היא X-Robots-Tag בכותרות HTTP. זה noindex שלא רואים בקוד המקור. בודקים את ה-HTML — נקי. אבל השרת שולח כותרת HTTP שאומרת לגוגל "אל תאנדקס". המפרט הרשמי של Google על robots meta tag ו-X-Robots-Tag מסביר את שני המנגנונים, ואני ממליץ לכל מפתח לקרוא אותו לפחות פעם בשנה.

איך robots.txt חוסם סריקה (ולמה זה לא בדיוק מה שחשבתם)

הנה משהו נגד-אינטואיטיבי. דף שחסום ב-robots.txt עדיין יכול להופיע בתוצאות גוגל. כן, קראתם נכון. אם הדף מקבל קישורים חיצוניים, גוגל יכולה להציג אותו בתוצאות בלי תיאור (כי לא מותר לה לסרוק את התוכן). זה תיעוד רשמי, לא תיאוריה. הכללים השימושיים של גוגל ל-robots.txt מסבירים את זה במפורש.

ואז יש את הקלאסיקה: Disallow: / שעולה בטעות לפרודקשן אחרי הקמת אתר. ראיתי את זה אצל עסק עם 80,000 ש"ח בחודש בקמפיינים, עם דומיין שמת לחלוטין במשך 11 ימים עד שמישהו זיהה. אנחנו בצוות שלי הקמנו על זה ניטור ספציפי במערכת WEBFORCE, פשוט כי זה קורה הרבה יותר ממה שתחשבו.

Sitemap לא מבטיח כלום (ובכל זאת הוא קריטי)

בעלי עסקים אומרים לי: "שלחתי sitemap בשבוע שעבר, למה לא הכל מאונדקס?" התשובה הקצרה: כי sitemap זה לא חוזה, זה הצעה. המסמך הרשמי של גוגל על sitemaps אומר את זה במפורש: sitemap עוזר לגילוי URLs, אבל לא מבטיח שכל URL ייסרק או יאונדקס.

איפה sitemap דווקא פוגע? כשהוא מלא ב-URLs לא קנוניים, דפי 404, דפים חסומים ב-robots.txt, או דפים עם noindex. זה שולח לגוגל אות של חוסר תחזוקה ופוגע באמינות הכללית של האתר. תבדקו את ה-sitemap שלכם פעם בחודש. זה לוקח 7 דקות וחוסך כאב ראש.

קנוניקל שגוי: הסיבה שעמוד שלם נעלם בלי שתשימו לב

תרחיש אמיתי מלקוח שלי לפני שנה. דף שירות חשוב, מקבל תנועה אורגנית טובה, פתאום צונח ב-90%. בדקנו את ה-URL ב-URL Inspection. הוא הצביע, באמצעות rel=canonical, לדף הבית. למה? כי בתבנית של ה-CMS היה באג שאמר "אם אין canonical מוגדר, השתמש בדף הבית כברירת מחדל". מי הגדיר את זה? אף אחד לא זוכר.

הנקודה שכולם מפספסים: גוגל לא חייבת לציית לקנוניקל שלכם. המדריך הרשמי לפתרון בעיות קנוניקל מסביר שגוגל בוחרת לעצמה את ה-canonical שהיא חושבת שהוא הנכון. ההבדל בין "Canonical שהוצהר" ל"Canonical שנבחר על ידי Google" הוא ההבדל בין מה שאתם רוצים שיקרה למה שקורה בפועל.

הפניות 301, 302, ושגיאות 404/500 — מי מהן הורגת אינדוקס?

טעות נפוצה שאני שומע: "הפנינו את כל הדפים ב-302, זה זמני בכל זאת". לא. המסמך הרשמי של גוגל על הפניות ברור: 301 מעביר את אותות הקנוניקל לכתובת החדשה, 302 משאיר את האותות בכתובת המקורית. אם השדרוג קבוע, חייבים 301.

שרשראות הפניה זה סיפור אחר. ראיתי אתרים שבהם A מפנה ל-B שמפנה ל-C שמפנה ל-D. גוגל מוותרת אחרי 5 קפיצות. כל הכוח של הקישור הולך לאיבוד. שגיאות 5xx מסוכנות יותר מ-404, כי הן מסמנות לגוגל "האתר לא יציב, נחזור פחות". כדי למנוע תרחישים אלה, אנחנו ממליצים על WEBFORCE לאיתור שגיאות אתר אוטומטי שמזהה שגיאות בזמן אמת ושולח התראה לפני שהדירוג נפגע.

Crawl Budget: למי זה באמת רלוונטי, ולמי זה רק באז-וורד

בוא נהיה כנים. אם יש לכם אתר עם 200 עמודים, Crawl Budget זאת לא הבעיה שלכם. גוגל יכולה לסרוק את כל האתר שלכם בשעה. המדריך הרשמי של גוגל ל-Crawl Budget מציין במפורש שזה רלוונטי רק לאתרים עם אלפי עמודים ומעלה.

אבל אם יש לכם איקומרס עם 50,000 SKU, או אתר חדשות עם תוכן יומי, אז כן — Crawl Budget הוא הבעיה. דרכי השיפור:

• לחסום פילטרים פנימיים ב-robots.txt
• להשתמש ב-noindex לדפי ארכיון לא חשובים
• לתקן שרשראות הפניה
• לשפר את מהירות השרת

כל פעולה כזאת מחזירה לכם את גוגל לסרוק את הדפים שבאמת חשובים לכם.

מה לעשות כשאתר נעלם אחרי שדרוג (ניירת חירום)

זה התרחיש שמגיע אליי בטלפון בשעה 21:00 ביום ראשון. שדרגתם את האתר, האתר נעלם מגוגל. הנה רשימת הבדיקות לפי סדר עדיפויות, בדיוק כמו שאני עובר עם הצוות שלי בכל מקרה כזה.

הסדר חשוב. אל תתחילו מ-sitemap לפני שבדקתם robots.txt. ראיתי 8 שעות עבודה הולכות לפח כי מישהו טיפל בסימפטומים במקום בסיבה.

למה רק חלק מהעמודים מאונדקסים, והיתר תקועים?

זה דפוס שאני רואה הרבה באתרי תוכן ובחנויות. גוגל אינדקסה את 60% מהאתר ועצרה. למה? כי היא קיבלה החלטה איכותית: הדפים האלה שווים, אלה לא. הדפים שלא מאונדקסים בדרך כלל נופלים לאחת הקטגוריות הבאות:

• דפי תגיות עם 2-3 פוסטים כל אחד
• דפי קטגוריה ריקים מתוכן ייחודי (רק רשת מוצרים בלי תיאור)
• וריאציות מוצר זהות כמעט לחלוטין
• דפי פילטר עם פרמטרים ב-URL

הפתרון הוא לא "להוסיף עוד עמודים" אלא להעמיק את העמודים הקיימים: הוסיפו תוכן ייחודי, חזקו קישורים פנימיים, מזגו דפים דומים, השתמשו בקנוניקל בחוכמה.

למה אנחנו עושים את זה אחרת ב-WEBS

אנחנו מומחים בקידום אורגני בלבד, וזה מה שהופך אותנו לייחודיים. אנחנו לא מפזרים את עצמנו על PPC, סושיאל, ועוד 14 תחומים. SEO. נקודה. ומאז 2014 הצוות שלי טיפל במאות מקרים של בעיות אינדוקס, חלקם חמורים מאוד, ופיתחנו פלטפורמת ניטור משלנו (WEBFORCE) בדיוק בגלל שלא מצאנו כלי שעושה את זה כמו שצריך.

אתם נמצאים איתנו כל עוד אתם מרוצים. ללא התחייבות חודשית, ללא אותיות קטנות. אם זה לא עובד, אתם הולכים. ככה אנחנו עובדים.