בוטים של AI הם סורקים אוטומטיים שמנועי הבינה המלאכותית מפעילים כדי לקרוא תוכן מהאתר שלכם — בין לצורך אימון המודל ובין לצורך שליפת מידע עדכני בזמן שאלה. הם שונים מ-Googlebot הקלאסי (שמאנדקס לחיפוש). לכל מנוע AI בוט משלו, וניתן לשלוט בגישתו דרך קובץ robots.txt שבשורש האתר.

• GPTBot — הבוט של OpenAI (ChatGPT).
• OAI-SearchBot — לחיפוש/שליפה של OpenAI.
• Google-Extended — שולט אם התוכן זמין ל-Gemini ולמוצרי ה-AI של גוגל (בנפרד מ-Googlebot לחיפוש).
• PerplexityBot — הבוט של Perplexity.
• ClaudeBot / anthropic-ai — הבוטים של Anthropic.

זו החלטה עסקית, לא רק טכנית. אם אתם רוצים שהתוכן שלכם יופיע ויומלץ בתשובות ה-AI — עליכם לאפשר לבוטים לסרוק. חסימה שומרת על התוכן "מחוץ" למנועי ה-AI, אך המחיר הוא היעדרות מהתשובות שבהן הלקוחות שלכם מקבלים החלטות. עבור רוב העסקים שמבקשים נראות ב-GEO, לאפשר גישה הוא הבחירה הנכונה. חסימה שמורה למקרים מיוחדים (תוכן קנייני רגיש).

ההגדרה נעשית בקובץ robots.txt בשורש הדומיין, עם כללי Allow/Disallow לכל User-agent. חשוב לוודא שאתם לא חוסמים בטעות בוט חשוב, ושהקובץ תקין תחבירית. שינוי שגוי כאן משפיע על כל האתר — ולכן מומלץ לבצע בזהירות, לתעד, ולבדוק לאחר מכן שהבוטים הרצויים אכן מורשים.

טעות נפוצה: להעתיק robots.txt "מחמיר" מאתר אחר שחוסם בוטים של AI — ובכך להוציא את עצמכם מכל תשובות ה-AI בלי לשים לב. אם גיליתם שאתם לא מופיעים בשום תשובת AI, אחד הדברים הראשונים לבדוק הוא ש-robots.txt לא חוסם את GPTBot, Google-Extended ואת השאר. חסימה שקטה כזו יכולה לבטל את כל מאמצי ה-GEO.

לצד robots.txt, מתגבש סטנדרט חדש בשם llms.txt — קובץ ייעודי שנועד לעזור למנועי AI להבין את המבנה והתוכן המרכזי של האתר. הוא עדיין בשלבים מוקדמים ואינו נתמך על ידי כל המנועים, אך מסמן את הכיוון: אתרים יתחילו "לדבר" עם מנועי AI בצורה מובנית וייעודית. כדאי לעקוב אחרי ההתפתחות.

• גשו ל-yourdomain.co.il/robots.txt ובדקו מה כתוב שם.
• ודאו שאין Disallow חוסם ל-GPTBot, Google-Extended, PerplexityBot ו-ClaudeBot (אם אתם רוצים נראות ב-GEO).
• ודאו ש-Googlebot (לחיפוש) פתוח כרגיל.
• בדקו שהקובץ תקין תחבירית — שגיאה כאן משפיעה על כל האתר.
• אחרי כל שינוי — בדקו שוב, ותעדו מה שיניתם כדי שתוכלו לחזור אחורה.

חסימת בוטים של AI פוגעת ב-SEO רגיל?

לא ישירות — Googlebot לחיפוש נפרד מ-Google-Extended ל-AI. אבל חסימת בוטי AI מוציאה אתכם מתשובות ה-AI, שזו זירה חשובה בפני עצמה.

כדאי לאפשר לכל בוטי ה-AI?

לרוב העסקים שמבקשים נראות ב-GEO — כן. חסימה שמורה למקרים של תוכן קנייני רגיש שאין רצון שיופיע במנועי AI.

איך יודעים אם אני חוסם בטעות?

בדקו את robots.txt בשורש הדומיין וחפשו כללי Disallow ל-GPTBot, Google-Extended, PerplexityBot וכו׳. אם הם חסומים ואתם רוצים נראות — הסירו את החסימה.