העמוד הזה הוא חלק מהעבודה על קידום עורכי דין בבינה מלאכותית, והוא החלק הטכני שלה. כל העבודה על פרופילים, ביקורות ותוכן לא שווה הרבה אם האתר סגור בדיוק לבוטים שמביאים את המשרד לתשובות. העמוד מרכז את כל הבוטים שמשרד צריך להכיר, מסביר איך הקובץ robots.txt נקרא בפועל, נותן טבלת החלטה וקבצים מוכנים להעתקה, ובודק מה ההגדרות של Cloudflare ו־llms.txt עושים באמת. על כל מנוע בנפרד כתבנו במדריכים על איך ChatGPT בוחר עורך דין ועל Perplexity ו־Claude, וכאן ההחלטה מתקבלת על כל הספקים יחד.
ארבעה סוגים של בוטים, ולמה ההבדל קובע
כשמסתכלים על התיעוד של הספקים, מתברר שהמילה ״בוט״ מכסה ארבעה דברים שונים. ההחלטה מה לאפשר תלויה כמעט כולה בסוג, ולא בשם החברה.
- בוט של חיפוש. סורק את הרשת כדי לבנות אינדקס, וממנו המנוע שולף מקורות לתשובות. חסימה שלו מוציאה את האתר מהתשובות. דוגמאות הן OAI-SearchBot, PerplexityBot ו־Claude-SearchBot. אצל גוגל התפקיד הזה שייך ל־Googlebot.
- בוט של אימון. אוסף תוכן שעשוי לשמש לאימון מודלים. חסימה שלו אומרת לספק לא להשתמש בתוכן העתידי של האתר באימון. דוגמאות הן GPTBot, ClaudeBot ו־meta-externalagent.
- בוט שפועל לבקשת משתמש. נכנס לעמוד מסוים כשמשתמש מבקש מהצ׳אטבוט לפתוח אותו. הוא לא סורק את הרשת באופן אוטומטי. דוגמאות הן ChatGPT-User, Perplexity-User ו־Claude-User.
- אסימון בלי סורק. שם שכותבים בקובץ רק כדי להגדיר שימוש, בלי שום בוט שמגיע לאתר בשם הזה. Google-Extended ו־Applebot-Extended הם כאלה. הסריקה עצמה נעשית על ידי Googlebot ו־Applebot, והאסימון קובע רק מה מותר לעשות בתוכן שכבר נסרק.
הסוג הרביעי הוא זה שמבלבל הכי הרבה. גוגל כותבת שאין ל־Google-Extended מחרוזת זיהוי נפרדת בבקשות HTTP, ו־Apple כותבת ש־Applebot-Extended לא סורק עמודים. משרד שמחפש אותם ביומן השרת לא ימצא אותם לעולם, וזה לא אומר שהכלל לא עובד.
כל הבוטים בטבלה אחת, לפי מה שהספקים כותבים
הטבלה מרכזת רק מה שכתוב בעמודים הרשמיים של כל ספק, כפי שנבדקו ב־25 באוקטובר 2026. העמודה האחרונה היא ההמלצה שלנו למשרד שרוצה להופיע בתשובות ולא רוצה שהתוכן ישמש לאימון. משרד שלא אכפת לו מאימון יכול להשאיר הכל פתוח.
| הבוט | הספק | התפקיד לפי הספק | robots.txt | מה קורה כשחוסמים | ההמלצה למשרד |
|---|---|---|---|---|---|
| Googlebot | סורק לחיפוש, כולל סקירות ה־AI ו־AI Mode | מכבד | האתר נעלם מגוגל, כולל מהסקירות | לאפשר תמיד | |
| Google-Extended | אסימון. אימון מודלים של Gemini וביסוס תשובות באפליקציות של Gemini וב־Vertex AI | מכבד | לא משפיע על החיפוש ולא על הדירוג בגוגל. עשוי לצמצם שימוש בתוכן בתשובות של אפליקציית Gemini | החלטה של המשרד, ראו בהמשך | |
| OAI-SearchBot | OpenAI | חיפוש ב־ChatGPT | מכבד | האתר לא יוצג בתשובות החיפוש, מלבד קישורי ניווט | לאפשר |
| GPTBot | OpenAI | תוכן שעשוי לשמש לאימון מודלים | מכבד | התוכן לא ישמש לאימון | לחסום, אם זו ההחלטה |
| ChatGPT-User | OpenAI | פעולות לבקשת משתמש ב־ChatGPT. לא סורק את הרשת באופן אוטומטי | OpenAI כותבת שהכללים אולי לא יחולו | OpenAI כותבת שהוא לא קובע מה מופיע בחיפוש | לא לחסום |
| PerplexityBot | Perplexity | הצגת אתרים וקישור אליהם בתוצאות. לא לאימון | מכבד | האתר לא ייסרק לתוצאות של Perplexity | לאפשר |
| Perplexity-User | Perplexity | שליפה לבקשת משתמש | בדרך כלל מתעלם | הקובץ לא עוצר אותו | לא לחסום |
| Claude-SearchBot | Anthropic | סריקה לשיפור תוצאות החיפוש של Claude | מכבד | התוכן לא נכנס לאינדקס החיפוש | לאפשר |
| Claude-User | Anthropic | שליפה לבקשת משתמש | מכבד | Claude לא יוכל לשלוף את העמוד כשמשתמש שואל | לאפשר |
| ClaudeBot | Anthropic | תוכן שעשוי לשמש לאימון | מכבד | התוכן העתידי לא ייכלל באימון | לחסום, אם זו ההחלטה |
| Applebot-Extended | Apple | אסימון. שימוש בתוכן לאימון מודלים של Apple | מכבד | Apple כותבת שהעמודים עדיין יכולים להופיע בחיפוש שלה | לחסום, אם זו ההחלטה |
| meta-externalagent | Meta | אימון מודלים ושיפור מוצרים | מכבד | התוכן לא ייסרק לאימון | לחסום, אם זו ההחלטה |
| meta-externalfetcher | Meta | שליפה של קישור לבקשת משתמש | Meta כותבת שהוא עשוי לעקוף | הקובץ לא בהכרח עוצר אותו | לא לחסום |
שתי שורות דורשות זהירות. הראשונה היא Claude-User. בניגוד לבוטים המקבילים של OpenAI ו־Perplexity, Anthropic מתארת אותו ככזה שמכבד את הקובץ, ולכן כלל כללי שחוסם ״כל מה שאינו גוגל״ סוגר אותו באמת, ואיתו את האפשרות של Claude לפתוח עמוד של המשרד כשמשתמש מבקש. השנייה היא Google-Extended, שעליה יש פרק נפרד בהמשך.
הרשימה לא כוללת כל בוט שקיים, אלא את מה שמשפיע על המנועים שלקוחות של משרד עורכי דין משתמשים בהם. מי שמוסיף שם של בוט שלא מופיע כאן צריך למצוא אותו קודם בתיעוד של הספק עצמו, ולא ברשימה שמסתובבת ברשת.
איך הקובץ robots.txt נקרא בפועל
רוב הטעויות שאנחנו רואים בקבצים של משרדים לא נובעות מבחירה לא נכונה, אלא מקריאה לא נכונה של הכללים. ה־Robots Exclusion Protocol קיבל תקן רשמי של ה־IETF, RFC 9309, בספטמבר 2022, וגוגל מפרסמת איך היא מפרשת אותו. אלה הכללים שמשנים את התוצאה:
- בוט מקיים קבוצה אחת בלבד. גוגל כותבת שרק קבוצה אחת תקפה לכל סורק, הקבוצה עם השם הספציפי ביותר שתואם לו, ושאר הקבוצות נזנחות. קבוצה בשם GPTBot גוברת על הקבוצה של הכוכבית, והכוכבית לא מתווספת אליה.
- קבוצות עם אותו שם מתאחדות. אם השם GPTBot מופיע פעמיים בקובץ, הכללים של שתי הקבוצות מצטרפים לקבוצה אחת.
- הכלל הספציפי גובר. בתוך קבוצה, גוגל בוחרת את הכלל עם הנתיב הארוך ביותר שתואם לכתובת. כשיש שוויון בין Allow ל־Disallow, היא בוחרת בכלל המגביל פחות.
- השם לא רגיש לאותיות, הנתיב כן. /Blog ו־/blog הם שני נתיבים שונים.
- קובץ לכל מארח. הכללים חלים רק על המארח, הפרוטוקול והפורט שבהם הקובץ יושב. Anthropic כותבת שצריך לחזור על הכללים בכל תת־דומיין.
- מטמון של עד 24 שעות. התקן קובע שסורק לא ישתמש בעותק שמור יותר מ־24 שעות, אלא אם הקובץ לא נגיש.
- שגיאה בקובץ משנה הכל. לפי גוגל, קוד 4xx, מלבד 429, נחשב כאילו אין קובץ ואין הגבלות. קוד 5xx עוצר את הסריקה של גוגל ב־12 השעות הראשונות.
- שדות שגוגל לא מכירה. גוגל תומכת רק ב־user-agent, allow, disallow ו־sitemap. Anthropic תומכת בהרחבה Crawl-delay, וגוגל מתעלמת ממנה.
המלכודת של הקבוצה הכללית, בדוגמה
נניח שבקובץ של משרד יש קבוצה לכוכבית שחוסמת את אזור הלקוחות ואת דף התודה, והמפתח הוסיף מתחתיה קבוצה בשם OAI-SearchBot עם שורת Allow לכל האתר, ״כדי להיות בטוחים״. מה כל בוט רואה?
| הבוט | הקבוצה שהוא מקיים | אזור הלקוחות | דף התודה | שאר האתר |
|---|---|---|---|---|
| Googlebot | הכוכבית | חסום | חסום | פתוח |
| PerplexityBot | הכוכבית | חסום | חסום | פתוח |
| OAI-SearchBot | הקבוצה בשמו בלבד | פתוח | פתוח | פתוח |
התוספת שנועדה ״לפתוח״ את OAI-SearchBot פתחה לו גם את מה שהמשרד חסם לכל השאר. המסקנה המעשית פשוטה. בוט שרוצים לאפשר לא צריך קבוצה משלו, כי הוא נופל לקבוצה של הכוכבית. קבוצה בשם מוסיפים רק לבוט שרוצים להגביל, ואם היא נוספת, חוזרים בתוכה על כל החסימות של הכוכבית.
מה לאפשר לנראות ומה לחסום לאימון
ההחלטה לגבי אימון היא עניין של מדיניות המשרד, ואין לה תשובה נכונה אחת. ההחלטה לגבי חיפוש פשוטה יותר. משרד שרוצה פניות מתשובות של צ׳אטבוטים צריך את הבוטים של החיפוש פתוחים. הטבלה מסדרת את האפשרויות לפי המטרה.
| המטרה של המשרד | בוטים של חיפוש | בוטים לבקשת משתמש | בוטים של אימון | Google-Extended | למי זה מתאים |
|---|---|---|---|---|---|
| נראות מלאה, בלי הגבלה | פתוח | פתוח | פתוח | פתוח | משרד שהתוכן שלו שיווקי בלבד ולא אכפת לו מאימון |
| נראות בלי אימון | פתוח | פתוח | חסום | פתוח | רוב המשרדים. שומר על Gemini ועל כל מנועי החיפוש |
| נראות בלי אימון, כולל Gemini | פתוח | פתוח | חסום | חסום | משרד שמוכן לוותר על חלק מהשימוש בתוכן באפליקציית Gemini |
| מינימום חשיפה ל־AI | רק Googlebot | חסום בחומת האש | חסום | חסום | משרד שהחליט שלא להופיע בצ׳אטבוטים. מוותר על פניות מהם |
השורה השנייה היא ברירת המחדל שאנחנו מציעים. היא מאפשרת למשרד להופיע ב־ChatGPT, ב־Perplexity, ב־Claude ובגוגל, ומסמנת לספקים שמפרסמים בוט אימון נפרד לא להשתמש בתוכן לאימון. השורה האחרונה קיימת, אבל משרד שבוחר בה צריך לדעת שהוא מוותר על ערוץ שלם, ושחלק מהבוטים לבקשת משתמש לא נעצרים בקובץ בכלל אלא רק בחומת האש.
האסימון של גוגל ל־Gemini, ההחלטה שהכי קל לטעות בה
רשימות ״חסימת בוטים של AI״ שמסתובבות ברשת כוללות כמעט תמיד את Google-Extended. גוגל כותבת שהוא לא משפיע על ההופעה בחיפוש ולא משמש לדירוג, ולכן נדמה שאין מחיר לחסימה. אבל באותו עמוד גוגל כותבת שהאסימון שולט גם בביסוס תשובות, כלומר באספקת תוכן מהאינדקס של החיפוש למודל בזמן השאלה, באפליקציות של Gemini וב־Vertex AI. המשמעות למשרד היא שחסימה של Google-Extended לא תוריד אותו מסקירות ה־AI בגוגל, אבל עשויה לצמצם את השימוש בתוכן שלו כשמישהו שואל את אפליקציית Gemini. על הסקירות עצמן כתבנו במדריך על AI Overviews ו־Gemini.
קבצים מוכנים להעתקה
שלושה קבצים לשלושת המצבים הנפוצים. כל שורה בטבלה היא שורה בקובץ. מעתיקים לפי הסדר, ובמקום השורות שמתחילות בסולמית אפשר להשאיר שורה ריקה. בכל הקבצים צריך להחליף את הנתיבים לדוגמה בנתיבים של האתר שלכם ואת הכתובת בשורת ה־Sitemap בכתובת האמיתית.
קובץ ראשון, הכל פתוח מלבד אזורים פרטיים
זה המבנה של הקובץ באתר שלנו. אין בו אף שם של בוט, וכל הבוטים נופלים לקבוצה של הכוכבית.
| robots.txt |
|---|
User-agent: * |
Allow: / |
Disallow: /api/ |
Disallow: /lab/ |
# end |
Sitemap: https://example.co.il/sitemap-index.xml |
קובץ שני, נראות בלי אימון
הבוטים של החיפוש לא מופיעים בשם, ולכן הם מקבלים את הכללים של הכוכבית. לבוטים של האימון יש קבוצה אחת משותפת. התקן מאפשר כמה שורות User-agent ברצף לפני הכללים, וכולן חולקות את אותה קבוצה.
| robots.txt |
|---|
User-agent: * |
Allow: / |
Disallow: /api/ |
# training bots |
User-agent: GPTBot |
User-agent: ClaudeBot |
User-agent: Applebot-Extended |
User-agent: meta-externalagent |
Disallow: / |
# end |
Sitemap: https://example.co.il/sitemap-index.xml |
אם המשרד מחליט לחסום גם את Google-Extended, מוסיפים שורת User-agent בשמו לאותה קבוצה. בגלל שהקבוצה חוסמת את כל האתר, אין צורך לחזור בה על החסימה של /api/.
קובץ שלישי, אימון חסום רק למאמרים
משרד שרוצה שעמודי השירות יהיו זמינים לכל שימוש, אבל המאמרים המקצועיים שלו לא ישמשו לאימון, כותב לבוטים של האימון חסימה לתיקייה אחת. כאן הקבוצה לא חוסמת הכל, ולכן חוזרים בה על החסימה של /api/.
| robots.txt |
|---|
User-agent: * |
Allow: / |
Disallow: /api/ |
# training bots, articles only |
User-agent: GPTBot |
User-agent: ClaudeBot |
Disallow: /api/ |
Disallow: /articles/ |
# end |
Sitemap: https://example.co.il/sitemap-index.xml |
אחרי כל שינוי פותחים את הכתובת של האתר עם /robots.txt בסוף, מוודאים שהקובץ מוחזר עם קוד 200 ובקידוד UTF-8, ובודקים אותו בדוח robots.txt של Search Console. מי שבונה אתר חדש יכול לבקש שהקובץ יהיה חלק מהקוד ולא קובץ שמישהו מעלה ידנית, כך שהוא לא נעלם בהעברה. על זה כתבנו במדריך על העברת אתר, והוא חלק מכל פרויקט של בניית אתר לעורך דין.
Cloudflare, ההגדרה שעוקפת את הקובץ
הקובץ הוא רק חצי מהתמונה. הרבה אתרים של משרדים יושבים מאחורי Cloudflare, ש־Cloudflare עצמה כותבת שהיא מנהלת תעבורה בשביל 20% מהרשת. ב־1 ביולי 2025 היא הודיעה שהיא חוסמת כברירת מחדל סורקי AI שניגשים לתוכן בלי רשות, ושדומיין חדש נשאל בהרשמה אם לאפשר אותם. לפי אותה הודעה, לקוחות קיימים יכולים לבדוק את ההגדרות ולאפשר סריקה בכל רגע. MIT Technology Review דיווח באותו יום על השינוי ועל שירות ״תשלום לפי סריקה״ שהוכרז יחד איתו.
ב־1 ביולי 2026 Cloudflare הוסיפה שלוש קטגוריות שאפשר לשלוט בהן בנפרד:
| הקטגוריה | מה היא כוללת לפי Cloudflare | האפשרויות |
|---|---|---|
| Search | סורקים שאוספים תוכן לאינדקס כדי לענות עליו אחר כך | חסימה בכל העמודים, חסימה רק בעמודים עם מודעות, או בלי חסימה |
| Agent | פעילות בזמן אמת בשם אדם, כמו שליפה מצ׳אט וסוכני דפדפן | אותן שלוש אפשרויות |
| Training | סורקים שלוקחים תוכן כדי לאמן או לכוונן מודל | אותן שלוש אפשרויות |
לפי התיעוד, מ־15 בספטמבר 2026 דומיינים חדשים מקבלים ברירת מחדל שבה Training ו־Agent נחסמים בעמודים עם מודעות ו־Search נשאר מותר. ההגדרה הישנה Block AI bots יוצאת משימוש באותו תאריך. התיעוד של Cloudflare לא עקבי לגבי בוטים שמשמשים גם לחיפוש וגם לאימון. במקום אחד כתוב שההגדרה הישנה לא חלה עליהם, ובמקום אחר שהחסימה של אימון תחול גם עליהם. משרד שיש לו בוט כזה ברשימה בודק בלוח הבקרה מה קורה בפועל.
robots.txt מנוהל, הקובץ שאף אחד באתר לא כתב
Cloudflare מציעה גם robots.txt מנוהל, בכל החבילות. לפי התיעוד שלה, כשהאפשרות פעילה ואחת הקטגוריות מוגדרת לחסימה, היא מוסיפה בראש הקובץ שורות משלה ואחריהן את הקובץ המקורי של האתר. אם לאתר אין קובץ, היא יוצרת אחד. בדוגמה בתיעוד מופיעות שורות חסימה לבוטים האלה:
- Amazonbot, Applebot-Extended, Bytespider ו־CCBot
- ClaudeBot, Google-Extended, GPTBot ו־meta-externalagent
לפני הרשימה מופיעה שורת Content-signal, שבדוגמה מסמנת חיפוש כמותר ואימון כאסור. Cloudflare מגדירה בה שלושה שימושים, search, ai-input ו־ai-train, וכותבת ש־search לא כולל סיכומי חיפוש שנוצרים ב־AI. היא מוסיפה שהציות לקובץ הוא וולונטרי, ושב־Search Console עשויה להופיע הערה ״Syntax not understood״ על השורות האלה, בלי השפעה שהיא ראתה על הסריקה.
שתי השלכות למשרד. הראשונה היא שהרשימה בדוגמה כוללת את Google-Extended, כך שמשרד שהפעיל את האפשרות קיבל החלטה לגבי Gemini בלי לדעת. השנייה היא שקבוצה של Cloudflare בשם בוט מסוים גוברת על הכוכבית של האתר, לפי הכלל שתיארנו למעלה. הבדיקה היחידה היא לקרוא את הקובץ כפי שהוא מוגש לדפדפן, ולא את הקובץ שבקוד.
llms.txt, מה זה ומה המעמד שלו
ההשלמה האוטומטית של גוגל מראה שאנשים מחפשים ״llms.txt validator״, ״llms txt generator״ ו״llms txt google״, כך שהשאלה מגיעה גם למשרדים. העובדות המאומתות קצרות.
llms.txt הוא הצעה של ג׳רמי הווארד, שפורסמה באתר llmstxt.org ב־3 בספטמבר 2024. האתר פותח במשפט שמתאר אותה כהצעה לתקנן קובץ שעוזר לסוכנים להשתמש באתר. זה לא תקן של IETF או של W3C, ואין לו מעמד דומה ל־RFC 9309 של robots.txt. לפי ההצעה:
- הקובץ יושב בשורש האתר, בכתובת /llms.txt, או בתת־נתיב שהוא מכסה.
- הוא כתוב ב־Markdown. החלק היחיד שחובה הוא כותרת H1 עם שם האתר.
- אחריה באים ציטוט קצר עם תקציר, טקסט חופשי, ורשימות קישורים תחת כותרות H2.
- כותרת בשם Optional מסמנת קישורים משניים שסוכן יכול לדלג עליהם.
- ההצעה ממליצה גם להגיש לכל עמוד גרסת Markdown נקייה, בכתובת עם .md בסוף.
מה הספקים אומרים? גוגל כותבת בעמוד על תכונות ה־AI שלא צריך ליצור קבצים חדשים, קבצי טקסט ל־AI או סימון כדי להופיע ב־AI Overviews וב־AI Mode. ג׳ון מולר מגוגל כתב ב־17 ביוני 2025 שאף מערכת AI לא משתמשת כרגע ב־llms.txt, לפי Search Engine Roundtable. ביוני 2026, לפי Search Engine Journal, הוא אמר שאף אחד לא יודע, שזה ״ספקולטיבי לגמרי בינתיים״, ושהקובץ קיים שנים ואף מערכת AI לא משתמשת בו. אותה כתבה מציינת שבתיעוד של Lighthouse בכרום יש בדיקה ל־llms.txt. בתיעוד של OpenAI, Anthropic ו־Perplexity על הבוטים שלהן, שקראנו לעמוד הזה, לא מצאנו התחייבות לקרוא קובץ llms.txt באתרים של אחרים. אתר התיעוד של OpenAI עצמו מפרסם קובץ כזה למסמכים שלו, וזה מראה שהפורמט בשימוש, לא שהבוטים מחפשים אותו באתר של משרד.
ההמלצה שלנו נגזרת מזה. llms.txt לא נמצא ברשימת העבודה הראשונה של משרד. אם רוצים אותו, הוא קצר, מדויק, ואומר מה המשרד עושה, באילו תחומים ובאיזו עיר, עם קישורים לעמודי התחום. הוא טקסט פומבי שמתאר את המשרד, ולכן כללי הפרסומת חלים עליו כמו על כל עמוד אחר, ושומרים עותק של כל גרסה. את הזמן עדיף להשקיע קודם בקובץ robots.txt נכון, בהגדרות של Cloudflare ובעמודים שעונים על שאלות.
איך בודקים שהבוטים באמת מגיעים לאתר
קובץ נכון לא מבטיח שהבוטים נכנסים. הבדיקה הבאה לוקחת שעה, ועושים אותה אחרי כל שינוי בקובץ או בהגדרות.
- קוראים את הקובץ כפי שהוא מוגש. פותחים את הכתובת עם /robots.txt בסוף בדפדפן. אם בראש הקובץ יש שורות שלא כתבתם, הן מגיעות מ־Cloudflare או מתוסף באתר.
- בודקים את לוח הבקרה של Cloudflare. אם האתר יושב מאחוריה, רושמים מה מוגדר בכל אחת משלוש הקטגוריות ואם robots.txt מנוהל פעיל.
- מחפשים ביומן השרת או בלוח הבקרה של ה־CDN את השמות OAI-SearchBot, PerplexityBot ו־Claude-SearchBot, ובודקים איזה קוד הם קיבלו. קוד 403 על בוט שהתכוונתם לאפשר הוא סימן אפשרי לחסימה בחומת האש או ב־Cloudflare.
- מאמתים שהבוט אמיתי. OpenAI מפרסמת רשימות כתובות IP בפורמט JSON לכל אחד מהבוטים שלה, ו־Perplexity מפרסמת רשימות ל־PerplexityBot ול־Perplexity-User. לגוגל מאמתים בבדיקת DNS הפוכה, שצריכה להחזיר שם שמסתיים ב־googlebot.com, ב־google.com או ב־googleusercontent.com, ובבדיקה חוזרת שמחזירה את אותה כתובת.
- לא מחפשים את מה שלא יגיע. Google-Extended ו־Applebot-Extended לא יופיעו ביומן, כי אין בוטים שמגיעים בשמות האלה.
- מחכים יממה. OpenAI, Perplexity ו־Meta כותבות שלוקח עד כ־24 שעות עד ששינוי בקובץ נקלט, וגוגל שומרת את הקובץ במטמון עד 24 שעות.
Anthropic מוסיפה אזהרה ששווה להכיר. חסימה של הבוטים שלה לפי כתובות IP עלולה למנוע מהם לקרוא את הקובץ, ולכן היא לא מבטיחה את ההחרגה לאורך זמן. הדרך שהיא ממליצה עליה היא הקובץ עצמו. אחרי הבדיקה הטכנית, מודדים אם המשרד מופיע בתשובות לפי השיטה במדריך על מדידת נראות ב־AI.
מה לא שמים באתר, בלי קשר לבוטים
robots.txt הוא בקשה, לא מנעול. התקן עצמו כותב שהכללים אינם הרשאת גישה, וגוגל כותבת שהקובץ אינו דרך להוציא עמוד מגוגל, ושעמוד חסום יכול להופיע בתוצאות אם יש אליו קישורים מאתרים אחרים. לכן שלושה דברים נכונים לכל משרד:
- מסמכים של לקוחות לא יושבים בכתובת פומבית, גם לא בתיקייה ״נסתרת״ שחסומה בקובץ. אזור לקוחות צריך סיסמה.
- הקובץ עצמו פומבי. כל אחד יכול לקרוא אותו, ולכן שורת Disallow עם שם של תיקייה רגישה מפרסמת את השם שלה.
- דף תודה ותוצאות טופס מסמנים ב־noindex, ולא מסתמכים על חסימה בקובץ.
הסודיות היא חובה של עורך הדין ולא של הספק. גילוי הדעת של ועדת האתיקה על שימוש בבינה מלאכותית קובע, בין השאר, שברירת המחדל היא איסור להזין מידע של לקוחות לכלי AI פתוח, ואת ההשלכות שלו לשיווק פירטנו בעמוד על AI וסודיות. מי שאוסף פניות באתר צריך גם לעמוד בתיקון 13 לחוק הגנת הפרטיות, שנכנס לתוקף ב־14 באוגוסט 2025, ועל כך בעמוד על תיקון 13. ההחלטה מה לאפשר לבוטים לא משנה אף אחת מהחובות האלה.
כמה עולה טעות בקובץ, בדוגמה עם מספרים
המספרים בפרק הזה הם דוגמה בלבד, כדי להמחיש את סדר הגודל. אף ספק לא מפרסם כמה פניות מגיעות למשרדים מתשובות של צ׳אטבוטים, ואנחנו לא מניחים מספר כזה.
נניח שמשרד מקבל שלוש פניות בחודש שהגיעו מתשובות של ChatGPT, Perplexity או Claude, והגדרה ב־Cloudflare סגרה את הבוטים של החיפוש. כדי להחליף את הפניות האלה בפרסום בגוגל, אפשר להיעזר במדד של BoostIt לישראל. החציון בתחום המשפטי הוא ₪108 לליד, וברבע העליון ₪67.
| התרחיש | עלות לליד | חישוב חודשי | בחודש | בשנה |
|---|---|---|---|---|
| קמפיין בחציון של התחום | ₪108 | 3 × 108 | ₪324 | ₪3,888 |
| קמפיין ברבע העליון | ₪67 | 3 × 67 | ₪201 | ₪2,412 |
- חציון התחום₪108
- הרבע העליון₪67
BoostIt, מדד הפרסום בגוגל בישראל
הסכום עצמו לא גדול, וזו בדיוק הנקודה. התיקון לוקח שעה, והחסימה יכולה להימשך שנה בלי שאיש ישים לב, כי אין שום התראה כשבוט נחסם. ועוד דבר שלא נכנס לטבלה הוא מה שווה תיק אחד שמגיע מאחת הפניות האלה, שבדיני משפחה או בנזיקין יכול להיות גבוה בהרבה מהעלות השנתית כולה. את החישוב למשרד שלכם, לפי שכר הטרחה ואחוז הסגירה שלכם, אפשר לעשות במחשבון העלות לפנייה ולתיק.
טעויות שחוזרות אצל משרדים
| הטעות | מה קורה | התיקון |
|---|---|---|
| העתקה של רשימת ״חסימת כל בוטי ה־AI״ מהרשת | נחסמים גם OAI-SearchBot, PerplexityBot ו־Claude-SearchBot, והמשרד נעלם מהתשובות | מפרידים בין חיפוש לאימון לפי הטבלה למעלה |
| קבוצה בשם של בוט חיפוש ״כדי לאפשר אותו״ | הבוט מתעלם מהחסימות של הכוכבית ונכנס לאזורים חסומים | לא נותנים קבוצה לבוט שרוצים לאפשר |
| חסימה של Google-Extended כחלק מרשימה | השימוש בתוכן בתשובות של אפליקציית Gemini עשוי לרדת | מחליטים עליו בנפרד |
| בדיקה של הקובץ בקוד ולא בכתובת | השורות ש־Cloudflare מוסיפה לא נראות | קוראים את הקובץ בדפדפן |
| חסימה לפי כתובות IP | לפי Anthropic, הבוט עלול לא להצליח לקרוא את הקובץ, וההחרגה לא יציבה | משתמשים בכללים בקובץ |
| קובץ שמחזיר שגיאת שרת | גוגל עוצרת את הסריקה ב־12 השעות הראשונות | בודקים שהקובץ מחזיר קוד 200 |
| קובץ robots.txt רק בדומיין הראשי | תת־דומיין, למשל של בלוג, נשאר בלי כללים | קובץ בכל תת־דומיין |
| חסימה בקובץ במקום noindex | העמוד עלול להופיע בגוגל בלי תיאור | noindex לעמודים שלא רוצים בתוצאות |
| llms.txt במקום תיקון הבסיס | זמן הולך על קובץ שגוגל אומרת שאין בו צורך | robots.txt ו־Cloudflare קודם |
שלוש הטעויות הראשונות הן הנפוצות ביותר, ושלושתן נובעות מאותו מקום. מישהו רצה להגן על התוכן של המשרד, העתיק פתרון כללי, ולא בדק מה הוא עושה לנראות.
תוכנית עבודה ל־90 יום
| מתי | מה עושים | מה יוצא בסוף |
|---|---|---|
| שבוע 1 | קוראים את robots.txt כפי שהוא מוגש, ורושמים את ההגדרות של Cloudflare בשלוש הקטגוריות | צילום מסך של הקובץ ושל ההגדרות, עם תאריך |
| שבוע 1 | המשרד מחליט לגבי אימון ולגבי Google-Extended לפי טבלת ההחלטה | החלטה כתובה בשורה אחת, ומי קיבל אותה |
| שבוע 2 | כותבים את הקובץ מאחת התבניות, מתאימים נתיבים, ומיישרים את ההגדרות של Cloudflare | קובץ חדש בקוד האתר, והגדרות שתואמות לו |
| שבוע 2 | בודקים בדוח robots.txt של Search Console ובדפדפן | קוד 200, בלי שגיאות, בלי שורות לא צפויות |
| שבוע 3 | בודקים ביומן או בלוח הבקרה שהבוטים של החיפוש מקבלים קוד 200 | רשימת בוטים עם הקוד שכל אחד קיבל |
| שבוע 4 | מריצים את בדיקת הנראות החודשית בשאלות קבועות | נקודת התחלה למדידה |
| חודש 2 | בודקים שוב את הקובץ ואת Cloudflare, כי הגדרות משתנות בעדכונים | אישור שלא השתנה דבר, או תיקון |
| חודש 3 | בודקים שוב את התיעוד של הספקים לשמות חדשים, ומחליטים לגבי llms.txt אם עדיין רוצים | רשימה מעודכנת, ותאריך לבדיקה הבאה |
רוב העבודה נעשית בשבועיים הראשונים. מה שנשאר הוא בדיקה קבועה, כי ספקים מוסיפים בוטים, Cloudflare משנה ברירות מחדל, ותוסף באתר יכול לשכתב את הקובץ בעדכון. משרד שמתלבט אם להשקיע בנראות ב־AI או בקידום רגיל ימצא את ההשוואה בעמוד קידום ב־AI או קידום אתרים, ואת שאר הנושאים של AI במשרד, מכלים ועד מדיניות, במרכז AI לעורכי דין.
איפה Reboost נכנסת
אנחנו עובדים רק עם משרדי עורכי דין, בריטיינר חודשי ולא בתשלום לפי ליד. הבדיקה של הקובץ, של ההגדרות ב־Cloudflare ושל היומן היא חלק מהעבודה על קידום אתרים ועל הנראות בתשובות AI, וכל שינוי באתר נעשה באישור המשרד. בדוח החודשי אנחנו מדווחים על הפניות החדשות ועל מה שהשתנה, בלי להבטיח מקום בתשובה של אף מנוע. אנחנו לא עובדים עם שני משרדים מתחרים באותו תחום ובאותה עיר. אם אתם רוצים לדעת מה הבוטים רואים היום באתר שלכם ואם משהו חוסם אותם, זה חלק מבדיקת משפך הפניות, שהמחיר שלה קבוע ומקוזז מהחודש הראשון.
כל עובדה על הבוטים ועל ההגדרות בעמוד הזה לקוחה מהתיעוד הרשמי של הספקים כפי שנבדק ב־25 באוקטובר 2026, אלא אם צוין מקור אחר. אנחנו לא ממליצים על ספק אחד על פני אחר ואין בעמוד קישורי שותפים. הספקים משנים שמות של בוטים והגדרות, ולכן בודקים שוב את התיעוד לפני כל שינוי בקובץ.
מקורות
- OpenAI, הבוטים של OpenAI (נבדק 25.10.2026)
- Google Search Central, הסורקים הנפוצים של גוגל ו־Google-Extended (נבדק 25.10.2026)
- Google Search Central, תכונות AI והאתר שלכם (עדכון 10.12.2025)
- Google Search Central, איך גוגל מפרשת את robots.txt (נבדק 25.10.2026)
- Google Search Central, מבוא ל־robots.txt (נבדק 25.10.2026)
- Google Search Central, אימות של Googlebot (נבדק 25.10.2026)
- Anthropic, הבוטים של Anthropic ואיך חוסמים אותם (נבדק 25.10.2026)
- Perplexity, PerplexityBot ו־Perplexity-User (נבדק 25.10.2026)
- Apple, על Applebot ו־Applebot-Extended (נבדק 25.10.2026)
- Meta, הסורקים של Meta (נבדק 25.10.2026)
- IETF, RFC 9309, Robots Exclusion Protocol (ספטמבר 2022)
- Cloudflare, הודעה לעיתונות על חסימת סורקי AI כברירת מחדל (1.7.2025)
- MIT Technology Review, Cloudflare חוסמת בוטים של AI כברירת מחדל (1.7.2025)
- Cloudflare, ההגדרה Block AI bots ומדיניות הבוטים של AI (נבדק 25.10.2026)
- Cloudflare, robots.txt מנוהל (עדכון 22.10.2026)
- Cloudflare, יומן שינויים, אפשרויות חדשות לניהול תעבורת AI (1.7.2026)
- llmstxt.org, ההצעה לקובץ llms.txt (פורסם 3.9.2024, עדכון 10.8.2026)
- Search Engine Roundtable, ג׳ון מולר מגוגל על llms.txt (18.6.2025)
- Search Engine Journal, גוגל אומרת ש־llms.txt ״ספקולטיבי לגמרי בינתיים״ (2.6.2026)
- BoostIt, מדד הפרסום בגוגל בישראל
- כללי לשכת עורכי הדין (פרסומת), התשס״א 2001
- לשכת עורכי הדין, גילוי דעת את/60/24 על שימוש בבינה מלאכותית (עדכון ספטמבר 2026)
- השלמה אוטומטית בגוגל, ״llms.txt״, אוקטובר 2026