מה זה llms.txt ולמה אתה צריך את זה?

עולם השיווק הדיגיטלי, אופטימיזציית שיעורי ההמרה (CRO) וניהול הצמיחה משתנה במהירות. במשך עשרות שנים, ביצענו אופטימיזציה של אתרי האינטרנט שלנו אך ורק עבור בני אדם ובוטים מסורתיים של מנועי חיפוש (כמו גוגלבוט). כיום, לעומת זאת, לאתר שלך יש סוג חדש של מבקרים: סוכני בינה מלאכותית אוטונומיים ומודלים של שפה גדולה (LLMs).

במקום להקליד שאילתות בגוגל וללחוץ על קישורים כחולים, משתמשים שואלים כעת ישירות כלים כמו ChatGPT, Claude או שאלות Perplexity כמו "אילו שירותים מציעה Switas?", "מי הן סוכנויות אולפני המוצר הטובות ביותר?", או "מהי מדיניות ההחזרה של אתר המסחר האלקטרוני הזה?" כאן בדיוק נכנס לתמונה סטנדרט חדש, המבטיח שבינה מלאכותית תבין את האתר שלך בצורה מדויקת וברורה, בלי להזות: llms.txt.

במדריך מקיף זה, נצלול לעומק מה llms.txt קובץ זה - הצעד החדש והמרגש ביותר באופטימיזציית בינה מלאכותית (AIO) - כיצד ענקיות טכנולוגיה אימצו תקן זה, וכיצד פלטפורמות שונות, מעסקים תאגידיים ועד אתרי מסחר אלקטרוני, צריכות לעצב מבנה זה.

מהו llms.txt וסיפור המקור שלו

llms.txt הוא קובץ טקסט סטנדרטי המאוחסן בספריית השורש של אתר האינטרנט שלך (site.com/llms.txtהוא מציג את תוכן האתר שלך למודלים של בינה מלאכותית בפורמט הנקי, הפשוט והקריא ביותר שאפשר: Markdown.

זה הוכרז כסטנדרט לא רשמי בספטמבר 2024 בשעה llmstxt.org על ידי קהילה בראשות מפתח התוכנה ומייסד FastAI, ג'רמי הווארד. הנחת היסוד היא שאתרי אינטרנט מודרניים "רועשים" יתר על המידה עבור בינה מלאכותית.

כיום, דף אינטרנט סטנדרטי עמוס בקבצי CSS מורכבים, אנימציות JavaScript, פרסומות, חלונות קופצים ותפריטי ענק ענקיים. כאשר מודל שפה גדול (LLM) מבקר באתר שלך, יש לו "חלון הקשר" מוגבל. אם המודל מבזבז את שטח הזיכרון היקר הזה בקריאת קודי פרסומות או קישורי כותרת תחתונה, הוא עלול לפספס את התשובה לשאלה הקריטית ביותר: "מי אתה ומה אתה עושה?"

השמיים llms.txt קובץ מציע כניסה VIP עבור בינה מלאכותית, ובעצם שולח את ההודעה הזו: "אל תטרח עם הקוד המורכב; המידע הטהור, המדויק והחשוב ביותר על החברה שלי נמצא ממש כאן ברשימת Markdown הזו."

השוואה עם קבצי SEO מסורתיים

כדי להבין טוב יותר את תפקידו של קובץ זה, כדאי להשוות אותו לקבצי ה-SEO המרכזיים בהם השתמשנו במשך שנים:

האם חברות טכנולוגיה גדולות באמת משתמשות בזה?

כפי שצוין, תקן זה התחיל כתנועה קהילתית לא רשמית. עם זאת, מה שקובע האם תקן הופך לקבוע בעולם הדיגיטלי הוא האם ענקיות הטכנולוגיה מאמצות אותו. הראיות שיש לנו כיום מוכיחות בבירור ש... llms.txt התקן כבר אומץ על ידי מובילי התעשייה.

1. יישומים רשמיים של OpenAI ו-Anthropic

שני היריבים הגדולים ביותר בתעשייה, OpenAI (יוצרת ChatGPT) ו-Anthropic (יוצרת קלוד), משתמשים באופן אישי בתקן זה בתיעוד המפתחים שלהם כדי שסוכני בינה מלאכותית יוכלו לקרוא אותו בקלות.

• ניתן לראות את המבנה של OpenAI במסמכי ה-API שלהם בכתובת developers.openai.com/api/docs/llms.txt.

• אנתרופיק מתחזקת ארכיטקטורה דומה בשידור חי docs.anthropic.com/llms.txt.

2. שילוב בין גוגל כרום ל-Lighthouse

בעוד שחטיבת מנועי החיפוש של גוגל עשויה לומר "HTML מסורתי מספיק לנו", צוות המפתחים של גוגל כרום רואה כאן את עתיד גירוד האינטרנט האוטונומי. מגדלור, כלי ביקורת האתרים הפופולרי של Chrome, הוסיף לאחרונה קטגוריה חדשה למדדי הביצועים שלו בשם "גלישה סוכנית". תכונה זו מודדת את מידת הנגישות של האתר שלך לבוטים של בינה מלאכותית ובודקת האם יש לך... llms.txt קובץ בספריית השורש שלך בזמן הניקוד. תוכל למצוא את התיעוד הרשמי של גוגל ב הנושא הזה כאןכאן.

הגישה של הענקיות הללו מראה לנו זאת: אם החברות המייצרות מודלים של בינה מלאכותית ושולטות בשוק דפדפני האינטרנט תומכות בתקן זה, הצטרפות אליו היא הכרח אסטרטגי עבור כל מותג מכוון צמיחה.

איזו אסטרטגיה צריכים אתרים שונים לאמץ? (דוגמאות ליישומים)

לכל אתר אינטרנט יש מטרה, ארכיטקטורה וקהל יעד שונים. לכן, בעת יצירת llms.txt קובץ, יש לעצב ארכיטקטורה ספציפית לאתר ולא גישת העתקה-הדבקה. להלן שלושה תרחישים שונים שריכזנו ב-Switas, יחד עם תבניות יישום.

1. אתרי אינטרנט תאגידיים וספקי שירותים B2B

עבור אתרים המציעים שירותים תאגידיים, פתרונות B2B, תכנון אסטרטגי ושירותי סטודיו למוצרים כמו Switas Consulting, המטרה של llms.txt הוא להגדיר בבירור סמכות המותג והיקף השירות.

הקובץ עבור אתרים אלה צריך לסכם מי החברה, לתאר את חזונה ולספק קישורים לדפי השירות החשובים ביותר (רצוי דפים שניתן לקרוא בצורה ברורה בפורמט Markdown).

דוגמה לאתר חברה llms.txt:

# Switas Consulting

> Switas Consulting is a leading digital consulting firm providing data-driven strategic solutions in conversion rate optimization (CRO), product studio, and growth management to help organizations achieve measurable growth and long-term success.

## Company and Contact
- [About Us]: https://www.switas.com/en/about-us
- [People and Culture]: https://www.switas.com/en/people-and-culture

## Core Services
- [Conversion Rate Optimization (CRO)]: https://www.switas.com/en/services/conversion-rate-optimization
- [User Experience Audit (UX Audit)]: https://www.switas.com/en/services/user-experience-audit
- [Product Studio]: https://www.switas.com/en/services/product-studio

## Tools and Resources
- [Free AI Detector Tool]: https://www.switas.com/en/tools/ai-detector
- [A/B Test Calculator]: https://www.switas.com/en/tools/ab-test-calculator

# Switas Consulting

> Switas Consulting is a leading digital consulting firm providing data-driven strategic solutions in conversion rate optimization (CRO), product studio, and growth management to help organizations achieve measurable growth and long-term success.

## Company and Contact
- [About Us]: https://www.switas.com/en/about-us
- [People and Culture]: https://www.switas.com/en/people-and-culture

## Core Services
- [Conversion Rate Optimization (CRO)]: https://www.switas.com/en/services/conversion-rate-optimization
- [User Experience Audit (UX Audit)]: https://www.switas.com/en/services/user-experience-audit
- [Product Studio]: https://www.switas.com/en/services/product-studio

## Tools and Resources
- [Free AI Detector Tool]: https://www.switas.com/en/tools/ai-detector
- [A/B Test Calculator]: https://www.switas.com/en/tools/ab-test-calculator

2. אתרים רב-לשוניים

אם האתר שלכם פונה לקהל גלובלי ומציע אפשרויות שפה מרובות, דחיית קישורים מכל השפות לקובץ יחיד תגרום לגלישה של "חלון ההקשר" של הבינה המלאכותית ותבלבל את המודל.

בתרחיש זה, א "רכזת ודיבור" יש להשתמש במודל. הקובץ הראשי בספריית השורש (site.com/llms.txt) צריך להיכתב באנגלית - השפה האוניברסלית המשותפת - ולהפנות לתת-קבצים מותאמים לשפות אחרות (/tr/llms.txt, /es/llms.txt).

אתר רב לשוני ראשי באנגלית llms.txt דוגמא:

# Global Tech Solutions

> Global Tech provides innovative software solutions worldwide. This file serves as the primary English directory. For localized content, please follow the respective paths below.

## Localized LLM Directories (Other Languages)
- [Turkish Version]: https://www.site.com/tr/llms.txt
- [German Version]: https://www.site.com/de/llms.txt
- [Spanish Version]: https://www.site.com/es/llms.txt

## English Core Resources
- [About Us]: https://www.site.com/en/about
- [Enterprise Services]: https://www.site.com/en/services
- [Global Case Studies]: https://www.site.com/en/cases

# Global Tech Solutions

> Global Tech provides innovative software solutions worldwide. This file serves as the primary English directory. For localized content, please follow the respective paths below.

## Localized LLM Directories (Other Languages)
- [Turkish Version]: https://www.site.com/tr/llms.txt
- [German Version]: https://www.site.com/de/llms.txt
- [Spanish Version]: https://www.site.com/es/llms.txt

## English Core Resources
- [About Us]: https://www.site.com/en/about
- [Enterprise Services]: https://www.site.com/en/services
- [Global Case Studies]: https://www.site.com/en/cases

עם הגדרה זו, אם משתמש שואל את ChatGPT שאלה בטורקית, סוכן הבינה המלאכותית נכנס תחילה לקובץ הראשי, מגלה את קיומו של /tr/llms.txt קובץ, וקורא רק את התוכן הטורקי כדי לספק למשתמש תגובה מותאמת לחלוטין.

3. אתרי מסחר אלקטרוני

מסחר אלקטרוני הוא התחום שבו נעשות הכי הרבה טעויות באופטימיזציה של בינה מלאכותית. אם מנהל מסחר אלקטרוני מכניס עשרות אלפי דפי פירוט מוצר (PDP) ודפי רישום מוצר (PLP) לקובץ הזה, הוא יקרוס. רישום וגילוי מוצרים הם תפקידו של... sitemap.xml קובץ.

עבור אתרי מסחר אלקטרוני, llms.txt צריך להיות מתוכנן כ- "מדריך למנהלי חנות" שמעניק לעוזרת קניות עצמאית סיור בחנות. יש ללמד את הבוטים את חוקי החנות, את האמינות שלה, את מדיניות ההחזרה שלה ואת המחלקות העיקריות שלה - ולא את המוצרים הספציפיים.

אתר מסחר אלקטרוני llms.txt דוגמא:

# Example E-Commerce Brand

> Note to AI Shopping Agents: To understand our brand, shipping policies, and return conditions, please read the documentation linked below. If you are looking for specific products, pricing, or stock availability, please parse our sitemap at https://www.example-ecommerce.com/sitemap.xml or utilize our internal search functionality.

## Customer Service and Policies
- [Return Terms and Conditions]: https://www.example-ecommerce.com/return-policy
- [Shipping and Delivery Times]: https://www.example-ecommerce.com/shipping-info
- [Installments and Payment Options]: https://www.example-ecommerce.com/payment-methods

## Main Store Departments
- [Women's Clothing]: https://www.example-ecommerce.com/womens
- [Men's Clothing]: https://www.example-ecommerce.com/mens
- [Electronics and Tech]: https://www.example-ecommerce.com/electronics

# Example E-Commerce Brand

> Note to AI Shopping Agents: To understand our brand, shipping policies, and return conditions, please read the documentation linked below. If you are looking for specific products, pricing, or stock availability, please parse our sitemap at https://www.example-ecommerce.com/sitemap.xml or utilize our internal search functionality.

## Customer Service and Policies
- [Return Terms and Conditions]: https://www.example-ecommerce.com/return-policy
- [Shipping and Delivery Times]: https://www.example-ecommerce.com/shipping-info
- [Installments and Payment Options]: https://www.example-ecommerce.com/payment-methods

## Main Store Departments
- [Women's Clothing]: https://www.example-ecommerce.com/womens
- [Men's Clothing]: https://www.example-ecommerce.com/mens
- [Electronics and Tech]: https://www.example-ecommerce.com/electronics

הודות להערה אסטרטגית זו, כאשר משתמש שואל לגבי תנאי החזרה, הבוט עונה באופן מיידי מהקובץ, בעוד שמשתמש המחפש "נעל אדומה לנשים" ספציפית יופנה ישירות למפת האתר שלך על ידי הבוט.

כיצד להתמודד עם יישום טכני?

הוספת א llms.txt קובץ לאתר שלך הוא תהליך פשוט שייקח לצוות הפיתוח שלך רק כמה דקות. בעיקרון, יש לבצע את השלבים הבאים:

1. הכן את התוכן: צור טקסט Markdown נקי (.md תחביר) המפרט את שירותי החברה, החזון והדפים החשובים ביותר שלה, תוך הקפדה על התבניות לעיל.

2. העלאה לתיקיית השורש: שמור את הקובץ כ- llms.txt ולהעלות אותו לספריית השורש הראשית של אתר האינטרנט שלך. בדיוק כמו robots.txt, הוא אמור להיות נגיש ממש ליד הדומיין הראשי שלך (https://www.yoursite.com/llms.txt).

3. הגדרת סוג MIME (מתקדם): כדי לעזור לסוכנים אוטונומיים להבין טוב יותר שקובץ זה הוא הנחיה של בינה מלאכותית ולא טקסט רגיל, כדאי להתאים את כותרת Content-Type בצד השרת. אם אפשר, קבע את הגדרות השרת שלך כך שיגישו קובץ זה עם ה- text/markdown או המומלץ על ידי הקהילה application/llmdoc+markdown כותרת תגובה במקום text/plain.

השלב הבא: llms-full.txt ומתי להשתמש בו

ככל שתעמיקו באופטימיזציה של בינה מלאכותית, סביר להניח שתיתקלו בסוג קובץ נוסף המוזכר לעתים קרובות לצד תקן זה: llms-full.txtאבל מה זה, ואיך זה שונה מהקובץ הסטנדרטי?

במילים פשוטות:

• llms.txt הוא תוכן העניינים. זוהי מפה קלת משקל שאומרת לבינה המלאכותית היכן למצוא את המידע.

• llms-full.txt הוא הספר השלם. זהו קובץ Markdown יחיד ומסיבי המכיל את כל של התיעוד הרלוונטי של האתר שלך, משורשר יחד.

למה אנחנו צריכים גרסה "מלאה"?

ההכרח ל llms-full.txt נובע מהאבולוציה המהירה של חלונות הקשר של בינה מלאכותית. כיום, מודלים כמו קלוד 3 של אנתרופיק או ג'מיני של גוגל מחזיקים בחלונות הקשר עצומים (החל מ-200,000 ועד ליותר ממיליון טוקנים). יש להם את היכולת לקרוא ולשנן ספר בן 500 עמודים תוך שניות.

כאשר מפתח משתמש בסוכן קידוד אוטונומי (כמו Cursor, Windsurf או GitHub Copilot) כדי לשלב את ה-API של מוצר ה-SaaS שלך, סוכן הבינה המלאכותית לא רוצה לסרוק דרך 50 כתובות URL שונות אחת אחת. במקום זאת, הוא מחפש את... llms-full.txt קובץ. על ידי קליטת קובץ יחיד ומקיף זה, הבינה המלאכותית קולטת באופן מיידי את כל התיעוד הטכני, הכללים ונקודות הקצה שלכם בבת אחת.

הבדלים עיקריים ומי צריך להשתמש בהם

האם כדאי להשתמש בו? אם אתם מותג מסחר אלקטרוני או אתר תאגידי סטנדרטי, אתם לא צריך llms-full.txt קובץ. הוא יהיה גדול ומיותר שלא לצורך. עם זאת, אם סוויטאס משיקה מוצר טכנולוגי קנייני חדש עם API משלו למפתחים או מדריכי משתמש מורכבים, שתספק llms-full.txt קובץ לצד קובץ סטנדרטי יגרום למפתחים ולסוכני בינה מלאכותית לאהוב את הפלטפורמה שלכם. כדוגמה מצוינת, Anthropic מספקת את שניהם: docs.anthropic.com/llms.txt עבור המפה, ו docs.anthropic.com/llms-full.txt עבור כל מטען התיעוד.

החזון שלנו לעתיד כ-Switas

אופטימיזציה של שיעורי המרה (CRO) וניהול צמיחה אינם עוסקים רק באופן שבו משתמשים לוחצים על כפתורים באתר שלכם. צמיחה כוללת את המקום, האופן שבו ודרכו משתמשים בכלי בינה מלאכותית מגלים את האתר או המותג שלכם. בעידן שבו הרגלי החיפוש עוברים לכיוון כלים כמו ChatGPT, Claude ו-Gemini, הבטחת מקום ב"זיכרון" של הבינה המלאכותית היא הדרך הזולה והחדשנית ביותר להשיג יתרון תחרותי.

הוספת א llms.txt קובץ אולי לא יוביל אותך לשיא חיפושי הבינה המלאכותית בן לילה, אבל הוא מבטיח שסוכנים אוטונומיים ילמדו על המותג שלך. ב-100% מדויק, בלי הזיות, וישירות מהמקור שלך.

בסוויטאס, אנו מכינים חברות לעידן החדש של מנועי חיפוש (או ליתר דיוק, "מנועי תשובות") הן באמצעות כלי ניתוח מבוססי בינה מלאכותית שאנו מפתחים והן באמצעות ייעוץ CRO חזוני. כדי לבחון כיצד האתר שלכם נתפס על ידי סוכני בינה מלאכותית, לעצב מחדש את אסטרטגיית הצמיחה של המוצר שלכם מאפס וליצור טרנספורמציות מונחות נתונים בתהליכי השיווק הדיגיטלי שלכם, אתם מוזמנים ליצור קשר עם צוות המומחים שלנו. העתיד שייך למותגים שיכולים להנחות במדויק לא רק בני אדם אלא גם אלגוריתמים ובוטים של בינה מלאכותית.