llms.txt là gì và tại sao bạn cần nó?

llms.txt là gì và tại sao bạn cần nó?

Thế giới tiếp thị kỹ thuật số, Tối ưu hóa tỷ lệ chuyển đổi (CRO) và Quản lý tăng trưởng đang thay đổi nhanh chóng. Trong nhiều thập kỷ, chúng ta chỉ tối ưu hóa trang web cho con người và các bot công cụ tìm kiếm truyền thống (như Googlebot). Tuy nhiên, ngày nay, trang web của bạn có một loại khách truy cập mới: Các tác nhân trí tuệ nhân tạo tự trị và các mô hình ngôn ngữ quy mô lớn (LLM).

Thay vì gõ truy vấn vào Google và nhấp vào các liên kết màu xanh, người dùng hiện đang trực tiếp đặt câu hỏi cho các công cụ như ChatGPT, Claude hoặc Perplexity, ví dụ như "Switas cung cấp những dịch vụ gì?", "Những công ty thiết kế sản phẩm nào tốt nhất?", hoặc "Chính sách hoàn trả của trang thương mại điện tử này là gì?". Đây chính là lúc một tiêu chuẩn mới phát huy tác dụng, đảm bảo trí tuệ nhân tạo (AI) hiểu trang web của bạn một cách chính xác và rõ ràng, mà không gây hiểu nhầm: llms.txt.

Trong hướng dẫn toàn diện này, chúng ta sẽ đi sâu vào những gì... llms.txt Đây là bước tiến mới nhất và thú vị nhất trong Tối ưu hóa AI (AI Optimization - AIO), cách các gã khổng lồ công nghệ đã áp dụng tiêu chuẩn này, và cách các nền tảng khác nhau, từ các doanh nghiệp корпоратив đến các trang thương mại điện tử, nên xây dựng cấu trúc này.

llms.txt là gì và nguồn gốc của nó?

llms.txt là một tệp văn bản chuẩn hóa được lưu trữ trong thư mục gốc của trang web của bạn (site.com/llms.txtNó trình bày nội dung trang web của bạn cho các mô hình trí tuệ nhân tạo ở định dạng sạch sẽ, đơn giản và dễ đọc nhất có thể: Markdown.

Nó được công bố như một tiêu chuẩn không chính thức vào tháng 9 năm 2024. llmstxt.org Được phát triển bởi một cộng đồng do nhà phát triển phần mềm và người sáng lập FastAI, Jeremy Howard, dẫn đầu. Tiền đề cơ bản là các trang web hiện đại quá "ồn ào" đối với trí tuệ nhân tạo.

Ngày nay, một trang web tiêu chuẩn thường chứa đầy các tệp CSS phức tạp, hoạt ảnh JavaScript, quảng cáo, cửa sổ bật lên và các menu khổng lồ. Khi một Mô hình Ngôn ngữ Lớn (LLM) truy cập trang web của bạn, nó chỉ có một "cửa sổ ngữ cảnh" hạn chế. Nếu mô hình lãng phí không gian bộ nhớ quý giá này để đọc mã quảng cáo hoặc liên kết chân trang, nó có thể bỏ lỡ câu trả lời cho câu hỏi quan trọng nhất: "Bạn là ai và bạn làm nghề gì?"

llms.txt Tệp này cung cấp lối vào VIP cho AI, về cơ bản truyền tải thông điệp sau: "Đừng bận tâm đến đoạn mã phức tạp; thông tin thuần túy nhất, chính xác nhất và quan trọng nhất về công ty của tôi nằm ngay trong danh sách Markdown này."

So sánh với các tệp SEO truyền thống

Để hiểu rõ hơn chức năng của tập tin này, việc so sánh nó với các tập tin SEO cốt lõi mà chúng ta đã sử dụng trong nhiều năm qua sẽ rất hữu ích:

File TypeKhán giả mục tiêuChức năng chính
robots.txtBot công cụ tìm kiếmChỉ định những phần nào của trang web nên hoặc không nên được thu thập thông tin (Kiểm soát truy cập).
sitemap.xmlBot công cụ tìm kiếmChứa danh sách URL của hàng ngàn trang và sản phẩm, đảm bảo chúng được lập chỉ mục (Khả năng tìm kiếm).
llms.txtCác tác nhân AI (LLM)Tóm tắt cấu trúc ngữ nghĩa, tầm nhìn và các nguồn tài nguyên giá trị nhất của trang web một cách rõ ràng (Bối cảnh và Đào tạo).

Các công ty công nghệ lớn có thực sự sử dụng nó không?

Như đã đề cập, tiêu chuẩn này bắt đầu như một phong trào cộng đồng không chính thức. Tuy nhiên, điều quyết định liệu một tiêu chuẩn có trở nên bền vững trong thế giới kỹ thuật số hay không là liệu các ông lớn công nghệ có áp dụng nó hay không. Bằng chứng chúng ta có ngày nay chứng minh rõ ràng rằng... llms.txt Tiêu chuẩn này đã được các nhà lãnh đạo ngành công nghiệp chấp nhận.

1. Các triển khai chính thức của OpenAI và Anthropic

Hai đối thủ lớn nhất trong ngành, OpenAI (nhà sáng tạo ChatGPT) và Anthropic (nhà sáng tạo Claude), đều tự mình sử dụng tiêu chuẩn này trong tài liệu dành cho nhà phát triển của họ để các tác nhân AI có thể dễ dàng đọc hiểu.

2. Tích hợp Google Chrome và Lighthouse

Mặc dù bộ phận tìm kiếm của Google có thể nói rằng "HTML truyền thống là đủ đối với chúng tôi", nhưng nhóm phát triển Google Chrome lại nhìn thấy tương lai của việc tự động trích xuất dữ liệu web ở đây. Lighthouse Công cụ kiểm tra trang web phổ biến của Chrome, gần đây đã thêm một danh mục mới vào các chỉ số hiệu suất của mình có tên là "Duyệt web theo tác nhân." Tính năng này đo lường mức độ dễ truy cập của trang web bạn đối với các bot AI và kiểm tra xem bạn có... llms.txt Tệp này nằm trong thư mục gốc của bạn trong quá trình chấm điểm. Bạn có thể tìm thấy tài liệu chính thức của Google tại đây. chủ đề này ở đâyđây.

Cách tiếp cận của những gã khổng lồ này cho chúng ta thấy điều này: Nếu các công ty sản xuất mô hình AI và thống trị thị trường trình duyệt web ủng hộ tiêu chuẩn này, thì việc tham gia là một điều cần thiết mang tính chiến lược đối với bất kỳ thương hiệu nào hướng đến sự tăng trưởng.

Các trang web khác nhau nên áp dụng chiến lược nào? (Ví dụ minh họa)

Mỗi trang web có mục đích, cấu trúc và đối tượng người dùng khác nhau. Do đó, khi tạo một trang web, cần phải xem xét đến yếu tố này. llms.txt Thay vì sao chép và dán, cần thiết kế kiến ​​trúc dành riêng cho từng trang web. Dưới đây là ba kịch bản khác nhau mà chúng tôi đã tổng hợp tại Switas, cùng với các mẫu triển khai.

1. Các trang web doanh nghiệp và nhà cung cấp dịch vụ B2B

Đối với các trang web cung cấp dịch vụ doanh nghiệp, giải pháp B2B, lập kế hoạch chiến lược và dịch vụ studio sản phẩm như Switas Consulting, mục tiêu là llms.txt là để định nghĩa rõ ràng uy tín thương hiệu và phạm vi dịch vụ.

Tệp tin dành cho các trang web này nên tóm tắt thông tin về công ty, nêu rõ tầm nhìn và cung cấp các liên kết đến các trang dịch vụ quan trọng nhất (tốt nhất là các trang có thể đọc dễ dàng ở định dạng Markdown).

Ví dụ về file llms.txt của trang web doanh nghiệp:

# Switas Consulting

> Switas Consulting is a leading digital consulting firm providing data-driven strategic solutions in conversion rate optimization (CRO), product studio, and growth management to help organizations achieve measurable growth and long-term success.

## Company and Contact
- [About Us]: https://www.switas.com/en/about-us
- [People and Culture]: https://www.switas.com/en/people-and-culture

## Core Services
- [Conversion Rate Optimization (CRO)]: https://www.switas.com/en/services/conversion-rate-optimization
- [User Experience Audit (UX Audit)]: https://www.switas.com/en/services/user-experience-audit
- [Product Studio]: https://www.switas.com/en/services/product-studio

## Tools and Resources
- [Free AI Detector Tool]: https://www.switas.com/en/tools/ai-detector
- [A/B Test Calculator]: https://www.switas.com/en/tools/ab-test-calculator
Markdown
# Switas Consulting

> Switas Consulting is a leading digital consulting firm providing data-driven strategic solutions in conversion rate optimization (CRO), product studio, and growth management to help organizations achieve measurable growth and long-term success.

## Company and Contact
- [About Us]: https://www.switas.com/en/about-us
- [People and Culture]: https://www.switas.com/en/people-and-culture

## Core Services
- [Conversion Rate Optimization (CRO)]: https://www.switas.com/en/services/conversion-rate-optimization
- [User Experience Audit (UX Audit)]: https://www.switas.com/en/services/user-experience-audit
- [Product Studio]: https://www.switas.com/en/services/product-studio

## Tools and Resources
- [Free AI Detector Tool]: https://www.switas.com/en/tools/ai-detector
- [A/B Test Calculator]: https://www.switas.com/en/tools/ab-test-calculator

2. Trang web đa ngôn ngữ

Nếu trang web của bạn phục vụ đối tượng người dùng toàn cầu và có nhiều tùy chọn ngôn ngữ, việc gom các liên kết từ tất cả các ngôn ngữ vào một tệp duy nhất sẽ làm tràn "cửa sổ ngữ cảnh" của AI và gây nhầm lẫn cho mô hình.

Trong kịch bản này, một "Mô hình trung tâm và các nhánh" Nên sử dụng mô hình này. Tệp chính trong thư mục gốc (site.com/llms.txt) nên được viết bằng tiếng Anh—ngôn ngữ chung toàn cầu—và chuyển hướng đến các tệp con được bản địa hóa cho các ngôn ngữ khác (/tr/llms.txt, /es/llms.txt).

Trang web đa ngôn ngữ (Chính tiếng Anh) llms.txt Ví dụ:

# Global Tech Solutions

> Global Tech provides innovative software solutions worldwide. This file serves as the primary English directory. For localized content, please follow the respective paths below.

## Localized LLM Directories (Other Languages)
- [Turkish Version]: https://www.site.com/tr/llms.txt
- [German Version]: https://www.site.com/de/llms.txt
- [Spanish Version]: https://www.site.com/es/llms.txt

## English Core Resources
- [About Us]: https://www.site.com/en/about
- [Enterprise Services]: https://www.site.com/en/services
- [Global Case Studies]: https://www.site.com/en/cases
Markdown
# Global Tech Solutions

> Global Tech provides innovative software solutions worldwide. This file serves as the primary English directory. For localized content, please follow the respective paths below.

## Localized LLM Directories (Other Languages)
- [Turkish Version]: https://www.site.com/tr/llms.txt
- [German Version]: https://www.site.com/de/llms.txt
- [Spanish Version]: https://www.site.com/es/llms.txt

## English Core Resources
- [About Us]: https://www.site.com/en/about
- [Enterprise Services]: https://www.site.com/en/services
- [Global Case Studies]: https://www.site.com/en/cases

Với thiết lập này, nếu người dùng hỏi ChatGPT một câu hỏi bằng tiếng Thổ Nhĩ Kỳ, tác nhân AI trước tiên sẽ truy cập vào tập tin chính, phát hiện sự tồn tại của... /tr/llms.txt Tệp này chỉ đọc nội dung tiếng Thổ Nhĩ Kỳ để cung cấp cho người dùng phản hồi được bản địa hóa hoàn hảo.

3. Các trang web thương mại điện tử

Thương mại điện tử là lĩnh vực mà người ta thường mắc nhiều lỗi nhất trong tối ưu hóa AI. Nếu người quản lý thương mại điện tử đưa hàng chục nghìn trang chi tiết sản phẩm (PDP) và trang danh sách sản phẩm (PLP) vào tệp này, hệ thống sẽ bị sập. Việc liệt kê và tìm kiếm sản phẩm là nhiệm vụ của... sitemap.xml tập tin.

Đối với các trang thương mại điện tử, llms.txt nên được thiết kế như một "Cẩm nang dành cho quản lý cửa hàng" Điều đó giúp trợ lý mua sắm tự động có thể tham quan cửa hàng. Robot nên được dạy về các quy tắc, độ tin cậy, chính sách đổi trả và các khu vực chính của cửa hàng—chứ không phải các sản phẩm cụ thể.

Trang web thương mại điện tử llms.txt Ví dụ:

# Example E-Commerce Brand

> Note to AI Shopping Agents: To understand our brand, shipping policies, and return conditions, please read the documentation linked below. If you are looking for specific products, pricing, or stock availability, please parse our sitemap at https://www.example-ecommerce.com/sitemap.xml or utilize our internal search functionality.

## Customer Service and Policies
- [Return Terms and Conditions]: https://www.example-ecommerce.com/return-policy
- [Shipping and Delivery Times]: https://www.example-ecommerce.com/shipping-info
- [Installments and Payment Options]: https://www.example-ecommerce.com/payment-methods

## Main Store Departments
- [Women's Clothing]: https://www.example-ecommerce.com/womens
- [Men's Clothing]: https://www.example-ecommerce.com/mens
- [Electronics and Tech]: https://www.example-ecommerce.com/electronics
Markdown
# Example E-Commerce Brand

> Note to AI Shopping Agents: To understand our brand, shipping policies, and return conditions, please read the documentation linked below. If you are looking for specific products, pricing, or stock availability, please parse our sitemap at https://www.example-ecommerce.com/sitemap.xml or utilize our internal search functionality.

## Customer Service and Policies
- [Return Terms and Conditions]: https://www.example-ecommerce.com/return-policy
- [Shipping and Delivery Times]: https://www.example-ecommerce.com/shipping-info
- [Installments and Payment Options]: https://www.example-ecommerce.com/payment-methods

## Main Store Departments
- [Women's Clothing]: https://www.example-ecommerce.com/womens
- [Men's Clothing]: https://www.example-ecommerce.com/mens
- [Electronics and Tech]: https://www.example-ecommerce.com/electronics

Nhờ ghi chú chiến lược này, khi người dùng hỏi về điều kiện trả hàng, bot sẽ trả lời ngay lập tức từ tệp tin, trong khi người dùng tìm kiếm một "giày nữ màu đỏ" cụ thể sẽ được bot dẫn trực tiếp đến sơ đồ trang web của bạn.

Làm thế nào để xử lý việc triển khai kỹ thuật?

Thêm một llms.txt Việc sao chép tập tin vào trang web của bạn là một quy trình đơn giản và chỉ mất vài phút để nhóm phát triển của bạn thực hiện. Về cơ bản, bạn cần làm theo các bước sau:

  1. Chuẩn bị nội dung: Tạo một văn bản Markdown sạch (.md cú pháp) liệt kê các dịch vụ, tầm nhìn và các trang quan trọng nhất của công ty bạn, tuân thủ các mẫu ở trên.

  2. Tải lên thư mục gốc: Lưu tệp dưới dạng llms.txt và tải nó lên thư mục gốc chính của trang web của bạn. Giống như robots.txtNó sẽ có thể truy cập được ngay bên cạnh tên miền chính của bạn (https://www.yoursite.com/llms.txt).

  3. Cấu hình loại MIME (Nâng cao): Để giúp các tác nhân tự động hiểu rõ hơn rằng tệp này là chỉ thị AI chứ không phải văn bản thuần túy, việc điều chỉnh tiêu đề Content-Type ở phía máy chủ sẽ rất hữu ích. Nếu có thể, hãy cấu hình cài đặt máy chủ của bạn để phục vụ tệp này với thuộc tính `Content-Type`. text/markdown hoặc được cộng đồng đề xuất application/llmdoc+markdown tiêu đề phản hồi thay vì text/plain.

Bước tiến tiếp theo: llms-full.txt và khi nào nên sử dụng nó

Khi bạn tìm hiểu sâu hơn về tối ưu hóa AI, bạn có thể sẽ bắt gặp một loại tệp khác thường được nhắc đến cùng với tiêu chuẩn này: llms-full.txtNhưng nó là gì, và nó khác với tệp tin tiêu chuẩn như thế nào?

Nói một cách đơn giản:

  • llms.txt Đây là mục lục. Đây là một bản đồ đơn giản giúp trí tuệ nhân tạo biết được vị trí cần tìm thông tin.

  • llms-full.txt Đây là toàn bộ cuốn sách. Đó là một tập tin Markdown khổng lồ duy nhất chứa đựng... tất cả các các tài liệu liên quan của trang web của bạn, được ghép nối với nhau.

Difference-Between-LLM.txt-and-LLM-full.txt.webp
Nguồn: https://wellows.com/blog/what-are-llm-txt/

Tại sao chúng ta cần một phiên bản "đầy đủ"?

Sự cần thiết cho llms-full.txt Điều này bắt nguồn từ sự phát triển nhanh chóng của các cửa sổ ngữ cảnh AI. Ngày nay, các mô hình như Claude 3 của Anthropic hay Gemini của Google sở hữu các cửa sổ ngữ cảnh khổng lồ (từ 200,000 đến hơn 1 triệu token). Chúng có khả năng đọc và ghi nhớ một cuốn sách 500 trang chỉ trong vài giây.

Khi nhà phát triển sử dụng một công cụ mã hóa tự động (như Cursor, Windsurf hoặc GitHub Copilot) để tích hợp API của sản phẩm SaaS của bạn, công cụ AI không muốn phải duyệt qua 50 URL khác nhau từng cái một. Thay vào đó, nó tìm kiếm... llms-full.txt Bằng cách tiếp nhận tệp tin duy nhất và toàn diện này, AI sẽ ngay lập tức thu thập toàn bộ tài liệu kỹ thuật, quy tắc và điểm cuối của bạn chỉ trong một lần.

Những điểm khác biệt chính và đối tượng nên sử dụng

Tính năngllms.txtllms-full.txt
Kích thước nội dungNgắn gọn và súc tích (thường dưới 100 dòng).Rất dài (có thể lên đến hàng nghìn dòng).
Structure Chứa các liên kết Markdown trỏ đến các trang khác.Chứa toàn bộ nội dung/văn bản của tất cả các trang đó cộng lại.
lý tưởng cho cácTất cả các trang web (Doanh nghiệp, Thương mại điện tử, Blog).Các nền tảng SaaS, nhà cung cấp API và tài liệu kỹ thuật.
Trường hợp sử dụng AIĐược sử dụng để định tuyến, tóm tắt và tìm kiếm thương hiệu.Được sử dụng cho nghiên cứu chuyên sâu, lập trình và đối chiếu chéo phức tạp.

Bạn có nên sử dụng nó không? Nếu bạn là một thương hiệu thương mại điện tử hoặc một trang web doanh nghiệp thông thường, bạn không cần một llms-full.txt tập tin đó sẽ quá lớn và dư thừa một cách không cần thiết. Tuy nhiên, nếu Switas ra mắt một sản phẩm công nghệ độc quyền mới với API dành cho nhà phát triển riêng hoặc hướng dẫn sử dụng phức tạp, việc cung cấp một... llms-full.txt Việc cung cấp cả hai tệp tin này cùng với tệp tin tiêu chuẩn sẽ khiến các nhà phát triển và các tác nhân AI yêu thích nền tảng của bạn. Ví dụ điển hình là Anthropic cung cấp cả hai: docs.anthropic.com/llms.txt cho bản đồ, và docs.anthropic.com/llms-full.txt cho toàn bộ nội dung tài liệu.

Tầm nhìn của chúng tôi về tương lai với tư cách là Switas

Tối ưu hóa tỷ lệ chuyển đổi (CRO) và quản lý tăng trưởng không chỉ đơn thuần là việc người dùng nhấp chuột vào các nút trên trang web của bạn như thế nào. Tăng trưởng bao gồm cả việc người dùng tìm thấy trang web hoặc thương hiệu của bạn ở đâu, bằng cách nào và thông qua công cụ AI nào. Trong thời đại mà thói quen tìm kiếm đang chuyển dịch sang các công cụ như ChatGPT, Claude và Gemini, việc giành được một vị trí trong "bộ nhớ" của AI là cách rẻ nhất và sáng tạo nhất để đạt được lợi thế cạnh tranh.

Thêm một llms.txt Tệp này có thể không đưa bạn lên đỉnh cao của tìm kiếm AI ngay lập tức, nhưng nó đảm bảo rằng các tác nhân tự động sẽ tìm hiểu về thương hiệu của bạn. Chính xác 100%, không gây ảo giác, và trực tiếp từ nguồn thông tin của chính bạn.

Tại Switas, chúng tôi đang chuẩn bị cho các công ty bước vào kỷ nguyên mới của công cụ tìm kiếm (hay đúng hơn là "công cụ trả lời") bằng cả các công cụ phân tích dựa trên trí tuệ nhân tạo mà chúng tôi phát triển và dịch vụ tư vấn tối ưu hóa tỷ lệ chuyển đổi (CRO) mang tính đột phá. Để kiểm tra xem trang web của bạn được các tác nhân AI nhận diện như thế nào, thiết kế lại chiến lược tăng trưởng sản phẩm từ đầu và tạo ra những chuyển đổi dựa trên dữ liệu trong quy trình tiếp thị kỹ thuật số của bạn, hãy liên hệ với đội ngũ chuyên gia của chúng tôi. Tương lai thuộc về những thương hiệu có thể định hướng chính xác không chỉ con người mà còn cả thuật toán và bot AI.


Bài viết liên quan

Switas Như Đã Thấy Trên

Phóng to: Mở rộng tiếp thị người có sức ảnh hưởng với Engin Yurtdakul

Hãy xem nghiên cứu trường hợp Microsoft Clarity của chúng tôi.

Chúng tôi nhấn mạnh Microsoft Clarity là một sản phẩm được xây dựng dựa trên các trường hợp sử dụng thực tế, có tính ứng dụng cao, bởi những người am hiểu sản phẩm và hiểu rõ những thách thức mà các công ty như Switas phải đối mặt. Các tính năng như theo dõi hành vi nhấp chuột tức giận và lỗi JavaScript đã chứng tỏ giá trị vô cùng quan trọng trong việc xác định sự khó chịu của người dùng và các vấn đề kỹ thuật, cho phép thực hiện các cải tiến có mục tiêu, tác động trực tiếp đến trải nghiệm người dùng và tỷ lệ chuyển đổi.