llms.txt: tệp này làm gì, không làm gì và có đáng bận tâm không

llms.txt là một tệp văn bản thuần định dạng Markdown được đề xuất, đặt ở thư mục gốc của website, cung cấp cho các mô hình ngôn ngữ lớn một bản tóm tắt ngắn, được chọn lọc về trang web cùng liên kết đến những trang hữu ích nhất. Thêm tệp này tốn rất ít chi phí và có thể giúp những công cụ AI có đọc nó, nhưng chưa công cụ tìm kiếm AI lớn nào xác nhận đây là tín hiệu xếp hạng hay trích dẫn.

Chính xác thì llms.txt là gì?

Ý tưởng rất đơn giản. Một trang web được xây dựng cho trình duyệt: thanh điều hướng, banner cookie, script, chân trang. Một mô hình ngôn ngữ muốn hiểu doanh nghiệp của bạn phải đào bới qua tất cả những thứ đó. Đề xuất llms.txt, công bố năm 2024, gợi ý một tệp duy nhất tại /llms.txt viết bằng Markdown, về cơ bản nói rằng "đây là chúng tôi, và đây là những trang đáng đọc". Một số phiên bản còn trỏ đến các bản sao Markdown sạch của những trang chính, và một ý tưởng đi kèm, llms-full.txt, gộp toàn bộ văn bản tài liệu vào một tệp.

Cần nói chính xác về trạng thái của nó. llms.txt là một đề xuất của cộng đồng, không phải tiêu chuẩn web, và không giống robots.txt. robots.txt cho trình thu thập dữ liệu biết chúng được và không được tải những gì. llms.txt không cấp quyền hay chặn bất cứ thứ gì; nó là một hướng dẫn đọc.

ChatGPT, Gemini, Perplexity hay Google AI Overviews có dùng nó không?

Đây là chỗ hầu hết các bài viết về chủ đề này đi quá đà, nên chúng tôi sẽ cẩn trọng. Tại thời điểm viết bài, chưa trải nghiệm tìm kiếm AI lớn nào công khai tuyên bố rằng llms.txt ảnh hưởng đến việc họ trích dẫn nguồn nào. Google cho biết các tính năng AI của họ dựa trên chỉ mục tìm kiếm và hệ thống xếp hạng thông thường, và đại diện của Google tỏ ra hoài nghi về tệp này. Nhật ký máy chủ từ nhiều chủ website cho thấy thỉnh thoảng có lượt tải llms.txt, nhưng một lượt tải không phải bằng chứng là nó được dùng trong câu trả lời.

Nơi llms.txt rõ ràng có giá trị là ở những công cụ được chỉ định sử dụng nó: trợ lý cho lập trình viên, coding agent và các nền tảng tài liệu tải llms.txt của một dự án để mô hình có thể làm việc với tài liệu chính xác, cập nhật. Nếu khán giả của bạn có lập trình viên, chỉ riêng điều đó đã đủ để bỏ công.

Quan điểm của SNMRush: hãy coi llms.txt là việc dọn dẹp nhà cửa tốt, không phải đòn bẩy hiển thị. Nó mất một giờ, buộc bạn phải rõ ràng một cách hữu ích, và sẽ không cứu được nội dung mỏng.

Làm sao viết một tệp llms.txt tốt?

Cấu trúc trong đề xuất rất ngắn. Một H1 với tên trang web hoặc thương hiệu, một đoạn tóm tắt trong blockquote, ghi chú tùy chọn, rồi đến các phần H2 chứa danh sách liên kết, mỗi liên kết kèm một dòng mô tả. Một phần tên "Optional" có thể chứa những liên kết mà mô hình có thể bỏ qua nếu ngữ cảnh bị giới hạn.

Ví dụ minh họa cho một công ty phần mềm kế toán hư cấu có thể có dàn ý như sau:

• Tiêu đề: tên thương hiệu, đúng như cách bạn muốn được gọi.
• Tóm tắt: hai câu nêu sản phẩm là gì, phục vụ ai và hoạt động ở đâu. Hãy viết nó như câu trả lời bạn muốn trợ lý AI đưa ra.
• Trang cốt lõi: tổng quan sản phẩm, bảng giá, ba bài trợ giúp quan trọng nhất, bảo mật và tuân thủ.
• Bài giải thích: các hướng dẫn trả lời những câu hỏi phổ biến nhất của khán giả.
• Tùy chọn: lịch sử công ty, báo chí, tuyển dụng.

Đoạn tóm tắt là phần quan trọng nhất, và nó đòi hỏi cùng kỷ luật như khối trả lời mà chúng tôi khuyến nghị cho mọi trang. Nếu bạn không thể mô tả công ty mình bằng hai câu đơn giản, dựa trên sự thật, hệ thống AI cũng sẽ gặp khó. Hướng dẫn viết theo lối trả lời trước của chúng tôi trình bày kỹ năng đó chi tiết.

Bạn nên đưa những trang nào vào?

Hãy chọn những trang trả lời câu hỏi thực, không phải những trang bạn muốn bán nhất. Đây là lúc nghiên cứu khán giả chứng minh giá trị. Tại SNMRush, chúng tôi dùng SOMIN, một nền tảng nghiên cứu khán giả bằng AI, để xem mọi người nêu những câu hỏi và điểm căng thẳng nào về một ngành hàng trong cuộc trò chuyện công khai, rồi kiểm tra xem website đã có trang rõ ràng cho từng câu hay chưa. Những trang trả lời các câu hỏi đó được đưa vào llms.txt; các khoảng trống được đưa vào kế hoạch nội dung. Nếu bạn muốn thấy nghiên cứu đó đóng góp vào chiến lược rộng hơn như thế nào, phần tổng quan chiến lược SOMIN giải thích cách tiếp cận.

Danh sách kiểm tra ngắn để chọn trang:

1. Trang có trả lời rõ một câu hỏi ngay trong đoạn đầu không?
2. Trang có được cập nhật, với giá, tính năng và ngày tháng chính xác không?
3. Trang có truy cập được mà không cần đăng nhập, script hay trang chen ngang không?
4. Bạn có hài lòng nếu trợ lý AI trích dẫn nguyên văn trang này không?
5. Đây có phải là trang tốt nhất duy nhất trên website cho câu hỏi đó, thay vì một trong năm trang trùng lặp?

Định nghĩa: llms.txt và các tệp lân cận

• robots.txt: một tiêu chuẩn lâu đời cho trình thu thập dữ liệu biết chúng được tải những đường dẫn nào. Đây là nơi bạn cho phép hoặc chặn các trình thu thập dữ liệu AI như GPTBot hoặc Google-Extended.
• sitemap.xml: danh sách URL máy đọc được để công cụ tìm kiếm khám phá.
• llms.txt: một hướng dẫn Markdown con người đọc được, được đề xuất, giới thiệu nội dung hữu ích nhất của bạn cho mô hình ngôn ngữ.
• llms-full.txt: một tệp đi kèm được đề xuất, chứa toàn bộ văn bản, chủ yếu dùng cho tài liệu.

Điều gì quan trọng hơn llms.txt?

Nếu bạn chỉ có một tuần, hãy dành nó cho việc khác trước. Hầu hết công cụ trả lời AI có duyệt web đều dựa trên chỉ mục tìm kiếm, nên khả năng thu thập dữ liệu, lập chỉ mục và thứ hạng vẫn là nền tảng. Tiếp theo là chính nội dung: câu trả lời trực tiếp, thông tin cụ thể, so sánh trung thực. Sau đó là dữ liệu có cấu trúc và thông tin thực thể nhất quán, giúp máy móc hiểu bạn là ai. Cuối cùng là lượt nhắc đến trên các trang bên thứ ba đáng tin cậy, định hình cách trợ lý AI mô tả bạn.

Thứ tự này cũng là liều thuốc giải hữu ích cho niềm tin rằng một tệp hay một thẻ duy nhất có thể giành được khả năng hiển thị trên AI. Các mô hình suy luận mà studio chị em GPT5 Marketing của chúng tôi bàn đến ngày càng giỏi cân nhắc nguồn; chúng tưởng thưởng cho thực chất và rất khó bị đánh lừa.

Làm sao kiểm tra xem nó có hiệu quả không?

Hãy khiêm tốn khi quy kết. Kiểm tra nhật ký máy chủ xem có yêu cầu đến /llms.txt không và ghi lại các user agent. Duy trì một bộ prompt cố định và theo dõi xem công cụ AI có trích dẫn bạn không, trước và sau thay đổi, nhưng hãy lường trước rằng mọi tác động sẽ lẫn với mọi việc khác bạn đang làm. Các agency trong case study KPI Media cho thấy giá trị của việc đặt nền quyết định trên bằng chứng thay vì giả định, và nguyên tắc đó cũng áp dụng ở đây: hãy đo lường, đừng giả định.

Kết luận của chúng tôi rất rõ ràng. Hãy thêm llms.txt nếu bạn có tài liệu, có khán giả là lập trình viên, hoặc đơn giản muốn có một bản tóm tắt gọn gàng về website cho máy móc. Viết đoạn tóm tắt thật cẩn thận. Sau đó quay lại với công việc được biết là quan trọng: trả lời những câu hỏi khán giả của bạn thực sự đặt ra, tốt hơn bất kỳ ai khác.

Nếu bạn muốn có ý kiến thứ hai về thiết lập của mình, SNMRush đưa phần rà soát llms.txt vào mọi buổi đánh giá khả năng hiển thị trên AI, cùng với quyền truy cập của trình thu thập dữ liệu, schema và theo dõi trích dẫn.

Câu hỏi thường gặp

llms.txt có bắt buộc để hiển thị trên tìm kiếm AI không?

Không. Đó là một đề xuất tùy chọn và chưa công cụ tìm kiếm AI lớn nào xác nhận nó là tín hiệu trích dẫn hay xếp hạng. Khả năng thu thập dữ liệu, nội dung mạnh và lượt nhắc đến đáng tin cậy quan trọng hơn nhiều.

llms.txt có chặn trình thu thập dữ liệu AI không?

Không. llms.txt là một hướng dẫn đọc. Để cho phép hoặc chặn các trình thu thập dữ liệu AI cụ thể, hãy dùng quy tắc robots.txt cho các user agent đã được công bố của chúng.

llms.txt nên đặt ở đâu?

Ở thư mục gốc của tên miền, ví dụ https://example.com/llms.txt, viết bằng Markdown với một H1, một đoạn tóm tắt ngắn và các danh sách liên kết.