llms.txt 완전 가이드: 무엇이고, 왜 등장했고, 어디까지 기대해야 하나

왜 지금 llms.txt를 살펴봐야 하나

접속 로그를 열어 보면 전에 없던 줄이 늘어 있습니다. GPTBot이나 PerplexityBot, ClaudeBot 같은 이름입니다. 사람이 검색해서 들어온 흔적이 아니라, 생성형 엔진이 누군가의 질문에 답을 만들려고 당신의 페이지를 읽고 간 기록이죠. 검색엔진만 상대하던 사이트에 새로운 독자가 한 종류 더 생긴 셈입니다.

이 독자는 따르는 규칙이 다릅니다. 검색엔진은 링크를 따라가 순위를 매기고, 그 순위를 사용자에게 그대로 보여 줬습니다. 반면 생성형 엔진은 페이지를 읽어 핵심을 뽑은 다음 자기 답변 안에 담아 인용합니다. 그렇다면 이 새 독자에게 "우리 사이트에서 진짜 중요한 건 이 부분"이라고 미리 알려 줄 방법은 없을까요. llms.txt가 바로 그 질문에 대한 하나의 답으로 나왔습니다.

다만 들어가기 전에 기대치부터 맞춰 두는 게 좋습니다. llms.txt는 만능 열쇠가 아닙니다. 파일 하나 올렸다고 AI가 갑자기 당신 브랜드를 인용하기 시작하지는 않습니다. 그렇다고 무시할 일도 아닙니다. 작성 비용이 거의 들지 않고, 기본기가 잘 잡힌 사이트라면 손해 볼 여지가 거의 없으니까요. 이 글은 그 사이의 정확한 위치를 짚어 보려 합니다.

llms.txt가 정확히 무엇인가

llms.txt는 사이트 루트(예: example.com/llms.txt)에 두는 한 장짜리 마크다운 파일입니다. 대규모 언어 모델(LLM)이 당신의 사이트를 이해할 때 참고하라고 만든 큐레이션 안내문이죠. 한마디로 골라서 보여 주는 "큐레이션"이자, 형식은 "마크다운"입니다.

짧게 비유해 보겠습니다. sitemap.xml이 건물의 모든 방을 적은 전체 목록이라면, llms.txt는 처음 온 사람에게 건네는 한 장짜리 안내 데스크 메모에 가깝습니다. 모든 방을 나열하는 대신 "찾으시는 건 보통 이 세 곳입니다"라고 추려서 길을 짚어 주는 쪽이죠.

왜 마크다운일까요. HTML 페이지에는 내비게이션 바와 광고, 푸터, 자바스크립트, 스타일이 뒤섞여 있습니다. 사람 눈에는 자연스러워도, 기계가 핵심 텍스트만 골라내려면 그만큼 품이 듭니다. 반면 마크다운은 제목과 본문, 링크의 위계가 그대로 드러나는 깨끗한 형식이라 추출이 쉽습니다. 그래서 llms.txt는 군더더기를 걷어낸, 기계가 읽기 좋은 출입구 역할을 합니다.

구조 자체는 단순합니다. 최상단에 H1으로 사이트나 프로젝트 이름을 적고, 그 아래 인용구(blockquote)로 한 문장 요약을 답니다. 이어서 맥락을 설명하는 자유 서술 단락을 붙이고, 마지막으로 H2로 묶은 링크 섹션을 둡니다. 형식이 가벼워서 누구나 텍스트 편집기로 직접 쓸 수 있습니다.

robots.txt, sitemap.xml과 무엇이 다른가

셋 다 사이트 루트에 놓이는 텍스트 파일입니다. 다만 맡은 일은 제각각인데, 헷갈리지 않도록 표로 정리하면 이렇습니다.

한 줄로 줄이면 robots.txt는 문지기, sitemap.xml은 전체 색인, llms.txt는 추천 동선인 셈입니다. 셋은 경쟁하기보다 서로를 보완하죠. 다만 순서가 중요합니다. robots.txt에서 AI 봇 접근을 막아 두면 llms.txt를 아무리 잘 써도 읽히지 않습니다. 그러니 출입을 먼저 허용한 뒤 sitemap으로 전체를 알리고, 끝으로 llms.txt로 핵심을 강조하는 흐름이 자연스럽습니다.

흔한 오해 하나를 짚고 넘어가겠습니다. llms.txt는 robots.txt를 대체하지 않습니다. 접근을 통제하고 싶다면 그 일은 여전히 robots.txt(또는 봇별 User-agent 정책)의 몫입니다. llms.txt는 막는 파일이 아니라 안내하는 파일이니까요.

실제 작성법: 최소 예시부터

형식은 예시를 보면 가장 빨리 이해됩니다. 아래에 가상의 회사 "노을(Noeul)"의 llms.txt 골격을 하나 만들어 두었습니다.

# Noeul

> 노을은 한국 중소 카페를 위한 재고·발주 자동화 SaaS입니다. 매장 사장님이 엑셀 없이 원두와 부자재 발주를 관리합니다.

노을은 소규모 매장의 발주 데이터를 학습해 적정 재고를 제안하고, 거래처와의 발주를 자동화합니다. 아래 문서는 제품을 정확히 이해하는 데 핵심이 되는 페이지입니다.

## 핵심 문서

- [제품 개요](https://noeul.example.com/product): 무엇을 해결하는지, 누구를 위한 도구인지
- [요금제](https://noeul.example.com/pricing): 플랜별 기능과 가격
- [도입 가이드](https://noeul.example.com/docs/getting-started): 첫 발주 자동화까지 10분 안내

## 자주 묻는 질문

- [FAQ](https://noeul.example.com/faq): 데이터 보안, 거래처 연동, 해지 정책

## 선택 참고

- [블로그](https://noeul.example.com/blog): 카페 운영 인사이트
- [채용](https://noeul.example.com/careers): 팀과 합류하기

천천히 읽어 보면 의도가 드러납니다. 첫 줄 H1은 무엇에 관한 사이트인지를, 인용구는 정체성을 한 문장으로, 그다음 단락은 맥락을, 링크 섹션은 "여기부터 보라"는 우선순위를 전합니다. "핵심 문서"가 위에 오고 "선택 참고"가 아래에 놓인 배치도 우연이 아니라 의도한 위계입니다.

한 단계 더: 본문까지 묶는 패턴

일부 구현은 각 페이지의 깨끗한 마크다운 본문을 따로 제공하기도 합니다. 예를 들어 페이지 URL 끝에 .md를 붙이면 본문만 마크다운으로 돌려주는 방식인데요, 이렇게 해 두면 AI가 HTML을 파싱하는 비용 없이 본문을 바로 읽습니다. 다만 이 방식은 정적 사이트 생성기나 문서 사이트에서는 비교적 쉬운 반면, 일반 사이트에서는 추가 작업이 듭니다. 그러니 처음부터 무리해서 다 갖출 필요는 없습니다.

무엇을 넣고, 무엇을 빼야 하는가

llms.txt는 채우는 게 아니라 덜어내는 데서 가치가 나옵니다. sitemap을 그대로 베껴 모든 URL을 나열하면 큐레이션이라는 의미 자체가 사라지기 때문입니다. 다음 기준으로 판단하면 정리하기 쉽습니다.

• 넣을 것: 제품과 서비스의 정체성을 설명하는 페이지, 가격과 정책처럼 사실관계가 명확한 페이지, FAQ나 가이드처럼 답변에 바로 쓰일 정보, 권위 있는 핵심 문서.
• 뺄 것: 로그인·장바구니·결제 같은 거래 페이지, 자동 생성된 태그·페이지네이션 URL, 중복되거나 오래된 페이지, 마케팅용 랜딩 변형 수십 개.

작성할 때 지키면 좋은 원칙 네 가지도 덧붙입니다.

1. 한 문장 요약을 진짜로 한 문장으로. 인용구 한 줄은 AI가 당신을 한 줄로 소개할 때 그대로 가져다 쓸 가능성이 높습니다. 그러니 모호한 슬로건이 아니라 명확한 정의를 적으세요.
2. 링크마다 설명을 붙여라. URL만 나열하지 말고, 그 페이지가 무엇을 다루는지 짧게 적어 두세요. 이 설명을 보고 기계가 페이지의 용도를 가늠합니다.
3. 사실을 정확하게. 가격, 기능, 정책은 실제 페이지와 일치해야 합니다. 여러 출처에서 모순이 발견되면 신뢰도가 떨어집니다. llms.txt는 믿을 만한 1차 출처를 자처하는 자리라서, 과장은 오히려 독이 됩니다.
4. 최신 상태를 유지하라. 페이지를 옮기거나 없앴는데 llms.txt가 그대로면 깨진 링크만 남습니다. 변경이 잦은 사이트라면 빌드 과정에서 자동 생성하는 쪽이 안전합니다.

현재의 한계와 현실적인 기대치

이 글에서 가장 솔직해야 할 대목입니다. llms.txt를 향한 기대는 부풀려질 때가 많죠. 크게 세 가지로 나눠 보면 윤곽이 잡힙니다.

첫째, 표준이 아니라 제안입니다. robots.txt는 오랜 시간에 걸쳐 사실상의 관례로 자리 잡았습니다. 반면 llms.txt는 비교적 최근에 등장한 커뮤니티 주도 제안입니다. 그래서 모든 AI 서비스가 이 파일을 읽으리란 보장이 없습니다. 어떤 엔진은 참고하고 어떤 엔진은 무시하죠.

둘째, 강제력이 없습니다. sitemap과 마찬가지로 llms.txt도 결국 힌트일 뿐입니다. AI가 이 파일을 반드시 따라야 한다는 규칙은 어디에도 없습니다. 잘 쓰면 도움이 될 수는 있어도, 설치 자체가 인용을 보장하지는 않습니다.

셋째, 효과를 깔끔하게 측정하기 어렵습니다. llms.txt를 추가한 뒤 인용이 늘었다고 해도, 그 원인이 llms.txt인지 콘텐츠 품질 개선인지 또 다른 변화인지 가려내기가 까다롭습니다. 그래서 "llms.txt를 넣었더니 인용율이 두 배가 됐다" 같은 단정은 일단 의심하는 게 좋습니다. 변수가 하나만 바뀌는 경우는 거의 없으니까요.

그렇다면 왜 굳이 하느냐. 비용 대비 이득이 남기 때문입니다. 작성에 한두 시간, 유지에는 거의 손이 들지 않으면서도 손해 볼 위험이 작고, 일부 AI 도구가 참고한다면 그만큼 이득입니다. 다만 "이걸 했으니 GEO는 끝"이라는 착각은 경계해야 합니다. llms.txt는 토대 위에 얹는 마무리일 뿐, 토대 자체는 아니니까요.

llms.txt는 좋은 콘텐츠를 더 잘 읽히게 만들 수는 있어도, 없는 콘텐츠를 있는 것처럼 만들지는 못한다. 우선순위는 언제나 콘텐츠가 먼저다.

실무 체크리스트

지금 바로 적용하려는 분을 위한 점검 목록입니다. 위에서 아래로 순서대로 확인하면 흐름이 맞습니다.

• robots.txt에서 AI 검색 봇 접근을 허용했는가. 막아 두면 그 뒤 모든 작업이 무의미해진다.
• sitemap.xml이 최신이고 발행한 페이지를 빠짐없이 담고 있는가.
• llms.txt를 사이트 루트(/llms.txt)에 두고, 200 응답에 마크다운으로 제공되는지 직접 열어 확인했는가.
• H1 한 줄, 인용구 한 문장 요약, 맥락 단락, 링크 섹션의 기본 구조를 갖췄는가.
• 핵심 페이지만 골라 담았는가. sitemap을 그대로 복사하지는 않았는가.
• 각 링크에 한 줄 설명을 붙였는가.
• 가격·정책·기능 등 사실관계가 실제 페이지와 일치하는가.
• 페이지 구조가 바뀔 때 llms.txt도 갱신되도록(가능하면 자동 생성) 해 두었는가.
• 도입 전후로 AI 엔진의 인용 여부를 비교할 기준점을 잡아 두었는가.

마지막 항목이 사실상 핵심입니다. 무언가를 바꿨다면 그 효과를 확인할 수 있어야 합니다. 그러니 llms.txt를 포함한 모든 GEO 작업은 "했다"가 아니라 "효과가 있었나"로 평가하는 게 맞습니다.

그래서 출발점은 측정입니다. ChatGPT나 Perplexity, Google AI Overview 같은 생성형 엔진이 당신의 카테고리 질문에 지금 어떤 브랜드를 인용하는지, 그 안에 당신이 들어가 있는지부터 확인하는 것이 순서입니다. llms.txt 같은 인프라 작업도 결국 이 기준선 위에서만 효과를 따질 수 있으니까요. 추측이 아니라 측정에서 시작합시다. 넛지오는 바로 그 인용 현황을 확인하는 일부터 돕습니다.