최근 ChatGPT나 NotebookLM 같은 AI 도구를 활용해 방대한 양의 PDF나 문서 파일을 업로드하고 질문하는 분들이 많아졌습니다. 파일만 올리면 AI가 즉시 관련된 대답을 찾아내어 답변해 주니 참 편리합니다.
하지만 혹시 동일한 파일에 대해 비슷한 질문을 할 때마다 AI가 매번 처음부터 정보를 탐색하고 답을 다시 짜내고 있다는 사실을 눈치채셨나요? 게다가 여러 개의 서로 다른 문서를 긴밀히 융합해야 하는 고차원적인 질문을 던지면 답변의 질이 눈에 띄게 떨어집니다.
이 글에서는 기존 Stateless RAG(검색 증강 생성)의 한계를 정면으로 극복하고, 시간이 갈수록 지식이 스스로 성장하는 LLM Wiki(상태 저장형 위키)의 핵심 개념과 작동 원리를 자세하게 정리해 드립니다.
📊 기존 RAG vs LLM Wiki 핵심 요약 비교
| 구분 | 기존 RAG (Stateless RAG) | LLM Wiki (Stateful Compounding) |
|---|---|---|
| 상태 관리 | 상태 없음 (Stateless, 매번 새로 탐색) | 상태 있음 (Stateful, 영구 문서 유지) |
| 지식 처리 | 원본 문서를 쪼개어 실시간 조각 검색 | 단 한 번 컴파일하여 상호 연결된 위키 구축 |
| 토큰 비용 | 대화가 길어질수록 기하급수적으로 증가 | 정제된 위키 노트를 참조하므로 비용 비약적 감소 |
| 지식의 성장 | 지식의 단순 축적 및 복리 성장이 불가능 | 소스가 추가될수록 위키가 풍부해지고 고도화됨 |
1. 기존 RAG(검색 증강 생성)의 치명적인 한계
많은 기업과 개인이 문서 데이터베이스를 구축할 때 RAG 방식을 채택합니다. 그러나 현업에서 RAG를 운용하다 보면 다음과 같은 현실적인 문제에 봉착하게 됩니다.
❌ 1) 상태가 없는(Stateless) 휘발성 지식
RAG 시스템은 사용자가 질문을 던질 때마다 관련된 원본 문서의 텍스트 조각(Chunk)들을 벡터 검색으로 찾아내어 프롬프트에 주입합니다. 즉, AI는 매 턴마다 아무런 기억 없이 처음부터 지식을 재발견(Rediscover)해야 합니다. 이로 인해 이전에 했던 고차원적인 분석이나 연결고리가 다음 대화에 누적되지 않고 공중으로 휘발됩니다.
❌ 2) 심각한 컨텍스트 오염과 토큰 오버헤드
여러 개의 대형 문서가 얽혀 있는 질문을 처리하려면 주입해야 하는 텍스트 조각의 양이 방대해집니다. 이 과정에서 질문과 무관한 노이즈가 섞여 들어가는 컨텍스트 오염이 발생하고, 매 질문마다 수만 토큰씩 소모하게 되어 API 비용과 속도 지연(Overhead)이 기하급수적으로 늘어납니다.
2. LLM Wiki란 무엇인가? (지식의 복리 성장)
안드레아 카파시(Andrej Karpathy)가 제시하여 큰 주목을 받은 LLM Wiki는 기존의 날것(Raw) 그대로인 문서들을 매번 조각내어 검색하는 대신, LLM이 문서를 단 한 번만 정밀하게 읽고 분석하여 상호 연결된 영구적인 마크다운 위키 페이지들로 사전에 컴파일해 두는 구조입니다.
새로운 정보 소스가 유입되면 시스템은 단순히 색인만 추가하는 것이 아니라, 기존 위키 문서들을 지속적으로 수정하고, 요약 페이지를 최신화하며, 모순되는 정보를 조정합니다. 지식이 시간이 흐를수록 복리로 쌓이며 더욱 정교해지는 상태 저장형(Stateful) 아키텍처입니다.
🏢 LLM Wiki의 3단계 구조 레이어
- 1) Raw Sources (원천 자료): 사용자가 공급하는 가공 전 기사, PDF, 논문, 대화 로그입니다. 이 영역은 절대 훼손되거나 수정되지 않는 'Immutable(불변)' 데이터 레이어입니다.
- 2) The Wiki (위키 레이어): LLM이 가공하여 생성한 마크다운 파일들의 디렉토리입니다. 상호 연결된 위키 링크와 구조화된 메타데이터를 지니고 있습니다.
- 3) The Schema (스키마/지침 레이어): 에이전트에게 위키의 작성 규칙과 린트 프로토콜을 통제하는 설정 파일(예: AGENTS.md)입니다. AI가 단순 챗봇이 아닌 훈련된 사서 역할을 수행하도록 통제합니다.
3. LLM Wiki를 유지하는 3가지 핵심 오퍼레이션
LLM Wiki가 건강하고 정밀하게 유지되기 위해 백그라운드 에이전트는 주기적으로 3대 작업을 진행합니다.
📥 1) Ingest (수집 및 지식 이식)
단순한 요약본 작성이 아닙니다. 하나의 신규 문서가 들어오면 LLM은 이를 기반으로 위키 내의 연관된 10~15개 페이지를 동시에 넘나들며 수정하고 상호 참조 연결고리를 만들어 냅니다.
🔍 2) Query (합성 답변 및 환원)
위키를 탐색하여 사실 기반의 고차원 답변을 조립합니다. 중요한 점은 이렇게 조립된 가치 있는 분석 결과나 표(Table)는 일회성 답변으로 끝내지 않고 위키의 새 페이지로 환원(Compound)시킨다는 것입니다. 질문이 쌓일수록 지식 저장소가 기하급수적으로 탄탄해집니다.
🧼 3) Lint (지식 정돈 및 무결성)
시간이 흐르면서 문서 간에 충돌이 나거나, 오래된 과거 주장이 최신 정보에 밀려나는 등의 '엔트로피 상승' 현상이 발생합니다. 린트 오퍼레이션은 깨진 위키 링크(Dead Link)를 탐지하고 문서 간의 모순을 감지하여 지속적으로 지식의 정합성을 수동/자동으로 조율합니다.
💡 LLM Wiki가 적용되는 실전 시나리오
- 개인 지식 관리(PKM): 독서 기록, 일기, 건강 상태 변화, 스크랩 글들을 오랜 기간 누적하여 자기 자신에 대한 종합적인 프로파일을 만듭니다.
- 연구 및 논문 Deep-Dive: 수십 편의 전문 분야 연구 논문을 아우르며, 각 개념과 실험 기법, 대조 결과들이 유기적으로 연결된 거대한 지식 맵을 빌드합니다.
- 비즈니스 및 팀 협업: 슬랙 로그, 회의록, 고객 상담 기록 등을 모아 사람이 관리하기 귀찮아하는 사내 업무 매뉴얼과 핵심 노하우 위키를 LLM이 무한 유지보수합니다.
❓ 자주 묻는 질문 (FAQ)
Q. Obsidian(옵시디언)과 연동해서 어떻게 사용하나요?
A. 보통 한쪽 화면에 에이전트(Claude Code, Antigravity 등) 터미널을 켜두고, 다른 한쪽 화면에 Obsidian을 열어둡니다. 에이전트가 백그라운드에서 마크다운 위키 코드베이스를 수정하면 사용자는 Obsidian의 그래프 뷰(Graph View)를 통해 지식망이 실시간으로 생성되고 확장되는 장관을 직관적으로 확인하고 브라우징할 수 있습니다.
Q. 기존 RAG보다 비용이나 인프라 측면에서 이점이 있나요?
A. 그렇습니다. 기존 RAG는 매 대화마다 관련 파일을 처음부터 다시 조각 내어 거대한 컨텍스트 창에 집어넣어야 하므로 토큰 낭비가 매우 극심합니다. 반면 LLM Wiki 방식은 이미 정제되고 촘촘히 엮인 소수의 위키 페이지만을 선별해 읽기 때문에 매 질문당 비용이 훨씬 저렴하며 별도의 무거운 벡터 데이터베이스 서버 없이 로컬 폴더(Git)만으로도 가볍게 동작합니다.
0 댓글