지식 베이스 (RAG)

지식 베이스 기능을 사용하면 AI 에이전트가 실제 문서 —— 릴리스 노트, 도움말 문서, 정책 등 텍스트 기반의 모든 것 —— 를 활용하여 질문에 답변할 수 있습니다.

지원 형식

• PDF
• Markdown, 일반 텍스트
• Word (.docx) · CSV
• JSON (텍스트로 추출)

업로드 흐름

1. 지식 베이스 → 문서 업로드 로 이동합니다
2. 파일을 선택합니다 (최대 25 MB). 사전 서명된 POST를 통해 S3에 직접 업로드됩니다
3. worker가 작업을 가져갑니다: 텍스트 추출 → 약 800 tokens 단위로 청크화 → OpenAI text-embedding-3-small 로 embeddings 생성 → pgvector에 저장
4. 완료되면 상태가 READY 로 바뀝니다

검색 작동 방식

방문자 메시지마다 worker는 쿼리의 embeddings를 생성하고, 테넌트의 청크에 대해 코사인 거리 검색을 실행합니다. 유사도 임계값을 통과한 Top-K(기본값 5) 청크가 시스템 프롬프트에 인라인으로 삽입됩니다.

자체 embeddings 사용하기

AI 에이전트 → Embeddings 에서 사용자 지정 embedding API endpoint를 설정할 수 있습니다 —— Azure OpenAI, 로컬 Ollama 또는 DuckLLM을 사용하려는 경우에 유용합니다. 채팅 완성 endpoint는 embedding endpoint와 다를 수 있습니다. 애그리게이터 서비스는 종종 embeddings를 지원하지 않기 때문입니다.

캐싱

동일한 쿼리 텍스트는 24시간 Redis 캐시에 적중하므로, 같은 FAQ에 대해 방문할 때마다 embeddings를 다시 생성하지 않습니다. Anthropic 프롬프트 캐싱이 시스템 프롬프트 + 검색된 청크에 적용되어 비용을 더욱 절감합니다.

RAG를 건너뛸 때

AI 에이전트가 문서를 인용할 필요가 없는 순수한 잡담 / 리드 자격 판별 봇이라면 RAG enabled 를 꺼두세요.