921. 사내 규정집 RAG 챗봇 제작기

회사 HR 규정집 4종을 지식으로 삼아, 규정에 없는 말은 하지 않고 답변마다 원문 근거를 그대로 발췌해 보여주는 사내 규정 안내 챗봇이다. UI는 ChatGPT.com과 같은 사용감을 목표로 했다.

질문 하나가 답변이 되기까지 7단계를 거친다. 핵심은 넓게 모아서(하이브리드) 정밀하게 거르고(리랭커) 근거를 원문 그대로 보여주는 것이다.

답: 필수는 아니다. 그러나 이 요구사항에서는 최선이다. 임베딩 없이 돌아가는 것처럼 보였던 사례의 실체부터 확인해야 한다. 바이브코딩 에이전트는 grep·파일읽기 도구로 직접 탐색하는 에이전틱 검색이고, GPTs는 임베딩을 안 하는 게 아니라 OpenAI file_search가 뒤에서 대신(청킹→임베딩→벡터검색) 해주는 것이다. 직접 만들 때는 그 부분이 우리 몫이 된다.

웹 리서치 후보 탐색 및 선택 — 2026년 중반 기준.

리랭커: 하이브리드에서 멈추지 않는다

1차 검색은 "넓게 모으는" 단계다. 크로스인코더 리랭커(bge-reranker-v2-m3)는 질문과 청크를 한 쌍으로 함께 읽고 "이 질문에 진짜 답하는 조항인가"를 재판정한다. 금액·일수·승인권자처럼 정답이 하나인 질문에서 체감 효과가 가장 크고, 업계 리서치에서도 "가장 ROI 높은 개선"으로 꼽힌다. 부가 효과로 리랭커 점수를 근거 충분성 임계값(sigmoid 0.15)으로 재활용해 미달 시 거부 경로로 보낸다.

청킹: 문단이 아니라 조항 단위

규정 문서는 제N조 (제목) 구조가 명확하다. 마크다운 헤딩 최하위 단위로 잘라 조항 1개 = 청크 1개를 만들고, 각 청크에 『규정명』 > 장 > 절 컨텍스트 헤더를 붙여 색인한다(Anthropic Contextual Retrieval의 경량판 — 원 실험에서는 리랭킹과 결합 시 검색 실패 67% 감소 보고). 긴 조항은 빈 줄 경계로만 2차 분할해 표가 중간에서 잘리는 일이 없다.

벡터 DB를 쓰지 않은 이유

Qdrant·pgvector·Elasticsearch도 검토했지만 numpy 인메모리 + 디스크 캐시를 채택했다. 청크 58개 규모에서 벡터 DB는 운영 부담만 더한다 — emb @ q_emb 한 줄이면 전량 코사인 검색이 끝난다. 문서가 수만 청크로 늘어나는 시점에 도입하는 것이 옳은 순서다.

저장 위치는 backend/.cache/emb-<해시>.npy 파일 하나다. BGE-M3로 58개 청크를 전부 임베딩한 58×1024 float32 행렬 그 자체(약 232KB — 58×1024×4바이트)이며, 파일명 해시를 모델명+청크 내용으로 만들어 규정이 바뀌면 자동으로 재계산된다. 서버 시작 시 이 파일을 메모리에 올려두고, 질문마다 내적 한 번으로 58개 전부와 코사인 유사도를 구한다. 그래도 벡터 DB라고 부르지 않는 이유는 "벡터 DB"가 데이터가 아니라 시스템을 가리키는 말이기 때문이다.

나머지 결정 요약

지식 베이스는 규정집 4종이다. 챗봇이 여러 규정을 동시에 검색해 답을 합성하므로 규정 간 수치가 서로 모순되면 그대로 오답이 된다. 4종은 수치·담당자·승인 절차가 서로 맞물리도록 설계했다.

원문(text)과 색인용(search_text)을 분리 저장하는 것이 포인트다. 발췌 블록에는 원문이, 검색 인덱스에는 경로가 붙은 버전이 쓰인다.

path_titles = [t for lv, t in stack if lv >= 2]
section_path = " > ".join(path_titles)   # "제2장 경조휴가 > 제4조 (경조휴가 일수)"
header = f"『{doc_title}』 > {section_path}"
chunks.append(Chunk(
    ...,
    text=part,                        # 원문 그대로 → 근거 발췌 블록용
    search_text=f"{header}\n{part}",  # 컨텍스트 헤더 부착 → BM25/임베딩 색인용
))

토큰을 실시간으로 흘리면서도 마지막 줄 SOURCES: [1,3]은 화면에 노출하지 않아야 한다. 누적 버퍼 끝이 마커의 접두어와 겹치는 길이만큼 전송을 보류하는 필터를 구현했다.

def _held_suffix_len(pending: str) -> int:
    """pending 끝부분이 SOURCES: 마커의 접두어와 겹치는 길이 (스트리밍 중 보류)."""
    for k in range(min(len(_SOURCE_MARKER), len(pending)), 0, -1):
        if _SOURCE_MARKER.startswith(pending[-k:]):
            return k
    return 0

멀티턴 처리: "부친상 휴가 며칠?" → (답변) → "그럼 경조금은?" 같은 후속질문은 그대로 검색하면 실패한다. 직전 대화 6턴을 넣고 "마지막 질문을 독립적인 검색 질의 한 문장으로 재작성하라"는 소형 GPT 호출(reasoning_effort: minimal)을 검색 전에 수행하고, 재작성된 해석을 [질문 해석]으로 생성 프롬프트에도 전달한다.