RAG 파이프라인 최적화: 청킹 전략과 검색 정확도 개선기

초기 시스템은 고정된 길이(Fixed-size)로 문서를 분할해 벡터 스토어에 저장했어요. 구현이 빠르다는 장점이 있었지만, 문장의 문맥이 잘리거나 불필요한 노이즈가 함께 검색되는 문제가 자주 발생했어요. 특히 전문적인 도메인 지식을 다룰 때는 이런 현상이 답변의 신뢰도를 크게 떨어뜨렸어요.

1. 시맨틱 청킹으로의 전환

문맥의 연속성을 보장하기 위해 토큰 수를 기준으로 나누는 대신 의미 단위 청킹(Semantic Chunking) 알고리즘을 도입했어요. 문장 간 코사인 유사도를 측정하고, 유사도가 급격히 떨어지는 지점을 분할 지점으로 지정하는 방식이에요.

“문서의 논리적 흐름이 끊기지 않는 청크 크기를 유지했을 때, LLM의 환각(Hallucination) 발생률이 35% 이상 감소했어요.”

2. Re-ranker 도입 효과

1차 벡터 검색 결과에서 상위 20개 문서를 추출한 뒤, 크로스 인코더(Cross-encoder) 기반의 Re-ranker 모델을 거쳐 최종 5개 문서를 LLM 컨텍스트로 전달하는 2단계 파이프라인을 구축했어요.

# Re-ranking 파이프라인 예시 코드
def retrieve_and_rerank(query, top_k=5):
    initial_docs = vector_store.similarity_search(query, k=20)
    scores = reranker_model.predict([(query, d.page_content) for d in initial_docs])
    reranked_docs = [doc for _, doc in sorted(zip(scores, initial_docs), reverse=True)]
    return reranked_docs[:top_k]

3. 성능 비교 요약

원본 상세 페이지 샘플을 바탕으로 옮긴 기록이에요. 수치와 사례는 샘플 콘텐츠의 값을 그대로 보존했어요.