Blog

이 유뷰브 튜토리얼은 Dify 에서 제공하는 RAG(Retrieval Augmented Generation) 파이프라인을 이용해 AI 개인 비서 애플리케이션의 성능을 향상시키는 방법을 소개합니다.

사용자는 다양한 지식 기반에서 외부 지식을 활용하여 더 정확하고 효과적인 응답을 생성할 수 있습니다. 기본 설정을 유지하며 데이터 전처리와 청소 단계를 수행한 후, 여러 검색 모드를 통해 최적의 결과를 얻을 수 있습니다.

이 시스템은 특히 다중 지식 검색을 가능하게 하여 아이디어의 실현을 돕는 강력한 도구입니다. RAG 시스템을 통해 AI의 응답 품질을 높이고 사용자 경험을 향상시킬 수 있는 기회를 제공합니다.

RAG (Retrieval Augmented Generation: 검색 증강 생성)

• RAG는 ‘Retrieval Augmented Generation’의 약자로, 정보를 찾고 그것을 생성하는 AI 시스템을 의미합니다. 즉, AI가 필요한 정보를 검색하고 그 정보를 바탕으로 더 나은 응답을 생성할 수 있도록 돕는 기술입니다. 이 시스템은 AI 개인 비서가 사용자의 질문에 대해 더 정확한 답변을 제공할 수 있게 해줍니다.
• AI가 이미 가진 지식과 외부에서 얻은 정보를 결합하는 방법입니다. 예를 들어, 학생이 공부할 때 이미 알고 있는 지식과 참고서에서 찾은 정보를 합쳐서 더 깊이 있는 답변을 만드는 것과 같습니다.

• RAG는 인공지능 비서의 응답 향상에 기여하며, 외부 지식을 통해 관련 문서에서 정보를 찾아 사용자 질문에 답할 수 있도록 돕는다.
• 데이터 가져오기를 위해 계정에 로그인한 후 ‘Knowledge’로 이동하고 ‘Create Knowledge’를 클릭하여 파일에서 데이터를 가져온다.
• 문서는 쪼개기 설정, 인덱스 모드, 검색 설정을 통해 전처리 및 정리되며, 처음 시도 시 기본 설정을 사용하는 것이 권장된다.
• 쪼개기 설정은 문서를 개별 단락으로 나누어 사용자 질문과 관련된 텍스트 세그먼트가 일치하도록 한다.

• Dify는 사용자가 청킹, 인덱싱, 검색 설정을 쉽게 조정할 수 있게 하여 최적의 RAG 파이프라인을 구축할 수 있도록 지원합니다.
• 이를 통해 RAG 시스템의 전반적인 성능을 향상시킬 수 있습니다.
• Dify의 이러한 기능들은 RAG 아키텍처의 핵심 단계인 검색(Retrieval)과 증강(Augmentation)을 효과적으로 지원하며, 결과적으로 AI 어시스턴트의 응답 품질을 크게 향상시키는 데 중요한 역할을 합니다.

• 고품질 모드에서는 OpenAI 임베디드 모델을 활용하여 사용자 쿼리 처리의 정확성을 향상시킨다.
• 경제 모드는 키워드 인덱스와 같은 오프라인 벡터 엔진을 사용하여 비용을 낮추지만 정확성은 떨어진다.
• 고품질 모드에서는 벡터 검색, 전체 텍스트 검색, 하이브리드 검색 중 선택할 수 있으며 , 하이브리드 검색이 장점이 가장 많다고 추천한다.
• 하이브리드 검색은 전체 텍스트 검색과 벡터 검색을 동시에 수행하고, 그래서 가장 적합한 결과를 다시 순위 매긴다.
• API 키를 구성해야 하며, 모든 설정이 완료된 후 저장하고 처리하여 자신만의 RAG 데이터베이스를 생성할 수 있다.

• 지식 контекст를 보조 도구나 텍스트 생성기로 가져온 후, 해당 도구는 파일의 외부 지식에 접근할 수 있게 된다.
• 이 외부 지식은 보조 도구가 사용할 컨텍스트로 작용한다.

• 지식 기반이 여러 개 추가된 경우, N-to-one 검색 모드와 Multipath 검색 모드 중에서 선택할 수 있다.
• N-to-one 모드는 소규모 지식 기반에 적합하며, 모델의 추론 능력을 이용하여 사용자 의도에 가장 관련 있는 지식 기반을 선택한다.
• Multipath 검색 모드는 여러 지식 기반에서 관련 텍스트 청크를 쿼리할 수 있으며
• 이 모드는 모델의 추론 능력이나 지식 설명에 의존하지 않고, 재순위 모델을 사용하여 사용자 질문에 가장 적합한 결과를 선택한다.
• 여러 지식 기반을 가진 애플리케이션을 만들 때는 Multipath 검색 모드 사용이 권장된다.

• 지식 베이스의 테스트 과정은 복잡하지 않기 때문에 걱정할 필요가 없다.
• 애플리케이션 내에서 청크(chunking), 색인(indexing), 및 검색(retrieval) 설정을 변경하여 최상의 결과를 주는 구성을 테스트할 수 있다.
• RAG 시스템을 자신의 앱에서 사용하는 방법을 설명하고 있다.
• 더 많은 정보는 설명란의 링크를 통해 확인할 수 있으며, DeFi 사용 사례에 대한 내용이 포함되어 있다.
• Discord 링크도 설명란에 있으며, 사용자들의 창의성을 기대하고 있다.

Dify의 RAG 구현은 AI 어시스턴트의 응답 품질을 크게 향상시키는 데 중요한 역할을 합니다. 외부 지식을 효과적으로 활용하고, 다양한 검색 및 최적화 옵션을 제공함으로써 Dify는 RAG 아키텍처의 잠재력을 최대한 활용할 수 있게 해줍니다.

• Dify 한국어 README
• NIA의 RAG 기술 발전 동향: RAG 기술의 등장과 발전 동향을 다룬 PDF 자료로, 다양한 소스에서 정보를 검색하여 단일 데이터의 한계를 극복하는 방법을 설명합니다.
• LLMOps를 위한 오픈소스 플랫폼 Dify 알아보기