개요
검색 증강 생성(RAG)은 간단한 쿼리에 유용하게 사용할 수 있는 기술입니다. 그러나 쿼리가 복잡하고 다단계 추론 및 의사 결정이 필요한 경우에는 어떻게 해야 할까요? 그러한 상황에는 FAQ를 검색하는 것뿐만 아니라 직접 문제를 해결할 수 있는 고객 지원 챗봇 등이 더 유용할 수 있습니다.
본 솔루션에서는 다중 에이전트 RAG 파이프라인을 설정하고 Oracle Database 23ai와 함께 Oracle Cloud Infrastructure(OCI)에 배포해 쿼리에 지능적으로 응답하도록 만들 것입니다. 대규모 언어 모델(LLM) 에이전트는 AI의 대응을 계획, 연구, 추론합니다. 이러한 사고 사슬(CoT) 프로세스는 인간의 문제 해결 과정을 흉내낸 것입니다. Gradio 인터페이스는 데이터 처리 과정을 조정합니다. 오픈 소스 도구를 사용해 여러 데이터 소스가 업로드되고, 수집되고, 벡터 형식으로 저장됩니다. Gradio는 자연어 쿼리를 입력하는 채팅 인터페이스도 제공합니다.
Gradio의 CoT 시각화를 사용하면 각 에이전트가 최종적으로 통합된 응답을 전달하기 위해 취한 단계 및 결정을 확인할 수 있습니다. 본 솔루션은 에이전틱 AI로 로컬 및 클라우드 기반 모델의 추론 능력을 어떻게 향상시킬 수 있는지 쉽게 이해할 수 있는 예시를 제공합니다.
데모
