Blog

2022년 말 OpenAI가 GPT 3.5를 출시한 이후 대형 모델 시장은 호황을 누리고 있으며, 이제는 무시할 수 없는 기술이 되었습니다. 주요 업체들의 경쟁이 치열해지면서 대형 모델의 시장 가격이 하락하고 있습니다. 최근 2500페이지 분량의 책을 만들 수 있는 gpt-4o-mini의 가격은 60센트에 불과합니다. 이러한 맥락에서 볼 때 대형 모델의 가격은 가까운 미래에 걸림돌이 되지 않을 것입니다. LLM 애플리케이션을 효율적으로 개발 및 배포하려면 올바른 플랫폼과 도구를 선택하는 것이 중요합니다. 이 글에서는 Dify, OpenRouter, Kubernetes(k8s)를 사용하여 준프로덕션 환경의 LLM 애플리케이션 개발 플랫폼을 빠르게 구축하는 방법을 소개하며, 이를 통해 맞춤형 대형 모델 에이전트를 빠르게 구축할 수 있습니다.

Dify는 프로덕션급 제너레이티브 AI 애플리케이션을 빠르게 구축하려는 개발자를 위해 맞춤화된 오픈 소스 대규모 언어 모델(LLM) 애플리케이션 개발 플랫폼입니다. 서비스형 백엔드와 LLM을 완벽하게 결합하여 개발 프로세스를 보다 효율적이고 원활하게 만들어 줍니다.

Dify는 Claude3, OpenAI, Gemini 등 다양한 고급 대규모 언어 모델을 지원하며, 여러 모델 제공업체와 긴밀히 협력하여 개발자에게 유연한 선택권을 제공함으로써 모든 프로젝트에 가장 적합한 솔루션을 찾을 수 있도록 지원합니다. 또한 이 플랫폼은 강력한 데이터 세트 관리 기능을 갖추고 있어 텍스트 및 구조화된 데이터의 업로드와 관리를 지원하고 직관적인 시각화 도구를 통해 신속한 오케스트레이션과 애플리케이션 운영을 간소화하여 AI 애플리케이션 개발을 전례 없이 간편하게 만들어 줍니다.

Dify.AI의 기술 아키텍처에는 개발자에게 원스톱 솔루션을 제공하는 몇 가지 주요 구성 요소가 포함되어 있습니다:

1. 강력한 기술 스택 지원: Dify는 직관적인 프롬프트 오케스트레이션 인터페이스, 고품질 RAG(검색 증강 세대) 엔진, 유연한 에이전트 프레임워크를 통해 수백 개의 모델을 지원하는 LLM 애플리케이션 구축에 필요한 최고 수준의 기술 스택을 함께 제공합니다.
2. 시각적 오케스트레이션 및 운영 관리: Dify는 시각적인 프롬프트 오케스트레이션, 운영 및 데이터 세트 관리 기능을 제공하여 개발자가 며칠 내에 AI 애플리케이션 개발을 완료하고 기존 시스템에 빠르게 통합하며 지속적으로 최적화 및 개선할 수 있도록 지원합니다.
3. 풍부한 기술 스택: 핵심 AI 기술 스택에는 Python 프로그래밍 언어, TensorFlow 및 Keras 딥 러닝 프레임워크, NLTK 및 spaCy와 같은 일반적인 NLP 라이브러리가 포함됩니다. 이러한 선택은 Dify.AI에 높은 유연성과 확장성을 부여합니다.
4. 즉시 사용 가능한 애플리케이션 템플릿 및 오케스트레이션 프레임워크: Dify는 포괄적인 애플리케이션 템플릿과 오케스트레이션 프레임워크를 제공하여 개발자가 이러한 리소스를 기반으로 대규모 언어 모델 중심의 제너레이티브 AI 애플리케이션을 신속하게 구축하고 필요에 따라 원활하게 확장하여 비즈니스 성장을 촉진할 수 있도록 지원합니다.
5. Dify 오케스트레이션 스튜디오: 제너레이티브 AI 애플리케이션을 위한 통합 작업 환경을 제공하는 전문가급 비주얼 오케스트레이션 도구로, 개발자가 AI 프로젝트를 보다 효율적으로 빌드하고 관리할 수 있도록 지원합니다.

이러한 강력한 기술 아키텍처를 통해 Dify.AI는 개발자를 위한 포괄적이고 유연하며 사용하기 쉬운 플랫폼을 구축하여 신속한 개발부터 안정적인 배포까지 제너레이티브 AI 애플리케이션을 위한 원스톱 솔루션을 지원합니다.

이름에서 알 수 있듯이 OpenRouter는 강력한 대형 모델 API 라우터입니다. 다양한 AI 모델과 서비스를 통합된 인터페이스에 원활하게 통합하도록 설계되었습니다. 사용자는 직접 배포하고 유지 관리할 필요 없이 간단한 구성과 호출을 통해 사전 학습된 여러 개의 대규모 모델에 쉽게 액세스할 수 있습니다. 이 혁신적인 개념은 AI 기술 사용의 문턱을 크게 낮춰 더 많은 사람들이 대규모 모델을 손쉽게 활용하여 실제 문제를 해결할 수 있도록 지원합니다.

시작하기 전에 다음 준비 사항을 완료했는지 확인하세요:

1. Kubernetes 설치: 컴퓨터에 Kubernetes 클러스터가 설치 및 구성되었는지 확인합니다. 설치되어 있지 않은 경우 Kubernetes 공식 문서를 참조하여 설치하세요.
2. kubectl 설치: kubectl은 쿠버네티스 클러스터와 상호 작용하기 위한 명령줄 도구입니다. 설치는 kubectl 설치 가이드를 참조한다.
3. 도커 이미지: Ollama의 Docker 이미지를 빌드하여 컨테이너 이미지 리포지토리(예: Docker Hub)에 푸시했는지 확인하세요.

간단한 평가판의 경우 microk8s(https://microk8s.io/) 또는 k3s(https://k3s.io/)를 사용하여 설치할 수도 있습니다.

1. 디파이의 오픈 소스 k8s 배포를 사용하여 관련 종속성을 배포하세요.

2. 액세스를 위해 외부 IP를 노출하도록 k8s에서 인그레스를 구성합니다.

3. dify.msap.ai(실제 도메인 또는 IP로 바꿔야 함)에 액세스하여 설치를 확인합니다. 최초 접속시 계정을 생성 후 초기화면에서 로그인을 합니다.

1. Dify의 설정 구성을 열고 모델 공급자를 OpenRouter로 선택합니다.

2. OpenRouter에서 얻은 API 키를 입력합니다.

Dify를 기반으로 번역 API를 구축해야 한다고 가정해 보겠습니다. 구체적인 단계는 다음과 같습니다:

1. 템플릿 선택: 템플릿에서 애플리케이션 시나리오와 가장 잘 맞는 워크플로를 선택합니다.

2. 오케스트레이션 단계: Dify 플랫폼에서 전체 번역 프로세스를 오케스트레이션하여 프로세스 중에 적절한 모델을 지속적으로 테스트하고 선택할 수 있습니다.

3. API 게시: 게시를 클릭하여 API 및 API 키를 통해 모델에 대한 외부 액세스를 허용합니다.

1. OpenAI와 같은 네이티브 API에 비해 OpenRouter의 장점은 무엇인가요?

OpenRouter는 한 번에 더 많은 모델을 제공할 수 있으며 중국에서 Visa 카드로 결제할 수 있습니다. 이는 여러 모델을 비교하고 검증해야 하는 애플리케이션 개발 플랫폼에 유리합니다.

이 문서에 소개된 단계를 따르면 준프로덕션 환경 LLM 애플리케이션 개발 플랫폼을 빠르게 구축할 수 있습니다. 애플리케이션 개발 및 프로세스 오케스트레이션을 위한 Dify, 모델 통합을 위한 OpenRouter, Dify 컨테이너 오케스트레이션 및 관리를 위한 k8을 사용하면 개발 및 배포 프로세스를 크게 간소화하여 효율성과 안정성을 향상시킬 수 있습니다. 이 글이 도움이 되었기를 바라며, 여러분의 성공적인 LLM 애플리케이션 개발 여정을 기원합니다!

• microk8s
• k3s
• https://raw.githubusercontent.com/Winson-030/dify-kubernetes/main/dify-deployment.yaml