Blog

공개 LLM(Large Language Model)은 대규모 언어 모델의 소스 코드와 가중치가 공개되어 있어 누구나 접근하고 수정할 수 있는 인공지능 모델을 의미합니다. 이러한 모델은 방대한 텍스트 데이터를 학습하여 인간과 유사한 언어 이해 및 생성 능력을 갖추고 있습니다.

공개LLM의 주요 특징은 다음과 같습니다:

• 자유로운 수정 및 맞춤화: 소스 코드와 모델 가중치가 공개되어 있어 연구자나 개발자가 모델을 분석하고, 품질을 평가하며, 맞춤형 변형을 구축할 수 있습니다. 이를 통해 특정 용도나 도메인에 최적화된 모델을 개발할 수 있습니다.
• 비용 효율성: 오픈소스 LLM은 라이선스 비용 없이 무료로 제공되므로, 개인이나 기업이 추가적인 비용 부담 없이 모델을 활용하고 자체 인프라에 배포할 수 있습니다.
• 투명성 및 커뮤니티 지원: 모델의 내부 구조와 학습 방법이 공개되어 있어 투명성이 높으며, 활발한 커뮤니티의 지원을 통해 지속적인 개선과 업데이트가 이루어집니다.

대표적인 공개 LLM으로는 Meta의 Llama 시리즈가 있습니다. 2024년에 출시된 Llama 3는 4050억 개의 파라미터를 가진 모델로, 고성능 연구에 적합하며, 70억 개와 8억 개의 파라미터를 가진 경량 모델도 제공되어 다양한 하드웨어 환경에서 활용 가능합니다.

이러한 공개 LLM은 인공지능 연구와 개발의 민주화를 촉진하며, 다양한 분야에서 혁신적인 활용을 가능하게 합니다.

아래는 Ollama에서 다운로드 가능한 주요 공개 대규모 언어 모델(LLM)을 파라미터 수와 한국어 지원 능력을 중심으로 비교한 표입니다:

세부 설명

• Llama 3.3: Meta AI에서 개발한 모델로, 70B 파라미터 버전이 제공됩니다. 주로 영어 데이터로 학습되어 한국어 지원은 제한적입니다.
• DeepSeek-R1: DeepSeek AI에서 개발한 모델로, 7B 및 671B 파라미터 버전이 제공됩니다. 한국어 데이터로 학습되어 한국어 처리 능력이 우수합니다.
• Gemma 3: Google DeepMind에서 개발한 모델로, 1B, 4B, 12B, 27B 파라미터 버전이 제공됩니다. 다양한 언어를 지원하며, 한국어 처리 능력도 우수합니다.
• EXAONE 3.5: LG AI Research에서 개발한 모델로, 2.4B, 7.8B, 32B 파라미터 버전이 제공됩니다. 한국어와 영어로 학습되어 한국어 처리 능력이 매우 우수합니다.
• Qwen 2.5: Alibaba Cloud에서 개발한 모델로, 0.5B부터 72B까지 다양한 파라미터 버전이 제공됩니다. 주로 중국어와 영어 데이터로 학습되어 한국어 지원은 제한적입니다.

이러한 비교를 통해, 한국어 지원이 중요한 경우 EXAONE 3.5와 DeepSeek-R1이 적합하며, 다양한 파라미터 옵션을 원하는 경우 Qwen 2.5를 고려할 수 있습니다. 모델 선택 시 파라미터 수와 지원 언어를 우선적으로 고려하시기 바랍니다.

대규모 언어 모델(LLM)은 파라미터 수에 따라 성능과 용도가 크게 달라집니다. 아래는 주요 공개 LLM들을 파라미터 수에 따라 분류하고, 각 모델의 특징을 설명해 드리겠습니다.

1. 소형 모델 (10억 개 이하의 파라미터)

• GPT-J (6B): EleutherAI에서 개발한 60억 개의 파라미터를 가진 모델로, GPT-3와 유사한 아키텍처를 갖추고 있습니다. 다양한 자연어 처리 작업에서 우수한 성능을 보이며, 오픈소스로 공개되어 연구 및 개발에 활용되고 있습니다.
• Mistral 7B: 2023년 9월 27일에 출시된 모델로, 70억 개의 파라미터를 가지고 있습니다. 경량화된 구조로 인해 효율성이 높으며, 다양한 자연어 처리 작업에서 우수한 성능을 발휘합니다. Botpress

2. 중형 모델 (10억 ~ 100억 개의 파라미터)

• LLaMA 3 (8B): Meta AI에서 2024년 4월에 공개한 모델로, 80억 개의 파라미터를 가지고 있습니다. 이전 버전인 LLaMA 2에 비해 향상된 성능을 제공하며, 추론 및 코딩 능력이 강화되었습니다.
• Jamba (52B): AI21 Labs에서 개발한 520억 개의 파라미터를 가진 모델로, Mamba 기반의 새로운 상태 공간 모델(SSM)과 트랜스포머 하이브리드 아키텍처를 활용합니다. 혼합 전문가(MoE) 기법을 사용하여 효율성과 성능을 모두 잡았으며, 최대 256K 토큰의 컨텍스트 윈도우를 지원합니다.

3. 대형 모델 (100억 개 이상의 파라미터)

• Falcon 180B: 기술 혁신 연구소에서 개발하여 2023년 9월 6일에 출시된 모델로, 1,800억 개의 파라미터를 지원합니다. 번역, 텍스트 생성, 연구와 같은 작업에 탁월한 성능을 보입니다.
• DBRX (132B): Mosaic ML과 Databricks 팀이 공동 개발하여 2024년 3월 27일에 공개한 모델로, 1,320억 개의 파라미터를 가지고 있습니다. 혼합 전문가(MoE) 트랜스포머 모델로, 토큰당 360억 개의 파라미터가 활성화됩니다. 다양한 벤치마크에서 우수한 성능을 보이며, 연구 및 상업적 용도로 활용되고 있습니다.
• DeepSeek V3 (671B): MoE(Mixture-of-Experts, 전문가 혼합) 기법을 활용하여 총 6,710억 개의 파라미터를 가진 모델로, 실제 연산에는 토큰당 370억 개의 파라미터만 활성화됩니다. 이는 효율성과 성능을 동시에 추구한 설계입니다. 모두의연구소
• LLaMA 3 (405B): Meta AI에서 2024년 4월에 공개한 모델로, 4,050억 개의 파라미터를 가지고 있습니다. 이전 버전인 LLaMA 2에 비해 향상된 성능을 제공하며, 추론 및 코딩 능력이 강화되었습니다.

이러한 다양한 공개 LLM들은 파라미터 수에 따라 성능과 활용 분야가 다르므로, 사용 목적에 맞게 적절한 모델을 선택하는 것이 중요합니다. 소형 모델은 경량화와 효율성을 중시하는 애플리케이션에 적합하며, 대형 모델은 고도의 언어 이해와 생성 능력이 필요한 작업에 활용될 수 있습니다.

공개 LLM(Large Language Model) 모델과 Ollama 와 같은 오픈소스 도구를 활용하여 구축하는 것이 ChatGPT와 같은 상용 API 기반 모델보다 효율적인 이유를 설명해 드리겠습니다.

1. 비용 절감

• ChatGPT와 같은 상용 LLM 모델을 사용할 경우, OpenAI API 또는 유사한 서비스의 호출 비용이 지속적으로 발생합니다. 특히, 트래픽이 많거나 기업 내부적으로 대규모 데이터를 처리해야 할 경우 비용이 상당히 증가할 수 있습니다.

• 반면, 오픈소스 LLM을 직접 호스팅하면 초기 인프라 구축 비용이 들지만 장기적으로 운영비를 절감할 수 있습니다. 특히, Llama 2, Mistral, Falcon과 같은 모델을 로컬 서버나 클라우드에서 실행하면 API 호출당 요금 부담 없이 지속적으로 사용할 수 있습니다.

2. 데이터 프라이버시와 보안

• 상용 API 기반의 LLM은 입력 데이터를 외부 서버로 전송해야 하므로, 기업의 내부 기밀이나 사용자 데이터 보호가 중요한 경우 보안 리스크가 발생할 수 있습니다.

• 반면, 공개 LLM을 자체 구축하면 데이터가 외부로 유출되지 않고, 로컬 네트워크 또는 프라이빗 클라우드에서 안전하게 처리됩니다. 금융, 의료, 법률과 같은 민감한 데이터를 다루는 기업이나 기관에서는 데이터 주권을 확보할 수 있다는 점이 큰 장점입니다.

3. 커스터마이징과 최적화 가능

• ChatGPT는 OpenAI가 제공하는 모델로, 특정 도메인에 특화된 튜닝이 어렵습니다. 반면, 공개 LLM 모델은 사용자가 직접 파인튜닝(Fine-tuning) 하거나, RAG(Retrieval-Augmented Generation) 기법을 활용해 특정 데이터셋을 학습시킬 수 있습니다.

• 예를 들어, 법률 자문 AI를 구축하고 싶다면, 오픈소스 모델을 로컬 법률 데이터로 학습시켜 특정 법률 용어에 최적화할 수 있습니다. 반면, ChatGPT API를 사용하면 프롬프트 엔지니어링 외에는 깊이 있는 커스터마이징이 어렵습니다.

• 또한, 경량화된 모델을 활용하여 GPU 성능에 맞게 최적화할 수 있으며, Quantization(양자화) 를 적용해 성능과 메모리 사용을 최적화할 수도 있습니다.

4. 자율적인 운영 및 지속적인 개선 가능

• ChatGPT와 같은 SaaS 모델을 사용하면 OpenAI의 서비스 정책 변경, 가격 인상, API 제한 등의 영향을 받게 됩니다. 반면, 공개 LLM을 사용하면 특정 버전에 종속되지 않고, 모델을 지속적으로 업그레이드하면서 원하는 방식으로 운영할 수 있습니다.

• 특히, Open WebUI와 같은 인터페이스를 활용하면 ChatGPT와 유사한 UX/UI 환경을 구축할 수 있으며, 내부적인 워크플로우에 맞게 UI를 수정하고 기능을 추가할 수도 있습니다.

5. 오프라인 및 엣지 환경에서 사용 가능

• ChatGPT API는 인터넷 연결이 필수적이며, 네트워크 연결이 불안정하거나 외부 접속이 제한된 환경에서는 사용할 수 없습니다. 하지만, 공개 LLM 모델을 구축하면 오프라인 환경에서도 실행할 수 있어 국방, 항공, 원격지 연구소 등의 분야에서도 활용할 수 있습니다.

6. 멀티모달 확장 가능성

• 최근 오픈소스 생태계에서는 텍스트뿐만 아니라 음성, 이미지, 코드 생성 등의 멀티모달(Multimodal) AI 모델이 빠르게 발전하고 있습니다. 이를 활용하면 자체적으로 음성 비서, 코드 자동 완성, 이미지 기반 질의응답 시스템을 개발할 수 있습니다.

• 예를 들어, Stable Diffusion 같은 오픈소스 이미지 생성 모델과 통합하면 AI 기반 콘텐츠 생성 플랫폼을 만들 수도 있으며, Whisper 같은 오픈소스 음성 인식 모델과 결합하면 음성 기반 AI 서비스도 구축할 수 있습니다.

• 비용 절감 – 장기적으로 API 사용 비용을 줄일 수 있음
• 보안 및 프라이버시 보호 – 데이터 유출 없이 내부적으로 운영 가능
• 커스터마이징 가능 – 특정 도메인 및 기업 맞춤형 AI 구축 가능
• 운영 자율성 확보 – 정책 변경이나 사용 제한 없이 지속적인 개선 가능
• 오프라인 환경 지원 – 네트워크 연결 없이도 AI 실행 가능
• 멀티모달 확장 가능 – 텍스트 외에도 다양한 AI 기능과 통합 가능

따라서, AI 기술을 적극적으로 활용하려는 기업이나 기관에서는 공개 LLM과 Open WebUI를 활용한 자체 구축형 AI 모델이 더 효율적일 수 있습니다. 다만, 초기 세팅과 운영을 위한 기술력이 필요하므로, 적절한 인프라와 팀 구성이 중요합니다.

공개 LLM과 그 생태계의 발전은 AI 분야의 하드웨어 및 소프트웨어 시장에 긍정적인 영향을 미치며, 기술 민주화, 산업 혁신, 연구 발전 등 다양한 측면에서 큰 변화를 이끌고 있습니다.

• [오픈 소스 AI] [로컬 환경] LG 에서 개발한 오픈소스 LLM, EXAONE 3.0을 소개합니다.
• [기획기사] 생성형 AI 시대, 새로운 전략 도구 오픈소스
• “AI 훈련 효율 20% 향상”··· 서비스나우, ‘패스트LLM’ 오픈소스 라이브러리 공개
• LLM, 더 저렴하게, 더 빠르게, 더 똑똑하게
• [AI넷] [최고의 오픈 소스 대규모 언어 모델(LLM) 5가지] 빠르게 진화하는 AI 세계
• 오픈AI에 도전하는 오픈소스 LLM들이 풀어야할 숙제들
• [LLM 기반 문서 점검 자동화 서비스] 오픈소스 모델 소개
• 줄줄이 풀린 ‘AI 레시피’… “오픈소스 모델 기술, 오픈AI 턱밑까지”
• 2023년 가장 큰 AI 도구 및 모델 업데이트 20가지 [With Features]