Blog

대규모 언어 모델(LLM)의 오픈소스화는 AI 산업 전반에 큰 변화를 일으키고 있습니다. 특히 고성능 AI 인프라에 대한 수요가 증가하면서, 그동안 독점적인 위치에 있었던 NVIDIA의 GPU에 대한 의존도를 낮추려는 움직임이 국내외에서 가시화되고 있습니다. 이러한 흐름 속에서 국내 NPU(Neural Processing Unit) 기업들이 주목받고 있으며, 이들은 LLM 실행 환경에 최적화된 반도체와 소프트웨어 생태계를 함께 구축하며 새로운 AI 인프라 대안으로 부상하고 있습니다.

LLM의 오픈소스 모델들이 급격하게 확산되면서 인공지능 개발과 운영의 판도가 달라지고 있습니다. 이전에는 대규모 AI 모델을 학습하거나 추론하려면 사실상 엔비디아(NVIDIA)의 GPU에 의존해야 했습니다. 단순한 연산 성능뿐 아니라, CUDA라는 독자적인 개발 생태계가 강력한 진입 장벽으로 작용했기 때문입니다.

하지만 최근에는 Gemma, Mistral, LLaMA 3, DeepSeek 등 다양한 고성능 LLM이 오픈소스로 공개되며, 기업과 연구소가 자체적으로 모델을 학습하고 추론할 수 있는 환경을 갖추게 되었습니다. 특히 온프레미스 기반으로 오픈소스 모델을 실행하려는 수요가 늘면서, 고가의 GPU를 대체할 수 있는 인공지능 전용 하드웨어에 대한 관심이 높아졌고, 그 대안으로 NPU가 부상하게 된 것입니다.

NPU는 인공지능 연산에 특화된 프로세서로, 특히 LLM과 같은 대규모 모델의 추론(Inference) 작업에서 높은 효율을 보입니다. GPU가 학습과 추론 모두에 활용될 수 있는 범용 플랫폼이라면, NPU는 특정 목적에 맞게 최적화된 설계를 통해 전력 효율과 비용 면에서 유리한 조건을 제공합니다. 최근에는 LLM 모델들이 프리트레인(pretrain)된 후 추론 중심으로 활용되는 경우가 많아지고 있어, 이러한 NPU의 특성은 더욱 강점으로 작용하고 있습니다.

이러한 시장 흐름에 발맞추어 국내에서도 리벨리온(Rebellions), 퓨리오사AI(FuriosaAI)와 같은 NPU 개발 기업들이 두각을 나타내고 있습니다.

리벨리온은 추론 특화 칩인 ION을 상용화하여 미국의 금융기관에 공급하고 있으며, 범용 추론 칩인 ATOM, 그리고 학습까지 가능한 고성능 칩 REBEL 개발도 병행하고 있습니다. 특히 REBEL은 NVIDIA H100 수준의 학습 성능을 목표로 하고 있으며, 공개 LLM을 온프레미스 환경에서 실행할 수 있도록 지원하는 독자적인 소프트웨어 생태계도 함께 개발하고 있습니다.

퓨리오사AI는 이미 추론 특화 칩 Warboy를 시장에 내놓았고, 추론과 학습을 아우르는 차세대 칩 Bora를 준비 중입니다. 이들은 PyTorch, TensorFlow 등 대표적인 딥러닝 프레임워크와의 호환성을 적극 지원하며, CUDA 생태계에 대한 의존 없이도 LLM을 실행할 수 있도록 소프트웨어 스택을 확장하고 있습니다.

결국, 공개 LLM의 확산은 단지 기술의 공개에 그치지 않고, AI 인프라의 소유권과 유연성에 대한 인식을 바꾸고 있습니다. 이는 국내 NPU 기업들에게 기술적 자립의 기회를 제공하고 있으며, GPU 독점 시장에 도전할 수 있는 현실적인 발판이 되고 있습니다.

물론, 아직까지는 엔비디아가 보유한 개발자 생태계, 프레임워크 최적화, 벤치마크의 신뢰성 면에서는 따라잡기 어려운 격차가 존재합니다. 그러나 추론 중심의 LLM 활용이 증가하고, AI 반도체의 에너지 효율과 비용 문제가 중요해지는 지금, 국산 NPU는 특정 시장에서 충분히 경쟁력 있는 대안이 될 수 있습니다. 특히 한국의 반도체 기술력과 소프트웨어 개발 역량이 결합된다면, AI 인프라 시장에서도 국산 생태계의 자립이 현실화될 수 있을 것입니다.

AI Summit Seoul (AI 서밋 서울)에서는 대한민국의 대표 반도체 기업 리벨리온과 퓨리오사 AI의 CEO 두 분을 통해 K-AI 시장의 현재와 미래를 살펴봤습니다.

AI 반도체의 미래와 관련된 이 컨텐츠는 AI 반도체의 중요성과 시장 전망을 다루고 있습니다. 두 대표가 각자의 경험을 바탕으로 AI 반도체의 필요성과 기술적 혁신을 강조하며, 앞으로의 산업 변화에 대한 기대감을 표현합니다. 특히, AI 반도체가 다양한 산업에 폭넓게 활용될 것이라는 점을 강조하며, 이를 통해 새로운 비즈니스 기회가 창출될 것임을 시사합니다.

• 리벨리온 박성현 대표 소개
  • 박성현은 인공지능 반도체 스타트업 리벨리온의 대표임.
  • 창업 2년 전에는 뉴욕에서 하이퍼 펀치 트레이딩 관련 일을 했음.
  • 인공지능의 정확성에 비해 느린 속도를 해결하기 위해 AI 반도체 전용 칩 설계를 결심함.
  • 스페이스X와 인텔에서의 경험을 통해 AI 반도체 설계에 대한 통찰을 얻음.

• 퓨리오사AI 백준호 대표 소개
  • 백준호는 전기공학을 전공하고 AMD에서 CPU와 GPU 설계팀에서 일한 경험이 있음.
  • 삼성전자 메모리사업부에서 DRAM에 대한 아이디어를 제공한 경험이 있음.
  • AI 반도체의 필요성을 느끼고 퓨리오사AI를 설립하게 됨.

AI 반도체는 AI 기술의 확산과 함께 모든 산업 분야로 적용이 확대될 핵심 기술입니다. 성능뿐 아니라 에너지 효율성이 중요한 경쟁 요소로 부상함에 따라, 특정 애플리케이션에 최적화된 AI 칩의 중요성은 더욱 커질 것입니다. 리벨리온과 퓨리오사 AI 같은 국내 스타트업들은 뛰어난 설계 역량과 인재를 바탕으로 글로벌 시장에서 경쟁하며 AI 반도체 생태계의 중요한 축을 담당할 것으로 기대됩니다. 양사 모두 하드웨어와 소프트웨어를 아우르는 고도의 기술력을 갖춘 인재 확보를 최우선 과제로 삼고 있습니다.

이 영상은 티타임즈 이재원 기자가 AI 반도체 스타트업 리벨리온의 박성현 대표를 인터뷰하는 내용입니다. 주요 내용은 다음과 같습니다.

• AI 모델의 비용 문제: ChatGPT와 같은 거대 AI 모델은 연산량이 매우 많아 기존 GPU 기반 인프라로 운영 시 막대한 전기세와 비용(하루 수십억 원)이 발생합니다. 이 때문에 비용 효율적인 전용 하드웨어가 필요해졌습니다.
• 용어 정리 (CPU, GPU, NPU, AI 가속기): 박 대표는 ‘AI 반도체’, ‘NPU(Neural Processing Unit)’ 등의 용어가 혼용되지만, 가장 정확한 표현은 ‘AI 하드웨어 가속기’라고 설명합니다. CPU는 범용 연산, GPU는 그래픽 및 병렬 연산에 특화되었고, NPU는 AI 알고리즘의 특정 연산 패턴(메모리 접근, 계산)에 더욱 특화된 칩입니다. 이들은 CPU > GPU > NPU 순서의 부분집합 관계이며, NPU는 특정 AI 연산을 훨씬 효율적으로 (빠르고 저전력으로) 처리합니다.
• NPU의 역할 및 장점: NPU는 CPU의 보조 프로세서(코프로세서) 역할을 합니다. GPU처럼 모든 작업을 할 수는 없지만, AI 연산이라는 특정 작업에서는 월등한 성능과 전력 효율(전성비)을 제공하여 총 소유 비용(TCO)을 크게 낮출 수 있습니다.
• 시장 변화와 NPU의 부상: ChatGPT의 등장으로 AI 서비스 운영 비용 절감이 중요해지면서, NPU는 사치품이 아닌 ‘필수품’으로 자리매김하고 있습니다. 이로 인해 AI 시장에서 엔비디아 GPU의 지배력이 도전을 받고 있으며, 범용성보다는 특정 목적에 최적화된 효율적인 하드웨어로 트렌드가 변화하고 있습니다.
• 리벨리온의 전략: 리벨리온은 AI 알고리즘의 변화에 맞춰 효율성과 확장성(여러 칩/카드/노드 연결)을 갖춘 NPU를 개발합니다. 최근 KT 데이터센터에서 테스트한 ‘아톰(Atom)’ 칩 등을 통해 특정 AI 모델 처리에서 GPU 대비 뛰어난 성능과 전력 효율을 입증하며 시장을 공략하고 있습니다. 또한 서비스-알고리즘-하드웨어를 아우르는 풀스택(full-stack) 최적화를 추구합니다.
• GPU vs NPU 전망: AI 모델 훈련(Training) 단계에서는 다양한 모델을 다뤄야 하므로 유연성이 중요한 GPU가 당분간 우위를 유지할 수 있습니다. 하지만 실제 서비스 단계인 추론(Inference) 시장에서는 비용과 효율성이 중요하므로 NPU가 빠르게 GPU를 대체할 것으로 예상됩니다.
• 엣지 AI: 스마트폰 등 엣지 디바이스에서 AI를 직접 구동하는 것도 중요해지고 있으며, 저전력 NPU가 핵심 역할을 할 것입니다. 다만, ChatGPT 같은 초거대 모델을 엣지에서 직접 돌리는 것은 전력 소모 문제로 당분간 어려울 것으로 봅니다.

결론적으로, AI 모델의 복잡성과 규모 증가는 막대한 운영 비용 문제를 야기했고, 이를 해결하기 위해 특정 AI 연산에 최적화된 NPU가 필수적인 하드웨어로 부상하며 엔비디아 중심의 시장에 변화를 가져오고 있다는 것이 인터뷰의 핵심입니다.

백 대표는 AI 반도체를 ChatGPT와 같은 AI 애플리케이션을 효율적이고 고성능으로 구동하기 위해 특화 설계된 칩으로 정의했습니다. AI 기술이 일상과 산업 전반으로 확산됨에 따라, 이러한 AI 연산을 처리하는 반도체의 중요성이 커지고 있으며, 특히 성능과 전력 효율성이 핵심이라고 강조했습니다.

백준호 퓨리오사AI 대표는 자사가 개발하는 AI 반도체에 대해 설명했습니다. 그는 회사명 ‘퓨리오사’와 1, 2세대 칩 이름(‘워보이’, ‘레니게이드’)이 영화 ‘매드맥스’에서 영감을 얻었으며, 이는 스타트업의 도전적인 여정을 상징한다고 밝혔습니다.

백 대표는 AI 반도체를 ChatGPT 같은 AI 애플리케이션을 효율적으로 구동하기 위해 특화 설계된 칩으로 정의하며, AI 기술 확산에 따라 성능과 전력 효율성의 중요성이 커지고 있다고 강조했습니다.

경쟁사인 엔비디아의 GPU를 가솔린차에 비유하며, 퓨리오사AI의 칩은 전력 효율성이 높은 전기차와 같아 결국 시장을 주도할 수 있다고 자신감을 내비쳤습니다. 그는 대기업의 독점이 영원할 수 없으며, 혁신 속도와 집중도를 가진 스타트업이 시장을 변화시킬 수 있다고 언급했습니다.

결론적으로, AI 모델의 복잡성과 규모 증가는 막대한 운영 비용 문제를 야기했고, 이를 해결하기 위해 특정 AI 연산에 최적화된 NPU가 필수적인 하드웨어로 부상하며 엔비디아 중심의 시장에 변화를 가져오고 있다는 것이 인터뷰의 핵심입니다.

국내 NPU에 대해서는 몇 가지 고려사항이 있습니다. 엔비디아는 하드웨어인 GPU뿐만 아니라 이를 운용하는 소프트웨어 플랫폼인 쿠다(CUDA)를 통해 강력한 생태계를 구축하였습니다. 국내 NPU 기업들은 하드웨어 성능 면에서는 경쟁력이 있지만, 이를 지원하는 소프트웨어 생태계는 아직 미흡한 상태입니다.

또한, 정부의 AI 컴퓨팅 인프라 정책이 엔비디아 GPU 구매에 치중되어 있어, 국내 NPU 생태계에 대한 지원이 부족하다는 지적이 있습니다. 리벨리온의 박성현 대표는 엔비디아에 대한 과도한 의존을 경계하며, 추론형 NPU와 같은 비엔비디아 제품의 인프라 포함을 촉구하였습니다.

따라서, 국내 NPU가 엔비디아 GPU의 독주를 막기 위해서는 하드웨어뿐만 아니라 소프트웨어 생태계 구축과 정부의 정책적 지원이 필수적입니다. 이를 통해 국내 NPU 기업들은 글로벌 시장에서 경쟁력을 확보하고, AI 반도체 분야에서 중요한 역할을 수행할 수 있을 것입니다.

• 리벨리온 박성현 대표 인터뷰 – “AI반도체, 엔비디아 대항마 될 수 있다” – https://www.youtube.com/watch?v=9wH-mswU9Sw
• 리벨리온 박성현 대표 인터뷰, 퓨리오사AI 백준호 대표 인터뷰 – “AI 반도체, 한국이 주도할 수 있다” – https://www.youtube.com/watch?v=WU_3We4jUsY
• 퓨리오사AI 백준호 대표 인터뷰 – 인텔 출신들이 만든 국내 AI 반도체 스타트업 – https://www.youtube.com/watch?v=2lR5aH82CWU
• 국내 기업 글로벌 AI 반도체 시장에 참전한 퓨리오사 – https://images.roa.ai/articles/2023/02/ROA_%E1%84%91%E1%85%B2%E1%84%85%E1%85%B5%E1%84%8B%E1%85%A9%E1%84%89%E1%85%A1AI_230214.pdf
• 한국 NPU, 2년 내 美 빅테크 AI의 90% 따라잡을 수 있어…소프트웨어… – https://mkbn.mk.co.kr/news/business/11217360
• 엔비디아 GPU 구매에만 열중인 정부에 국산 NPU 업계 ‘일침’ – https://www.yna.co.kr/view/AKR20250313029600017
• Rebellions 공식 웹사이트 – https://rebellions.ai/Korea Times+7Rebellions+7LinkedIn+7
• Rebellions의 ION™ SoC 제품 페이지 – https://rebellions.ai/rebellions-product/ion/Rebellions+1Rebellions+1
• Rebellions의 ATOM™ SoC 제품 페이지 – https://rebellions.ai/rebellions-product/atom-2/LinkedIn+3Rebellions+3Rebellions+3
• FuriosaAI 공식 웹사이트 – https://furiosa.ai/
• FuriosaAI의 Warboy 제품 페이지 – https://furiosa.ai/warboyFuriosaAI+1developer.furiosa.ai+1
• FuriosaAI의 회사 소개 페이지 – https://furiosa.ai/about
• Rebellions, 글로벌 칩 대기업들을 제치고 MLPerf 테스트에서 우수한 성능 기록 – https://www.kedglobal.com/korean-chipmakers/newsView/ked202304070010EE Times+6KED Global+6KED Global+6
• FuriosaAI, Meta의 8억 달러 인수 제안 거절 – https://techcrunch.com/2025/03/24/ai-chip-startup-furiosaai-reportedly-turns-down-800m-acquisition-offer-from-meta/TechCrunch+1Outlook Business+1
• 한국 AI 칩 스타트업 Sapeon과 Rebellions의 합병 소식 – https://www.trendforce.com/news/2024/08/19/news-south-koreas-ai-chip-startups-sapeon-and-rebellions-to-merge/EE Times+4TrendForce+4KED Global+4
• Rebellions, 삼성과 협력하여 새로운 AI 칩 REBEL 개발 – https://techcrunch.com/2024/01/29/rebellions-lands-124m-for-ai-chip-rebel-in-collab-with-samsung/TechCrunch
• Rebellions, 칩렛 로드맵 구축 및 Sapeon과의 합병 소식 – https://www.eetimes.com/rebellions-builds-chiplet-roadmap-merges-with-sapeon/EE Times
• FuriosaAI의 AI 반도체 산업에서의 발전과 전략적 이니셔티브 – https://bytebridge.medium.com/furiosaai-advancements-and-strategic-initiatives-in-ai-semiconductor-industry-ed71cb20eff2Medium
• Rebellions, AI 데이터 센터 생태계 강화를 위한 전략적 협력 발표 – https://ir.penguinsolutions.com/news/news-details/2025/Rebellions-Partners-on-Strategic-Collaboration-Initiative-to-Advance-Global-AI-Data-Center-Ecosystem/default.aspxir.penguinsolutions.com
• FuriosaAI NPU 소개 문서 – https://developer.furiosa.ai/docs/v0.8.0/en/npu/intro.htmldeveloper.furiosa.ai
• Rebellions, AI 컴퓨팅 혁신을 위한 스타트업 소개 – https://internationalfinance.com/technology/start-up-week-rebellions-here-reimagine-ai-