소버린AI와 국산 NPU 생태계 육성, 그리고 지방의 기회
[김현철 한국인공지능협회장]지난해 10월 엔비디아가한국에 GPU 26만장을 공급하기로 했다는 발표는‘AI 3대 강국 도약‘의 외교적 성과로 꼽혔다.
아쉬운 점은 공급이 대기업이 집중돼 있다는 것이다. 삼성전자에 공급되는 5만장은 HBM·파운드리 수율 최적화용 사내 AI 팩토리, 현대차에 들어가는 5만장은 자율주행 시뮬레이션, SK 5만장은 자체 AI 팩토리, 네이버클라우드 6만장은 자사 클라우드 사업 기반이다.
국가 정책으로 산학연과 스타트업에 배분 가능한 물량은 전체 20% 안팎이다. 1조 4,600억원 규모 추경으로 우선 1만3136장의 GPU를 확보했지만, 실제로 이를 구매·운영하는 주체는 네이버클라우드·NHN클라우드·카카오 3사이며 정부는 그 용량을 임차한다. 산학연에 배분되는 것 역시 3사 데이터센터 가상화 슬라이스다. 과제당 최대 12개월, 산업계는 시장가에서 5~10%를 자체 부담한다.
정부가 확보한 H200·B200은 훈련과 대규모 범용 연산에 강한 고성능 GPU다. H200 SXM은 최대 700W급이고, B200 계열은 시스템 구성에 따라 더 높은 전력·냉각 인프라를 요구한다. 수백 장, 수천 장을 묶어 거대 모델을 학습시키는 데 강한 장비다. 거대 모델 학습과 국가 단위 연구에 대형 GPU 클러스터가 필요하다는 사실은 분명하다. 하지만 모든 AI 수요를 같은 방식으로 처리하기는 쉽지 않을 수 있다.
AI 워크로드 무게중심은 빠르게 추론으로 이동하고 있다. 에이전트, 버티컬 AI, 피지컬 AI, 지역 관제형 AI가 늘어날수록 핵심은 초대형 학습이 아니라 저지연·저전력 추론으로 옮겨가고 있다.
병원, 공장, 항만, 산단, 학교, 교통 관제 현장에서 발생하는 데이터를 중앙으로 모두 끌어올려 처리하는 방식에는 한계가 있다. 발생 지점 가까이에서 판단하고 반응해야 한다. 추론 전용 칩은 이미 시장에 있으며, 국내에도 퓨리오사AI, 리벨리온이 NPU를 제공한다. LG AI연구원, KT클라우드, SK데이터센터를 중심으로 실제 도입 사례도 쌓이고 있다.
물론 국산 NPU는 아직 외산 GPU·NPU에 비해 성능, 범용성, 소프트웨어 생태계가 부족하다. 개발자 경험도 약하고 지원 모델과 프레임워크도 제한적이다. 대규모 학습이나 범용 AI 연산에서는 직접 겨루기 어렵다. 바로 그 점 때문에 정책 설계가 중요하다. 국산 NPU는 보호와 투자만으로 성장하기 어렵다.
실제 고객, 실제 장애, 실제 비용, 실제 서비스 수준 협약과 부딪혀야 한다. 병원 영상 판독, 공장 이상 탐지, 지자체 CCTV 분석, 교통 관제, 민원 자동화, 학교 학습 데이터 처리 같은 현장형 추론 수요를 계속 만나야 칩도, 드라이버도, 컴파일러도, 생태계도 바뀐다.
이런 가운데 정부가 시장가 5~10% 수준으로 엔비디아 GPU를 대량 공급하면 스타트업은 당연히 이를 선택한다. 아직 부족한 국산 NPU와 실험할 이유가 사라진다. 국산 NPU 기업들 입장에선 시장과 부딪히며 경쟁력을 확보해야 할 시간을 확보하기 어렵다.
이미 착공에 들어간 전남 해남 솔라시도 국가AI컴퓨팅센터 사업은 2028년까지 GPU 1만5000장, 2030년까지 5만장을 단계적으로 구축하는 총사업비 2조 4,065억원 규모 대형 프로젝트다. 두 차례 유찰 끝에 공공지분은 51%에서 30% 미만으로 낮아졌고, 국산 NPU 의무 탑재 조항도 삭제됐다.
사업 구조상 대기업 컨소시엄 주도 상업 인프라 성격이 강해졌다. 반면 마이크로데이터센터 사업 예산은 273억원 수준에 머물러 있다. 조 단위 중앙 인프라와 비교하면 정책적 무게가 현저히 작다.
정부는 소버린 AI를 강조하지만, 지금 구조에서 소버린 AI는 ‘엔비디아 칩을 한국 영토에 두는 것’ 이상으로 나아가지 못하는 것일 수 있다. 진짜 데이터 주권은 다른 차원에서 작동한다. 지방 제조업 공정 데이터, 지역 의료기관의 영상 데이터, 지자체 CCTV, 학교 학습 데이터, 산단 설비 데이터가 발생 지점에서 처리될 수 있어야 한다.
공공 유휴자산, 첨단 모빌리티 인프라, 분산 추론 거점의 결합이 대안이 될 수 있다. 전국 누적 폐교는 4000곳을 넘었고 미활용 폐교만 수백 곳에 이른다. 노후 산업단지는 2025년 기준 520곳 수준으로 늘었다. 이 가운데 전력·통신·교통 접근성이 있는 거점을 선별하면 지역형 AI 인프라 후보지가 될 수 있다.
폐교와 노후산단은 기존 공공부지와 일부 기반시설을 활용할 수 있어 신규 부지 확보 비용을 줄일 수 있다. 데이터센터급 전력·냉각·통신 인프라는 별도 보강이 필요하겠지만, 처음부터 허허벌판에 대형 센터를 짓는 방식과는 출발점 자체가 다르다.
여기에 UAM 버티포트가 결합될 수 있다. 버티포트는 단순한 이착륙장을 넘어 실시간 관제, 경로 최적화, 충돌 회피, 이상 접근 탐지 같은 저지연 AI 수요를 만들어내는 시설이다. 버티포트와 분산 추론 거점을 함께 설계하면 교통 인프라와 AI 인프라를 동시에 구축할 수 있다. 광역시 단위에는 버티포트와 추론센터, 스타트업 코로케이션을 통합한 5~10MW급 거점을 두고, 시군구 단위에는 폐교와 노후 공공부지를 활용한 1~3MW급 거점을, 동 단위에는 도서관과 구청 부속 공간을 활용한 100kW급 컨테이너 노드를 두는 식으로 위계를 짜면, 중앙 하이퍼스케일과 지역 추론 거점이 서로 보완된다.
분산 추론 거점에 국산 NPU를 우선 배치하면 두 가지 시장이 동시에 열린다. 지역은 자기 데이터를 자기 지역에서 처리할 수 있고, 국산 AI 반도체 기업은 실제 수요를 얻는다. 국산 NPU 성능이 부족하다는 이유로 배제하면 영원히 부족한 상태에 머무르고, 반대로 검증되지 않은 기술을 무조건 쓰자고 하면 현장이 피해를 본다. 답은 그 사이에 있다. 지역 추론 거점을 국산 NPU의 실전 검증장으로 설계해야 한다. 초기에는 GPU와 NPU를 혼합 배치하고, 워크로드별 성능·전력·비용을 공개 비교하면서, 잘하는 영역부터 맡기고 부족한 영역은 빠르게 개선하게 해야 한다. 산업은 보호만으로 크기 어렵지만, 기회 없이는 더더욱 자라지 못한다.
폐교는 교육부와 교육청, 노후산단은 산업부, 버티포트는 국토부, 데이터센터는 과기정통부, 균형발전은 행안부 소관이다. 여섯 부처가 얽힌 사업은 한국 행정 구조에서 좀처럼 앞으로 나아가지 못한다. 마이크로데이터센터 예산이 273억원으로 줄어든 이유도 여기에 있다. 과기정통부 인력이 극히 제한적인 현실에서, 중앙정부가 수십 개 권역의 분산 인프라를 동시에 기획하고 집행하기는 어렵다. 중앙정부는 큰 방향과 예산을 만들 수 있지만, 지역 부지, 전력, 인허가, 산업 수요를 하나로 묶는 일은 중앙의 권한 밖에 있다.
그래서 6·3 지방선거 후보자들 역할이 중요하다. 다음 지방정부가 해야 할 일은 단순한 공약 발표를 넘어, 자기 지역 유휴자산과 산업 수요를 묶어 중앙정부에 역제안하는 일이다. 지자체장만이 가진 권한이 있기 때문이다. 첫째는 유휴자산의 소유·관리권이다. 폐교 활용은 교육감과 단체장의 협력이 필요하고, 노후산단 재생부지와 공공도서관·구청 부속 공간은 지자체가 움직여야 한다. 중앙정부가 지역 부지를 만들어줄 방법은 없다. 둘째는 수요 통합권이다. 권역 내 병원, 학교, 산단, 교통 관제, 행정 데이터를 하나의 AI 워크로드로 묶을 수 있는 주체는 지자체뿐이며, 수요가 모여야 인프라가 생기고 인프라가 생겨야 기업이 붙는다. 셋째는 컨소시엄 구성의 정당성이다. 지자체, 권역대학, 지역 병원, 산단, 민간 코로케이션 사업자, 국산 NPU 기업이 결합한 SPV가 중앙정부 공모의 신청 주체로 등장할 때 비로소 사업은 실체를 갖는다.
상업용 데이터센터 기준으로 서울·수도권 집중도가 매우 높다는 분석이 있고, 전체 데이터센터와 전력수요 기준으로 보더라도 수도권 편중은 뚜렷하다. 그동안 지방은 균형발전 구호 속의 객체로 머물러 있었지만, 이번 임기는 다르게 갈 수 있다. 자기 지역의 폐교 부지, 노후산단 재생계획, 버티포트 입지 후보, 지역 병원과 제조업 데이터를 묶어 ‘AI 분산 인프라 패키지’를 직접 설계하는 단체장이 나와야 한다. 부지, 전력, 인허가, 산업 수요를 동시에 결합할 수 있는 권한은 바로 그 자리에 놓여 있다.
대형 GPU 중심으로 모든 AI 수요를 처리하는 것은 현실적이지 않다. 국산 NPU가 아직 부족한 것은 사실이지만, 부족하다는 이유로 실전 시장에서 밀어내면 영원히 따라잡을 수 없다. 기술 격차는 연구실에서만 줄어들지 않는다. 시장에서, 고객을 만나고 장애를 겪고 비용을 낮추고 전력 효율을 증명하고 개발자가 쓰기 쉬운 생태계를 만들면서 줄어든다.
중앙 하이퍼스케일 인프라는 분명히 필요하며, 거대 모델 학습과 국가 단위 연구에는 대형 GPU 클러스터가 있어야 한다. 그러나 그것만으로 산업이 크지 않는다. 지역마다 추론 거점을 깔고, 그곳에 국산 NPU가 시장과 부딪힐 수 있는 실전 트랙을 만들어야 한다. GPU와 NPU를 함께 배치하고, 워크로드별 성능·전력·비용을 비교하고, 공공 수요를 통해 초기 시장을 열어야 한다. 그 그림을 그릴 수 있는 가장 가까운 권한은 차기 지자체장들의 손에 있다.
김현철 한국인공지능협회장 delight@d-today.co.kr
출처 : 디지털투데이 (DigitalToday)(https://www.digitaltoday.co.kr)
