하드웨어 한계 직면한 AI 데이터센터… 소프트웨어 제어로 돌파구 연다

하드웨어 교체에 매달려온 인공지능(AI) 데이터센터가 심각한 전력난의 벽에 부딪힌 가운데, 시스템 소프트웨어와 알고리즘 최적화가 새로운 해결책으로 떠오르고 있다.
톰스하드웨어는 지난 10월 9일(현지시각) 보도를 통해, 하드웨어 투자의 물리적 한계를 우회하여 소프트웨어 층에서부터 에너지를 극적으로 줄일 수 있다고 분석했다. 전력사용효율(PUE)이 수년째 제자리걸음을 걷는 상황에서, 인프라의 비효율을 바로잡기 위한 근본적인 체질 개선이 요구된다.


국제에너지기구(IEA)의 분석에 따르면 2030년 세계 AI 데이터센터 전력 사용량은 945TWh에 달해 일본 전체의 연간 전력 사용량과 맞먹을 전망이다. 업타임인스티튜트가 2025년에 발표한 조사 결과에서도 데이터센터 전력사용효율은 6년 연속 개선 기미를 보이지 않았다. 전체 데이터센터 전력 수요의 약 60%를 서버가 소모하는 만큼, 하드웨어 교체라는 거대한 비용 부담을 우회할 소프트웨어적 접근이 시급하다.
미시간대학교 컴퓨터과학공학과 박사과정 연구원이자 머신러닝 에너지 연구팀 소속인 재원 정 연구원은 시스템 스택 중 하드웨어를 제외한 소프트웨어와 알고리즘 층의 변경이 상대적으로 쉽고 효율 개선 효과가 누적된다고 설명한다.

알리바바의 웬 3 모델 시험에서는 저정밀 형식인 에프피에이트(FP8) 추론이 기존 비플로트16(bfloat16) 방식 대비 에너지를 3분의 1 수준으로 줄였다. 페르세우스 학습 최적화기 역시 처리량을 유지하면서 학습 에너지를 최대 30%까지 절감해 냈다.


엔비디아의 블랙웰 전력 프로필 기능 또한 작업량에 맞춰 연산과 메모리 주파수 등을 정밀 조절하여 에너지를 최대 15% 아끼고 처리량을 높이는 것으로 나타났다.

SHI의 체탄 비스롤리아 매니저는 노후 장비와 낡은 코드가 데이터센터 내에서 가장 즉각적인 낭비를 유발하는 주범이라고 지적한다. 클라우드 인스턴스 최적화와 반복 프롬프트 캐싱, 그리고 소형 모델에 단순 업무를 분담시키는 전략 등이 부수적인 절감 해법으로 제시된다.
취리히 연방공과대학교 자동제어연구소 소피 홀 연구원은 데이터센터의 전력 소비 총량 자체보다 전력망 신호에 맞춰 가동 시점과 지역을 유연하게 조절하는 통제력이 더욱 중요하다고 강조한다.

다만 국가별 데이터 주권 규제와 대용량 데이터 전송에 따른 물리적 제약은 실무 현장에서 풀어나가야 할 과제다. 전력 효율화 경쟁은 결국 변압기와 고압 송배전 설비 등 전력기기 수요를 자극하는 동시에, 데이터센터 집중 지역의 전력망 부담을 심화시키는 양면성을 띠고 있다.

전력은 인공지능 생태계의 성장을 가로막는 가장 치명적인 병목 요소로 꼽힌다. 효율성 향상이 오히려 전체 연산량 폭증으로 이어지는 제번스 역설을 경계하면서, 소비되는 매 와트의 가치를 극대화하는 소프트웨어 중심의 통제 전략이 데이터센터 운영의 명운을 가를 전망이다.

김주원 글로벌이코노믹 기자 park@g-enews.com