[인포그래픽] 시간 경과에 따른 AI 모델의 훈련 비용

오픈AI의 챗GPT 및 구글의 제미나이 울트라와 같은 고급 AI 모델을 교육하려면 수백만 달러가 필요하며 비용도 빠르게 증가한다.

컴퓨팅 수요가 증가함에 따라 이를 교육하는 데 필요한 컴퓨팅 성능 비용도 급증하고 있다. 이에 대응하여 AI 회사는 생성형 AI 시스템을 훈련하는 방법을 재고하고 있다. 대부분의 경우 여기에는 현재 성장 궤적을 고려하여 계산 비용을 줄이는 전략이 포함된다.

비주얼 캐피털리스트는 스탠포드 대학의 2024년 인공 지능 지수 보고서 분석을 기반으로 고급 AI 모델의 급증한 교육 비용을 시각화했다. 다음은 그 내용이다.

AI 인덱스는 리서치 회사인 Epoch AI와 협력하여 클라우드 컴퓨팅 임대 가격을 기준으로 AI 모델 교육 비용을 추정했다. 분석된 주요 요소로는 모델의 훈련 기간, 하드웨어 활용률, 훈련 하드웨어의 가치 등이 있다.

그래픽은 2017년 이후 인플레이션을 조정한 주요 AI 모델의 훈련 비용을 보여준다.

지난해 오픈AI의 GPT-4 훈련 비용은 약 7,840만 달러로, 1년 전 1,240만 달러였던 구글의 PaLM(540B) 모델에 비해 가파르게 상승했다. 

2017년에 개발된 초기 AI 모델인 트랜스포머의 훈련 비용은 930달러였다. 이 모델은 오늘날 사용되는 많은 대규모 언어 모델의 아키텍처를 형성하는 데 기본 역할을 했다.

구글의 AI 모델인 제미나이 울트라는 무려 1억 9100만 달러로 훨씬 더 많은 비용이 든다. 2024년 초 현재 이 모델은 여러 지표, 특히 MMLU(Massive Multitask Language Understanding) 벤치마크에서 GPT-4보다 성능이 뛰어나다. 이 벤치마크는 대규모 언어 모델의 기능을 측정하기 위한 중요한 척도 역할을 한다. 예를 들어, 57개 주제 영역에 대한 지식과 문제 해결 능력을 평가하는 것으로 알려져 있다.

급증하는 교육 비용 과제를 해결하기 위해 AI 회사는 언어 모델을 훈련하기 위한 새로운 솔루션을 찾고 있다. 여기에는 특정 작업을 수행하도록 설계된 더 작은 모델을 만드는 등 다양한 접근 방식이 있다. AI 시스템에 공급할 자체 합성 데이터를 만드는 실험을 진행하고 있기도 하다. 그러나 아직 뚜렷한 돌파구는 보이지 않는다.