140 읽음
AI 토큰 비용 관리 부상, 효율적 사용이 새 경쟁력
IT조선
0
실무자와 노동자들이 AI를 불안하게 바라보는 이유도 여기에 있다. AI가 결국 사람의 일자리를 빼앗을 것이라는 우려다. 하지만 AI는 정말 사람보다 싼 노동력일까.
최근 삼성전자가 실시한 전사 차원의 ‘AX 부트캠프’를 보면 기업이 AI를 바라보는 시각이 어디까지 바뀌었는지 알 수 있다. 삼성전자의 AX 부트캠프는 임직원에게 챗GPT 사용법을 가르치는 단순한 교육 프로그램이 아니었다. 기존 업무를 잘게 나눈 뒤 AI 에이전트를 활용하는 방식으로 업무 자체를 다시 설계하는 훈련에 가까웠다.
삼성전자 관계자에 따르면 임원 평가 역시 AI를 얼마나 많이 사용했는지가 아니라 업무 프로세스를 얼마나 AI 중심으로 바꿨는지에 초점이 맞춰졌다. AI가 업무를 돕는 도구에서 업무 일부를 직접 수행하는 새로운 노동력으로 이동하기 시작한 것이다.
하지만 AI도 일을 시키려면 돈이 든다. 사람을 채용하면 월급을 지급하는 것처럼 AI는 사용할 때마다 토큰을 지불해야 하기 때문이다. 다른 점은 직원의 연봉은 대체로 일정하지만 AI 비용은 사용량에 따라 달라진다는 사실이다.
AI 에이전트 하나를 사용하는 것과 여러 에이전트를 동시에 움직이는 것은 또 다른 문제다. 코드 작성과 데이터 분석을 반복하고 수십 차례 추론을 거쳐 보고서를 만들면 토큰 사용량은 빠르게 불어난다. AI가 일을 많이 할수록 비용은 기하급수적으로 늘어나는 구조인 셈이다.
실제 기업 현장에서는 AI 프로젝트를 진행하다 예상했던 예산을 넘어서는 사례가 나오고 있다. 생산성을 높이려고 AI 사용을 늘렸는데 예상하지 못했던 AI 사용료가 또 다른 비용으로 등장한 것이다. 기업들이 생각했던 그림과는 조금 다르다.
지금까지 기업이 자동화를 추진하는 방식은 비교적 단순했다. 설비에 돈을 투자한 뒤 생산성을 높이면 됐다. 초기 투자비가 크더라도 감가상각을 통해 비용을 계산할 수 있었다.
생성형 AI는 다르다. AI는 공장을 지어놓고 사용하는 설비가 아니다. 사용량이 늘어날수록 비용도 계속 발생한다. AI를 더 많이 활용하면 생산성만 올라가는 것이 아니라 운영비도 함께 증가한다. AI를 도입하면 무조건 비용이 줄어든다는 계산이 성립하지 않는 이유다.
앞으로 기업에는 새로운 숙제가 생길 수밖에 없다. 지금까지는 AI를 얼마나 빨리 도입하느냐가 중요했다. 앞으로는 같은 일을 얼마나 적은 AI 비용으로 처리하느냐가 중요해질 수 있다.
100원의 토큰 비용으로 처리할 일을 1000원을 쓰고 처리한다면 AI를 많이 사용하는 것이 경쟁력일 수 없다. 불필요한 호출을 줄이고 업무에 맞는 모델을 선택해야 한다. 비싼 대형 모델이 필요하지 않은 업무에는 작은 모델을 써야 한다. 기업은 AI가 만들어내는 생산성과 AI에 들어가는 비용을 함께 계산해야 한다.
결국 기업이 관리해야 할 대상이 하나 더 늘어난 셈이다. 과거에는 인건비와 전기료를 관리했다. 이제는 토큰 비용도 관리해야 한다.
AI가 사람의 업무 일부를 가져갈 가능성은 분명하다. 그러나 사람이 사라진 자리를 AI가 아무런 비용 없이 채워주는 것은 아니다. AI가 더 많은 일을 맡을수록 기업은 그만큼 더 많은 컴퓨팅 비용을 부담해야 한다. 그래서 AI 시대의 승자는 AI를 가장 많이 쓰는 기업이 아닐 수 있다. 같은 일을 가장 적은 비용으로 AI에 시키는 기업일 가능성이 크다. AI는 공짜 직원이 아니다.
유진상 ICT부장
jinsang@chosunbiz.com