AI 추론 비용 최대 10분의 1로…오픈소스 ‘llm-d 1.0’ 공개, 기업용 AI 대규모 운영 본격화

에이전트 인공지능(AI)이 기업 현장으로 확산하면서 대형언어모델(LLM)을 얼마나 효율적으로 운영하느냐가 AI 경쟁력의 새로운 변수로 떠오르고 있다. 모델의 성능을 높이는 것만큼 추론 비용을 줄이고, 수많은 AI 에이전트의 요청을 안정적으로 처리하며, 서비스 중단 없이 인프라를 운영하는 기술이 중요해진 것이다.이러한 과제를 해결하기 위한 오픈소스 분산 추론 프로젝트 ‘엘엘엠디(llm-d)’ 기업용 운영 환경을 겨냥한 1.0 버전이 20일(현지시간) 공개됐다. 최근 실증에서는 에이전트 기반 작업의 토큰당 추론 비용을 상용 API 대비

인공지능신문 · 2026. 10. 21. 오전 06:46