삼쩜삼, AI 에이전트 8개 통합 플랫폼 '카터' 구축…LLM 호출비 45%↓

세금 환급 플랫폼 '삼쩜삼'을 운영하는 자비스앤빌런즈가 서비스와 사내 업무에 흩어져 있던 인공지능(AI) 에이전트 8개를 한곳에서 관리하는 자체 플랫폼 '카터(Carter)'를 구축했다.

카터는 AI 에이전트를 개발하고 운영하는 데 드는 비용을 관리·모니터링하고, 보안과 개인정보 보호 기능을 공통으로 제공하는 플랫폼이다. 현재 고객 상담용 '삼쩜삼Q'와 삼쩜삼 앱 AI 에이전트 등 8개 에이전트가 카터 위에서 돌아간다.

그동안은 에이전트마다 같은 기능을 따로 만들어야 했다. 카터를 도입한 뒤로는 개발자가 검증된 라이브러리와 인프라를 가져다 쓰도록 바꿔 중복 개발을 줄이고 운영 환경을 하나로 맞췄다.

보안 장치도 공통으로 적용된다. 카터를 거치는 모든 AI 호출은 중앙에서 추적·관측되며, 개인정보는 자동으로 비식별 처리된다. 입력값이나 외부 문서에 숨긴 악성 지시로 AI가 엉뚱한 행동을 하도록 유도하는 '프롬프트 인젝션' 공격을 막는 기능도 들어갔다.

서비스 안정성 측면에서는 특정 클라우드에 장애가 생기면 다른 클라우드로 자동 전환하는 기능을 마련했다. 불필요한 검색 절차를 줄여 응답 속도도 손봤다.

비용 절감 효과는 수치로 제시했다. 답변을 조합·생성하는 단계에는 고성능 모델을 쓰고, 질문 의도 분류나 안전성 판정 같은 보조 작업은 경량 모델에 맡기는 '모델 티어링'을 적용했다. 이렇게 전체 호출의 약 50%를 경량 모델로 돌려 대규모언어모델(LLM) 호출 비용을 약 45% 낮췄다는 것이 자비스앤빌런즈의 설명이다. 반복되는 프롬프트를 저장해 재사용하는 '프롬프트 캐싱'으로 캐시 구간 호출 비용도 약 43% 줄였다.

다음 단계로는 흩어진 사내 지식 자산을 한 창구에서 검색·질의하는 '지식 오케스트레이터'와 에이전트 답변 품질을 정량적으로 측정하는 평가 체계를 만들 계획이다.

이번 작업은 수익성 관리와도 맞닿아 있다. 자비스앤빌런즈의 지난해 연결 매출은 약 838억원으로 전년보다 2.8% 줄었고, 영업이익은 약 33억원으로 60% 넘게 감소했다. 최근 5년치 환급 신청이 한 차례 마무리되면서 세금 환급 서비스만으로는 성장에 한계가 있다는 지적이 나온다.

삼쩜삼은 누적 가입자 2450만 명을 확보한 플랫폼이다. 회사는 이 고객 기반을 바탕으로 올해 보험대리점(GA) 시장에 진출했고, 용감한컴퍼니와 함께 재테크 교육 플랫폼 '삼쩜삼캠퍼스'를 운영하는 등 사업 영역을 넓히고 있다.

규제 환경은 변수다. 자비스앤빌런즈는 세무사회 신고로 시작된 공정거래위원회 조사 끝에 지난해 12월 시정명령과 과징금 7100만원을 받았다. 올해 6월 24일부터는 개정 세무사법이 시행되는 등 세무 플랫폼을 둘러싼 제도 정비가 이어지고 있다.

국내 플랫폼 업계에서는 AI 에이전트를 여러 서비스에 붙이면서 늘어나는 호출 비용과 보안 관리를 어떻게 통제할지가 과제로 떠올랐다. 자체 통합 플랫폼을 만드는 방식은 초기 개발 부담이 있지만, 에이전트 수가 늘어날수록 운영 비용을 묶어 관리할 수 있다는 점에서 선택지로 꼽힌다.

강병규 자비스앤빌런즈 최고기술책임자(CTO)는 "사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다"며 "답변 품질까지 측정하고 관리하는 체계를 갖춰 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장하겠다"고 말했다.