--- title: TokenBouncer | 조직용 AI 사용량·비용 통제 description: TokenBouncer는 OpenAI 호환 요청 경로에서 이용자·그룹·모델별 사용량과 비용을 통제하고 모든 AI 요청을 추적합니다. image: /og/lawnect-preview.jpg --- # TokenBouncer ## 조직의 AI 사용을 정책과 비용으로 통제합니다 TokenBouncer는 사내 AI 서비스와 모델 제공자 사이의 OpenAI 호환 요청 경로에서 이용자·그룹·모델별 한도를 적용합니다. 요청·토큰·비용·응답시간·차단·fallback·오류는 운영 기록으로 남깁니다. ## 조직 구조에 맞는 사용 정책 월별 요청 수, 토큰 수와 비용을 이용자별 또는 그룹 전체 합산 기준으로 제한합니다. 전체 기본 정책 위에 부서 정책과 개별 이용자 예외를 겹쳐 적용할 수 있으며, 모델 이름이나 패턴마다 별도 한도와 우선순위를 둘 수 있습니다. 여러 정책이 동시에 일치하더라도 평가 순서와 최종 적용 결과를 확인할 수 있어 복잡한 조직 정책을 예측 가능하게 운영합니다. Active Directory(Microsoft Entra ID), Keycloak 등 사내 계정 관리 시스템의 그룹과 실제 요청 이용자를 연결해 각 이용자에게 상속된 정책, 개별 예외와 그룹 공유 예산을 한 화면에서 확인합니다. 일반 이용자도 관리자 화면과 분리된 셀프서비스 화면에서 자신의 사용률, 잔여 한도와 다음 초기화 시점을 확인할 수 있습니다. ## 전반적인 AI 비용 최적화 TokenBouncer는 비용을 집계하는 데서 끝나지 않습니다. 제공자·모델별 가격표에 실제 입력·출력 토큰과 캐시 사용량을 결합해 현재 비용의 기준선을 만들고, 어느 부서와 이용자가 어떤 모델을 주로 쓰는지 분석합니다. 실제 사용 분포를 바탕으로 10%부터 90%까지 절감 목표별 모델 예산 조합을 계산합니다. 예상 총비용, 인당 비용과 영향을 받는 이용자 비율을 비교한 뒤 선택한 안을 이용자·그룹·모델별 한도와 fallback 순서로 바로 생성할 수 있습니다. 중요한 업무에는 고성능 모델을 유지하고 반복 업무부터 효율적인 모델로 전환하는 방식으로 비용과 품질을 함께 관리합니다. 정책 적용 후에도 모델 사용 분포, 확정 비용과 캐시 절감액을 계속 비교합니다. 절감이 응답 지연이나 차단 증가로 이어지지 않는지 요청별 상태와 응답시간 이벤트로 함께 검증해 비용 최적화를 일회성 분석이 아니라 지속적인 운영 과정으로 만듭니다. ## 비용과 사용량 관제 모델 가격표와 실제 입력·출력 토큰을 결합해 요청별 확정 비용을 계산하고, 캐시 적중으로 줄어든 토큰과 절감액은 별도로 집계합니다. 제공자·모델·이용자·그룹별 사용 집중도와 예산 소진 속도를 비교해 정책을 조정할 대상을 찾을 수 있습니다. 모든 요청에는 응답시간, 상태, 차단 사유와 적용 정책을 남깁니다. fallback이 실행되면 원래 모델과 실제 처리 모델, 적용 규칙과 시도 순서를 함께 기록합니다. 이용자 문의는 event ID로 정확한 요청 기록에 연결하고, 이벤트 CSV와 관리자 설정·키·MCP 변경 감사 로그는 별도로 보관합니다. ## 안정적인 요청 처리 원본 모델의 한도가 소진되면 같은 제공자 안에서 승인된 대체 모델의 정책을 순서대로 다시 평가합니다. 운영 정책에 따라 업스트림 5xx와 전송 오류를 재시도하며, 알려진 요청 형식 오류는 안전한 범위에서 보정해 한 번 더 처리합니다. 모든 재시도, 오류 보정와 fallback 결과는 요청 이벤트에 남습니다. 한도 초과, 정책 차단, 인증 실패와 업스트림 장애 등 상황별 오류 메시지도 조직의 용어와 지원 절차에 맞게 설정할 수 있습니다. 이용자에게는 이해하기 쉬운 안내와 문의 가능한 event ID를 보여주고, 관리자는 같은 ID로 원본 오류와 처리 이력을 확인합니다. ## 이용자·접근 키·AI 에이전트 모든 요청에 Virtual Key를 요구해 모델 제공자에 도달하기 전에 접속 자격을 확인합니다. 업무공간·배치 작업·서비스별 키를 분리하고 허용 모델, 예산, 만료와 마지막 사용 시점을 관리합니다. 기존 AI 애플리케이션이 보내는 커스텀 이용자 헤더와 Active Directory(Microsoft Entra ID), Keycloak 등 사내 계정 관리 시스템의 OIDC·서비스 계정 동기화를 조합해 기존 이용자와 그룹, 소속 관계를 정책 기준으로 사용합니다. 식별 정보가 없거나 등록되지 않은 이용자의 처리 방식도 환경별로 정할 수 있습니다. AI 에이전트가 접근하는 MCP 서버와 토큰은 연결·사용 기록과 함께 감사합니다. ## 구축 방식 기존 OpenAI 호환 클라이언트의 요청 형식을 유지합니다. 프록시·관리자 화면·데이터베이스를 귀사 인프라에 배치하고 조직의 인증·권한 체계에 맞춰 연결할 수 있습니다. ## 문의 현재 사용 중인 AI 서비스, 모델 제공자와 조직 구조를 알려주시면 연결 방식과 정책 범위, 구축·운영 방안을 제안합니다. 회사 소재지: 대한민국 서울특별시 서초구 이메일: contact(골뱅이)lawnect.com