이 글에는 제휴 링크가 없고 OpenAI·앤트로픽과 아무 관계가 없습니다. 제가 직접 만든 중계기의 개발 기록을 바탕으로 썼습니다. 삽화는 GPT 이미지 생성, 도식은 직접 제작했습니다.
퇴근하면 노는 AI 구독, 일하게 할 수 없을까 — LLM 중계기 개발기를 시작하며
새해에 헬스장 1년 회원권을 끊었다고 해 볼게요. 결제는 매달 꼬박꼬박 되는데, 실제로 가는 날은 손에 꼽습니다. 회원권이 일하는 시간은 내가 운동복을 입고 헬스장에 들어선 시간뿐이에요.
제가 구독하던 AI도 비슷했습니다. 코딩을 도와주는 Codex와 Claude를 매달 결제하는데, 이 둘이 일하는 시간은 제가 채팅창이나 터미널 앞에 앉아 무언가를 물어볼 때뿐이었어요. 퇴근하고 나면, 회의에 들어가 있으면, 구독은 그냥 놀고 있었습니다.
이 글은 LLM 중계기 개발기의 1편입니다. 여러 AI를 하나의 창구 뒤에 세우는 프로그램을 직접 만들면서 겪은 일을, 개발자가 아닌 분도 읽을 수 있게 풀어 쓰는 연재예요.
결론 요약
- 문제 — 구독형 AI는 웹, 앱, 터미널, 편집기 플러그인 같은 서로 다른 껍데기에 갇혀 있어서, 사람이 화면 앞에 있을 때만 일합니다
- 하고 싶었던 것 — 문서 요약, 분류, 코드 검토처럼 내 프로그램 안에 넣는 작은 AI 기능을 만들고, 놀고 있는 AI들이 그 일을 하게 하는 것
- 만든 것 — 여러 AI를 주소 하나 뒤에 세우는 LLM 중계기. 쓰는 쪽 프로그램은 주소 한 줄만 바꾸면 어떤 AI든 골라 쓰거나 동시에 쓸 수 있습니다
🧳 1. AI는 왜 ‘껍데기’에 갇혀 있나
같은 Claude라도 만나는 방법은 여러 가지예요. 웹사이트의 채팅창, 컴퓨터에 까는 앱, 개발자가 쓰는 검은 화면의 명령어 도구(터미널), 코드 편집기에 붙이는 플러그인. 모두 사람이 직접 말을 거는 창구입니다.
문제는 제가 원하는 일이 “사람이 말을 거는” 모양이 아니라는 점이었어요.
- 새로 올라온 문서를 알아서 요약해 두기
- 쌓이는 기록을 종류별로 분류하기
- 코드가 바뀌면 여러 관점으로 검토하기
이런 일은 프로그램이 AI를 불러야 합니다. 그런데 프로그램이 AI를 부르는 길(API)은 보통 구독과 별도로 열쇠(API 키)를 발급받고, 쓴 만큼 따로 돈을 내야 해요. 구독은 이미 하고 있는데 말이죠.
🔌 2. 프로그램을 하나 만들 때마다 반복되던 일
프로그램에서 AI를 부를 때마다 매번 다시 만들어야 하는 것들이 있었어요.
- 로그인 — AI마다 열쇠 방식이 다릅니다
- 조금씩 받아 보여 주기(스트리밍) — 긴 답을 한 글자씩 흘려보내는 방식도 AI마다 다릅니다
- 다시 시도하기 — 잠깐 실패했을 때 몇 번, 얼마 뒤에 다시 부를지
- 한도 지키기 — 1분에 몇 번까지 불러도 되는지
- 오류 정리 — 실패 이유를 알아들을 수 있는 말로 바꾸기
프로그램이 세 개, AI가 세 개면 이 묶음을 아홉 번 만들어야 합니다. AI가 하나 늘면 프로그램 수만큼 또 늘어나고요.
❓ 3. 처음에 던진 세 가지 질문
① 사람이 쓰는 명령어 도구를, 프로그램이 부를 수 있는 창구로 바꿀 수 있을까? Codex와 Claude는 터미널에서 쓰는 명령어 도구를 제공합니다. 이걸 서버로 감싸면 프로그램이 부를 수 있는 창구가 되지 않을까 싶었어요.
② AI마다 잘하는 게 다른데, 골라 쓰거나 아예 동시에 쓰면 어떨까? 한 번에 읽을 수 있는 분량, 생각하는 힘, 답하는 속도가 AI마다 다릅니다. 하나에 정착하지 말고 상황에 맞게 바꿔 쓰거나, 같은 질문을 여러 AI에 동시에 던져 비교할 수도 있겠죠.
③ 프로그램마다 복사되던 연결 코드를 한 곳으로 모을 수 없을까? 2절의 ‘반복되던 일’을 한 번만 만들고, 모든 프로그램이 같이 쓰게 하는 거예요.
🧩 4. 그래서 만든 것 — LLM 중계기
세 질문의 답으로 만든 것이 LLM 중계기입니다. 영어로는 흔히 LLM 게이트웨이라고 불러요.
- 컴퓨터 화면 구석(트레이)에 작게 떠 있는 앱이에요
- 쓰기로 한 AI들을 한 화면에서 연결하고 관리합니다
- 그리고 내 컴퓨터 안에만 열리는 창구를 하나 엽니다. 이 창구는 업계에서 사실상 표준이 된 ‘OpenAI 호환’ 형식이라, 그 형식을 아는 프로그램이면 어디서든 바로 붙습니다
쓰는 쪽 프로그램이 할 일은 AI의 주소를 중계기 주소로 바꾸는 한 줄이 전부예요. 그다음부터는 이름만 바꿔 부르면 Codex든 Claude든, 내 컴퓨터에서 돌리는 작은 AI든 같은 방식으로 대답합니다.
⚠️ 구독 서비스마다 사용 범위에 대한 약관이 있어요. 제 중계기는 내 컴퓨터 안에서, 내가 쓰는 범위로만 열리게 만들었습니다. 계정을 다른 사람과 나누거나 인터넷에 여는 용도가 아니에요. 비슷한 걸 만들어 보려면 각 서비스의 약관부터 확인하세요.
🗺️ 5. 앞으로의 연재
만드는 데 약 11주가 걸렸고, 그동안 저장 기록(커밋)이 390개 쌓였습니다. 그 기록에서 이야기를 골라 이렇게 이어 갈 예정이에요.
- 1부 왜 만들었나 — 오늘 글, 중계기와 ‘OpenAI 호환’이라는 표준 콘센트, 첫날 이야기
- 2부 여러 AI를 한 줄로 — 모양 다른 플러그를 같은 어댑터로, AI가 엉뚱한 메모를 읽고 온 날
- 3부 교통정리 — 톨게이트가 필요한 이유, 전화를 끊었는데 계속 대기 중인 상담원
- 4부 AI가 이상하게 굴 때 — 생각만 하다 답을 못 한 AI, “다 했어요”라더니 잘린 답
- 5부 만들고 나서가 더 어렵다 — 끄는 것도 기술, 계속 되돌아가는 자동 업데이트
- 6부 중계기 위에서 — AI끼리 코드리뷰 대결, 그리고 AI와 함께 만든 11주
정리
① 구독형 AI는 사람이 말을 거는 창구에 갇혀 있어서, 사람이 없으면 놀아요 ② 프로그램이 AI를 부르려면 로그인·재시도·한도·오류 처리를 매번 다시 만들어야 했어요 ③ 그래서 여러 AI를 주소 하나 뒤에 세우는 중계기를 만들었어요 — 다음 편은 “중계기란 무엇인가”입니다
여러 AI 도구를 고르는 이야기는 MCP·API·CLI 비교 글에도 있어요.
2026년 10월 1일 기준입니다. 제가 만든 중계기의 개발 기록을 바탕으로 썼고, 특정 기업·서비스의 공식 입장이 아닙니다.