Model Cascade & Dynamic Routing: LLM 에이전트 비용 70% 절감과 Latency 단축 실전 가이드
프로덕션 AI 에이전트 운영에서 쿼리 난이도에 따라 Small LLM과 Large LLM을 동적으로 분기하는 Model Cascade 및 Router Classifier 구현 방안을 다룹니다. 비용 70% 절감과 응답 속도 단축을 동시에 달성하는 실전 아키텍처입니다.
메뉴
카테고리
AI Agent
공개 글 33개
Palantir Foundry AIP Speedrun: 엔드투엔드 AI 워크플로우 완벽 마스터 가이드
Palantir Foundry AIP Speedrun 코스 전체를 이 글 하나로 완벽 마스터합니다. PDF 파싱, LLM 개체 추출, 온톨로지 바인딩, Vertex 지식그래프, AIP Logic Function, Workshop 앱까지 실무 아키텍처를 상세히 정리합니다.
프로덕션급 AI 에이전트 아키텍처 점검 20가지 핵심 체크리스트
시리즈 전편에서 다룬 에이전트 루프, 상태 관리, MCP 도구, 메모리, 보안, 평가, 멀티 에이전트 오케스트레이션을 집대성하여, 프로덕션 배포 전 반드시 점검해야 할 20가지 핵심 체크리스트와 엔드투엔드 파이썬 아키텍처 구현체를 제공합니다.
관측 가능성(Observability)과 프로덕션 운용: Trace, Debugging & Governance
프로덕션 AI 에이전트 시스템을 안정적으로 운영하기 위한 OpenTelemetry 분산 트레이싱, 구조화된 로깅과 에이전트 루프 디버깅, 무한 루프/환각 도구 호출 탐지 및 장애 대응, 프롬프트·도구 버저닝과 거버넌스 체계, 프로덕션 체크리스트를 깊이 있게 설명합니다.
오케스트레이션과 멀티 에이전트: 수퍼바이저와 HITL 승인 게이트
단일 에이전트의 한계를 극복하는 그래프 기반 오케스트레이션, 수퍼바이저 라우팅, 전문 서브에이전트 간 동적 핸드오프, 그리고 안전한 프로덕션 배포를 위한 HITL(Human-in-the-Loop) 승인 게이트와 트랜잭션 상태 관리 기법을 상세히 다룹니다.
에이전트 평가와 지표: Offline/Online Eval과 Trajectory 평가
비확정적 궤적(Non-deterministic Trajectory)을 갖는 AI 에이전트를 위한 평가 프레임워크. Offline/Online Eval 구분, Task Success Rate, Tool Selection Accuracy, Trajectory Efficiency 등 핵심 지표와 LLM-as-a-Judge, Python 커스텀 평가 하네스 구축법을 깊이 있게 다룹니다.
도구 연동과 MCP 규격: Tool Calling과 스키마 검증
LLM Tool Calling 메커니즘부터 Model Context Protocol(MCP) 표준 규격, Pydantic v2 기반 스키마 검증, 방어적 인자 검증 체크리스트까지 엔터프라이즈 에이전트 도구 연동의 전 과정을 다룹니다.
신뢰성과 보안: 비동기 파이프라인, 샌드박스 및 가드레일
비동기 에이전트 루프(Python asyncio), 재시도·타임아웃·폴백 전략, 도구 실행 샌드박스(Docker/E2B) 격리, 프롬프트 인젝션 방어 및 멱등성과 가드레일 패턴을 다룹니다.
에이전트 메모리와 상태 관리: 단기/장기 메모리와 컨텍스트 압축
AI 에이전트의 지속성과 추론 품질을 결정짓는 메모리 아키텍처와 상태(State) 스키마 설계, 단기/장기 메모리 연동, 그리고 컨텍스트 윈도우 압축 기법을 다룹니다.
AI 에이전트 아키텍처: 루프, 과업 분해, 그리고 추론 경계
단순한 LLM 프롬프트 호출을 넘어, 스스로 목표를 세우고 루프를 돌며 행동하는 프로덕션 레벨 AI 에이전트의 핵심 루프와 추론 경계(Reasoning Boundary)를 다룹니다.
AI 시대의 소프트웨어 엔지니어링: '이해의 병목' 극복을 위한 시스템 구현 전략
AI 에이전트가 코드를 자동 생성하는 시대, 개발의 새로운 제약으로 부상한 '이해의 병목'을 극복하기 위해 서술식 디프(Literate Diffs), 일회성 UI, MCP 공유 공간 등 구체적인 기술 아키텍처와 구현 전략을 제시합니다.
GPT-5.6 최적화 가이드: 7월 10일 공개 후 확인할 8가지
GPT-5.6 Sol·Terra·Luna의 가격과 사양, reasoning, 프롬프트 다이어트, 멀티에이전트, PTC, 캐시, 권한 경계를 공식 문서 기준으로 정리합니다.
한국·미국 주식 인사이트 GPT 소개: 뉴스보다 먼저 확인 질문을 정리하는 도구
한국과 미국 주식 시장을 볼 때 종목명보다 먼저 확인해야 할 출처, 맥락, 리스크 질문을 정리하는 커스텀 GPT 사용법을 소개합니다.
코딩 에이전트는 왜 런타임이 되는가
SWE-bench, SWE-agent, Codex harness 흐름을 기준으로 AI 코딩 도구가 목표, 상태, 권한, 검증을 가진 개발 런타임으로 바뀌는 이유를 정리합니다.
Codex /goal로 보는 목표 기반 개발
Codex CLI의 persisted /goal 흐름을 기준으로 장시간 코딩 에이전트에 필요한 Goal Contract, Done Criteria, Stop Conditions 설계법을 정리합니다.
A2A와 MCP로 보는 멀티 에이전트 개발 워크플로우
A2A Protocol v1.0과 MCP의 차이를 기준으로 Agent Card, Task, Artifact를 개발 하네스의 작업 위임과 산출물 계약으로 해석합니다.
AI Memory는 RAG가 아니다
GitHub Copilot Memory, Claude Code memory, 장기 기억 벤치마크를 기준으로 AI Memory와 RAG의 차이, Run Ledger, 실패 산출물, memory 승격 정책을 정리합니다.
AI 에이전트에게 일을 맡기기 전에 고정해야 할 문서 세트
AI 에이전트 작업을 안전하게 맡기기 위해 goal.md, run ledger, artifact contract, memory policy로 작업 경계와 산출물 기준을 고정하는 방법을 정리합니다.
Codex CLI /goal 기능 정리
Codex CLI의 /goal로 작업 목표와 완료 조건을 설정하는 방법, /plan·/resume과의 차이, 실무 적용 시나리오와 비용·보안 주의점을 정리합니다.
Codex CLI /goal 내부 구조 분석
Codex CLI /goal 기능을 state DB, app server API, model tools, core runtime, continuation prompt 관점에서 코드 레벨로 분석합니다.
AI Agent에 온톨로지와 지식그래프가 정말 필요할까?
AI Agent에 온톨로지와 지식그래프가 언제 필요한지 정리합니다. 개인·팀 자동화와 조직 단위 자동화의 차이, RAG의 한계, 의미 불일치 문제를 실무 관점에서 설명합니다.
온톨로지, 지식그래프, RAG, GraphRAG 차이 정리
온톨로지, 지식그래프, RAG, GraphRAG, SHACL, SPARQL의 역할을 AI Agent 자동화 관점에서 정리합니다. 조직 지식 검색과 검증 아키텍처를 실무적으로 설명합니다.
팀 AI 워크플로우를 조직 AI 운영체계로 확장하는 방법
팀 단위 AI 워크플로우를 조직 단위 AI 운영체계로 확장하는 전략을 정리합니다. 최소 온톨로지, 업무 지식그래프, 검증 규칙, 운영 거버넌스 도입 순서를 설명합니다.
Claude Code를 뜯어보니 Agent의 핵심은 Runtime이었다
Claude Code CLI 스냅샷을 runtime 관점으로 분석해 AI agent가 모델 호출이 아니라 입력, 도구, 권한, 기록 루프의 조합임을 설명합니다.
Claude Code CLI는 시작하자마자 무엇을 정리할까
Claude Code CLI 분석을 바탕으로 agent runtime의 bootstrap 단계가 설정, 정책, 인증, 실행 모드를 어떻게 정리해야 하는지 설명합니다.
Claude Code의 터미널 화면은 UI가 아니라 Runtime Shell이었다
Claude Code CLI 분석을 통해 터미널 화면이 단순 출력 UI가 아니라 메시지, 입력, 승인, 실행 상태를 묶는 runtime shell임을 설명합니다.
한 줄 프롬프트가 Agent Turn이 되기까지
Claude Code CLI 분석을 바탕으로 사용자의 한 줄 입력이 즉시 명령, 큐 항목, 모델 질의 중 하나로 분기되는 submit boundary를 설명합니다.
Raw Input을 Model Message로 바꾸는 입력 정규화 계층
Claude Code CLI 분석에서 추출한 입력 정규화 패턴을 바탕으로 raw input, 첨부, command, hook을 model visible message로 바꾸는 방법을 설명합니다.
Slash Command는 단축키가 아니라 Runtime Dispatch다
Claude Code CLI 분석을 바탕으로 slash command를 prompt 생성, local 실행, interactive UI, forked execution으로 나누는 runtime dispatch 패턴을 설명합니다.
Agent Loop는 모델 호출이 아니라 상태 기계다
Claude Code CLI 분석을 기반으로 agent query loop를 streaming model call, tool request, result injection이 반복되는 상태 기계로 설명합니다.
Provider API를 제품 로직에서 분리하는 법
Claude Code CLI 분석을 바탕으로 model provider API 요청, streaming 응답, tool schema, usage/cost 처리를 runtime boundary로 분리하는 방법을 설명합니다.
Tool Runtime은 함수 호출 목록이 아니다
Claude Code CLI 분석을 바탕으로 AI agent tool runtime을 capability registry, schema validation, permission gate, 실행 오케스트레이션으로 설명합니다.
권한, Transcript, 비용이 Agent 제품성을 결정한다
Claude Code CLI 분석을 바탕으로 AI agent의 permission gate, transcript recording, usage/cost accounting을 제품 안정성의 핵심 계층으로 정리합니다.