안녕하세요, 오늘은 어떤 프레임워크로 만든 AI 에이전트든 관찰가능성에서 시작해 검증된 ROI까지 이어가는 방법을 이야기해 보겠습니다. Sebastian, Vivek, Filisha 세 사람이 함께 진행합니다.
오늘의 순서
먼저 Microsoft Foundry Observability가 무엇인지 짚고, 이어서 통합된 엔드투엔드 기능을 라이브 데모로 보여드리겠습니다. 어떤 프레임워크의 에이전트든 관찰하고, 코드 우선으로 추적하고, 트레이스를 실제 개선으로 바꾸고, 마지막으로 에이전트의 ROI까지 증명하는 흐름입니다.
에이전트는 비결정적입니다
에이전트는 본질적으로 비결정적이어서, 같은 입력에도 다르게 동작할 수 있습니다. 그래서 개발자와 운영자에게 완전히 새로운 신뢰성과 일관성 문제가 생기죠.
신뢰할 수 있는 개발엔 관찰가능성이 필수
신뢰할 수 있는 에이전트를 만들려면 관찰가능성이 반드시 필요합니다. 실행 흐름을 Trace로 들여다보고, 품질과 안전성을 Evaluate로 평가하고, 실시간으로 Monitor하며 문제를 잡아내고, 그 결과로 성능을 Optimize합니다. 결국 모든 에이전트의 상태·비용·행동을 실시간으로 이해하고 개선하자는 겁니다.
Microsoft Foundry
이 모든 것을 담는 기반이 바로 Microsoft Foundry입니다. 모델, 도구, Agent Service, IQ를 하나로 묶은 AI 앱과 에이전트의 팩토리이자, 클라우드와 엣지에 걸쳐 에이전트 라이프사이클을 거버넌스하는 컨트롤 플레인입니다.
Agent DevOps 라이프사이클
여기서 핵심은 Agent DevOps 라이프사이클입니다. Plan, Code, Test, Release에서 끝나는 게 아니라 Monitor, Analyze, Optimize로 이어지면서 평가하고 추적하고 모니터링하며 지속적으로 개선하는 순환을 만듭니다.
데모 시나리오 소개
오늘 데모에서는 Microsoft 데이터센터 운영을 위한 Vendor History Analyst Agent를 사용합니다. 벤더 작업 이력을 요약하고, 인사이트를 끌어내고, 핵심 교훈을 짚어주는 에이전트인데요. 이걸로 전체 흐름을 함께 따라가 보겠습니다.
먼저 첫 번째 주제, 어떤 프레임워크로 만든 에이전트든 관찰하는 방법부터 살펴보겠습니다.
기본 제공 관찰가능성으로 시작
별도 설정 없이도 관찰가능성이 기본으로 켜집니다. 라이프사이클의 시작 단계부터 Plan, Code로 넘어가는 순간 바로 추적이 시작되죠.
라이브 데모: 관찰가능성이 켜진 새 에이전트
첫 번째 라이브 데모입니다. 새 에이전트를 만들면 관찰가능성이 자동으로 붙는 모습을 직접 보여드리겠습니다.
어떤 프레임워크든 추적과 평가
OpenTelemetry 기반이라 추적과 평가가 Foundry 호스팅 에이전트에만 머무르지 않습니다. LangChain, LangGraph, OpenAI SDK, Microsoft Agent Framework까지 확장되죠. 도구 호출이든 LLM 호출이든 핸드오프든, 어떤 프레임워크로 만들었든 모든 단계가 하나의 트레이스 뷰에 담기고, 그 트레이스에 구조화된 평가를 돌려 일관된 품질 신호를 얻습니다.
Foundry와 Azure Monitor의 통합 관찰가능성
Microsoft Foundry와 Azure Monitor가 맞물리면서 앱과 에이전트, AI 플랫폼, 데이터, 인프라까지 한 흐름으로 관찰됩니다. Foundry 컨트롤 플레인의 관찰가능성과 Azure Monitor가 매끄럽게 이어져 일관된 인사이트를 주는 겁니다.
상황에 맞는 Rubric 평가기
적절한 평가를, 적절한 시점에, 자동으로 제공합니다. Foundry에서 에이전트를 만들면 그 도메인과 활용 사례에 맞는 맥락 인식 rubric이 자동 생성되죠. 평가를 처음부터 작성할 필요 없이, 시스템이 에이전트 맥락을 기본 rubric과 테스트 데이터셋으로 정리해 줍니다. 오프라인에서 만들고 개발에서 돌린 뒤 프로덕션 트레이스로 승격하는 흐름이 끊김 없이 이어집니다.
이제 개발자 관점에서, 코드 우선으로 처음부터 끝까지 관찰하는 방법으로 넘어가 보겠습니다.
프로덕션까지 이어지는 전체 DevOps 루프
Plan부터 Code, Test, Release, 그리고 Monitor, Analyze, Optimize까지, 개발부터 프로덕션까지 하나의 Agent DevOps 루프로 빠르게 이어집니다.
라이브 데모: 이너·아우터 루프 신호
두 번째 라이브 데모입니다. 이너 루프와 아우터 루프의 신호를 함께 활용해 지속적으로 개선하는 방법을 보여드리겠습니다.
Foundry 에이전트를 위한 코드 우선 관찰가능성
호스팅 Foundry 에이전트를 만들면 관찰가능성이 자동으로 켜지고, 첫 평가를 돌린 다음 자연스럽게 최적화로 넘어가는 스킬 기반 가이드 경험을 제공합니다. VS Code와 GitHub Copilot Chat, CLI 안에서 트레이스를 분석하고 평가를 돌리고 결과를 비교하며 IDE 안에서 바로 최적화할 수 있죠.
새로운 평가 기능 (공개 미리 보기)
공개 미리 보기로 새 평가 기능들이 들어옵니다. 대화 전체 흐름을 평가하는 Multi-Turn Evaluation, 현실적인 다중 턴 대화를 자동 생성하는 User Simulation, 프로덕션 트레이스를 평가 데이터셋으로 바꿔 주는 Traces to Datasets, 그리고 지속 평가에 가장 관련성 높은 트레이스만 골라내는 Smart Filtering까지 준비했습니다.
Foundry Evaluators 한눈에 보기
평가기 자체도 폭넓습니다. Groundedness나 Relevance 같은 품질 평가, Jailbreak나 유해성 같은 위험·안전 평가, Intent Resolution과 Tool Call Accuracy 같은 에이전트 전용 평가, 그리고 커스텀과 rubric 평가기까지 모두 갖추고 있습니다.
이제 세 번째 주제, 규모에 맞춰 에이전트를 최적화하는 이야기로 넘어가겠습니다.
Foundry Optimizer로 자신 있게 개선
Foundry Optimizer를 쓰면 이른바 hill climbing, 즉 조금씩 확실하게 성능을 끌어올리는 개선을 자신 있게 할 수 있습니다. 라이프사이클 전반의 신호를 근거로 삼아서요.
라이브 데모: Agent Optimizer
세 번째 라이브 데모로, Foundry Agent Service 안의 Agent Optimizer를 직접 보여드리겠습니다.
근거 기반의 거버넌스된 최적화
Agent Optimizer는 프로덕션에 있는 에이전트를, 거버넌스되고 증거에 기반한 방식으로 개선합니다. 현재 프롬프트와 스킬을 읽어 품질을 높이는 구성을 탐색하죠. 예를 들어 어떤 후보는 품질을 26% 올리면서 비용을 36% 줄이고, 또 다른 후보는 품질 16% 향상에 비용 10% 절감을 제시합니다. 이렇게 근거를 놓고 고를 수 있습니다.
마지막 주제입니다. 지금까지의 모든 노력이 실제 비즈니스 가치, 즉 ROI로 어떻게 이어지는지 증명해 보겠습니다.
Agent DevOps에서 검증된 ROI로
Agent DevOps의 순환이 결국 Foundry 안에서 검증 가능한 ROI로 연결됩니다. 개발 라이프사이클이 실제 성과로 환산되는 지점이죠.
라이브 데모: 에이전트 ROI
네 번째 라이브 데모입니다. Foundry에서 에이전트의 ROI를 실제로 어떻게 보여주는지 함께 확인해 보겠습니다.
비용을 비즈니스 가치로
ROI in Foundry는 비용을 비즈니스 가치로 환산해 줍니다. 비즈니스 가치와 토큰 비용을 나란히 놓고 보여주고, Foundry 포털과 API에서 확인할 수 있죠. 버전 비교와 일별 추세도 지원하고, 문제가 있으면 트레이스를 파고들어 디버깅할 수 있습니다. 곧 공개 미리 보기로 제공됩니다.
Foundry Observability의 가치
정리하면 Foundry Observability는 프로덕션 AI에 엔드투엔드 가시성과 품질, 통제를 제공합니다. 신뢰할 수 있는 에이전트를 만들고, 프로덕션에서 디버깅하고 최적화하고, 전체 에이전트 플릿을 아우르는 가시성과 거버넌스를 얻는 거죠.
기능 전체 요약
조금 더 자세히 보면 네 축으로 나뉩니다. 어떤 프레임워크든 엔드투엔드로 추적하는 Trace, 내장 평가기와 Multi-turn·User Simulation·AI Red Teaming을 갖춘 Evaluate, 실시간 대시보드와 드리프트 감지·알림을 제공하는 Monitor, 그리고 Agent Optimizer와 ROI까지 아우르는 Optimize입니다.
NTT DATA의 목소리
실제 현장의 이야기도 들어볼까요. NTT DATA의 Yuji Shono는 Microsoft Foundry의 평가·추적을 Azure Monitor와 결합해 AI를 엔터프라이즈급 프로덕션 시스템으로 바꿨고, 관찰가능성과 지속적 최적화를 내장해 Smart AI Agent 비전을 가속하고 있다고 말합니다.
Microsoft Agent Platform
이 모든 것은 더 큰 그림, Microsoft Agent Platform의 일부입니다. GitHub에서 만들고, Foundry에서 실행하고 최적화하며, M365와 Teams를 비롯해 업무가 이뤄지는 모든 곳으로 사용자에게 닿습니다. Agent 365로 관찰·보안·거버넌스를 하고, IQ로 기업 지식을 연결하며, Azure의 글로벌 규모 위에서 동작하죠.
자, 그럼 여기서 더 나아가려면 무엇을 하면 좋을지 안내해 드리겠습니다.
관련 세션 안내
Foundry Observability와 이어지는 관련 세션들이 많습니다. 오픈소스 에이전트 거버넌스를 다루는 BRK250, 호스팅 에이전트를 관찰·최적화·보호하는 LAB540, 대규모 운영을 다루는 BRK241, Agent 365의 BRK251, OpenTelemetry 표준 추적의 DEM341, Azure Monitor로 디버깅하는 LTG429까지 함께 살펴보시길 권합니다.
여정을 함께합니다
여러분의 모든 단계를 저희가 함께하겠습니다. ai.azure.com에서 Microsoft Foundry로 바로 시작하고, aka.ms/build26-BRK252에서 이 세션의 코드를 받고, aka.ms/ai/discord로 Discord 커뮤니티에 참여하세요.
세션 페이지에서 실행에 옮기기
세션 상세 페이지에는 튜토리얼과 리소스, 코드가 준비돼 있으니 꼭 활용해 보세요. aka.ms/build/evals에 방문하거나 QR 코드를 스캔해 세션 설문에도 참여해 주시면 감사하겠습니다.
감사합니다
감사합니다.