안녕하세요, Microsoft Foundry의 Tina Schuchman, Jeff Hollan입니다. 오늘은 에이전트를 프로토타입에서 실제 프로덕션까지, 그리고 대규모로 안정적으로 운영하는 방법을 함께 이야기해 보겠습니다.
AI 에이전트의 새로운 시대
이제 '만드는 것' 자체는 더 이상 어려운 부분이 아닙니다. 에이전트가 스스로를 만들고 확장하기 시작했고요. 무엇보다 에이전트는 이제 단순한 도구가 아니라 함께 일하는 팀원에 가깝습니다.
Microsoft Agent Platform
우리의 접근은 명확합니다. GitHub에서 코드와 프롬프트, 스킬, 평가 정의를 만들고, Foundry에서 실행하며 모델과 프롬프트, 도구를 최적화합니다. 그리고 M365 Copilot과 Teams, 여러분의 앱과 API까지, 실제로 일이 벌어지는 모든 곳으로 사용자에게 닿게 하죠. 이 전체가 Azure의 글로벌 스케일과 데이터 존, 주권 제어 위에서 거버넌스되며 돌아갑니다.
데모 시나리오: 자율 광케이블 장애 대응
오늘 예시로 쓸 시나리오는 광케이블 장애 대응입니다. IoT 신호와 실시간 운영 데이터를 입력받아 장애를 감지하고, 네트워크 운영 코디네이터와 현장 에이전트가 협업해서 현장 인력을 배정하고 Teams에 상황을 공유하며 티켓을 발행합니다. Web IQ, Fabric IQ, Work IQ 같은 도구와 지식, 그리고 Foundry Agent Service의 메모리를 활용하고, Agent Optimizer로 추적·평가·자동 최적화까지 돌아가는 구조죠.
그래서 오늘 이야기는 크게 세 단계로 나눠서 보겠습니다. 만들고(Build), 배포하고(Deploy), 운영하는(Operate) 이 전체 흐름을 하나씩 짚어보죠.
Build: 개발자의 고민
먼저 빌드 단계입니다. 개발자들이 흔히 부딪히는 질문들이 있죠. 원하는 프레임워크로 만들되 종속되고 싶진 않고, 6개월짜리 통합 프로젝트 없이 우리 회사 지식에 에이전트를 연결하고 싶고, 매번 같은 통합을 다시 구현하지 않으면서도 도구와 데이터에 안전하고 거버넌스된 접근을 주고 싶다는 겁니다.
그럼 Jeff이 직접 보여드리겠습니다. 여러분이 선택한 프레임워크로 로컬에서 에이전트를 만드는 과정을 데모로 함께 보시죠.
발표: 빌드 관련 신규 기능
여기서 새로 공개하는 것들이 있습니다. Microsoft Agent Framework의 agent harness, 코딩 에이전트 SDK 통합, VS Code용 Foundry Toolkit, Foundry의 Toolboxes, Foundry Agent Service의 Voice Live 통합, 그리고 hosted agents까지요.
Deploy: 개발자의 고민
다음은 배포 단계입니다. 오래 실행되는 자율 에이전트를 런타임을 다시 짜지 않고 내 노트북에서 프로덕션으로 올리고 싶고, 1초 미만의 콜드 스타트와 제대로 된 격리를 원하며, 봇 매니페스트나 앱 등록을 다시 만들지 않고 사용자가 실제로 일하는 곳에 에이전트를 띄우고 싶다는 고민이죠. 나아가 자체 아이덴티티와 메일박스, Teams 프레즌스, 감사 추적까지 갖춘 진짜 팀원으로 만들고 싶어 합니다.
이 부분도 데모로 확인해 보겠습니다. hosted agents로 배포하고 그대로 Microsoft Teams에 게시하는 과정을 Jeff이 보여드리죠.
발표: 배포 관련 신규 기능
배포 쪽에서도 새로 공개합니다. Foundry Agent Service의 Routines, Microsoft 365 Teams와 Copilot으로의 게시, 그리고 autopilot 에이전트로의 게시입니다.
Operate: 개발자의 고민
마지막은 운영 단계입니다. 여러 에이전트에 걸쳐 비용과 성능, 사용량을 모니터링해 문제를 일찍 잡고 싶고, 컴플라이언스와 데이터 접근 정책을 강제해 손이 많이 가지 않게 안전하게 확장하고 싶죠. 위험하거나 실패한 동작을 감지·완화해 사용자를 보호하고, 프롬프트 엔지니어링 전문가가 되지 않고도 품질과 비용을 계속 개선하고 싶다는 겁니다.
운영 단계도 실제로 보여드리겠습니다. 에이전트를 모니터링하고, 보호하고, 거버넌스하고, 최적화하는 흐름을 데모로 함께 보시죠.
발표: 운영 관련 신규 기능
운영 쪽 신규 기능도 소개합니다. hosted agents를 위한 추적과 평가, 커스텀 평가를 위한 Rubric, Foundry Agent Service의 Agent optimizer, 그리고 절차적 메모리까지요.
고객들은 이미 쓰고 있습니다
이건 이론이 아니라 이미 현장에서 돌아가고 있습니다. 미션 크리티컬한 에너지 운영을 Foundry Agent Service로 확장하고 있고, Twilio는 hosted agents 위에 Agent Connect를 배포했으며, KPMG는 글로벌 Workbench를 hosted agents 위에 구축하고 있습니다.
확장되는 AI 앱과 에이전트
정리하면 Microsoft Foundry는 세 가지를 제공합니다. 원하는 프레임워크로 로컬에서 만들고 안전하고 격리된 환경에 매끄럽게 호스팅하는 것, 메모리와 지식 그리고 1,400개가 넘는 MCP 커넥터로 연결된 인텔리전스를 주는 것, 그리고 안전한 환경에서 자신 있게 운영하며 원클릭으로 사용자가 있는 곳까지 닿는 엔터프라이즈 신뢰와 도달성입니다.
Microsoft Foundry
한 문장으로 요약하면 이렇습니다. Microsoft Foundry로 단순하게 만들고, 강력하게 배포하고, 신뢰를 가지고 운영하세요.
감사합니다
감사합니다. 대화는 계속 이어가고 싶습니다. Expert Meet-Up에 들러 궁금한 점을 물어보세요. 이어지는 BRK240, BRK252, BRK246, BRK243, BRK244 세션도 함께 확인해 보시면 좋겠습니다.
세션 리소스와 설문
마지막으로, 세션 상세 페이지에서 튜토리얼과 리소스, 코드를 바로 활용해 보세요. aka.ms/build/evals에 방문하거나 QR 코드를 스캔해 세션 설문에도 참여해 주시면 감사하겠습니다.