Microsoft Build 2026

01 / 43

오늘은 여러분의 에이전트를 실제 행동으로 이어주는 방법, 즉 도구와 API, 문서를 어떻게 연결하는지 이야기해 보겠습니다. Maria Naggaga와 Joe Filcik가 함께합니다.

02 / 43

먼저 최근 흐름과 Foundry Tools 발표 소식을 짚고, Toolbox 데모를 보여드린 다음, 파일을 파싱·추출·분류하는 Content Understanding까지 순서대로 다뤄보겠습니다.

03 / 43

Microsoft Agent Platform

에이전트는 GitHub에서 만들고, Microsoft Foundry에서 실행하고 최적화하며, M365와 Teams 등 업무가 이뤄지는 모든 곳에서 사용자에게 닿습니다. 코드부터 평가까지 전 생애주기를 하나로 관리한다는 점이 핵심입니다.

04 / 43

Microsoft Foundry

Microsoft Foundry는 AI 앱과 에이전트를 찍어내는 공장이라고 보시면 됩니다. Agent Service, Models, Tools, 그리고 거버넌스를 갖춘 Control Plane이 클라우드와 엣지 전반에서 에이전트 생애주기를 뒷받침합니다.

05 / 43

Foundry Tools

Foundry Tools는 에이전트가 쓸 수 있는 능력을 곧바로 도구 형태로 제공합니다. 사전 구축·커스텀 AI 스킬은 물론 MCP 서버나 커넥터 같은 서드파티 도구까지, 엔터프라이즈급 확장성으로 담아냈습니다.

06 / 43

에이전트에 필요한 모든 도구 허브

결국 Foundry Tools가 지향하는 건 에이전트가 필요로 하는 도구를 한곳에 모아둔 올인원 허브입니다. 여기서부터 본격적인 이야기를 시작해 보겠습니다.

07 / 43

Tool Calling의 세 가지 문제

도구 호출은 에이전트의 가장 중요한 능력 중 하나입니다. 그런데 에이전트와 도구가 폭발적으로 늘면서 맞는 도구 찾기, 도구 관리, 도구 통제라는 세 가지 문제가 함께 커지고 있죠.

08 / 43

에이전틱 도구 생태계 구성요소

그래서 필요한 게 도구를 게시·검색·설치하는 Catalog, 내 에이전트에 맞게 묶는 Curation, 최소한의 토큰으로 최적의 도구를 고르는 Discovery, 그리고 안전하게 통제하는 Governance입니다.

09 / 43

Tool Catalog

먼저 Tool Catalog입니다. 수천 개에 이르는 다양한 유형의 도구를 한자리에서 발견하고 가져다 쓸 수 있는 출발점이죠.

10 / 43

끊임없이 늘어나는 도구 유형

도구 유형은 계속 늘어납니다. OpenAPI, MCP, A2A 프로토콜, Logic Apps와 커넥터, Skills, CLI, Hooks, Plugins까지 — 형태가 무엇이든 다 아우를 수 있어야 합니다.

11 / 43

2025년에 출시된 것들

실제로 2025년 한 해 동안 Tool Catalog에 이렇게 많은 도구들이 새로 들어왔습니다. 생태계가 얼마나 빠르게 커지고 있는지 보실 수 있습니다.

12 / 43

Field Ops 에이전트 아키텍처

예를 들어 현장 운영 에이전트 하나에 Entra ID, SharePoint, 티켓팅, 메일, Teams, Blob storage까지 여섯 개를 붙이는 건 간단해 보입니다. 하지만 에이전트마다, 도구마다, 권한 수준마다 곱해지면 순식간에 감당하기 어려워지죠.

13 / 43

오늘 빠져 있는 조각

정리하면 지금 부족한 건 도구를 묶는 Curation, 똑똑하게 고르는 Discovery, 안전하게 지키는 Governance입니다. 바로 그 세 가지를 Foundry의 Toolbox가 채워줍니다.

14 / 43

이제 오늘의 주인공, Foundry의 Toolbox를 살펴보겠습니다.

15 / 43

Toolbox란 무엇인가

Toolbox는 Foundry에서 관리되는 재사용 가능한 도구 묶음입니다. 도구 유형이 제각각이어도 에이전트는 하나의 일관된 인터페이스로 그 도구들을 사용할 수 있죠.

16 / 43

Build · Discover · Consume · Govern

Toolbox는 네 단계로 동작합니다. 도구를 이름 붙은 번들로 묶어 게시하는 Build, 컨텍스트 창에 전부 올리지 않고 런타임에 맞는 도구만 찾는 Discover, MCP 호환 단일 엔드포인트로 어떤 런타임에도 노출하는 Consume, 그리고 중앙에서 인증·통제하는 Govern입니다.

17 / 43

네 단계 다시 보기

다시 한번 강조하면, 큐레이션·검색·소비·거버넌스가 하나의 흐름으로 이어집니다. 필요한 도구만, 필요한 순간에, 안전하게 쓸 수 있게 하는 것이 핵심입니다.

18 / 43

Toolbox를 소비하는 곳

이렇게 만든 Toolbox는 Hosted Agents, VS Code나 CLI의 GitHub Copilot, GitHub Copilot SDK, Claude Code에서 바로 소비할 수 있고, Microsoft Copilot Studio도 곧 지원됩니다. 하나의 MCP 엔드포인트로 어떤 프레임워크든 연결되죠.

19 / 43

말로만 하면 감이 잘 안 오시죠. 실제로 어떻게 동작하는지 데모로 보여드리겠습니다.

20 / 43

Toolbox 라이브

화면에서 Toolbox를 구성하고 에이전트가 필요한 도구만 골라 쓰는 과정을 함께 보시겠습니다.

21 / 43

이제 문서 이야기로 넘어가 볼까요. 스캔된 46페이지 PDF, 표와 이미지가 섞인 문서, 긴 영상과 통화 녹음을 원본 그대로 LLM에 던지면 비용은 치솟고, 처리는 느려지고, 표는 잘못 해석되기 일쑤입니다.

22 / 43

혼돈에서 구조화된 콘텐츠로

그래서 필요한 게 하나의 파이프라인입니다. Azure Content Understanding이 어떤 유형의 콘텐츠든 파싱·추출·분류해서, 에이전트가 바로 쓸 수 있는 깔끔한 구조화 출력으로 바꿔줍니다.

23 / 43

앱·에이전트·IQ를 위한 추출 엔진

Content Understanding은 앱과 에이전트, 그리고 Work IQ·Foundry IQ·Fabric IQ 같은 IQ들을 위한 콘텐츠 추출 계층입니다. Agent Service부터 Langchain, MarkItDown까지 폭넓게 연결됩니다.

24 / 43

고객 사례 · Wolters Kluwer

Wolters Kluwer는 Content Understanding을 도입해 복잡한 비정형 데이터를 더 빠르고 정확하게 실행 가능한 인사이트로 바꿨습니다. 세무·금융 데이터를 대규모로 분류하고 추출하면서 수작업을 크게 줄였죠.

25 / 43

고객 사례 · DataSnipper

감사와 재무 분야를 바꾸고 있는 DataSnipper도 좋은 예입니다. AI Extractions로 어떤 언어의 비정형 문서에서든 데이터를 Excel에서 바로 추출해, 투명성과 통제력을 유지하면서 업무를 확장하고 있습니다.

26 / 43

Content Understanding 프레임워크

구조는 단순합니다. PDF, 영상, 오디오, 이미지 같은 입력을 Analyzer가 Parse·Classify·Extract 세 단계로 처리하고, Markdown이나 JSON 스키마의 구조화된 출력으로 내보냅니다.

27 / 43

모든 파일을 위한 하나의 파이프라인

비정형 입력을 넣으면 근거가 붙은 구조화 출력이 나옵니다. 문서는 OCR과 레이아웃으로, 영상은 프레임과 자막으로 — 모달리티마다 알맞게 처리해 신뢰도 점수와 출처 근거까지 함께 제공합니다.

28 / 43

모달리티별 처리 방식

문서·영상·오디오·이미지 각각을 어떻게 다루는지 조금 더 들어가 보면, Parse는 OCR과 레이아웃·화자 인식을, Classify는 분류와 라우팅·분할을, Extract는 사전·커스텀 스키마로 표와 복잡한 필드를 신뢰도 점수와 함께 뽑아냅니다.

29 / 43

Parse · 업계 최고 수준의 OCR

먼저 Parse입니다. 업계 최고 수준의 OCR과 레이아웃 인식으로 문서의 구조를 정확하게 읽어냅니다.

30 / 43

Parse · 새로워진 기능들

여기에 FoundryIQ를 위한 검색 인제스션, 품질이 개선된 표 추출, 새로운 파일 형식을 지원하는 그림 이해, 그리고 서명 감지를 더한 Sync API 레이아웃까지 더해졌습니다.

31 / 43

Classification · 긴 복합 문서 이해

다음은 Classification입니다. 대출 서류 묶음처럼 신청서, 검사 보고서, 고지서, 권리증서가 뒤섞여 있어도, 페이지 경계는 물론 한 페이지 안에서도 섹션을 나눠 제대로 분류하고 라우팅합니다.

32 / 43

Extract · 근거 있는 추출

Extract 단계에서는 신뢰도 점수와 함께, 표와 복잡한 필드까지 근거를 갖춘 결과로 추출합니다. 어디서 나온 값인지 확인할 수 있다는 게 중요하죠.

33 / 43

Extract · 새로운 학습 방식

새로운 학습 과정은 지식 소스를 활용하되 라벨링된 데이터를 저장하지 않고, 토큰을 30배까지 줄인 새 사전 구축 분석기와 품질 향상, 그리고 가능한 한 가장 높은 품질을 끌어내는 에이전틱 추출을 제공합니다.

34 / 43

Extract · Agentic 모드

답을 찾는 게 아니라 만들어내야 할 때가 있습니다. 개정 조항을 모두 반영하면 어떤 계약 조건이 적용되는지, A와 B를 어떻게 비교하는지 같은 질문은 반복적 추론이 필요하죠. Agentic 모드가 바로 그 고난도 지식 작업을 위한 것입니다.

35 / 43

데모 1

자, 이제 첫 번째 데모를 함께 보겠습니다.

37 / 43

데모 1 · 이어서

실제 파일이 어떻게 파싱되고 구조화되는지 화면으로 따라가 보시죠.

38 / 43

데모 1 · 진행

여기서 추출된 결과가 어떤 형태로 정리되는지 눈여겨봐 주세요.

39 / 43

데모 1 · 결과

이렇게 원본 파일이 에이전트가 바로 쓸 수 있는 깔끔한 데이터로 바뀌는 걸 확인하실 수 있습니다.

40 / 43

이제 데이터가 구조화되고 나면 에이전트가 무엇을 할 수 있는지, Agent와 Toolbox, Content Understanding을 한데 묶어 라이브로 보여드리겠습니다.

41 / 43

에이전트의 수준을 끌어올리다

정리하면 Content Understanding은 세 단계로 에이전트를 끌어올립니다. 인덱스 시점에 PDF를 정확히 파싱해 RAG 근거를 강화하는 ACT 1, 들어오는 파일을 실시간으로 파싱해 컨텍스트를 제공하는 ACT 2, 그리고 여러분만의 문서 유형까지 다루는 단계로 이어지죠.

42 / 43

언제나 함께합니다

지금 바로 시작해 보세요. Microsoft Foundry는 ai.azure.com에서, 이 세션의 코드는 aka.ms/build26-BRK242에서 받으실 수 있고, aka.ms/foundry/discord 커뮤니티에서도 뵙겠습니다.

43 / 43

행동으로 이어가세요

세션 상세 페이지에서 튜토리얼과 리소스, 코드를 확인하시고, aka.ms/build/evals 또는 QR 코드로 설문에도 참여해 주세요. 감사합니다.

에이전트를 행동으로: 도구·API·문서를 연결하다