오늘은 에이전트에 기업 지식을 연결하는 Foundry IQ, 그리고 에이전틱 검색에 대해 이야기해 보겠습니다. AI Knowledge 팀의 Pablo Castro입니다.
Foundry IQ가 주는 가치
핵심은 세 가지입니다. 데이터가 어디에 있든 에이전트를 여러분의 데이터에 그라운딩하고, 몇 분 만에 빠르게 시작하고, 필요할 때 유연하게 쓸 수 있죠. 그러면서도 AI 품질, 확장성, 보안을 처음부터 끝까지 챙깁니다.
에이전트를 위한 검색 스택
Foundry IQ는 에이전트를 위한 종합 검색 스택입니다. 위로는 Foundry 경험과 API, 가운데는 Knowledge Bases와 에이전틱 검색, 그 아래에는 하이브리드 검색과 SOTA 리랭킹 같은 코어 검색이 층층이 쌓여 있습니다.
Knowledge Base 사용 흐름
실제로 쓰는 흐름은 아주 단순합니다. Foundry IQ를 프로비저닝하고, Knowledge Base를 만들고, Knowledge Source를 붙인 다음, 검색해서 가져오면 됩니다.
더 쉬워진 프로비저닝
프로비저닝 과정을 훨씬 더 간단하게 만들었습니다. 복잡한 설정 없이 바로 시작할 수 있도록 진입 장벽을 낮췄죠.
Serverless
그 중심에 Serverless가 있습니다. 선불 비용이나 약정 없이 0으로 스케일 다운되고, 필요하면 하나든 수천 개든 빠르게 프로비저닝할 수 있습니다. 즉시 RAG를, 그것도 최고 수준의 품질로 제공하죠.
Serverless와 Dedicated 티어
티어는 두 가지입니다. Serverless는 사용량 기반에 scale to zero라 작고 중간 크기의 인덱스가 많거나 에이전트가 인덱스를 직접 만드는 동적인 시나리오에 잘 맞고, Dedicated는 고정·예측 가능한 가격에 완전 격리와 컨피덴셜 컴퓨팅 옵션까지 제공해 큰 워크로드에 적합합니다.
이제 지식을 어떻게 담는지, Knowledge Base와 Knowledge Source를 살펴보겠습니다.
Knowledge Base란
Knowledge Base는 하나의 지식 도메인으로 들어가는 진입점입니다. 검색 강도, 스티어링 지시, 합성 옵션 같은 정책과 소스를 여기서 정의하고, 그 아래에 하나 이상의 Knowledge Source를 연결합니다.
데이터는 어디에 있나요
그라운딩할 데이터는 어디에나 있을 수 있습니다. 파일을 바로 푸시할 수도 있고, OneLake, Azure Blob Storage, SharePoint, Azure SQL DB 같은 오브젝트·파일 스토어, Work IQ·Fabric IQ·Web IQ 같은 Microsoft IQ, 그리고 MCP를 통해 어떤 앱이든 연결할 수 있습니다.
파일을 바로 인덱싱
가장 간단한 경우, 파일을 어딘가에 먼저 올릴 필요 없이 바로 푸시하면 됩니다. File Knowledge Source가 콘텐츠 추출, 이미지 버벌라이제이션, 청킹, 벡터화까지 전체 인제스천 파이프라인을 알아서 돌려 줍니다.
오브젝트·파일 스토어 인제스천
스토어에 있는 데이터는 종합 인제스천 파이프라인을 통해 바로 RAG에 쓸 수 있는 형태로 들어옵니다. Azure Content Understanding 통합으로 OCR, PDF 파싱, 테이블, 레이아웃 품질이 뛰어나고, 이미지 추출과 임베딩 같은 멀티미디어도 지원합니다.
Azure Content Understanding
이 표준 추출 모드를 떠받치는 게 Azure Content Understanding입니다. 고품질 OCR, 레이아웃과 테이블 처리, PDF의 마크다운 생성은 물론 필드 추출과 멀티미디어까지 처리하죠. Foundry에서 바로 써 보실 수 있습니다.
Microsoft IQ 플랫폼
이 모든 걸 아우르는 게 Microsoft IQ 플랫폼입니다. 기업 AI를 위한 통합 인텔리전스 계층이라고 보시면 됩니다.
MCP 서버를 지식 소스로
확장성 측면에서 MCP 서버를 지식 소스로 쓸 수 있습니다. 서드파티 소스를 가져오거나 여러분의 앱을 감싸서 붙일 수 있고, 응답을 아이템 리스트로 바꾼 뒤 선택적으로 L2 리랭킹까지 걸어 품질을 끌어올립니다. 어떤 툴을 노출할지, 인증은 어떻게 할지만 챙기면 됩니다.
엔터프라이즈급 보안
보안은 타협하지 않습니다. Entra 기반 사용자 아이덴티티를 전파해 인덱스 안에서 문서 단위 접근 제어를 하고, SharePoint 같은 원격 소스에도 사용자 신원을 그대로 넘깁니다. 여기에 Microsoft Purview와 통합해 민감도 레이블을 인덱싱하고 정책까지 강제할 수 있습니다.
이제 실제로 어떻게 검색이 일어나는지, 리트리벌을 살펴보겠습니다.
에이전틱 검색 파이프라인
에이전틱 검색은 단순 한 방 검색이 아닙니다. LLM이 스티어링 지시를 받아 어떤 지식 소스를 뒤질지 계획하고, 반영하고, 필요하면 반복하는 루프를 돕니다. 검색 인덱스, Blob, MCP, Web 등 여러 소스에서 하이브리드·페더레이션 검색과 랭킹을 거쳐 결과를 병합하고 답을 만들어 냅니다.
2세대 에이전틱 검색
이 파이프라인은 2세대로 진화하고 있습니다. 동적인 에이전틱 검색 루프, 향상된 시맨틱 랭커, 개선된 답변 합성, 그리고 모델 변형에 대한 적응까지 더해집니다. 자세한 평가는 링크에서 확인하실 수 있습니다.
토큰 효율
까다로운 케이스일수록 Knowledge Base가 토큰 측면에서 효율적입니다. 토큰을 덜 쓰면서 오히려 recall이 올라가고, 토큰 캐싱을 고려한 검색 워크플로로 비용과 지연에서도 이득을 얻습니다.
검색 스택 다시 보기
다시 정리하면, Foundry IQ는 Azure AI Search 위에 세워진 종합 검색 스택입니다. Foundry 경험과 API부터 Knowledge Bases, 에이전틱 검색, 하이브리드 검색과 SOTA 리랭킹, 엔터프라이즈 보안까지 한 흐름으로 이어집니다.
함께 시작하기
저희가 처음부터 끝까지 함께하겠습니다. ai.azure.com에서 Microsoft Foundry로 바로 빌드를 시작하고, 이 세션의 코드는 aka.ms/build26-brk246에서, 커뮤니티는 Discord에서 만나실 수 있습니다.
Foundry 세션 가이드
Foundry를 더 깊이 파고 싶다면 관련 세션들이 준비돼 있습니다. 모델과 비용 진화, 오픈소스 에이전트 거버넌스, 프로토타입에서 프로덕션까지, 관측성에서 ROI까지 주제별로 이어서 들어 보시길 권합니다.
Agents League 해커톤
직접 만들어 보고 싶다면 Agents League 해커톤에 참여해 보세요. 5월 19일부터 6월 14일까지, 프로젝트를 제출하고 상을 놓고 겨룰 수 있습니다. aka.ms/agentsleague/aisf에서 등록하시면 됩니다.
세션 설문과 리소스
세션 상세 페이지에서 튜토리얼과 리소스, 코드로 바로 이어서 행동해 보세요. aka.ms/build/evals를 방문하거나 QR 코드를 스캔해 설문에 응답해 주시면 큰 도움이 됩니다.
마무리
감사합니다.