안녕하세요, 오늘은 Azure를 밑바닥에서 떠받치는 최신 혁신들을 함께 살펴보겠습니다. 인프라부터 실리콘, 보안, 그리고 미래 기술까지 폭넓게 다뤄보죠.
먼저 오늘 여정을 크게 다섯 갈래로 잡았습니다. Infrastructure, Core, AI, Security, 그리고 Future — 이 순서대로 하나씩 풀어가겠습니다.
그럼 첫 번째, 인프라부터 들어가 보겠습니다.
Fairwater 데이터센터
이건 저희 Fairwater 데이터센터인데요, AI 시대에 맞춰 전력과 냉각까지 완전히 새로 설계한 시설입니다.
데이터센터 영상
짧은 영상으로 저희 데이터센터가 어떤 규모로 돌아가는지 직접 보시죠.
오프로드로 가속하는 인프라
전통적인 서버는 네트워크와 스토리지 I/O를 전부 호스트 OS가 처리했는데요, 저희는 이걸 전용 오프로드 카드로 넘겨서 고객 워크로드가 CPU를 온전히 쓰게 만들었습니다.
Azure Boost
그 핵심이 바로 Azure Boost입니다.
Azure Boost의 성과
Build '25 대비 스토리지 처리량은 1.4배, 네트워크는 2배로 뛰었고, 이제 신규 SKU는 100% Azure Boost가 기본 탑재됩니다. 성능뿐 아니라 보안과 무중단 유지보수까지 한 번에 챙겼죠.
Bare Metal GPU 인스턴스
Azure Boost 덕분에 하이퍼바이저 없이도 물리 서버를 그대로 고객에게 드리는 Bare Metal GPU 인스턴스가 가능해집니다.
데모: Bare Metal GPU
말보다 직접 보는 게 빠르겠죠, 데모로 확인해 보겠습니다.
Bare Metal GPU 데모
Bare Metal GPU 인스턴스가 실제로 어떻게 동작하는지 영상으로 보시죠.
Multipath Reliable Connection
네트워크도 새로 짰습니다. Multipath Reliable Connection은 부하를 고르게 나누고 장애에서 예측 가능하게 복구되며, 기존 2·3 계층 구조보다 전력도 덜 씁니다. 오픈소스 커뮤니티에도 공개했고요.
데모: MRC
이것도 데모로 직접 보겠습니다.
장애를 일상으로 다루기
핵심은 장애를 예외가 아니라 일상적인 운영 조건으로 다룬다는 겁니다. 실제로 어떻게 견뎌내는지 보시죠.
Azure Boost RDMA
그리고 Azure Boost에 RDMA를 얹으면 TCP/IP 스택을 건너뛰고 애플리케이션이 초저지연으로 직접 통신할 수 있습니다.
RDMA로 가속하는 추론
특히 prefill과 decode를 나눠 돌리는 추론 워크로드에서 이 RDMA 경로가 큰 힘을 발휘합니다.
데모: RDMA
바로 데모로 이어가 보겠습니다.
Azure Boost RDMA 데모
Azure Boost RDMA가 만들어내는 성능 차이를 영상으로 확인해 보세요.
인프라는 여기까지 하고, 이제 Core 영역으로 넘어가겠습니다.
컨테이너 격리의 진화
컨테이너 격리 방식을 보면, 프로세스 격리에서 하이퍼바이저 격리를 거쳐 이제는 Direct Virtualization까지 왔습니다.
ACI는 이미 곳곳에서
Azure Container Instances는 이미 Copilot, Python in Excel, GitHub Actions 등 저희 주요 서비스 곳곳에서 조용히 돌아가고 있습니다.
Direct Virtualization
Direct Virtualization은 중첩 하이퍼바이저 계층을 걷어내서 오버헤드를 확 줄인 구조입니다.
Direct Virtualization 위의 ACI
이 구조 위에 ACI를 올리면 컨테이너 파드가 훨씬 가볍고 빠르게 뜹니다.
컨테이너 Live Migration
게다가 문제가 생긴 VM에서 정상 VM으로 컨테이너를 살아있는 채로 옮기는 Live Migration까지 지원합니다.
데모: Live Migration
이 라이브 마이그레이션, 데모로 보시죠.
Live Migration 데모
컨테이너가 중단 없이 다른 VM으로 옮겨가는 모습을 직접 보시죠.
이제 가장 뜨거운 주제, AI로 넘어가겠습니다.
Manifold
Manifold는 CPU, GPU, FPGA, ASIC 같은 다양한 가속기를 하나로 추상화해서, 활용률을 끌어올리고 안정적이고 탄력적인 AI 인프라를 제공하는 계층입니다.
Model as a Service를 위한 Manifold
이 Manifold를 Direct Virtualization 위에 올리면 Model as a Service를 훨씬 효율적으로 서빙할 수 있습니다.
데모: Manifold
바로 데모로 확인해 보겠습니다.
Manifold 데모
Manifold가 실제로 어떻게 돌아가는지 영상으로 보시죠.
AI 코드 리뷰어의 요청 구조
AI 코드 리뷰어를 보면 시스템 프롬프트 같은 안정적인 앞부분은 그대로인데 대화 히스토리는 매 턴 늘어납니다. 딱 프롬프트 캐싱에 이상적인 형태죠.
Azure Context Cache
그래서 나온 게 Azure Context Cache입니다. 반복되는 컨텍스트를 엔터프라이즈 보안 계층 안에서 캐싱해 비용과 지연을 확 줄여줍니다.
데모: Context Cache
바로 데모로 보겠습니다.
Azure Context Cache 데모
Azure Context Cache가 실제로 얼마나 효과가 있는지 확인해 보시죠.
ACI 서버리스 AI 샌드박스
그리고 VM과 컨테이너를 하나의 컨트롤 플레인으로 묶어, 서버리스 AI 샌드박스를 On-Demand로 띄우는 구조도 마련했습니다.
데모: 서버리스 AI 샌드박스
데모로 이어가 보겠습니다.
서버리스 샌드박스 데모
서버리스 AI 샌드박스가 즉시 뜨는 모습을 직접 보시죠.
다음은 보안입니다.
Confidential Computing
Confidential Computing의 핵심은 사용 중인 데이터까지 지키는 겁니다. 하드웨어 기반 신뢰 실행 환경, 즉 TEE 안에서 코드와 데이터를 암호화된 채로 처리하죠.
폭넓은 제품 포트폴리오
이 기술은 이미 폭넓은 포트폴리오로 제공되고 있습니다. 인프라의 CVM부터 컨테이너, 그리고 다양한 매니지드 서비스까지 두루 아우릅니다.
Confidential Live Migration
Confidential VM도 기밀성을 유지한 채로 패치되지 않은 노드에서 패치된 노드로 안전하게 옮길 수 있습니다.
데모: Confidential Live Migration
데모로 보겠습니다.
Confidential Live Migration 데모
기밀성을 지키면서 마이그레이션되는 과정을 확인해 보시죠.
Azure Integrated HSM
Azure Integrated HSM은 키를 VM 메모리에 절대 노출하지 않고 하드웨어 경계 안에 가둡니다. FIPS 140-3 Level 3를 만족하면서도 표준 NCrypt와 OpenSSL API로 그대로 쓸 수 있고요.
데모: Azure Integrated HSM
이것도 데모로 보시죠.
Azure Integrated HSM 데모
Azure Integrated HSM이 어떻게 동작하는지 영상으로 확인해 보세요.
마지막으로, 미래를 이야기해 보겠습니다.
좁고 빠른 구조의 한계
지금의 네트워크는 소수의 채널을 아주 빠르게 밀어붙이는 방식인데요, 속도가 올라갈수록 손실도 커지고 전력을 잡아먹는 레이저와 복잡한 전자 회로가 필요해집니다.
Project Mosaic
Project Mosaic은 발상을 뒤집었습니다. 느리지만 수천 개의 채널을 넓게 쓰는 방식으로, microLED 배열과 이미징 파이버를 통해 파이버 하나에 수천 개의 코어를 실어 나릅니다.
데모: Project Mosaic
이 놀라운 기술, 데모로 직접 보시죠.
Project Mosaic 데모
Project Mosaic이 빛으로 데이터를 실어 나르는 모습을 직접 보시죠.
더 깊이 파보기
오늘 다룬 내용은 세션 상세 페이지에서 튜토리얼과 리소스, 코드로 더 깊게 보실 수 있습니다. aka.ms/build/evals에서 세션 설문도 꼭 부탁드립니다.
마무리
끝까지 함께해 주셔서 감사합니다.