안녕하세요, 저는 Josh Spicer, 그리고 Pierce Boggan입니다. 오늘은 저희가 VS Code를 매주 배포하면서, 그것도 모든 걸 망가뜨리지 않고 해내면서 배운 것들을 솔직하게 나눠보려고 합니다.
AI는 도전 과제까지 가속했다
저희 팀은 에이전트를 직접 만들고, 또 매일의 업무에 그 에이전트를 적극적으로 씁니다. AI 덕분에 코드를 더 빨리 짜게 된 것뿐 아니라 팀 전체의 처리량 자체가 올라갔죠. 그런데 속도가 붙은 만큼 트리아지, 품질, 릴리스에 걸리는 운영 부담도 함께 커졌습니다.
실행 속도가 월 단위 계획을 앞질렀다
커밋 수는 눈에 보이는 하나의 신호일 뿐입니다. 그 뒤에는 훨씬 더 큰 전달 처리량의 증가가 숨어 있었어요. 결국 실행 속도가 저희의 월 단위 계획 주기를 완전히 앞질러 버렸습니다.
처리량이 늘자 운영 부담도 커졌다
더 많이, 더 빨리 배포할수록 들어오는 부하도 그만큼 커졌습니다. 이슈도 많아지고, PR도 늘고, 지켜봐야 할 신호도 많아졌죠. 열린 이슈와 열린 PR이 계속 쌓여가는 상황이었습니다.
최근 배포한 기능들
접근성 개선부터 에이전트 디버그 패널, 에이전트 플러그인, Autopilot, BYOK, Claude 호환, 코드베이스 검색, 클라우드 에이전트, 서브에이전트까지. 이렇게 짧은 사이에 정말 많은 기능을 쏟아냈습니다. 속도가 어느 정도였는지 감이 오시죠?
품질 기준을 지키기 위한 변화
저희는 그 어느 때보다 빠르게 움직이고 있습니다. 그래서 높은 품질과 성능 기준을 계속 지키려면, VS Code 팀이 일하는 방식 자체를 진화시킬 수밖에 없었습니다.
무엇을 할지 고르는 게 더 어려워졌다
무엇이든 만들 수 있게 되니까, 오히려 올바른 것을 고르는 일이 더 어려워졌습니다. 예전엔 긴 계획 주기와 월 단위 리듬으로 움직였다면, 지금은 필요할 때 빠르게 만들었다가 끝나면 해체하는 임시 워크스트림, 워크스트림마다 DRI가 책임지는 주간 목표, 매일의 스탠드업으로 굴러갑니다. AI 역량이 커질수록 사람 사이의 조율은 줄어드는 게 아니라 오히려 더 필요해졌어요.
따라잡기 위한 AI 트리아지
커밋이 늘면 사용자 이슈는 기하급수적으로 늘어납니다. 사람이 전통적인 방식으로 감당할 수 있는 양이 아니죠. 그래서 저희는 계층형 AI 파이프라인을 만들었습니다. 이슈가 들어오면 스팸과 중복을 걸러내고, 번역이나 정보 보강을 거친 뒤, git 히스토리를 분석해 담당자까지 자동으로 배정합니다.
주간 배포를 위한 빠른 릴리스 신호
매주 배포하려면 회귀를 빠르게 잡아내야 합니다. 그래서 릴리스 직후 사용자 이슈, 사용 텔레메트리, 에러 텔레메트리를 실시간으로 지켜봅니다. 하루 수백억 건의 원시 이벤트에서 시작해 필터링과 중복 제거를 거치면, 결국 하루 열 건 남짓의 진짜 중요한 이슈만 남습니다. 이 전체 파이프라인은 Copilot SDK와 vscode-errors MCP 서버가 뒷받침하고 있습니다.
자, 이제 실제로 어떻게 돌아가는지 보여드리겠습니다. 이슈가 들어오는 단계, PR 파이프라인, 그리고 관측 가능성까지 하나의 흐름으로 이어서 살펴보시죠.
이너 루프 도구들
개발자의 이너 루프를 빠르게 만들어 주는 도구들도 직접 만들었습니다. 컴포넌트 브라우저, 캐시 탐색기, 브라우저 검증 시나리오, 에이전트 디버그 로그, 회귀 탐지, 그리고 빌드 파이프라인 분석까지. 매일 쓰는 작업을 확 줄여주는 것들이죠.
VSC-Bench, VS Code 안의 에이전트 평가
공개 벤치마크는 모델의 순위를 알려줍니다. 하지만 VSC-Bench는 그 모델이 VS Code에 정말 쓸 준비가 됐는지를 알려줍니다. 확장, MCP, 터미널, 브라우저, 멀티턴 같은 실제 VS Code 작업으로 정확도와 토큰 비용, 지연 시간을 측정하고, 모델과 하네스 변경이 배포되기 전에 게이트 역할을 합니다.
이번 주에 바로 시도해 볼 것들
오늘 이야기를 여러분의 팀에도 적용해 보세요. 첫 초안은 AI에게 맡기고 판단은 사람이 하기, 작은 팀이라도 주간 배포 리듬 세우기, 그리고 정렬을 부수적인 일이 아니라 하나의 기능처럼 다루기. VS Code Team Kit은 aka.ms/VSCode/TeamKit에서 확인하실 수 있습니다.
추천 세션
이 주제를 더 깊이 파고들고 싶으시다면 함께 보면 좋은 세션들을 추천드립니다. 프로덕션까지의 간극을 다루는 BRK200, MCP를 제대로 활용하는 LTG403, Copilot을 내 방식대로 쓰는 LAB502, 그리고 컨텍스트 문제를 다루는 LTG402까지 챙겨 보세요.
세션 상세와 설문
세션 상세 페이지에서 튜토리얼과 리소스, 코드까지 바로 이어서 활용해 보실 수 있습니다. aka.ms/build/evals에 방문하시거나 QR 코드를 스캔해 설문을 남겨 주세요. 감사합니다.