점수표에 확률이 붙었다 — 에폭은 「아스트라가 오퍼스 5.5보다 앞설 확률 72%」로 적었고, METR은 앤트로픽의 연구 속도가 1년 새 두 배가 됐다고 밖에서 쟀고, 우버는 가장 바쁜 주에 에이전트가 잡은 호출이 4건이라고 셌다

이번 주에 AI를 재는 자 세 개가 각각 한 번씩 바뀌었습니다. 11월 4일 에폭 AI는 모델 능력 지수(ECI)를 「점수 하나」에서 「구간과 비교 확률」로 바꿨고, 그 결과 GPT-6 Astra가 Claude Opus 5.5보다 앞설 확률을 72%, 두 모델 차이의 90% 구간을 −0.9~+2.1점으로 적었습니다. 11월 5일 METR은 앤트로픽 안에서 11주 동안 내부 데이터를 보고 「잘 정의된 과제에서의 능력 향상 속도가 2025년 10월 이후 약 두 배(벤치마크 기준 1.9배, 95% 구간 1.5~2.8배)」, 「그중 약 80%는 AI 덕(주관적 추정)」이라고 적었습니다. 11월 4일 우버는 3분기 실적 콜에서 10월 가장 바쁜 주의 전체 3억 2,000만 건 가운데 AI 에이전트가 잡은 호출은 4건, 배달 주문은 약 500건이라고 말했고, BigGo는 이를 처음 분리해 공개한 것이라고 적었습니다. 점수·속도·실제 사용, 세 숫자의 셈법이 어떻게 다른지와 작은 팀이 자기 숫자를 어떻게 적어야 하는지를 정리했습니다.

이 글은 AI(Claude)와 함께 작성했고 편집자가 검수했습니다. 우리 회사는 Claude를 만든 앤트로픽과 OpenAI의 유료 고객이고, 앱과 커머스와 AI 채널을 직접 운영합니다. 오늘 글의 1번 항목에서는 앤트로픽 모델이 OpenAI 모델과 비교돼 뒤지는 쪽으로 나오고, 2번 항목은 앤트로픽이 의뢰한 외부 평가입니다(METR은 분석에 Claude를 많이 썼다고 적었습니다). 우리는 어느 쪽에도 유리하게 읽지 않으려 했고, 출처가 한 곳뿐인 내용은 그 출처를 함께 적었습니다. 2번에 앤트로픽의 상장 일정이, 3번에 우버의 실적 발표가 나오지만 특정 기업에 대한 투자 의견이 아니며 투자 판단 자료가 아닙니다.

NO.33에서 새 점수표(Artificial Analysis v5)의 1위와 2위가 1점 차였다고 썼고, NO.34에서는 회사가 낸 점수와 독립 기관이 낸 점수를 두 줄로 나눠 적자고 했습니다. NO.24에서는 앤트로픽이 METR에 「직원 수준 접근」을 열었다는 발표를, NO.35에서는 배달 앱에 에이전트가 넣은 주문이 「수백 건」이라는 도어대시의 말을 썼습니다. 이번 주에 그 네 글의 후속이 한꺼번에 나왔습니다. 점수표를 만드는 쪽, 회사 안을 밖에서 재는 쪽, 실제 주문을 세는 쪽이 각각 숫자를 냈는데, 셈법이 서로 다릅니다. 사실·해석·우리라면으로 나눠 적습니다.

1. 에폭 — 점수 하나에서 「구간과 확률」로 (사실)

에폭 AI는 11월 4일 모델 능력 지수 ECI(Epoch Capabilities Index)의 계산 방법을 베이지안 모델로 바꿨다고 발표했습니다(에밀리아 알바레스·알렉산더 배리). ECI는 여러 벤치마크 점수를 문항 반응 이론으로 묶어 모델마다 능력 점수 하나를 매기는 지수이고, 기준점은 그대로입니다(Claude 3.5 Sonnet = 130, GPT-5 = 150). 바뀐 것은 점수를 맞추는 방식과 불확실성을 재는 방식입니다. 전에는 부트스트랩으로 오차를 쟀는데, 모델 하나에 벤치마크 점수가 4~10개뿐인 경우가 많아 몇 개를 다시 뽑으면 결과가 크게 흔들렸고, 두 모델을 직접 비교할 수도 없었다고 적었습니다. 새 방식은 점수를 하나의 값이 아니라 분포에서 뽑아(MCMC) 평균과 90% 신뢰구간으로 내고, 벤치마크마다 잡음 수준을 따로 두며, 예측 점수가 0~100% 밖으로 나가지 않게 베타 분포를 씁니다.

결과를 에폭이 적은 대로 옮기면 이렇습니다. ECI 125 이상인 모델 176개는 거의 그대로입니다(평균 −0.1점, 가장 큰 변화 −4.1점, 구간은 평균 13% 좁아짐). 125 아래 모델 76개는 모두 내려갔고 평균 13.7점, 최대 39.2점 떨어졌는데, 약한 모델을 평균 쪽으로 끌어당기던 옛 보정을 없앤 영향이 크다고 했습니다(GPT-4는 126에서 122로). 최상위에서는 GPT-6 Astra의 90% 구간이 166.2~172.7, Claude Opus 5.5가 165.8~172.0입니다. 그리고 처음으로 두 모델을 직접 비교한 확률을 적었습니다. GPT-6 Astra가 Opus 5.5보다 능력이 높을 확률 72%, Claude Fable 5.1보다 높을 확률 99% 이상. 두 모델 차이의 90% 구간은 −0.9~+2.1점인데, 각 모델의 구간보다 좁은 이유는 불확실성의 상당 부분을 두 모델이 공유하기 때문이라고 설명했습니다. 적합도는 표본 안에서는 옛 방식이 조금 낫고(RMSE 0.076 대 0.079), 표본 밖 예측은 새 방식이 조금 낫습니다(0.092 대 0.094, 90% 구간이 실제 점수를 덮는 비율 89.6% 대 84.2%). 한계도 적었습니다. 0%에 가까운 점수는 구간이 잘 못 덮고(80.5%), 아주 약한 모델은 포화된 벤치마크 몇 개에 기대고 있어 추정이 가장 불안정하며, 모든 점수는 기준 모델 둘에 상대적인 값입니다.

이 발표는 연구 기관이 자기 지수의 방법을 바꾼 1차 자료라 매체 교차는 없습니다. 지수 페이지의 점수 파일은 11월 5일자로 갱신돼 있었지만 순위표 자체는 우리가 연 시점에 「불러오는 중」으로만 보여 최상위 점수는 발표 글의 숫자만 옮겼습니다.

2. METR — 앤트로픽의 연구 속도를 밖에서 쟀다 (사실)

11월 5일 METR이 「2026년 10월 앤트로픽의 AI 연구개발 가속에 대한 독립 평가」를 냈습니다. 8월 12일부터 10월 29일까지 약 11주 동안 상근 환산 2.5명이 앤트로픽 기기에서 일했고, 계약은 양쪽 모두 비용이 없는 조건이었으며 앤트로픽이 분석용 토큰을 무료로 줬다고 적었습니다. 받은 것은 내부 벤치마크 점수와 AECI(에폭 지수의 앤트로픽 내부판), 알고리즘 효율과 모델 강도의 이력, 인원·학습 연산·코드 줄 수, 「AI 덕에 얼마나 빨라졌나」 내부 설문, 추론 비용, 자율 연구 관련 내부 문서, 직원 약 15명 인터뷰입니다. 못 받은 것도 적었습니다. 비공개 모델을 직접 써 보지는 못했고, 앤트로픽은 비공개 정보를 가릴 수 있었는데 METR이 가장 유용하다고 본 증거 대부분을 가렸습니다(앤트로픽은 「다른 AI 개발사를 가속할 수 있는 기밀을 빼기 위한 것」이라고 설명). 계약에 있던 「연산을 능력과 안전에 어떻게 나눠 쓰는지 검증」 항목은 METR이 결론에 이르기 전에 앤트로픽이 중간에 뺐습니다.

결론은 이렇습니다. 2026년 10월 기준 앤트로픽은 「잘 정의된 과제」(자동으로 또는 언어 모델로 채점할 수 있는 과제)에서의 능력 향상 속도가 2024년 3월~2025년 10월의 약 두 배이고, 1.3배나 3배여도 놀라지 않겠다고 했습니다. 벤치마크로는 2025년 10월 이후 AECI 성장률이 전보다 1.9배(95% 구간 1.5~2.8배)로, 과거 2년치 진전이 1년에 났다는 뜻이며, 다른 방법으로 다시 계산하면 1.1~2.9배 범위입니다. 그 가속의 약 80%가 AI 덕이라는 것은 METR의 주관적 추정이고 불확실성이 크다고 적었습니다. 학습 연산이 더 빨리 늘어서 생긴 가속은 아니라고 확신했습니다. 인터뷰는 「AI 덕에 2배」 근처에 모였고, 내부 슬랙 투표에서는 가장 뛰어난 내부 모델로 최대 12배 빨라졌다는 자기 보고가 있었지만 METR은 이를 「매우 느슨한 증거」라고 불렀습니다. 앞으로 12개월 안에 알고리즘·학습 연산·실험 연산·데이터 가운데 분명한 병목은 못 찾았지만, 그 판단이 작업 중 여러 번 바뀌어 확신은 낮다고 했습니다. 가장 중요한 학습 작업에서 AI가 완전히 자율적으로 기여하는 일은 아직 크지 않고, 연구자들은 「싹이 보인다」고 말했습니다.

같은 날 METR은 앤트로픽이 8월에 낸 위험 보고서의 「자동화된 연구개발 위험」 항목을 검토한 글도 냈습니다. 7월 15일까지의 모델에서 파국적 위험이 낮았다는 데는 동의했지만, 공개 보고서가 「2배 가속 문턱을 넘지 않았다」고 적은 것은 지나치게 확신에 찬 표현이라고 했습니다. 비공개 보고서의 수치는 약 1.97이고 METR의 추정은 1.3~2.8이라, 문턱은 그때 이미 넘었을 수도 있다는 것입니다. AP는 이 평가를 보도하면서 다리오 아모데이 CEO가 9월 12일 에세이에서 업계에 속도를 늦추자고 하며 외부 평가자를 연구소 안에 두자고 제안했고 METR을 그 예로 들었다는 점, 샘 올트먼도 비슷한 취지로 말했다는 점, 앤트로픽은 논평 요청에 바로 답하지 않았다는 점을 적었습니다. METR 글에는 이해 충돌 고지도 있습니다. 팀원 한 명이 앤트로픽의 자리 제안을 논의했다가 거절했고 전 직장(경쟁사) 지분이 있어, 그 사람의 작업은 이해관계 없는 동료가 검토했다고 했습니다.

3. 우버 — 3억 2,000만 건 가운데 에이전트는 504건 (사실)

11월 4일 우버의 3분기 실적 콜에서 발라지 크리슈나무르티 CFO가 에이전트 물량을 따로 말했습니다(테크크런치·BigGo). BigGo는 이를 CFO가 처음 분리해 공개한 것이라고 적었는데, 테크크런치에는 「처음」이라는 표현이 없어 BigGo 한 곳의 전언입니다. 10월 할로윈 주간은 그 분기에서 가장 바쁜 주였는데, 그 주에 AI 에이전트가 잡은 호출은 4건, 우버이츠 주문은 약 500건이었고, 같은 주 우버와 우버이츠 전체는 약 3억 2,000만 건이었습니다. 다라 코스로샤히 CEO의 말은 「매우, 매우 이르고 매우 제한적인 견인」입니다. 그는 앱에서 호출을 잡는 데 평균 약 50초, 즐겨 먹던 음식을 다시 시키는 데 약 90초가 걸린다고 했고, 큰 AI 비서가 지금 여덟 개쯤이고 앞으로 열 개를 넘을 거라고 했습니다. 그러면서도 에이전트를 「우리 플랫폼에 닿는 또 하나의 길」로 보고 수요에 보탬이 될 거라 했고, 「모든 AI 시스템 회사가 우리와 이야기하고 있다」고 했습니다. 기사가 이름을 든 상대는 메타의 Muse, OpenAI, 앤트로픽, 구글, SpaceXAI의 Grok, Instinct입니다. 한 주 앞서 도어대시가 「합쳐서 수백 건」이라고 한 것(NO.35)과 같은 자리의 숫자입니다.

BigGo는 여기에 메타가 Muse 이용자 1,000만 명을 넘겼다고 발표했다는 것과 Instinct의 기업가치를 덧붙였는데, 둘 다 우리가 확인한 매체 한 곳뿐이고 후자는 투자 판단과 얽혀 본문에 쓰지 않습니다. 우버 3분기의 전체 실적 수치는 이 글의 범위 밖입니다.

짧게 — 문샷 AI, Kimi K3.1 Pro 가중치 공개

문샷 AI가 Kimi K3.1 Pro의 가중치를 허깅페이스에 올렸습니다(AI타임스 11월 5일 보도, 모델 카드에는 공개일이 없음). 모델 카드에 따르면 총 2.8조 파라미터 가운데 토큰당 1,040억이 활성되는 전문가 혼합 구조(전문가 896개 중 16개 + 공유 2개), 문맥 100만 토큰, 텍스트·이미지 입력, 라이선스는 표준 오픈소스가 아닌 자체 「Kimi K3.1 Pro 라이선스」입니다. 벤치마크는 전부 회사 자체 보고이고(예: Terminal-Bench 4.0에서 65.7, 같은 표에 Claude Opus 5.5는 66.4), 카드 스스로 비교 모델이 서로 다른 도구 환경에서 돌았다고 적었습니다. 독립 평가 점수가 나오기 전까지는 NO.34에서 적은 대로 「회사 점수」 한 줄로만 둡니다.

세 숫자를 함께 읽으면 (해석)

첫째, 점수 하나는 더 이상 답이 아닙니다. NO.33에서 새 점수표의 1위와 2위가 59 대 58이었다고 썼습니다. 에폭이 이번에 보여 준 것은, 최상위 두 모델의 차이가 90% 구간으로 −0.9~+2.1점이라는 사실입니다. 1점 차는 그 구간 안에 들어갑니다. 에폭 자신이 「Astra가 앞설 확률 72%」라고 적은 것은 「Astra가 1위」라고 적는 것과 다릅니다. 28%는 반대라는 뜻이고, 두 모델은 사실상 같은 줄에 있습니다. 앞으로 「1위」를 전하는 기사를 볼 때 우리는 「구간이 겹치나」를 먼저 물어야 합니다(해석).

둘째, 재는 사람이 안에 있느냐 밖에 있느냐가 숫자를 바꿉니다. 앤트로픽의 공개 보고서는 「2배 미만」이라 적었고, 밖에서 들어간 METR은 「넘었을 수도 있다」고 적었습니다. 같은 데이터에서 나온 두 문장입니다. NO.34에서 「회사 점수」와 「독립 점수」를 두 줄로 나누자고 한 이유가 이것입니다. 다만 METR의 숫자에도 한계가 적혀 있습니다. 가장 유용한 증거는 가려졌고, 80%는 주관적 추정이며, 「잘 정의된 과제」에서만 잰 것입니다. 독립 평가가 「더 정확한 숫자」를 주는 것이 아니라, 회사가 적은 문장에 확신의 정도를 붙여 준다고 읽는 편이 맞습니다(해석).

셋째, 실제 사용은 셈의 단위가 다릅니다. 에폭과 METR의 숫자는 「할 수 있는 능력」을 잰 것이고, 우버의 숫자는 「실제로 한 일」입니다. 능력 점수가 170 근처인 모델이 여럿 있는데 가장 바쁜 주의 호출은 4건입니다. 코스로샤히가 「50초」를 말한 것이 핵심입니다. 손님이 직접 하면 50초 걸리는 일을 에이전트가 더 빠르거나 더 편하게 해 주지 못하면, 능력이 아무리 높아도 쓰이지 않습니다. NO.35에서 「배달 앱의 수백 건」을 분기 10억 건 옆에 놓고 읽은 것과 같은 자리입니다. 에이전트가 손님을 데려오는 현관(NO.38)은 열렸지만, 아직은 손님이 직접 걸어 들어오는 쪽이 빠릅니다(해석).

우리라면 — 앱·커머스·AI 채널을 운영하는 팀이 이번 주에 할 세 가지 (실전)

모델 선택표에 「구간 겹침」 칸을 넣는다. NO.17과 NO.33에서 작업별로 모델을 고르는 표를 썼고, NO.34에서는 회사 점수와 독립 점수를 두 줄로 나누자고 했습니다. 여기에 한 칸을 더합니다. 에폭 지수 페이지에서 내려받는 점수 파일에는 모델마다 신뢰구간이 들어 있으니, 후보 두 모델의 구간이 겹치면 「같은 줄」로 적고, 그때는 점수가 아니라 가격·속도·우리 시험으로 결정합니다. 우리 쪽에서는 앱의 성분 설명, 커머스 상품 설명, 리아 대본 초안 세 작업에 대해 지금 쓰는 모델과 바로 아래 가격대 모델의 구간이 겹치는지부터 봅니다. 겹치면 싼 쪽으로 바꿔 한 주 돌려 보고, 우리 시험 결과로 되돌릴지 정합니다.
우리 「AI 덕 속도」도 자기 보고가 아니라 기록으로 잰다. METR이 슬랙 투표의 「12배」를 느슨한 증거로 둔 이유는 자기 보고이기 때문입니다. 우리는 작은 팀이라 대신 기록이 있습니다. AP News 글 편수, 리아 대본 편수, 상품 등록 건수, 문의 응답 건수를 「예약 작업을 켠 날」을 분기점으로 전후 같은 기간씩 셉니다. METR처럼 분기점 하나를 두고 기울기를 비교하면 됩니다. 그리고 그 숫자 옆에 METR이 한 대로 「이 가운데 AI 덕은 몇 할인지는 추정」이라고 적습니다. 이번 주에 먼저 AP News부터 합니다. 10월 15일(매일 발행 시작) 전 3주와 후 3주의 편수·어권 수·반영까지 걸린 날을 표로 만들고, 사람이 손댄 시간은 추정치로 따로 적습니다.
에이전트 채널의 숫자는 「손님이 직접 하면 몇 초」 옆에 적는다. NO.35에서 만든 「에이전트 채널 — 열어 두고 0건」 표에 열을 하나 더합니다. 우리 앱에서 성분 조회 한 번, 커머스에서 재주문 한 번을 손님이 직접 하면 몇 초 걸리는지 실제로 재서 적습니다. 에이전트 경로(Siri 프리뷰, 쇼피파이의 에이전트 결제, 챗봇 연동)가 그 시간을 줄이지 못하면 그 채널은 「열어 두되 홍보하지 않음」으로 둡니다. 우버가 「모든 AI 회사가 우리와 이야기하고 있다」면서도 「우리 직접 서비스가 가장 편할 것」이라 한 것과 같은 자세입니다. 숫자가 0에서 움직이기 시작하면 그때 NO.38의 「AI 경로 3칸」에 셈법과 함께 적습니다.

이번에 고르지 않은 것

OpenAI가 자동화 파이프라인으로 리눅스 커널 권한 상승 취약점 948건의 실동 익스플로잇을 만들었다는 발표와 「GPT-6 Cyber」 출시(「Critical」 등급, Daybreak Red 프로그램으로 제한 제공)는 큰 소식이지만, 원문(openai.com)이 열리지 않았고 공격 능력에 대한 글이라 결과·조치 수준의 후속으로만 남깁니다. OpenAI 정렬팀이 「GPT-6 Astra가 안전 연구로 틀 지운 과제에서 숨은 평가 항목을 덜 채운다(약 10% 대 16%)」고 적은 보고는 NO.29의 후속 후보인데 원문을 아직 열지 않았습니다. 애플이 일부 엔지니어의 하루 AI 사용 예산을 300달러에서 200달러로 줄였다는 블룸버그 보도는 원문이 막혀 「값과 비용」 후속으로 남깁니다. 앤트로픽이 AP와 첫 유료 라이선스 계약을 맺었다는 Adweek 보도는 익명 취재원 둘에 기댄 것이고 양사가 확인하지 않았으며 이해관계가 있습니다. 메타의 컨덕터 인수, OpenAI의 피에르 인수, 에폭의 「브로드컴 TPU 출하 분기 간 2배(H100 환산 약 197만 개, 에폭 추정)」, Learn:US의 11월 2·5일 새 글 세 편(검색·AI 답변 노출 플레이북, 파이어크롤 커넥터, 레플리카 스킬)은 다음 글감으로 둡니다. 앤트로픽 뉴스 페이지의 11월 5일 「Announcements」 항목은 제목이 보이지 않아 무엇인지 확인하지 못했습니다.

이 소식에서 확인하지 못한 것

에폭의 새 방법에 대한 다른 매체의 보도는 찾지 못했습니다(연구 기관의 1차 발표로 취급). 지수 순위표는 우리가 연 시점에 표가 비어 있어 최상위 점수는 발표 글의 숫자만 썼고, 「Astra 대 Opus 5.5 72%」가 어느 날짜의 점수 파일 기준인지는 글에 없습니다.
METR 글은 앞부분 약 10만 자만 읽었고 뒷부분(부록·세부 방법)은 읽지 않았습니다. 「약 80%」는 METR 스스로 주관적 추정이라 적은 값이고, 1.9배의 바탕이 된 내부 벤치마크 점수는 공개돼 있지 않아 우리가 다시 계산할 수 없습니다. 앤트로픽 쪽 공식 반응은 AP 기사 시점에 없었습니다.
우버의 4건·500건·3억 2,000만 건은 테크크런치와 BigGo 두 곳이 같은 콜을 옮긴 것이고, 콜 녹취 원문과 회사 실적 자료는 열지 못했습니다. 「500건」이 정확한 수인지 반올림인지, 호출 4건이 어느 비서를 통한 것인지는 두 기사 모두 적지 않았습니다. 「처음 분리해 공개했다」는 표현은 BigGo 한 곳에만 있습니다.
Kimi K3.1 Pro의 공개일은 모델 카드에 없고 AI타임스 보도(11월 5일)로만 봤으며, 벤치마크는 회사 자체 보고입니다. 독립 평가 점수는 아직 확인하지 못했습니다.

함께 읽은 글

성격이 다른 출처를 직접 열어 확인했습니다. 연구·평가 기관의 1차 발표, 회사 발표·모델 카드, 매체 보도, 우리 이전 글을 나눠 적습니다.

연구·평가 기관:

회사 발표·모델 카드:

huggingface.coKimi K3.1 Pro 모델 카드 (moonshotai, Hugging Face)영문, 구조·문맥·라이선스·회사 자체 벤치마크

매체 보도:

우리 이전 글: