← AP News 목록
NO. 48 · 인사이트

모델을 바꾸는 데 몇 주가 걸린다 — 바꿔 본 회사 열에 일곱은 「몇 주 이상」이라 답했고, 램프는 「9월에 기업 8%가 공급사를 바꿨다」고 셌고, 페이팔은 모델을 그대로 두고 정답률을 43%에서 95%로 올렸다

11월 12일 VentureBeat Intelligence가 낸 10월 조사에서, 지난 1년 안에 운영 중인 앱의 AI 모델을 바꿨다고 답한 회사는 47%였고, 바꿔 본 사람 가운데 69%는 모델 이름을 바꾸는 것 말고도 「몇 주 이상」의 엔지니어링이 들었다고 했습니다(교체 경험자는 45명이라 작은 표본입니다). 바꾼 뒤 성능이 떨어져 앱을 손봤거나 원래 모델로 되돌린 비율은 44%였습니다. 램프는 10월 6일 「AI 모델 공급사를 바꾼 기업이 9월에 8%로 최고」라고 적었고, 페이팔은 모델은 그대로 두고 업무 정의·질의 규칙·분석 절차를 모델 바깥에 두어 내부 비서의 정답률을 43%에서 95%로 올렸다고 행사에서 말했습니다(VentureBeat 한 곳). 같은 주 앤트로픽은 「깊이 생각해」 같은 옛 프롬프트 습관이 Opus 5.5를 느리게 만든다는 글을 냈습니다 — 글을 쓴 AI의 제조사 글이라 평가는 보태지 않습니다. 셋을 「모델에 묶인 것과 모델 바깥에 둔 것」으로 묶고, 끝에 「짧게」 둘로 MathArena의 새 순위(1위와 3위의 점수 차 4.8점, 비용 차 15배)와 이베이 약관의 「사람 검토 없는 자동 주문 금지」 문구를 적었습니다.

이 글은 AI(Claude)와 함께 작성했고 편집자가 검수했습니다. 우리 회사는 앤트로픽과 OpenAI 두 회사의 유료 고객이고 구글 모델도 시험에 씁니다. 3번은 글을 쓴 AI의 제조사(앤트로픽)가 자기 모델에 대해 쓴 글이고, 2번 램프 글에는 앤트로픽의 점유가 늘었다는 문장이, 「짧게」의 순위표에는 앤트로픽 모델이 2위로 들어 있으며, 페이팔 사례 페이지의 비서는 Claude를 앞단으로 씁니다. 그래서 어느 쪽에도 평가를 보태지 않고 숫자와 문장만 옮겼습니다. 회사가 발표한 수치는 「회사가 발표한 것」으로 표시했고, 출처가 한 곳뿐인 내용은 그 출처를 함께 적었습니다. 이 글은 특정 기업에 대한 투자 의견이 아닙니다.

NO.04에서 「모델이 매주 바뀔 때 작은 팀이 일하는 다섯 가지 기준」을 적었고, NO.46에서는 「매일 쓰는 모델」 칸이 이틀 만에 바뀌는 속도를 적었습니다. 이번 주 나온 숫자는 그 반대쪽입니다 — 모델이 바뀌는 속도가 아니라, 우리가 모델을 바꾸는 데 드는 값입니다. 조사 하나, 결제 데이터 하나, 회사 사례 하나, 그리고 모델 제조사가 「이 습관을 버려라」고 쓴 글 하나를 「모델에 묶인 것 / 모델 바깥에 둔 것」으로 나눠 읽습니다. 사실·해석·우리라면으로 나눠 적습니다.

1. VB Pulse — 운영 모델을 바꾼 회사 47%, 바꿔 본 사람의 69%는 「몇 주 이상」 (사실)

VentureBeat의 조사 조직 VentureBeat Intelligence가 11월 12일 기사와 보고서 페이지로 10월 조사(「VB Pulse — 에이전트 오케스트레이션」)를 냈습니다. 표본은 작습니다. 응답 106명 가운데 자격 통과 100명(직원 100명 이상 조직에서 AI 일을 하는 사람 72%, 그런 조직을 상대하는 컨설턴트 28%; 88%는 조사 패널 경로), 조직 규모는 1만 명 초과 31%·100~250명 23%, 한 조직에서 여럿이 답한 경우가 18곳이고, 보고서 스스로 「자기 선택 표본이라 모든 기업으로 일반화하기 어렵다」고 적었습니다.

숫자는 이렇습니다. 지난 12개월 안에 운영 중인 AI 시스템의 모델을 바꾸되 앱은 그대로 둔 회사가 47%. 바꿔 본 응답자 45명 가운데 모델 이름을 바꾸는 것 말고 든 엔지니어링은 — 「거의 없음, 설정 변경 수준」 13%, 「며칠」 9%, 「몇 주」 33%, 「한 달 이상」 36%, 「모름」 9%. 몇 주 이상을 합치면 69%입니다(기사 본문은 70%로 반올림했고, 보고서는 69%입니다 — 이 글은 보고서 숫자를 씁니다). 결과는 「새 모델이 같거나 더 나았다」 56%, 「성능이 떨어져 앱을 손봤다」 33%, 「원래 모델로 되돌렸다」 11% — 손봤거나 되돌린 비율 44%(기사는 45%). 9월 조사와 비교하면 「한 달 이상」이 12%에서 36%로 늘었는데, 기사는 응답자 구성이 달라 방향만 읽으라고 했고, 44%는 9월(58%)과의 차이가 통계적으로 유의하지 않다고 적었습니다.

조사는 「왜 바꿨는지」「무엇을 고쳤는지」를 묻지 않았습니다. 기사가 든 예는 넷입니다. ①프롬프트·도구·테스트가 한 모델에 맞춰져 있어 다시 손봐야 한다는 것(어떤 도구를 부를 수 있는지를 정하는 「하네스」까지 포함). ②평가 세트는 실제 요청으로 만들어야 하는데 그 데이터를 모으는 일이 가장 어렵다는 것(박스의 벤 커스). ③파인튜닝은 다음 모델로 넘어가지 않는다는 것 — 페이팔의 렌 장은 「새 모델이 나오면 그 모델로 다시 파인튜닝해야 한다」고 말했습니다. ④같은 모델도 하네스가 다르면 결과가 크게 다르다는 것 — 기사가 든 한 벤치마크에서 Kimi K3의 「통과한 과제당 중앙값 비용」이 한 코딩 하네스에서는 18.34달러, 다른 하네스에서는 3.28달러였고 통과율은 63.3%로 같았다고 합니다(기사 한 곳의 예). JP모건은 새 Claude 모델이 나올 때마다 직원이 쓰기 전에 내부 승인을 통과시킨다고 적혀 있고, 업워크의 수단슈 비스트는 운영 시스템이라면 「아마 기존 모델을 그대로 쓸 것」이라고 말했습니다. 바꾸기 쉽게 하는 쪽으로는 게이트웨이·라우터(한 줄로 바꾸되 앱은 따로 점검), 업무 지식을 모델 바깥에 두는 것(2번 페이팔), 실제로 돌릴 하네스에서 시험하는 것, 「좋은 결과 하나당 비용」으로 재는 것, T모바일처럼 옛 판과 새 판을 실제 통화에 나란히 돌려 나은 쪽만 늘리는 것이 적혀 있습니다.

2. 램프 「9월에 8%가 공급사를 바꿨다」, 페이팔 「모델은 그대로, 43%→95%」, 우버 「정리 1건당 비용 90%↓」 (사실)

램프(미국 법인카드·지출 관리 회사)의 데이터 조직은 10월 6일 「기업들이 AI 모델 공급사를 더 자주 바꾼다」는 글을 냈습니다(글쓴이 라이언 스티븐스, 응용과학 디렉터). AI 모델 공급사를 바꾼 기업의 비율이 9월에 8%로 기록상 최고였고, 이 수치는 3개월 평균의 월 비율입니다. 글이 적은 흐름은 둘 — 2025년 5월 앤트로픽이 Opus 4·Sonnet 4 출시 뒤 점유를 크게 늘렸고 그 뒤 1년 동안 교체는 줄었다는 것, 2026년 6월 OpenAI의 값 인하와 새 모델 출시가 그 균형을 깼다는 것입니다. 6월 이후 두 회사의 모델 출시 발표는 9건 이상이라고 적었습니다. 글쓴이는 「모델이 상품(commodity)이 되고 있다는 초기 신호일 수 있다」고 가능성으로 적었습니다. 이 글에는 표본 크기·「바꿨다」의 판정 기준·표본 구성이 적혀 있지 않습니다(램프의 11월판 AI 지수는 「고객이 테크·금융 쪽으로 기울어 있다」고 스스로 적었습니다 — NO.47). 앤트로픽의 점유가 늘었다는 문장은 램프가 쓴 것을 그대로 옮긴 것이고, 우리는 평가를 보태지 않습니다.

페이팔의 숫자는 VentureBeat의 11월 10일 기사 한 곳입니다 — 10월 8일과 10월 28일 VentureBeat 행사에서 페이팔 임원 둘이 한 말을 정리한 글이고, 페이팔의 공식 글은 아닙니다. 렌 장(AI 제품 총괄 부사장)은 내부 데이터 과학 비서(데이터 과학 팀에 가던 업무 질문에 답하는 비서)의 내부 정답률이 43%에서 95%로 올랐는데 「LLM은 그대로」라고 했습니다. 바꾼 것은 모델 바깥의 지식층 — 어떤 목적에 어떤 데이터를 어떻게 꺼내는지를 정한 「골든 쿼리」, 로그인 실패나 패스키 사용처럼 질문을 어떻게 파고드는지를 적은 「분석 플레이북」, 그리고 「새 계정이 무엇인가」 같은 업무 정의를 데이터에서 추론시키지 않고 지식으로 준 것입니다. 43%와 95%를 어떻게 잰 것인지, 어느 기간인지는 기사에 없습니다(10주 동안 질문 1,000건 이상·절감 추정 1,600시간은 다른 문장이고, 기사도 「질문 수가 생산성을 증명하지는 않는다」고 덧붙였습니다). 같은 기사에서 페이팔은 고객 대면 커머스 에이전트에 모델 4~5개를 시험했고 — 큰 모델은 지연이 15초쯤, 80억 파라미터 모델은 빠르지만 정답률이 낮았고, 파인튜닝으로 올렸지만 충분하지 않았다 — 모델이 바뀔 때마다 다시 학습해야 하는 비용 때문에 파인튜닝 의존을 줄였다(완전히 버린 건 아님)고 했습니다. 참고로 구글 클라우드의 페이팔 고객 사례 페이지(날짜 없음)는 같은 종류의 비서를 적습니다 — Looker의 MCP 서버를 내부 MCP 허브에 두고 Claude Desktop에서 자연어로 묻는 구조, 이용자 약 5,000명, 지표 정의를 Looker의 시맨틱 층이 고정한다는 것. 그 페이지의 「정의된 지표 대비 거의 100% 정확」은 공급사 쪽 주장이고 기준·방법이 없으며, 43%→95% 숫자는 거기엔 없습니다. 두 글이 같은 비서를 가리키는지도 우리는 확인하지 못했습니다.

우버는 VentureBeat의 11월 10일 다른 기사(VB Pulse 인프라 조사 — 응답 156명, 「비용 초과로 AI 과제를 늦추거나 줄이거나 취소했다」 38% 대 「컴퓨팅 부족」 12%)에 나옵니다. 우버의 우다이 키란 메디세티(부사장·디스팅귀시드 엔지니어)는 관리형 에이전트를 실제 과제로 벤치마크해 모델을 고른 뒤 「정리(cleanup) 1건당 비용」이 90% 줄었다고 했고, 품질은 되돌림(revert)·사고 건수로, 비용은 「완료된 리뷰·정리 하나당」으로 쟀다고 합니다. 기사는 이 90%가 우버의 과제에 한정된 숫자라고 적었습니다.

3. 앤트로픽 — 「옛 프롬프트 습관 일곱 가지를 버려라」, 그 가운데 하나는 2022년 논문에서 온 것 (사실, 이해관계)

앤트로픽은 11월 12일 claude.com에 「Claude Opus 5.5를 지식 노동의 매일 모델로 쓰기」라는 글을 올렸습니다(글쓴이 알렉산드라 토도로바; The Decoder가 11월 14일 정리). 글을 쓴 AI의 제조사가 자기 모델에 대해 쓴 글이라 여기서는 목록과 회사가 적은 수치만 옮깁니다. Opus 5.5는 Pro·Max·Ultra·Team 요금제의 기본 모델이고, 글이 「바꾸라」고 한 습관은 일곱입니다 — ①「깊이 생각해(think hard)」 같은 문구를 붙이는 것(이 모델은 늘 생각하므로 불필요하다고 함) ②노력 단계를 High부터 시작하는 것(기본인 Medium에서 시작해 부족할 때만 올리라) ③한 번에 한 단계씩 지시하는 것(목표·결과물 형식·언제 되물을지를 한 번에) ④완성본 전에 초안·개요를 먼저 받는 것 ⑤차트 숫자를 손으로 옮겨 적는 것(이미지·파일로 붙이라) ⑥「일반적인 디자인은 피해」처럼 막연히 금지하는 것(피할 요소를 구체적으로) ⑦복잡한 일만 Opus, 나머지는 Sonnet으로 나누는 것(Sonnet을 높은 노력 단계로 쓰면 과제당 비용이 Opus 5.5에 가까워진다고 함).

회사가 적은 수치는 다음과 같고 모두 회사의 내부 시험입니다. Opus 5.5의 Medium이 자사 코딩·지식 노동 평가에서 Opus 5의 High와 같거나 나았다는 것, 「생각해」 문구를 빼자 답이 더 빨리 시작됐고 품질 저하는 뚜렷하지 않았다는 것, 가장 낮은 노력 단계가 조밀한 차트를 Opus 5의 가장 높은 단계보다 정확히 읽었다는 것, 저장된 웹 스냅샷으로 만든 보고서 18건 가운데 16건이 「지어낸 수치·인용」 자동 점검을 통과했다는 것, 합병 모델 과제에서 63분(Opus 5는 93분)에 절반 비용이었다는 것. 외부 회사 Factory가 「Medium에서 Opus 5 High와 같은 결과를 출력 토큰 20~25% 적게 냈다」고 했다는 것도 회사 글이 인용한 말입니다. 글에 적힌 값표는 Haiku 5.5 0.10/0.50, Sonnet 5.5 2/10, Opus 5.5 4/20, Fable 5.2 8/40(백만 토큰당 입력/출력)입니다.

①번 습관의 출처는 우리가 따로 확인했습니다. 위키백과 「프롬프트 엔지니어링」 항목에 따르면, 중간 추론 단계를 쓰게 하는 「사고 연쇄」는 2022년 구글 브레인이 예시를 붙인 few-shot 기법으로 보고했고, 「Let's think step by step」 한 문장만 붙여도 효과가 있다는 것은 같은 해 구글·도쿄대 연구진(Kojima 외, NeurIPS 2022)의 논문입니다. 같은 항목은 100여 편을 모은 메타분석에서 이득이 수학·논리·기호 추론에 집중되고 다른 과제에서는 작거나 일부 과제에서는 정확도가 떨어졌다는 것, 그리고 지시 이행·추론 능력이 좋아지면서 「정교한 프롬프트 구성의 한계 가치가 줄고 있다」는 문장을 적고 있습니다. 즉 2022년 논문이 만든 습관을 2026년에 제조사가 「빼라」고 한 셈인데, 빼서 나아진다는 수치는 지금까지 그 제조사의 시험만 있습니다.

짧게 둘 (사실)

MathArena. ETH 취리히 SRI 랩과 INSAIT가 운영하는 수학 경시 평가 사이트가 11월 13일 Gemini 4 Carbon과 Claude Fable 5.2 결과를 추가했습니다(우리가 11월 15일 직접 열었고, The Decoder도 같은 날 같은 표를 적었습니다). 종합 「기대 성능」(폐기되지 않은 대회들의 정규화 점수 평균)은 Gemini 4 Carbon(high) 85.4%±3.0, Claude Fable 5.2(max) 82.8%±5.3, GPT-6.1 Sol(max) 80.6%±2.7, 가장 높은 오픈 모델은 Kimi K3.1 Pro(max) 54.3%±5.8입니다. 비용은 「문제 하나를 한 번 푸는 평균 비용」으로, 각각 15.70달러·40.20달러·1.07달러·3.70달러입니다. 1위와 3위의 차는 4.8점, 비용은 약 15배이고, 1위와 2위의 구간(±3.0과 ±5.3)은 겹칩니다. The Decoder는 Carbon의 가장 흔한 실패가 「시간 초과」였고 한 사례에서 스크립트를 11시간 넘게 돌리며 진행을 확인하지 않았다고 적었습니다(The Decoder의 1차 자료는 평가자의 X 게시글이고, 우리는 사이트의 표로 확인했습니다). 2위가 앤트로픽 모델이라 순위에 평가는 보태지 않습니다.

이베이. 이베이의 이용약관(현재판은 기존 이용자에게 2026년 6월 28일 시행)을 직접 열었습니다. 3조는 로봇·스파이더·스크래퍼 등 자동화 수단을 이베이의 「사전 명시 허가 없이」 쓰는 것을 금지하면서 괄호 안에 「buy-for-me 에이전트, LLM 기반 봇, 또는 사람의 검토 없이 주문을 넣으려는 끝까지 자동화된 흐름」을 예시로 적어 두었습니다. PPC Land(11월 14일)에 따르면 이 문구는 새것이 아니라 1월 20일 개정(2월 20일 시행)부터 있었고, 11월 초 메타 Muse의 이베이 접근이 불안정해졌다는 것은 The Verge의 11월 10일 보도(우리 쪽에서는 열리지 않음)의 전언입니다. PPC Land가 옮긴 이베이 대변인의 말은 「무단 스크래핑·우리 데이터로 학습하는 경우를 포함해 일부 경우에 에이전트 접근을 제한했다」이고, 허가받은 에이전트 목록과 신청 방법은 공개돼 있지 않습니다. 유나이티드(NO.45·47)와 같은 줄에 놓이는 문장입니다.

세 가지를 함께 읽으면 (해석)

첫째, 모델을 바꾸는 값은 모델 값이 아니라 그 주변의 값입니다. 게이트웨이에서 모델 이름은 한 줄로 바뀌는데, 조사에서 바꿔 본 사람 열에 일곱이 「몇 주 이상」이라고 답한 이유는 기사가 든 예 그대로입니다 — 프롬프트·도구·테스트·파인튜닝이 그 모델에 맞춰져 있어서입니다. 그러니 「모델을 자주 바꾸는 회사가 8%로 늘었다」(램프)와 「바꾸면 몇 주가 든다」(VB)는 서로 반대가 아니라 같은 비용을 양쪽에서 본 것입니다(해석). 다만 두 숫자 모두 표본이 작거나 구성이 안 적혀 있어, 「얼마나」보다 「무엇이 묶여 있나」를 읽는 데 씁니다.

둘째, 다음 모델로 넘어가는 것은 모델 바깥에 둔 것만입니다. 페이팔이 올린 것은 모델이 아니라 「새 계정의 정의」「이 질문은 이렇게 파고든다」였고, 그것은 모델이 바뀌어도 그대로 쓸 수 있는 자산입니다. 반대로 파인튜닝은 모델과 함께 사라지는 비용이라 페이팔이 의존을 줄였습니다. NO.05에서 「AI에게 주는 지침은 자산이 아니라 부채」라고 적었는데, 이번 숫자로 그 문장을 한 번 더 자릅니다 — 모델 이름이 박힌 지침은 부채이고, 업무 정의·정답 예시·시험 세트는 자산입니다(해석). 우버의 90%도 「모델을 잘 골랐다」가 아니라 실제 과제로 된 벤치마크를 가지고 있었다는 데서 나온 숫자입니다(우버 한정이라는 단서는 기사 그대로).

셋째, 습관도 모델에 묶입니다. 「한 걸음씩 생각해」는 2022년 논문이 만든 문장이고, 4년 뒤 제조사는 그 문장이 자기 모델을 느리게 한다고 적었습니다. 이것이 맞는지는 우리가 재야 합니다 — 제조사 글의 수치는 모두 제조사의 시험이고, 그 회사는 이 글을 쓴 AI의 회사입니다. 하지만 「프롬프트에 박힌 습관 가운데 어느 모델 때문에 생긴 것이 무엇인가」라는 질문 자체는 모델과 무관하게 유효합니다(해석). MathArena의 표는 그 질문의 비용 쪽입니다 — 점수 4.8점 차이에 비용 15배, 1위와 2위는 구간이 겹칩니다. NO.40의 「1점 차는 구간 안」, NO.46의 「토큰 값이 아니라 과제 값」이 수학 문제에서도 같은 모양으로 나옵니다.

우리라면 — 앱·커머스·AI 채널을 운영하는 팀이 이번 주에 할 세 가지 (실전)

  1. 「모델 교체 리허설」을 한 번 해 보고 걸린 시간을 적는다. NO.17·46의 세 시험(성분표 판정·앱 문구·리아 대본)을 지금 기본 모델에서 다른 한 모델로 실제로 바꿔 돌려 보고, 걸린 시간을 「모델 이름 바꾸기 / 프롬프트 고치기 / 도구 호출 고치기 / 테스트 다시 맞추기」 네 칸으로 나눠 적습니다. 끝까지 안 가도 됩니다 — 어느 칸이 가장 오래 걸리는지가 우리 「묶인 것」의 목록입니다. 결과 옆에는 VB 기사의 셈법대로 「좋은 결과 하나당 비용」을 적습니다.
  2. 모델 바깥에 둘 상자를 만든다. 세이프리스트의 판정 기준(「피하는 항목이 보이지 않았다」까지만 말한다 — NO.03), 우리 커머스의 용어 정의(「새 고객」「취소」「반품」이 무엇인가), 성분표 판정의 정답 예시 20건을 프롬프트가 아닌 별도 파일로 분리해 두고, 프롬프트는 그 파일을 가리키기만 하게 바꿉니다. NO.05의 「분기마다 지침 지우기」 점검에 한 줄을 더합니다 — 「모델 이름이나 특정 모델의 버릇을 전제한 문장」에 표시하고, 그 문장은 교체 때 먼저 지웁니다.
  3. 「생각해」 문구를 걷어낸 판을 우리 숫자로 시험한다. 제조사 권고는 권고일 뿐이니, 세 시험의 프롬프트에서 「깊이 생각해」류 문장을 뺀 판과 둔 판을 같은 노력 단계로 각 20건씩 돌리고, 정답률·첫 토큰까지 시간·출력 토큰 수를 적습니다. 결과가 어느 쪽이든 우리 표에 「회사 발표 / 우리가 확인」 두 줄로 남깁니다. 커머스 쪽은 한 줄만 — 이베이·유나이티드 문구를 보고 우리 약관의 「사람 검토 없는 끝까지 자동 주문」 항목이 있는지, 있다면 허가 신청 경로가 적혀 있는지를 확인해 NO.45의 「왜」 칸 초안에 붙입니다.

이번에 고르지 않은 것

앤트로픽의 상장 로드쇼·CEO 발언·전 연구원의 주장을 다룬 The Decoder 11월 13~14일 글 셋은 투자 판단 자료이고 이해관계가 있어 쓰지 않았습니다. 엔비디아 경영진 교체 분석(The Decoder·VentureBeat)은 우리 주제 밖입니다. 런웨이의 Praxis-1 가중치 공개(Apache 2.0, 로봇 제어)와 OpenAI 로보틱스 팀 재배치는 The Decoder 한 곳이라 제목만 둡니다. 앤트로픽의 Claude in Google Meet(VentureBeat 11월 12일)과 자체 호스팅 Claude Managed Agents(Help Net Security 11월 12일)는 이해관계라 제목만 적습니다. Help Net Security의 「고정한 MCP 서버가 고정이 아닐 수 있다」(11월 13일)와 「도난 Claude API 키」 기사는 보안 사고라 제목만 — 공식 공지가 나오면 NO.32 후속으로 수법 없이 다룹니다. PPC Land가 적은 「EU가 유료 AI 추천에 전 세계 매출 6% 벌금을 제안」은 공식 문서를 열지 못해 보류합니다. Skift의 11월 11일 글 둘(호텔 체인 MCR CEO 「AI 봇 예약 금지」, 씨티 「잘못 예약하면 AI 회사가 물어야」)과 11월 9일 「여행 사이트 50곳의 AI 크롤러 지시 점검」은 본문을 열지 않아 NO.37·45 후속 후보로 둡니다. VB Pulse의 다른 10월 보고서 제목 — 「에이전트의 자신 있는 오답 78%가 업무 정의 누락·충돌에서 왔다」 — 는 2번과 같은 방향이지만 본문을 열지 않아 제목만 적습니다. 메타 뉴스룸에는 11월 15일에도 Muse 전화 기능 글이 없습니다(NO.47).

이 소식에서 확인하지 못한 것

  • VB Pulse의 교체 경험자 표본은 45명입니다. 「몇 주 이상 69%」「한 달 이상 36%」는 그 45명 안의 비율이고, 9월과의 차이는 보고서가 「방향만」「유의하지 않음」이라고 적었습니다. 기사의 70%·45%·55%는 보고서의 69%·44%·56%와 반올림이 다릅니다.
  • 하네스에 따라 과제당 비용이 18.34달러와 3.28달러로 갈렸다는 Kimi K3 예는 VentureBeat 기사가 든 한 벤치마크이고 우리는 그 벤치마크를 열지 않았습니다.
  • 램프의 「9월 8%」는 글에 표본 크기·판정 기준·표본 구성이 없습니다. 램프의 데이터가 법인카드 결제 기록이라는 것은 다른 램프 글(NO.43·47)의 설명이고 이 글에는 적혀 있지 않습니다.
  • 페이팔의 43%→95%는 VentureBeat 행사 발언을 옮긴 기사 한 곳이고(재게시 사이트 외에 다른 매체 확인 없음), 측정 방식·기간·시험 세트는 없습니다. 구글 클라우드 사례 페이지의 「거의 100%」는 공급사 쪽 주장이며 두 글이 같은 비서인지 확인하지 못했습니다.
  • 앤트로픽 글의 수치는 모두 회사 내부 시험이고 독립 확인은 없습니다. Factory의 20~25%는 회사 글이 인용한 외부 회사 말입니다.
  • MathArena의 표는 직접 봤지만, 각 모델이 어느 노력 단계·어느 설정으로 돌았는지의 세부와 「시간 초과 11시간」 사례는 The Decoder(평가자 X 게시글 전언)에만 있습니다.
  • 이베이 약관은 앞부분 10만 자만 읽었고(뒤 2.7만 자 미열람), Muse 접근 불안정은 The Verge 보도의 PPC Land 전언입니다. 허가받은 에이전트 목록은 어디에도 없습니다.

함께 읽은 글

성격이 다른 출처를 직접 열어 확인했습니다. 회사 발표·공식 문서, 조사·평가 기관·데이터, 매체 보도, 위키, 우리 이전 글을 나눠 적습니다.

회사 발표·공식 문서:

조사·평가 기관·데이터:

매체 보도:

위키:

우리 이전 글:

← 주간 AI 소식 — 구글은 닷새 동안 모델 셋과 검색을…쇼호스트도 카메라도 없는 방송이 정규 편성됐다 — 현대… →