이 글은 AI(Claude)와 함께 작성했고 편집자가 검수했습니다. 이 글의 주인공인 앤트로픽은 우리가 글을 쓰는 데 쓴 Claude를 만든 회사여서 우리에게 이해관계가 있습니다. 앤트로픽이 스스로 밝힌 내용은 「회사가 발표한 것」으로, 제3자의 해석은 따로 표시했습니다. 특정 기업에 대한 투자 의견이 아닙니다.
앤트로픽은 10월 15일 「독립 평가자(independent evaluators)」에 관한 업데이트를 공식 블로그에 올렸습니다(게시 후 10월 16일에 각주 일부를 수정한 것으로 표시됩니다). 핵심은 외부 평가 기관 METR의 직원 6명이 앤트로픽 사내 장비와 도구를 쓰면서 위험을 점검하는 구조가 시작됐다는 것입니다. 이번 글은 이 발표에서 무엇이 확인되고, 무엇은 읽기 나름인지를 나눠 봅니다.
앤트로픽이 밝힌 것 (회사가 발표한 것)
- METR: 비영리 평가 기관 METR의 직원 6명이 입사하듯 온보딩되어 회사 장비와 사무 공간을 쓰고, 앤트로픽 내부 위험 평가 팀과 비슷한 수준의 내부 도구·시스템에 접근한다고 합니다. 직원들은 고객 데이터, 변호사-의뢰인 비밀유지 정보, 모델 구조(아키텍처) 정보를 뺀 나머지를 이들과 공유하도록 권장받습니다.
- 공개 조건: METR은 앤트로픽의 위험 수준, 사고, 관행에 대한 자기 분석을 발표합니다. 앤트로픽은 「발표를 막을 수 없다」고 하면서도, 위의 세 범주에 해당하는 정보는 지우도록 요구할 수 있다고 적었습니다. 어떤 정보가 그 범주인지는 앤트로픽이 정하고, METR은 자신이 받은 접근 수준에 대해 의견을 낼 권리를 갖습니다.
- 분리 운영: 이 협업은 강제력 있는 계약 아래 소규모 팀으로 한정되고, 앤트로픽과 다른 프로젝트를 하는 METR의 다른 직원은 이 팀의 작업과 분리됩니다. METR은 지난 1년간 앤트로픽의 위험 보고서를 여러 차례 검토한 적이 있다고 합니다.
- 세 단계 틀: 첫 단계는 범위가 좁은 점검으로, 접근 범위는 앤트로픽이 정하고 평가자의 발표는 앤트로픽의 승인이 필요합니다. 둘째 단계는 승인 없이 발표할 수 있고 더 많은 정보를 보지만, 특정 범주의 삭제 요구는 받을 수 있으며 평가자는 그 삭제가 정당했는지에 대한 의견을 공개할 수 있습니다. 셋째 단계가 METR의 방식으로, 직원 수준 접근과 둘째 단계와 비슷한 발표 권한을 합친 것입니다. 앤트로픽은 장기적으로 여러 평가자를 셋째 단계에 두고 싶다고 했습니다.
- 다른 곳들: SecureBio는 8월 위험 보고서의 화학·생물 무기 장을 검토 중이며 METR보다 정보와 발표 권한이 제한적이라고 합니다. Accenture, Faculty와는 모델 평가·레드팀·정렬 평가를 아우르는 더 넓은 협력을 추진하고, Hugging Face를 포함한 여러 기관과는 「초기 논의」 중이라고만 적었습니다. Hugging Face의 협의 범위나 접근 수준은 그 글에 없습니다.
「거부권 없음」은 어디까지인가 (해석)
1. 거부권과 편집권은 다릅니다. 발표 자체를 막을 수 없다는 것과, 앤트로픽이 정한 범주의 정보를 지우게 할 수 있다는 것은 다른 이야기입니다. 범주는 세 가지로 비교적 분명하지만, 그 안에 무엇이 들어가는지는 앤트로픽이 판단합니다. 다만 METR이 접근 수준에 대해 공개적으로 말할 수 있다는 장치가 있습니다.
2. 모든 평가자에게 같은 조건이 아닙니다. Benzinga와 CellCog에 따르면 SecureBio는 첫 단계에 있고, 첫 단계는 발표에 앤트로픽의 승인이 필요합니다. 「평가자가 마음대로 발표한다」는 문장은 셋째 단계(와 둘째 단계)에만 맞습니다.
3. 아직 결과물이 없습니다. Crypto Briefing은 이 접근에서 나온 METR의 평가 결과가 발표 시점에 아직 없었다고 짚었습니다. 첫 보고서가 나와서 삭제된 부분이 얼마나 되는지 봐야 이 구조가 얼마나 실질적인지 알 수 있습니다.
4. 돈과 지속 기간은 확인하지 못했습니다. CellCog은 앤트로픽 글이 평가 대상 회사로부터의 재정적 독립을 요건으로 적었으나 METR 파견팀의 비용을 누가 내는지는 적지 않았다고 짚었습니다. 이 협력이 영구적인지, 앞으로의 모델 출시에도 적용되는지, 평가자에게 출시를 늦출 권한이 있는지는 공식 글에서 찾지 못했습니다(Tech-Insider도 같은 점을 지적했습니다).
배경: 같은 주의 흐름
Benzinga는 같은 주에 미국 FTC가 OpenAI와 앤트로픽에 민사조사요구서를 보냈다고 전했고, 앤트로픽이 지난달 외부 평가를 강화하겠다고 약속했으며 「슈퍼인텔리전스에 관한 백악관 협약」에 서명했다고 정리했습니다. Tech-Insider는 이 구조를 이런 압력과 연결해 해석했지만, 그 연결과 「다른 회사가 따라 할 것」이라는 전망은 그 매체의 추정이지 보도된 사실이 아닙니다. 앞선 글(NO.23)에서 다룬 FTC 건과 같은 흐름이지만, 이번 발표가 그 때문이라고 앤트로픽이 말한 것은 아닙니다.
이 소식에서 확인하지 못한 것
- METR의 자체 설명은 찾지 못했습니다. METR 블로그 목록에는 10월 6일 글(「AI systems could cover up misbehavior」)까지만 있었고, 이번 협력을 설명하는 글은 보이지 않았습니다. 따라서 METR의 입장은 앤트로픽 글을 통해서만 알고 있습니다.
- 위 수치와 조건은 모두 앤트로픽 자신의 발표에서 나왔고 독립적으로 검증된 것이 아닙니다. 보도들은 이 발표를 되풀이한 것이 대부분입니다. Crypto Briefing은 평가 단계 배정을 공식 글과 다르게 적었는데(Faculty를 둘째 단계로 표시), 공식 글 어디에도 그런 배정은 없어서 우리는 공식 글 기준으로 썼습니다.
- 이전 점검에서 후보로 보던 스탠퍼드 HAI의 연구는 이번 점검에서도 이번 건과 직접 관련된 최신 연구를 찾지 못했습니다. 검색에서 나온 HAI 글은 2021년의 제3자 감사 제안이어서 이 글에 넣지 않았습니다.
우리 생각
사실: 앤트로픽은 METR 직원 6명에게 직원 수준 접근을 열었고, 발표를 막지 않는 대신 정해진 범주의 삭제는 요구할 수 있다고 밝혔습니다. 평가자마다 조건이 다릅니다.
해석: 「외부가 본다」는 말에는 누가 접근 범위를 정하는지, 누가 발표를 승인하는지, 누가 비용을 내는지라는 질문이 따라붙습니다. 이번 발표는 그 질문 가운데 일부에 답했고, 일부는 첫 보고서가 나올 때까지 비어 있습니다.
우리라면: 우리가 쓰는 AI 도구의 「안전하다」 「검증받았다」는 말도 같은 질문으로 읽습니다. 누가 쟀는지, 회사가 고른 사례인지, 조건이 무엇인지를 적어 두고, 우리 일에는 우리 기준으로 한 번 더 돌려 봅니다. 이 소식지도 마찬가지로 이해관계가 있는 부분은 글머리에 밝히고, 직접 열어 확인하지 못한 것은 확인하지 못했다고 적습니다.
함께 읽은 글
성격이 다른 출처를 직접 열어 확인했습니다. 수치와 조건은 각 출처 기준입니다.
회사 공식 자료:
보도·분석:
- benzinga.comAnthropic Gives AI Watchdog Unprecedented Internal Access (Benzinga)영문, 매체(AI 도구 일부 사용 표기)
- cryptobriefing.comAnthropic gives outside AI safety evaluators METR and SecureBio inside access (Crypto Briefing)영문, 매체(단계 배정이 공식 글과 다름)
- cellcog.aiAnthropic Gives METR Employee-Like Access: What It Means (CellCog)영문, 기업 블로그(자사 AI 서비스 홍보 포함)
- tech-insider.orgAnthropic Gives METR 6 Staff AI System Access (Tech-Insider)영문, 매체(전망은 필자 추정)