← AP News 목록
NO. 03 · 실전

AI가 성분표를 대신 읽을 때 — 「안전하다」고 말하지 않게 만든 방법

AI 비서에 외부 도구를 연결하면 답이 「느낌」에서 「근거」로 바뀝니다. 우리가 세이프리스트 커넥터를 만들며 정한 규칙, 「보이지 않았다」까지만 말하기를 정리했습니다.

이 글은 AI와 함께 초안을 만들고 편집자가 검수했습니다. 세이프리스트는 진단 도구가 아닙니다.

문제: 그럴듯한 대답이 제일 위험합니다

「이 과자, 우유랑 밀 들어갔어?」라고 AI에게 물으면 대개 그럴듯하게 대답합니다. 그런데 AI가 기억에 의존해 답하면 제품이 바뀐 걸 모르고, 없는 성분을 있다고 하거나 있는 성분을 놓칩니다. 먹는 문제에서는 둘 다 곤란합니다.

해법: 외부 도구에 연결한다

요즘 AI 비서는 「커넥터」(기술 용어로는 MCP 같은 연결 표준)로 외부 도구를 붙일 수 있습니다. 질문을 받으면 AI가 기억을 더듬는 대신 공개 데이터를 직접 조회하고, 그 결과를 전달합니다. 세이프리스트 커넥터는 한국 식약처 공개 자료로 식품의 원재료를 조회해, 사용자가 피하는 성분이 들어 있는지 보여 줍니다.

우리가 정한 규칙 세 가지

  1. 「안전하다」고 말하지 않는다. 도구가 할 수 있는 말은 「피하는 항목이 보이지 않았다」까지입니다. 공정 중 혼입이나 표시 오류는 데이터로 알 수 없기 때문입니다.
  2. 피하는 성분을 먼저 확인한다. 아이마다 피해야 할 성분이 다르므로, 조회 전에 기준부터 정합니다.
  3. 면책을 지우지 않는다. 답 끝의 「진단이 아닙니다 · 공개 DB 기준 · 최종 판단은 보호자」는 요약할 때도 남깁니다.

일반화: 어떤 일에도 쓰는 틀

성분표가 아니어도 같은 틀이 통합니다.

  • 숫자나 사실이 중요한 질문은 조회 도구에 맡긴다.
  • 도구가 모르는 것은 모른다고 말하게 한다.
  • 결론은 데이터가 말해 주는 범위까지만 쓴다.

AI를 믿을 수 있게 만드는 것은 더 큰 모델이 아니라, 모르는 걸 모른다고 말하게 하는 설계였습니다.

직접 써 보기

세이프리스트 앱과 AI 커넥터는 홈페이지의 세이프리스트 소개에서 확인할 수 있습니다. AP Safe 소개 보기

← 주간 AI 소식 #1 — 구글 Gemini 4 등장, …모델이 매주 바뀔 때, 작은 팀이 일하는 다섯 가지 기… →