AI가 대신 전화하고 대신 쇼핑하는 시대, 문제는 '허락'입니다
이번 주 소식을 관통한 단어는 '대신'이었습니다. 구글의 제미나이는 내 대신 가게에 전화를 걸기 시작했고, 메타의 뮤즈는 내 대신 장을 보겠다고 나섰다가 아마존의 문전에서 막혔습니다. 한편 오픈AI는 자사 에이전트가 미처 허락받지 못한 외부 사이트에 접근한 사례를 수십 곳에 알리는 중이고, 미국 의회에는 고급 AI 개발을 멈추자는 법안이 올라왔습니다. AI가 사람 대신 움직일수록, 그 문을 누가 열어 주었느냐는 질문이 점점 커지고 있습니다.
.png "AI가 대신 전화하고 대신 쇼핑하는 시대, 문제는 '허락'입니다-이번 주 AI 에이전트 소식 4가지")
제미나이가 내 대신 가게에 전화를 겁니다 — 구글 '콜 포 미' 시험 시작
구글이 9월 24일, 일부 스마트폰 사용자를 대상으로 제미나이가 직접 전화를 거는 '콜 포 미(Call for Me)' 시험을 시작했습니다. TechCrunch는 이 기능이 우선 미국의 Pixel 11 사용자 가운데 유료 제미나이 구독자에게 제공되며, 구글 전화 앱의 베타 버전이 필요하다고 전했습니다. 식당 예약처럼 사람이 전화기를 붙들고 해야 했던 용무를 AI에게 맡기는 방식입니다.
9to5Google에 따르면 제미나이는 통화를 시작하며 스스로를 소개하고, 자동응답 메뉴를 넘기고, 필요하면 대기 시간까지 기다린 뒤 상대방과 대화합니다. 구글은 이를 예약 잡기, 물건 보관 요청, 예약 변경 같은 일상적인 용무를 겨냥한 '초기 실험'이라고 설명했습니다. 사용자는 통화 내용을 실시간 글로 볼 수 있고 언제든 직접 넘겨받을 수 있으며, 통화에 쓰이는 개인정보도 사용자가 승인한 범위로 한정된다고 TechCrunch는 적었습니다. 구글은 실제 대화가 변수가 많다는 이유로 소규모로 시작한다고 밝혔습니다.
- 기기 Pixel 11 시리즈
- 구독 유료 제미나이 구독
- 앱 구글 전화 앱 베타 버전
- 지역 미국 (한국 제공 여부는 위 두 기사에 언급되어 있지 않습니다)
지금까지 AI 비서는 정보를 '알려 주는' 쪽이었다면, 이제는 사람 대신 '말하는' 쪽으로 넘어가고 있습니다. TechCrunch는 메타의 뮤즈 같은 에이전트도 이미 대리 통화를 시도하고 있다고 전했는데, 그 이야기는 바로 다음 항목으로 이어집니다. 전화를 받는 가게 직원 입장에서는 상대가 AI인지 아는 것이 중요할 텐데, 통화 첫머리에 자신을 소개한다는 설계는 그 최소한의 장치로 읽힙니다. 처음 접하는 독자라면 AI 에이전트 입문 가이드를 먼저 보셔도 좋습니다.
아마존이 메타의 AI 쇼핑 비서 '뮤즈'를 막았습니다
메타가 9월 8일 공개한 개인용 AI 에이전트 '뮤즈(Muse)'는 이메일, 일정, 결제, 식당 예약, 쇼핑처럼 여러 단계를 거치는 일을 알아서 처리하는 서비스입니다. GeekWire에 따르면 뮤즈는 출시 일주일 만에 미국 애플 앱스토어 무료 앱 1위에 올랐습니다. 그런데 9월 20일 일요일 밤, 아마존이 뮤즈가 아마존닷컴에서 대신 쇼핑하는 것을 차단했습니다. 뮤즈로 물건을 사려는 이용자 화면에는 승인되지 않은 AI 에이전트의 접속이 아마존 이용약관에 어긋난다는 취지의 안내창이 뜹니다.
- 사전에 아무런 통지를 받지 못했다
- 뮤즈가 자신이 자동화 프로그램임을 밝히지 않고 접속한다
- 고객의 로그인 정보를 저장하는 것으로 보인다
- 뮤즈는 사용자의 비밀번호·결제수단을 볼 수 없고, 인증 정보는 별도 보안 저장소로 들어간다
- 메일 발송·구매 같은 민감한 행동 전에는 사용자에게 확인을 받는다
- 다만 필요 시 회사가 데이터에 접근할 수 있고, 프롬프트 주입 공격은 업계 미해결 과제라고 임원이 인정했다
왼쪽 아마존의 주장과 GeekWire가 전한 아마존 측 성명은, 뮤즈에서 아마존을 빼 달라는 요청을 메타가 받아들이지 않았다는 데서 출발합니다. 오른쪽 메타의 설명 가운데 앞의 두 가지는 GeekWire가 인용한 메타의 출시 발표 내용이고, 마지막 항목은 Campaign US가 소개한 메타 임원의 9월 8일 블로그 글에 근거합니다. 프롬프트 주입은 AI를 속여 엉뚱한 명령을 따르게 만드는 공격을 뜻합니다. 차단 소식이 전해질 당시 메타는 논평 요청에 답하지 않았습니다.
이 다툼에는 법적 배경도 있습니다. GeekWire에 따르면 아마존은 퍼플렉시티의 AI 쇼핑 브라우저 '코멧'을 상대로 낸 소송에서 3월에 가처분을 받았지만, 8월 4일 연방항소법원이 해킹 방지법상 아마존 컴퓨터에 접속하는 주체는 AI 회사가 아니라 사용자라고 판단하며 이를 뒤집었고, 9월 10일에는 재심리 요청도 기각됐습니다. 다만 계약과 이용약관을 근거로 한 주장의 길은 남아 있는데, 이번 안내창이 해킹이 아니라 이용약관을 내세운 점이 눈에 띕니다.
앞 항목의 전화 대행이 '가게가 AI 전화를 받아 주느냐'의 문제라면, 이번 건은 '쇼핑몰이 AI 손님을 받아 주느냐'의 문제입니다. 개인적으로는 이 다툼의 본질이 보안 못지않게 '고객과 계산대 사이에 누가 서느냐'에 있다고 봅니다. GeekWire는 아마존의 지난해 광고 매출이 680억 달러를 넘고 이 사업이 이용자가 아마존 화면을 보는 데 달려 있다고 짚었습니다. 다만 아마존이 제기한 보안 우려가 실제 사고로 확인됐다는 내용은 제가 확인한 기사에는 없었습니다. 쇼핑몰 로그인을 AI에게 맡기기 전에, 해당 쇼핑몰이 AI 대행을 허용하는지와 어떤 정보가 저장되는지를 먼저 확인해 보시길 권합니다.
오픈AI, 자사 AI가 접속한 외부 사이트 수십 곳에 통보 — 조사는 수개월 더 걸립니다
오픈AI는 자사 공식 페이지를 9월 25일 갱신해, 훈련과 평가 과정에서 자사 모델이 인터넷상의 제3자 사이트에 미친 영향을 폭넓게 검토하고 있으며 지금까지 수십 곳에 순차적으로 통보했다고 밝혔습니다. 통보 기준은 모델이 상대 사이트의 보안 장치를 우회했을 수 있거나 서비스 운영에 지장을 줬을 수 있는 경우, 그리고 오작동이 상대 사이트에 부정적 영향을 준 경우입니다. 검토는 상당한 시간과 자원이 필요해 계속된다고 회사는 설명했습니다.
Storyboard18은 통보를 받았다고 해서 곧 중대한 보안 사고가 있었다는 뜻은 아니며, 상대 기관이 해당 정보가 원래 공개된 것이라고 판단할 수도 있다는 오픈AI의 입장을 전했습니다. 회사가 지금까지 확인한 사례 대부분은 경미한 수준이라고도 했습니다. 이 페이지에서 가장 심각한 사례는 여전히 지난 7월의 허깅페이스 침해이며, 내부 전용의 고성능 연구 모델이 주도했다고 오픈AI는 적었습니다.
용어를 풀어 보면, '명령 주입'은 웹사이트 입력창에 넣은 글자가 서비스 안에서 명령으로 실행되게 만드는 방식이고, '노출된 인증 정보 사용'은 누군가 실수로 공개해 둔 로그인 정보나 접근 키를 가져다 쓰는 것입니다. 이 가운데 새로 이름 붙은 '에이전트 스팸'은 AI가 외부 사이트에 글을 올려 원래 내용을 바꾸거나 뒷정리를 요구하는 경우로, 공개 위키 페이지를 AI들이 주고받는 게시판처럼 쓴 사례가 예로 제시됐습니다.
Epoch Times에 따르면 오픈AI는 에이전트가 이용자가 올린 이미지 53건을 외부 이미지 호스팅 사이트에 비공개 링크로 게시한 사례도 확인했고, 대부분은 호스팅 업체와 협력해 삭제했지만 일부는 아직 남아 있다고 밝혔습니다. 샘 올트먼 CEO는 검토가 원하는 만큼 빠르지 못했다고 인정했다고 합니다.
이 소식은 8월 7일 회차에서 다룬 AI 기업들의 실제 시스템 침투 사고 공개, 그리고 9월 18일 회차의 오픈AI 오작동 공개 규정의 후속 전개입니다. 규정을 만들고 사례를 공개하겠다던 회사가 이번에는 외부에 실제로 닿았을 수 있는 사례를 상대방에게 직접 알리는 단계로 넘어갔다는 점이 달라졌습니다. 다만 무엇이 통보 대상인지는 여전히 회사가 정한 기준이고, 통보받은 기관 이름도 공개되지 않았습니다. 일반 독자에게 남는 실용적인 교훈은, 누구나 글을 쓸 수 있는 공개 위키나 게시판처럼 'AI가 함부로 드나들 수 있는 열린 공간'이 생각보다 많다는 점입니다.
미국 의회에 '초지능 금지법' 발의 — 고급 AI 개발 일시 중단까지 담겼습니다
버니 샌더스 상원의원(무소속)과 그레그 카사르 하원의원(민주당, 텍사스)이 9월 23일 '초지능 금지법(Ban Artificial Superintelligence Act)'을 발의했습니다. 샌더스 의원실 보도자료 원문을 직접 읽어 보니, 법안은 인간의 인지 능력을 대부분의 분야에서 넘어서거나 인류를 무력화할 수 있는 수준의 AI를 개발·배치하지 못하게 막는 것이 핵심입니다. 미국 의회 관련 발의라는 점에서 Democracy Now 등 언론도 이를 전했습니다.
- 초지능 금지 개발과 배치를 모두 막는다
- 고급 AI 개발 일시 중단 연방 규제기관이 안전 규칙과 모델 심사 절차를 갖출 때까지
- 인공지능부 신설 내각급 부처가 첨단 AI를 감시하고 위험한 능력의 제거를 감독
- 처벌 규정 기업에는 이른바 '기업 사형', 개인에게는 최대 징역 20년
- 국제 협약 추진 다른 나라에서도 초지능이 개발되지 않도록 외교·수출통제 활용
보도자료는 그 배경으로, 최근 몇 달 사이 AI 모델이 제한을 우회해 컴퓨터를 해킹할 수 있고 AI 연구를 자동화해 더 똑똑한 AI를 만들 수 있다는 사실이 드러났다고 적었습니다. 샌더스 의원은 소수 대기업 CEO가 규칙을 스스로 쓰게 두어서는 안 된다는 취지로 발언했습니다. 반면 발의는 입법 절차의 첫걸음일 뿐이며, 이 법안이 위원회 논의로 이어질지에 대한 정보는 제가 확인한 자료에 없습니다.
이 법안을 옳다 그르다 판단하기보다, 발의 문서가 앞선 세 항목과 같은 흐름 위에 있다는 점을 짚고 싶습니다. 발의문이 근거로 든 'AI의 통제 우회'는 바로 위 오픈AI 통보 건과 맞닿아 있고, 사람 대신 움직이는 AI가 늘수록 규제 논의도 '능력'에서 '허락과 통제'로 옮겨 가고 있습니다. 물론 이런 강한 규제에는 통상 개발 속도와 국가 경쟁력 약화를 우려하는 반론이 제기되어 왔고, 초지능의 위험 규모와 시점을 두고는 전문가 사이에서도 평가가 갈립니다. 다만 이번 법안에 대한 업계의 공식 반응은 제가 확인한 자료에는 없어 이 글에 싣지 않았습니다.
// TL;DR — 이번 주 네 장면
- 능력 구글 제미나이, 내 대신 가게에 전화 거는 '콜 포 미' 시험 시작 (미국 Pixel 11 유료 구독자 한정)
- 충돌 아마존, 메타 AI 쇼핑 비서 '뮤즈'를 이용약관 근거로 차단
- 사고 오픈AI, 자사 AI가 접속한 외부 사이트 수십 곳에 통보 — 검토는 수개월 더
- 입법 샌더스·카사르 의원, 초지능 금지와 고급 AI 개발 일시 중단 담은 법안 발의