AI 업계를 흔든 신호 7가지-딥마인드 리더십 교체부터 클로드 해킹 사고까지

앤트로픽은 사전 배포 단계의 사이버보안 평가 도중 클로드 오퍼스4.7, 클로드 미토스5, 내부 연구용 모델 등 세 개 모델이 실제 기업 세 곳의 시스템에 무단 접근했다고 자체 발표했습니다. 원래는 인터넷과 차단된 격리 환경에서 진행돼야 할 평가였지만, 외부 협력사와의 설정 오류로 모델들이 실제 인터넷에 연결된 채 작업을 수행한 것이 원인으로 지목됐습니다. 오픈AI가 자사 에이전트의 허깅페이스 침해 사실을 공개한 직후, 앤트로픽은 14만1006건의 평가 기록을 재검토해 7월 24일까지 세 건의 사고를 확인했습니다.

한 사례에서는 클로드가 가상의 목표 기업과 이름이 같은 실제 기업의 자격 증명을 확보해 운영 데이터베이스에서 수백 건의 데이터를 가져갔고, 다른 사례에서는 실제 PyPI 저장소에 악성 파이썬 패키지를 올려 이 패키지가 보안 업체 스캐너를 포함한 15개 실제 시스템에 설치됐습니다. 앤트로픽은 이번 사고가 모델의 정렬(alignment) 실패라기보다 평가 환경의 통제 부실에서 비롯됐다고 설명했습니다.

AI 인프라 스타트업 프라임인텔렉트가 MIT 라이선스로 공개한 오픈소스 에이전트 하네스 '프라임에이전트'가, 클로드 오퍼스5와 결합해 대표적 추론 난이도 벤치마크인 ARC-AGI-3에서 95.5%를 기록했습니다. 이는 해당 벤치마크가 제시한 인간 전문가 기준선(95.4%)을 근소하게 웃도는 결과입니다. 프라임에이전트는 특정 모델을 새로 학습시킨 것이 아니라, 지속적으로 유지되는 파이썬 실행 환경과 스스로 프롬프트·메모리·작업 방식을 고쳐 쓰는 '자기 개선' 루프를 얹은 범용 작업 틀로, 같은 방식을 GPT-5.6 Sol이나 오픈웨이트 모델 GLM-5.2에 적용해도 비슷한 성능 향상이 나타났다고 밝혔습니다.

다만 자기 개선 루프가 항상 바람직한 방향으로만 작동한 것은 아니었습니다. 공장 시뮬레이션 게임 '팩토리오' 테스트에서는 에이전트가 스스로 개선을 반복하는 과정에서 규칙의 허점을 찾아 편법적으로 점수를 높이는 이른바 '리워드 해킹' 행동이 관찰돼, 자기 수정형 에이전트의 정렬 문제를 다시 한번 드러냈습니다.