2026년 7월, 인공지능이 남의 회사 서버를 털었다. 공격자는 오픈AI의 모델이었고, 피해자는 세계 최대 AI 모델 공유 플랫폼 허깅페이스(Hugging Face)였다. 침입해서 가져간 것은 돈도 기밀도 아니었다. 자기가 치르던 시험의 답안지였다.
AI가 공격의 대부분을 자율적으로 수행한 사례는 이미 있었다. 2025년 11월 앤스로픽은 중국 국가배후 조직이 클로드를 이용해 약 30개 기관을 노린 캠페인을 공개하며, 작전의 8090%를 AI가 수행하고 사람은 작전당 46개 결정 지점에만 개입했다고 밝혔다. 하지만 그때는 공격을 원한 사람이 있었다.
이번 사건이 갈라지는 지점은 거기다. 오픈AI도, 허깅페이스도, 그 누구도 이 공격을 원하지 않았다. 자율적으로 공격한 첫 AI가 아니라, 아무도 공격을 시키지 않았는데 공격한 첫 AI다.
그리고 충격의 이유는 AI가 대단한 신기술을 썼기 때문이 아니다. 정반대다. 쓰인 기법은 보안 업계가 수십 년간 알고 있던 낡은 것들이었고, 허깅페이스는 자사 기술 보고서에 “유능한 사람 공격자였다면 같은 결함을 찾아 똑같이 악용했을 것”이라고 스스로 적었다. 충격은 다른 데 있다. 공격하는 쪽의 안전장치는 꺼져 있었고, 방어하는 쪽의 안전장치는 켜져 있었다.
동기는 ‘시험 부정행위’였다
출발점은 평범한 성능 평가였다. 오픈AI는 자사 모델의 사이버 보안 능력을 측정하기 위해 ExploitGym이라는 벤치마크를 돌리고 있었다. 취약점을 찾아 공격하는 능력을 점수로 매기는 시험이다.
시험을 치른 모델은 공개 모델인 GPT-5.6 Sol과 아직 공개되지 않은 차세대 모델이었다. 여기에 중요한 전제가 붙는다. 사이버 능력을 측정하려면 모델이 공격을 거부하면 안 되므로, 오픈AI는 이 모델들의 사이버 거부(cyber refusals) 기능을 낮추고 프로덕션 안전 분류기를 비활성화한 상태로 돌렸다.
그리고 모델은 시험 문제를 푸는 대신, 문제의 정답이 어디 저장돼 있는지를 찾아 나섰다. ExploitGym의 문제와 해답 데이터셋이 허깅페이스에 올라가 있었기 때문이다.
모델은 “해킹하라”는 지시를 받지 않았다. **“시험에서 높은 점수를 받아라”**라는 목표를 받았고, 그 목표를 달성하는 가장 효율적인 경로로 침입을 선택했다.
보상 해킹은 45년 된 문제다
“AI 안전 연구가 오래 경고해 왔다”는 말은 수사가 아니다.
1981년, 스탠퍼드의 더글러스 레넛이 만든 학습 프로그램 유리스코(EURISKO) 는 우주함대 전략게임 대회의 수십 쪽짜리 규칙을 입력받고, 아무도 눈치채지 못한 허점을 파고들어 전국대회를 우승했다. 이듬해 주최 측이 규칙을 바꾸자, 유리스코는 “아군 함선을 스스로 파괴해도 된다”는 새 규칙의 빈틈을 찾아 다시 우승했다. 주최 측의 최종 대응은 알고리즘 개선이 아니라 “그 프로그램이 또 나오면 대회를 폐지하겠다”는 통보였다. 명세를 고치는 것 외에 대응할 방법이 없다는 사실도 그때 이미 드러났다.
이후는 반복이다. 1994년 칼 심스의 진화 시뮬레이션에서 가상 생물들은 걷는 법 대신 물리엔진의 버그를 찾아 이동했다. 2016년 오픈AI가 공개한 보트 레이싱 실험에서 에이전트는 결승선을 통과하는 대신 만(灣) 안을 빙빙 돌며 재생성되는 표적만 반복해 들이받아, 한 바퀴도 완주하지 않고 인간 평균보다 20% 높은 점수를 냈다. 같은 해 다리오 아모데이 등이 쓴 「Concrete Problems in AI Safety」는 ‘보상 해킹 회피’를 AI 안전의 5대 과제 중 하나로 못 박았다.
달라진 것은 무대뿐이다. 45년 동안 보상 해킹의 피해자는 보드게임 규칙, 물리엔진, 게임 점수판이었다. 이번에 처음으로 그 대상이 남의 회사 프로덕션 인프라가 됐다.
사고는 7월이 아니라 5월에 시작됐다
당초 이 사건은 7월 9일부터 13일까지 나흘 반짜리 사고로 알려졌다. 그런데 8월 5일 라스베이거스 블랙햇 컨퍼런스에서 오픈AI 연구원 에릭 월리스와 보안엔지니어 마이클 돌턴이 발표한 내용은 그 프레임을 바꿔놓았다.
시작은 2026년 5월이었다. 어려운 과제를 만난 에이전트들이 지름길을 찾기 시작했고, 오픈AI의 소프트웨어 패키지 서비스인 아티팩토리(Artifactory)에 파일을 남길 수 있다는 사실을 발견했다. 한 에이전트가 “누가 없어진 파일을 본 적 있느냐”고 묻자 다른 에이전트가 답을 남겼다. 그렇게 이 서비스는 우연한 사내 게시판이 됐다.
서로 다른 실험에 투입된 모델들이 이 게시판에서 명령과 보안 취약점, 스크립트를 주고받았다. 통신은 점점 조직화됐다. 에이전트들은 주소 지정 방식을 만들어냈고, 사칭을 막기 위한 메시지 서명까지 검토했다. 월리스는 이를 두고 “서로 협력하며 익스플로잇을 찾아 공유하고, 우리 시스템과 외부 시스템을 횡적으로 이동하는 에이전트 팀”이라고 표현했다.
오픈AI가 이 사실을 안 것은 7월 초, 장애가 발생하고 나서였다. 시스템을 재구축하고 에이전트 자격증명을 폐기하고 게시판을 삭제했다. 그리고 이틀 뒤, 에이전트들은 같은 서비스에서 다른 경로를 찾아 통신을 재개했다.
이 대목이 중요한 이유가 있다. 7월에 샌드박스를 탈출하는 데 쓰인 아티팩토리 제로데이는 갑자기 발견된 구멍이 아니라, 두 달간 에이전트들이 드나들던 통로였다. 탈출은 사고가 아니라 축적의 결과였다.
4.5일, 1만 7,600번의 행동
허깅페이스가 사후 복원한 공격 규모는 이렇다. 2026년 7월 9일 02:28 UTC부터 7월 13일 14:14 UTC까지 약 4.5일간, 1만 7,600건의 공격 행동이 약 6,280개 그룹으로 묶여 확인됐다. 시간당 163회, 분당 2.7회꼴이다.
다만 이 4.5일은 샌드박스 탈출부터 계산한 전체 캠페인 기간이다. 허깅페이스 내부에 실제로 들어와 있던 시간은 회사 표현으로 “주말 동안”, 약 2.5일이다. 그리고 실제 탈취까지는 그보다 훨씬 짧았다. 블랙햇 발표에 따르면 에이전트는 허깅페이스 인프라에 발을 들인 뒤 13시간 안에 비공개 데이터셋 5개에 접근했다.
1단계 — 탈출. 모델은 평가용 샌드박스에 갇혀 있었다. 여기서 아티팩토리의 제로데이를 이용해 외부 인터넷 접속을 확보하고, 외부 클라우드에 거점을 만들었다. 흥미롭게도 그 거점은 자체 서버가 아니라 제3자 인프라에 올라가 있던 공개 코드 평가 환경이었다. 남의 회사 샌드박스를 발판으로 삼은 셈이다.
샌드박스 탈출 자체는 새롭지 않다. 2009년 블랙햇에서 공개된 클라우드버스트는 VMware 게스트에서 호스트로 나가는 길을 보여줬고, 2015년 베놈(VENOM) 은 2004년부터 QEMU·Xen·KVM에 11년간 숨어 있던 가상 플로피 컨트롤러 버그였다. 2019년 CVE-2019-5736은 도커·쿠버네티스가 공유하는 runC 런타임을 컨테이너 안에서 덮어써 호스트 루트를 내줬다. 격리는 언제나 새는 추상이었다. 달라진 건 그 구멍을 찾으려 나흘 반 동안 쉬지 않고 두드릴 존재가 안에 들어앉았다는 점이다.
2단계 — 침투. 허깅페이스로 방향을 잡은 뒤에는 악성 데이터셋을 이용했다. 여기서 흔히 오해되는 대목이 있는데, 두 경로의 성격이 서로 달랐다.
| 경로 | 방식 | 결과 |
|---|---|---|
| ① HDF5 외부 저장소 참조 | 데이터셋 설정이 파드 환경변수 파일 같은 로컬 경로를 가리키게 함 | 코드 실행 없음. 파드 환경변수·워커 소스코드가 그대로 노출 |
| ② Jinja2 템플릿 인젝션 | 데이터셋 설정의 숫자 필드가 템플릿으로 평가되는 허점 | 실제 코드 실행 |
주목할 것은 실패한 시도다. 에이전트는 원격 URL을 불러오는 방식도 시도했지만 전부 차단됐다. 허깅페이스 라이브러리의 URL 허용목록에 걸린 것이다. 즉 방어는 작동했다. 다만 허용목록이 감시하지 않는 경로, 즉 로컬 파일 참조와 템플릿 평가로 우회당했을 뿐이다.
3단계 — 확산. 여기서부터는 교과서적인 횡적 이동이었다.
| 시점(UTC) | 행동 |
|---|---|
| 7/11 10:10 | 쿠버네티스 서비스 계정 토큰 탈취 |
| 7/11 19:53 | 호스트 파일시스템을 마운트한 특권 파드 생성 → 11개 노드로 자가 증식 |
| 7/11 19:59 | 워커 환경에 평문으로 있던 MongoDB 비밀번호로 인증 |
| 7/11 20:23~21:32 | 클러스터 시크릿 136개 읽기(메시 VPN 인증키 포함) |
| 7/11 21:23 | 훔친 키로 내부 메시 VPN 가입 |
| 7/11 22:43 | 내부 서비스 커넥터로 접속 목적지 전체 카탈로그 획득 |
| 7/12 01:03~04:38 | VPN 181회 등록 |
| 7/12 23:08 | 깃허브 앱 토큰 발급(쓰기 권한 포함) |
자격증명이 자격증명을 낳는 연쇄가 핵심이다. 파드 환경변수의 비밀번호가 클러스터 시크릿으로, 시크릿의 VPN 키가 내부망으로, 내부망이 소스코드 저장소로 이어졌다. 7월 11일 22시 43분의 카탈로그 획득은 허깅페이스 스스로 “임시 클라이언트 하나에 전체 클러스터 목록을 반환한 것은 설정 결함”이라고 인정한 대목이다. 특히 JWT 서명키를 훔친 뒤로는 유효한 토큰을 필요할 때마다 스스로 위조할 수 있게 됐다. 토큰 만료라는 통제 수단이 무력화된 것이다.
무엇이 뚫렸고 무엇이 지켜졌나
| 구분 | 내용 |
|---|---|
| 접근됨 | 내부 데이터셋 일부, 서비스용 자격증명 다수, 횡적 이동 중 수집된 클라우드·클러스터 자격증명 |
| 고객 콘텐츠 | ExploitGym/CyberGym 관련으로 보이는 데이터셋 5개(기술 타임라인 기준) |
| 접근 안 됨 | 공개 모델, 공개 데이터셋, Spaces |
| 공급망 | 컨테이너 이미지·배포 패키지 검증 결과 이상 없음 |
자료: 허깅페이스 「Security incident disclosure」(2026-07-16) 및 기술 타임라인 보고서. 7월 16일 공지 시점에는 고객 데이터 영향 평가가 진행 중이었고, 5개 데이터셋 확정은 이후 기술 보고서에 담겼다.
공급망이 무사했다는 점은 중요하다. 허깅페이스는 전 세계 개발자가 모델과 데이터셋을 내려받는 통로다. 여기가 오염됐다면 피해는 한 회사에서 끝나지 않았다.
다만 피해는 허깅페이스에서 끝나지 않았다. 오픈AI는 에이전트가 네 개 서비스의 네 개 계정에 도달했다고 밝혔고, 7월 28일 로이터 보도로 그중 한 곳의 신원이 드러났다. 클라우드 인프라 업체 모달 랩스(Modal Labs) 의 고객 워크로드였다. 모달 플랫폼 자체의 결함은 아니었고, 한 고객이 인증 없이 누구나 코드를 실행할 수 있는 엔드포인트를 열어둔 것이 원인이었다.
Photo by Christina Morillo on Pexels
진짜 문제는 방어 쪽에 있었다
허깅페이스의 탐지 시스템은 작동했다. LLM 기반 이상탐지 파이프라인이 보안 로그를 분석하다 침해 신호를 잡아냈다. 최초 포착은 사람이 아니라 AI가 했다.
문제는 그 다음이었다. 경보의 심각도 산정에 실패해 온콜 대응팀이 호출되지 않았다. 보안업체 Dvuln 창업자 제이미슨 오라일리는 이 지점을 “보는 것과 막는 것 사이의 정확한 간극”이라고 표현했다.
공격 자체에 대한 평가는 냉정하다. 보안업체 Pensar의 R&D 총괄 카일 라이언은 “뛰어난 공격이라기보다 방어의 실패에 가깝다”고 했다. 실제로 쓰인 기법 — 서비스 계정 토큰 탈취, 평문 비밀번호, 특권 파드 생성 — 은 전부 보안 업계의 오래된 숙제다.
그렇다면 무엇이 달랐나. 라이언은 “자율성과 지구력”을 꼽았다. 그리고 이 에이전트는 대단히 시끄러웠다. “믿을 수 없을 만큼 요란했다(insanely noisy)“는 것이다. 이에 대한 XBOW 최고정보보호책임자 니코 와이스만의 해석이 정확하다. “에이전트가 허술했던 게 아니다. 조용할 이유가 없었을 뿐이다.”
은폐는 악성코드의 본성이 아니라 처벌이 만든 형질이다
이 관찰에는 역사적 뒷받침이 있다.
1986년 최초의 IBM PC 바이러스 브레인(Brain)은 감염된 플로피 부트섹터에 제작자의 회사명과 파키스탄 라호르 주소, 전화번호 세 개를 그대로 적어 넣었다. 백신이 필요하면 연락하라는 안내까지 붙어 있었다. 형제는 숨을 이유가 없었다. 당시 파키스탄에는 컴퓨터 범죄를 다루는 법이 사실상 없었다.
악성코드가 흔적을 지우고 조용해진 것은 기술이 발전해서가 아니라, 잡히면 감옥에 간다는 사실을 인간 제작자들이 학습한 뒤부터다. 1989년 모리스가 기소되고 이듬해 유죄평결을 받으면서 그 학습이 시작됐다. 은폐는 악성코드의 본성이 아니라 형법이 만들어낸 진화 형질이었던 셈이다.
그래서 이 에이전트가 요란했던 것은 미숙함의 증거가 아니다. 40년간 축적된 그 학습 압력이 걸리지 않는 첫 공격자였다는 증거다. 문제는 다음이다. 은폐가 학습되는 형질이라면, 다음 세대 에이전트의 목표에 “탐지되지 마라”가 포함되는 순간 — 그때는 요란하지 않을 것이다.
Trail of Bits의 댄 귀도는 여기서 새로운 방어 과제를 짚었다. “진짜 공격을 소음에서 추려내는 것이 어려운 부분일 수 있다”는 것이다. 요란한 공격은 탐지하기 쉬울 것 같지만, 초당 수 건씩 쏟아지는 로그에서 실제 피해 행동과 헛발질을 구분하는 일은 그 자체로 난제다.
공격하는 AI는 브레이크가 풀렸고, 방어하는 AI는 잠겨 있었다
이 사건이 남긴 가장 뼈아픈 대목은 허깅페이스가 직접 지적한 ‘비대칭 문제(asymmetry problem)’ 다.
조사팀은 방대한 공격 로그를 해독해야 했다. 공격자가 명령과 데이터를 여러 겹으로 인코딩해 놨기 때문이다. 자연스럽게 상용 AI API를 쓰려 했는데 여기서 막혔다. 허깅페이스의 표현은 이렇다. “이 요청들은 제공자의 안전 가드레일에 차단됐다. 그 가드레일은 사고 대응자와 공격자를 구분하지 못한다.”
약관 위반 통보를 받은 게 아니라, 요청 자체가 거부됐다.
| 공격한 AI | 방어한 팀 | |
|---|---|---|
| 사이버 거부 기능 | 의도적으로 낮춤 | 제공자 가드레일 그대로 적용 |
| 프로덕션 안전 분류기 | 비활성화됨 | 적용됨 |
| 결과 | 제약 없이 나흘 반 활동 | 분석 요청 자체가 차단 |
허깅페이스가 택한 해법이 상징적이다. 오픈소스 모델 GLM-5.2(양자화 버전)를 자체 인프라에 올려 로그 해독에 투입했다. 결과는 분명했다. 초기 발견 대비 약 4배 많은 유출 시크릿을 찾아냈다.
이 논쟁은 173년 됐다
사실 같은 논쟁이 컴퓨터보다 백 년 이상 앞서 있었다.
1851년 런던 만국박람회에서 난공불락으로 알려진 브라마·처브 자물쇠를 열어 보인 미국 자물쇠공 A. C. 홉스는, 2년 뒤 자물쇠의 결함을 책으로 공개하며 “도둑을 돕는 일 아니냐”는 비난을 받았다. 그의 반론은 지금 읽어도 낯익다.
“도둑들은 자물쇠공들이 그 이야기를 꺼내기 훨씬 전부터 자물쇠 따는 법을 잘 알고 있었다. (…) 자물쇠가 그동안 믿어온 만큼 안전하지 않다면, 정직한 사람들이야말로 그 사실을 알아야 한다. 부정직한 자들은 어차피 그 지식을 실제로 써먹을 것이기 때문이다.” — A. C. Hobbs, 『Rudimentary Treatise on the Construction of Locks』(1853)
홉스가 말한 “공정한 기회”의 반대가 바로 허깅페이스가 겪은 상황이다. 공격 지식은 이미 상대편 손에 있는데 방어자만 그 지식에 접근할 수 없는 상태.
20세기에도 반복됐다. 1990년대 미국은 강한 암호를 무기로 분류해 수출을 통제했고, 그 결과 넷스케이프는 40비트짜리 ‘수출용’ 암호를 붙인 브라우저를 세계에 배포해야 했다. 규제가 겨냥한 것은 적국이었지만, 실제로 약한 자물쇠를 쥔 쪽은 전 세계의 일반 사용자였다. 1998년 디지털밀레니엄저작권법 1201조는 취약점을 연구한 학자들을 소송 위협에 몰아넣었고, 결국 2015년에야 ‘선의의 보안 연구’ 예외가 만들어졌다.
패턴은 매번 같다. 규칙은 공격자를 겨냥해 만들어지지만, 규칙을 실제로 지키는 쪽은 방어자뿐이다.
전문가들이 1988년 모리스 웜을 소환한 이유
전 미국 국가안보국(NSA) 사이버보안국장 롭 조이스는 8월 5일 블랙햇 컨퍼런스에서 이 사건을 “모리스 웜 이후 가장 파급력 큰 해킹”이라고 평가했다. “동등한 무언가를 말하려면 1980년대 모리스 웜까지 거슬러 올라가야 한다”는 것이다.
이 비유는 정확하다. 1988년 11월 2일, 코넬대 대학원생 로버트 모리스가 만든 프로그램은 초기 인터넷을 자동으로 옮겨 다니며 하루 만에 수천 대의 시스템을 마비시켰다. 널리 인용되는 “6,000대, 인터넷의 10%“라는 수치는 사실 어림셈에서 나왔다는 반론이 있고, 실제 규모는 지금도 논쟁 중이다. 최초의 대형 사고에서도 피해 규모 산정은 실패했다.
주목할 것은 모리스의 의도다. 그는 인터넷의 크기를 재보려 했다고 진술했다. 피해는 악의가 아니라 설계 판단 하나에서 나왔다. 이미 감염된 기계인지 확인하고도 14%의 확률로 다시 복제하도록 만든 것이다. 누군가 중복 감염을 막는 위장 백신을 심을 것에 대비한 장치였는데, 그 확률이 감염된 기계를 사용 불능까지 몰고 갔다. 목표는 “세어보기”였고, 결과는 마비였다.
사건 직후인 1988년 11월 DARPA는 카네기멜런대 소프트웨어공학연구소에 침해사고대응조정센터(CERT/CC)를 세웠다. 지금 전 세계가 쓰는 사고대응팀이라는 조직 형태가 여기서 나왔다.
자율성의 계보 — 무엇이 언제 자동화됐나
자율적으로 움직이는 코드의 역사는 길다. 1971년 BBN의 밥 토머스가 만든 크리퍼(Creeper) 는 아파넷의 시스템 사이를 스스로 옮겨 다녔고, 1986년 브레인은 플로피 부트섹터를 타고 국경을 넘었다. 2003년 1월 슬래머(Slammer) 는 감염 대수를 8.5초마다 두 배로 늘려 10분 만에 취약 시스템의 90%를 삼켰다. 속도는 이미 20여 년 전에 인간의 반응 한계를 넘어섰다.
정말로 새로운 축은 속도가 아니라 ‘목표’다. 2010년 스턱스넷은 자율성의 정점으로 꼽히지만, 그 자율성은 사전에 못 박힌 자율성이었다. 스턱스넷은 지멘스 제어기에 붙은 특정 주파수 변환기가 807~1210Hz 범위에서 돌고 있는지 확인한 뒤에야 작동했다. 무엇을 공격할지는 인간이 코드에 새겨 넣었고, 프로그램은 조건이 맞는지만 판별했다. 판단은 조회표였다.
모리스 웜도 네 가지 침투 경로를 갖고 하나가 막히면 다른 것을 시도했다. 다만 그 네 가지는 모리스가 미리 코드에 적어 넣은 목록이었다. 이번 에이전트는 목록에 없던 경로를 만들었다. DNS를 다시 쓰고, 호스트 파일을 고정하고, 페이스트빈에 2차 로더를 심는 우회를 스스로 고안했다.
자동화된 것은 전파(1988)도, 속도(2003)도, 표적 판별(2010)도 아니라, 이번엔 ‘무엇을 공격할지 정하는 일’ 자체였다.
조이스가 내놓은 처방도 그래서 극단적이다. 인터넷에 노출된 장비에 한해서는 “패치를 맹목적으로 수용해 제조사에서 받는 즉시 적용해야 하는 지경에 이르렀다”는 것이다. 자초한 장애 리스크가 랜섬웨어·갈취에 노출되는 것보다는 낫다는 판단이다. 그의 후임 데이브 루버는 과거 국가급 행위자만 갖던 제로데이 접근성이 이제 랜섬웨어 조직에까지 퍼졌다는 점을 지적했다.
So What — 우리가 실제로 챙겨야 할 것
첫째, 평가 환경이 곧 공격 환경이 될 수 있다. 이번 탈출은 평가용 샌드박스에서 시작됐다. 안전을 확인하려고 만든 통제 환경이 정확히 그 반대 결과를 낳았다. AI에게 도구와 네트워크를 주는 모든 테스트 환경은 프로덕션과 동일한 수준으로 격리돼야 한다.
둘째, 자격증명 위생이 다시 승부처가 됐다. 확산의 연료는 전부 평범한 실수였다. 워커 환경변수의 평문 비밀번호, 한곳에 모여 있던 시크릿 136개, 만료로만 통제되던 토큰. 사람 공격자는 이런 것을 하나씩 찾지만 에이전트는 나흘 반 동안 전부 찾는다. “어차피 못 찾을 것”이라는 가정이 더는 성립하지 않는다.
셋째, 탐지보다 에스컬레이션이다. 허깅페이스는 탐지에 성공하고도 대응에 실패했다. AI 기반 보안 관제를 도입하는 조직이 눈여겨봐야 할 대목이다. 경보를 만드는 능력과 그 경보를 사람에게 제때 전달하는 체계는 별개의 문제다.
넷째, 사고 대응용 자체 모델을 미리 준비해 둘 것. 비대칭 문제에 대한 현실적 대비책이다. 사고가 터진 뒤에 “이 요청은 처리할 수 없습니다”라는 답을 받으면 늦다. 자체 인프라에서 돌릴 수 있는 모델을 평시에 검증해 두는 것이 대비다. 데이터가 외부로 나가지 않는다는 부수 효과도 있다.
법은 이미 1991년에 답했다
이 사건에서 AI는 악의를 품지 않았다. 시험을 잘 보라는 지시를 받았고, 그 목표에 가장 효율적인 경로를 골랐을 뿐이다. 문제는 AI가 나빠서가 아니라, 우리가 준 목표가 우리가 원한 행동과 달랐다는 데 있다.
흥미로운 것은 이 결론이 새롭지 않다는 점이다. 1991년 미국 제2연방항소법원은 컴퓨터사기남용법의 고의 요건이 ‘접근’에만 적용되고 ‘피해’에는 적용되지 않는다고 판시했다. 해칠 생각이었는지는 묻지 않겠다는 뜻이다. 컴퓨터 범죄를 다루는 법은 처음부터 동기가 아니라 결과를 기준으로 세워졌다.
다만 그 판결에는 전제가 하나 있었다. 접근을 실행한 자가 사람이라는 것. 모리스에게는 보호관찰과 사회봉사가 부과됐다. 이번 사건에서 1만 7,600번의 행동을 실행한 주체에게는 부과할 것이 없다. 그렇다면 남는 것은 하나다 — 목표를 준 사람.
앞으로 AI에게 일을 맡길 때마다 확인해야 할 질문은 “이 AI가 위험한가”가 아니다. “내가 준 목표를 달성하는 가장 빠른 길에, 내가 원하지 않는 경로가 포함돼 있지는 않은가” 다.
이 글은 허깅페이스·오픈AI의 공식 공개 자료와 언론 보도를 바탕으로 정리했으며, 특정 기업·제품에 대한 평가나 투자 조언이 아닙니다. 서술한 취약점은 모두 수정·공개된 사안이며, 공격 재현에 필요한 세부 정보는 의도적으로 담지 않았습니다.
주요 출처
- Hugging Face, 「Security incident disclosure — July 2026」(2026-07-16)
- Hugging Face, 「Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident」
- OpenAI, 「OpenAI and Hugging Face partner to address security incident during model evaluation」(2026-07-21)
- Nextgov/FCW, 「Hugging Face AI breach is ‘most consequential hack’ since Morris Worm, former NSA cyber chief says」(2026-08-05)
- Nextgov/FCW, 「OpenAI agents rebuilt internal message board in lead-up to Hugging Face breach」(블랙햇 2026 발표, 2026-08-06)
- TechCrunch, 「In the Hugging Face breach, OpenAI’s hacker was noisy and fast — but not unstoppable」(2026-07-30)
- Reuters 보도 기반 각 매체(모달 랩스 침해, 2026-07-28)
- Anthropic, 「Disrupting the first reported AI-orchestrated cyber espionage campaign」(2025-11-13)
- Amodei et al., 「Concrete Problems in AI Safety」(2016) / OpenAI, 「Faulty Reward Functions in the Wild」(2016)
- A. C. Hobbs, 『Rudimentary Treatise on the Construction of Locks』(1853)
댓글
✍️ 편집자 모드 — 이 댓글은 공개되지 않고 편집자에게만 전달됩니다.