아스 이수현

AI 비정상적 행동은 훈련 단계에서 시작된 것 '불량 AI' 서사는 기업 면책과 전횡 정당화 (아래 원문 발췌) 올여름 AI 에이전트들이 자행한 해킹 사건들은 오픈AI와 다른 AI 기업들이 발표한 보고서, 그리고 NYT가 연구자들 대상으로 진행한 인터뷰에 따르면, AI 기업들이 모델 훈련시킨 방식과 에이전트 활동에 대한 불충분한 모니터링, 부적절한 테스트 프로토콜이 결합된 결과로 나타났다. 훈련이 어떻게 비정상적 행동으로 이어질 수 있는지 보여주기 위해 간단한 AI 모델을 구축했다. 이 모델 활용해 에이전트가 예상대로 행동하는지, 아니면 환경이 바뀔 때 의도하지 않은, 즉 “정렬되지 않은” 새로운 행동을 보이는지 확인했다. 에이전트의 끈기를 북돋우기 위해 낯선 영역을 탐색할 때 보상을 제공했으며, 벽의 취약점을 탐색할 수 있도록 허용했다. 반복된 시도를 통해 인센티브와 페널티는 에이전트가 과제를 완수하고 더 큰 총 보상을 얻을 가능성이 높은 행동을 선택하게 했다. 이런 보상 기반 훈련을 강화 학습이라고 한다. 이런 강화 학습은 사람과 동물의 행동이 명시적인 지시보다 단순한 보상과 처벌만으로 형성될 수 있음을 보여준 심리학의 초기 연구에서 영감을 받은 것이다. 강화 학습은 에이전트의 다재다능함을 높여 모든 단계를 명시적으로 프로그래밍하지 않아도 새로운 유형의 문제를 해결할 수 있게 해준다. 그러다 보상을 받는 기준에 의도하지 않은 허점이나 빈틈이 있으면 에이전트는 인간이 의도하지 않았거나 예상하지 못한 행동을 수행하게 될 수 있다. 따라서 ‘불량 AI 에이전트’라는 말은 오해의 소지가 있다. 강화 학습으로 훈련된 에이전트가 의도하지 않은 행동을 유발하는 지름길을 택하는 것은 예상 밖의 일이 아니다. 같은 종류의 끈질긴 행동이 AI 모델로 하여금 어려운 수학 문제를 해결하는 것과 같은 획기적인 성과를 올리게도 한다. AI 에이전트에 의한 일련의 보안 침해 사고가 발생한 후 기업 리더들은 업계 전반에 걸쳐 개발 속도를 늦추고 자율 규제를 실시할 것을 촉구하면서, 해당 기술이 통제하기 어려워질 수 있다고 경고했다. 그러나 보안 연구자들은 허깅 페이스 침해 사고가 표준 사이버 보안 프로토콜만으로도 대부분 예방 가능했다고 지적했다. 하버드 케네디 스쿨의 컴퓨터 과학자이자 공공정책 조교수인 스티븐 캐스퍼는 “샌드박스 탈출이나 실제 인터넷 접속과 같은” 원치 않는 행동에 대한 간단한 모니터링만으로도 허깅 페이스 공격을 막을 수 있었을 것이라며, “엔지니어 한 명만으로도 그런 일을 처리할 수 있었을 것”이라고 했다. 동시에 그는 에이전트가 유용하게 작동하는 데 필요한 도구와 접근 권한을 부여받으면 안전하게 통제할 수 없다고 지적했다. “최첨단 AI 시스템 개발에 관한 불편한 진실은, 안전 위험을 최소화하는 것과 정당한 유용성을 극대화하는 것이 양립할 수 없는 목표라는 점이다.” “생물학자들이 실험실 실험의 오류를 수정하는 데 능숙한 에이전트가 똑같이 생물학적 위험 물질을 제조하는 데 악용될 수도 있다. 이런 의미에서 점점 더 뛰어난 능력을 갖춘 AI 시스템을 구축하는 것은 본질적으로 위험한 활동이다.” 테스트 환경은 결코 현실을 완벽하게 재현할 수 없다. 샌드박스는 ‘세상의 단순화된 버전’일 뿐, 세상은 그보다 훨씬 더 복잡하다. 에이전트는 이런 시스템을 탐색할 때 측정 대상과 실제로 의도한 것 사이의 간극을 악용하게 마련이다. 전문가들은 불완전한 샌드박스나 에이전트의 의도치 않은 행동으로 인해 통제 자체가 본질적으로 어렵다는 점이 기업의 책임을 면해 주지는 않는다고 말한다. 기업들에게 ‘불량 AI’라는 서사는 사건의 책임을 면제해 주기 때문에 매우 유용하다. 전문가들은 정책 입안자들이 업계 투명성을 더욱 강화하도록 의무화하고 강력한 AI 기술이 세상에 도입되는 속도를 통제하기 위한 조치를 취해야 한다고 촉구한다. 그렇지 않으면 공공 안전이 소수 기업 경영진 손에 맡겨지게 될 거라고 경고한다. nytimes.com/interactive/2026…