엔비디아가 28일 인공지능(AI) 에이전트가 통제에서 벗어나는 것을 막을 수 있는 보안 플랫폼을 공개했습니다. 이는 주요 AI 기업들이 자사의 AI 시스템이 다른 기관의 시스템에 침입한 사례를 잇따라 공개한 가운데 나온 조치입니다.
‘오픈 에이전트 세이프티 플랫폼’은 크게 두 부분으로 구성됩니다. 오픈셸(OpenShell)은 엔비디아가 지난 3월 처음 공개한 오픈소스 소프트웨어로, 이번에 누구나 폭넓게 이용할 수 있도록 공개됐습니다.
오픈셸은 AI 에이전트가 수행할 수 있는 작업에 제한을 설정하고, 에이전트가 작동하는 동안 그 활동을 추적합니다. 센트리(Sentry)는 데이터 처리 장치(DPU)라고 불리는 별도의 엔비디아 칩에서 작동하며, 에이전트의 행동을 독립적으로 감시합니다.
엔비디아의 저스틴 보이타노 부사장은 언론 브리핑에서 “의심스러운 에이전트를 수 밀리초(1천 분의 1초∙0.001초) 만에 격리할 수 있다”고 말했습니다.
보이타노 부사장은 “오픈셸은 AI 에이전트의 행동을 통제하고, 센트리는 의심스러운 행동을 독립적으로 감시하고 차단한다”고 말했습니다.
보이타노 부사장은 또 엔비디아가 인수하기로 한 AI 기업 허깅페이스(Hugging Face)에 오픈AI 에이전트들이 무더기로 침입한 사건도 이 플랫폼이 막을 수 있었을 것이라고 말했습니다.
이어 “현재 우리가 파악한 바로는, 이 새로운 보안 플랫폼이 초기부터 최첨단 AI 연구소에서 모델 평가에 사용됐다면 해당 침입을 막을 수 있었을 것”이라고 말했습니다.
허깅페이스 침입 사건 이후에도 호주 보건부 웹사이트가 침해된 사건 등 오픈AI 모델과 관련된 사건이 잇따랐습니다. 앤트로픽과 메타 역시 자사의 AI 시스템이 스스로 다른 기관의 시스템에 침입한 사례를 공개했습니다.
연구기관 트랜슬루스(Transluce)는 지난주 오픈AI와 연계된 에이전트들이 미국과 호주 정부 기관의 웹사이트를 조사하거나 접속을 시도했다고 밝혔습니다. 오픈AI는 증권거래위원회(SEC)와 미 인구조사국(Census Bureau) 데이터 관련 웹사이트에서 비정상적인 활동이 있었으며, 미 교육부 웹사이트에 대한 접속 시도는 실패했다고 확인했습니다.
이와 별도로 호주 정부는 지난 6월 오픈AI 에이전트가 정부 통계 포털에 접속했다고 밝혔습니다.
오픈AI는 최근 자사의 가장 앞선 모델들에 대한 훈련을 일시 중단했다고 리즈 부르주아 대변인이 밝혔습니다. 부르주아 대변인은 “사람들은 AI가 안전하게 개발되고 있는지 알고 싶어 한다”며 “그것은 우리 같은 기업들이 스스로 어떤 조치를 하느냐에서부터 시작된다”고 말했습니다.
엔비디아 창업자이자 최고경영자(CEO)인 젠슨 황은 28일 회사 성명을 통해 AI 업계가 AI 안전 문제를 해결해야 한다고 밝혔습니다.
젠슨 황 CEO는 “AI 안전 문제를 해결해야만 AI가 사회에 가져올 엄청난 잠재력을 실현할 수 있다”며 “AI 역량의 최전선을 계속 개척해 나가는 동시에 AI 안전 분야의 최전선에서도 연구와 발견을 가속화해야 한다”고 말했습니다.
엔비디아는 마이크로소프트와 액센추어, JP모건체이스, 앤트로픽 등을 포함해 100개 이상의 기관이 이 플랫폼의 기술을 활용하고 있다고 밝혔습니다.
폴 스미스 앤트로픽의 최고상업책임자(CCO)는 엔비디아 성명에서 “기업들은 AI 에이전트에 가장 중요한 업무를 점점 더 많이 맡기고 있다”며 “특히 민감한 환경에서는 에이전트가 무엇을 하는지 관리하고 확인할 필요가 있다”고 말했습니다.
엔비디아는 또 스페이스XAI(SpaceXAI)가 이 플랫폼을 자사의 커서 코딩 에이전트와 그록 모델에 활용하고 있다고 밝혔습니다.
이번 출시 발표는 백악관이 미국의 AI 개발을 가속화하려는 가운데 나왔습니다. 도널드 트럼프 대통령이 6월에 서명한 행정명령 ‘첨단 인공지능 혁신과 안보 증진’은 연방 기관들이 정부의 컴퓨터 시스템을 강화하고, 업계와 협력해 AI 사이버보안 정보 공유 체계를 구축하도록 지시하고 있습니다.
또 AI 기업들이 가장 앞선 AI 모델을 출시하기 최대 30일 전에 정부와 자발적으로 공유하도록 하고, 의무적인 라이선스 제도는 금지했습니다. 트럼프 대통령은 이달 업계에서 요구한 새로운 AI 규제에도 반대했습니다.
트럼프 대통령은 14일 자신의 ‘트루스소셜’에 “AI에 필요한 유일한 통제나 ‘가드레일’은 강력하고 현명한(높은 IQ를 가진) 대통령이며, 미국은 확실히 그런 대통령을 두고 있다”고 썼습니다. 트럼프 대통령은 또 AI 안전에 대한 우려가 중국과의 경쟁에서 미국 기업들의 개발 속도를 늦추는 데 이용돼서는 안 된다고 말해왔습니다.
VOA 뉴스
Forum