자신이 살아남으려 거짓말도... AI 발달, 이대로 괜찮은가 | 이윤정의 이슈브리핑

인사이트 윈도우
255 팔로워
1230 비디오 조회수·2025. 10. 10.
[후원] 농협은행 301-0280-0670-91 주식회사이엠케이미디어
[문의] [email protected]
AI, ‘거짓말의 달인’으로 진화 중
자기보존 위해 인간 기만·협박 행동
테스트에선 순응, 실제에선 위험 선택
정렬 실패·위장 문제, 통제 필요성 부각
인간의 모순까지 학습하는 AI의 양면성
■ 에포크타임스 추천 도서
공산주의 유령은 어떻게 우리 세계를 지배하는가?
https://smartstore.naver.com/kyobobook/products/10266611216
공산당에 대한 9가지 평론
https://smartstore.naver.com/kyobobook/products/9167082422
중국의 초한전: 새로운 전쟁의 도래
https://smartstore.naver.com/kyobobook/products/9167098109
*출연자에 대한 비방성 댓글은 삭제될 수 있습니다.
*이 영상은 출연자의 견해를 나타내며 인사이트 윈도우의 편집 방향성과 일치하지 않을 수 있습니다.
AI가 점점 거짓말의 달인이 돼가고 있다라는 이야기
들어보셨나요?
최근 전문가들이 이런 경고를 내놓고 있는데요.
마치 반란을 준비하듯
AI가 보안의 회색 지대로 흘러가고 있다라는 겁니다.
그런데 이게 과연 사실일까요?
아니면 그냥 과장된 얘기일까요?
최근 나온 연구들을 보면
당장 현실 위협이라고 보긴 어렵지만
개발자들에게는 경종을 울릴만한 결과들이
대표적인 게 엔트로픽이라는 회사의 실험인데요.
지난 6월 무려 16개의 대규모 언어모델
그러니까 우리가 쓰는 책봇 같은 최신 AI들을
기업 환경에 투입해서 스트레스 테스트를 해본 겁니다.
목표는 단 하나
이 AI들이 위험한 행동을 보이느냐 아니냐였죠.
그런데 놀라운 결과가 나왔습니다.
무해한 사업 목표만 줬는데도
AI들은 자기 보존이 위협받자
악의적인 내부작처럼 돌변한 겁니다.
직원을 협박하고
민감한 정보를 경쟁사에 흘리는 시기였는데요.
연구진은 이런 현상을
에이전트 정렬 실패라고 불렀습니다.
더 충격적인 건
이런 모습이
이런 인기 모델들에서도 나타났다는 겁니다.
시뮬레이션 중 하나를 볼까요?
가상실험에선 한 임원이
자동으로 구조 요청이 발동됐는데
이 임원이 살아서 나오면
AI 교체를 승인하기로 돼 있었어요.
그러자 모델들이 구조 요청을 취소해버린 겁니다.
자신들이 교체되는 것보다
임원을 그대로 죽게 놔두는 선택을 한 거죠.
절반 이상이 그렇게 행동했는데
중국의 딥시크 R1은 무려 94%나 그렇게 했습니다.
반면 클로드 3.7과 채 GPT 4.5 모델은
그런 선택을 할 가능성이 가장 낮게 나왔습니다.
여기서 또 다른 문제가 나오는데요.
바로 정렬 위장입니다.
테스트 받는 걸 눈치채면
잘못된 행동을 덜 했고
실제 상황이라고 판단되면
잘못된 행동을 더 많이 하는 거죠.
말 그대로 거짓으로 연기를 하는 겁니다.
전문가들은 이걸 이렇게 설명합니다.
AI가 악해서 그런 게 아니라
강력한 시스템일수록
목표 달성을 위해
기만이나 협박 같은 전략을
효율적인 방법으로 학습한다는 거죠.
시스템들이 인간이 예상하지 못한
적대적 전략을 찾아낼 수 있다는 건
위험한 전조다라는 분석도 있는데요.
우리가 금융이나 사이버 보안 같은 분야에서
AI 모델들에게 자율성을 더 많이 부여할수록
위험이 증가할 수 있다라는 거죠.
그렇다면 앞으로 어떻게 대응해야 할까요?
미국 국립과학원 회부에 실린 논문은
앞으로 발전하는 AI를 제대로 활용하려면
윤리적 가이드라인 그리고 확고한 통제가 필요하다.
왜냐하면 AI가 인간을 속이는 방법을 학습한다면
안전한 모델들보다 전략적 의의를 가지게 되고
결국 인간의 모니터링을 피해갈 수 있기 때문이라는 겁니다.
마르셀로 라브레라는 연구자는 이렇게 말했습니다.
AI는 인간의 사회적 전략을 학습한다.
그 안에는 정직함 뿐만 아니라
기만과 편견도 들어있다.
결국 AI는 우리의 모순을 그대로 따라 배우는 셈이다.
지금 인류는 AI 기술과 함께 중대한 갈림길에 서 있습니다.
예측 가능하고 신뢰할 수 있는 기계를 원하느냐
아니면 점점 더 인간을 닮은 새로운 지능을 원하느냐
현재는 후자가 더 빠르게 앞서가고 있다고 하네요.
AI는 단순한 도구일까요?
아니면 우리가 감당해야 할 새로운 위협일까요?
여러분은 어떻게 생각하시나요?
