갑자기 딥러닝이 주류가 된이유?! 인공지능의 발전이 온 계기와 생성형 AI의 원리 2024 노벨물리학상해설 3부! [보이저엑스 남세동 대표]

안될과학 Unrealscience
147 팔로워
2024 노벨물리학상 해설 세 번째 이야기!
과연 현재의 인공지능은 어떻게 발전하게 되었을까?
제프리 힌턴 교수님과 그의 제자들의 업적은?
생성형 AI는 과연 어떤 원리로 작동하는지!
인공지능 기업 보이저엑스 남세동 대표님과 함께 알아봅니다!
◆ 2024 신상 굿즈 유니버스 맨투맨 + 공룡 후드 집업
모어사이언스 스토어에서 만나볼 수 있습니다!
https://smartstore.naver.com/morescience
#노벨물리학상 #ai #딥러닝 #퍼셉트론 #보이저엑스 #남세동
◆ Thanks to
Editor: 이재현
Guest: 보이저엑스 남세동 대표
◆ 안될과학-모어사이언스 스마트스토어 (과학굿즈)
https://smartstore.naver.com/morescience
◆ 안될과학 인스타그램
https://www.instagram.com/unreal.science
◆ 안될과학 커뮤니티
https://cafe.naver.com/unrealscience
◆ 안될과학 문의
E-MAIL : [email protected]
야 요거 맞춰 보고 싶다 되게 간다
간다 간다 이게 공연이 간 사람들이
제일 즐거운 순간이에요 이게 됐잖아
됐네요 이게 철록 쓰고 이거를
느껴봐요 히어 아니 철록 썼는데 채치
비티가 말 같은 말을 하면 얼마나
즐거웠을까 부드러운 걸로 바꿔 볼게
시그모이 들어 그럼 훨씬 더
감동적으로 나올 좋은 약들 많이
쳤고요 어씨 좋은 약 넣더니 안 되네
약 약을 잘못 쓰고 있어 약을 잘못
쓰 너 원래대로 이제 못 돌리는 거
아니야 잠깐만 자존심 상하는데 제가
요즘에 이게 원래 대표가 되면은
실무다는 이제 행정 일이 조금
많아지거든요 그죠 렐로 하면 잘 되나
봐요 보셨죠 여러분들 만들어지죠
만들어지죠 아 내 인공지능 쪽으로
갔었어야 되는데 자존심 상하네 저
인공지능 스타트업
대표인데 인사할 시간도 많습니다
여러분의 시간을 낭비 애드리 느리지만
프랑과 랩 미팅입니다 반갑습니다
교수님들 반갑습니다 반갑습니다 그래서
저 W 조정하는게 A B 조정하는
건데 예측을 하고 손실을 계산한
다음에 손실이 주는 방향으로 움직이는
거예요 올려도 보고 내려도 보고
손실을 계산한 다음에 어느 쪽이
좋은지를 보고 손실이 적은 방향으로
가는 거예요 너무 단순하죠 그렇게
하면 이렇게 돼요 a b 내가 올려둬
보고 내려도 볼 수 있죠 이쪽으로
손실이 쭈네 내려가요 멈췄 아아
여기서 그럼 여기서 멈추자아요 그럼
어 W 난 여기가 좋아 그럼 a
이걸로 정해지는 거예 B 이걸로
정해지고 요렇게 해서 W 정해져요이
그래프에서 방금 얘기한 걸 경사
하강이라는 문제가 뭘까요 여기가 제일
낮은 줄 알고 있었는데 더 뒤에 더
낮은게 있을 수도 있어요 아까 AB
보자면를 막 조절할 때 이렇게 가다가
올라가는 말아야 저로 올 거잖아요
근데 사실은 이거를 넘어버리면 더
좋은 값이 있는데 거기까지 못가 봐요
안수한 알고리즘 물어 근데 놀랍게도
팀 러닝은 그걸 풀어요
경사하강법이라는 거는 산을 내려가는
거예요이 비유에 좀 문제가 있어요
산에서는 내가 저기가 보이니까 보이는
대로 내려갈 거잖아요 근데 경사
법이라는 거는 여기서 여기가 안
보여요 요걸로 비유하면 조금 오해
소지가 있고 사실은 이런 상황인
거예요 흙 같은 어둠에 아무것도 안
보여요 그냥 후래시 켜고 렇게 본
다음에 저기가 더 낮은가 닝이 얼마나
단순 무식한 방법이냐 파라미타 수천억
개를 그냥 후래시 켜고 어디가 더
낮을까 그것만 해보면서 계속 낮은
방향으로 가고자 하는 거예요 이래
가지고 언제 내가 평지 마을 찾냐
그걸 사람들이 말도 안 된다고
생각했기 때문에 딥러닝이 그게 돌아갈
리가 없다라고 생각했던 거예요 그죠
그리고 그거는 이론적으로도 지금은이
방법으로 저 마을을 찾을 수
있다라는게 증명이 안 돼 있어요
세상에 이런 거 많거든요 초전 도체도
왜 나오는지 몰라요이 방법의 제일
핵심 문제 중에 하나가 수학적으로
문제가 있다라는게 증명이 돼 있어요
이게 풀리는 거는 증명이 안 돼 있어
그래서 딥러닝이 될 거라고 믿은
사람이 그렇게 적었다 그래서 저
최소값 문제가 있어요 근데이
경사하강법을 실제로 딥러닝을 돌리면
요렇게 돌아가는 거예요 지금까지는
우리가 W 하나 가지고 봤지만 이게
W 두 개예요가 구슬이 딱 여기
있잖아요 이게 학습이 되고 있는 거고
학습이 끝나면 구슬이 여기 있는
거예요 구슬이 여기 있다라는게
뭐냐면이 구슬의 위치가 현재 학습된
위치예요 그리고 얘가 손실이이 제트
축이 손실을 낮추는 방향으로 W 를
조절하는 거죠 뉴럴넷 학습할 때는
처음에 랜덤하게 뚝 떨어져요 그러면
W 랜덤하게 여기서 출발할 수도 있고
여기서 출발할 수도 있죠 그럼 학습을
하다 보면 얘가 지금 국소 지점에
빠진 거예요 왜냐면 뉴런을 진짜로
경사하강법을 학습하기 때문에 재수
없으면 력이 걸리는 거예요 그죠 이게
수학적으로 보면 딥러닝은 여기서
멈춰야 돼 그러니까 여기에 못 갈
거야 그래서 딥러닝은 안 되는 거야가
원래 수학적인 이론적인 비판이
기본적으로 지금도 해결이 안 돼
있어요 그거를 설명하는 이론이 뭐냐면
사실은 뉴럴넷 구조를 보면 W 과
W2 이런 식으로 생겨서 이렇게 W
조절하다가 w1이 한 개에 온 거
같잖아요 근데 사실은 W2 또 1로
갈 수 있어 또 1로 가다 보면 W
1도 또 상황이 바뀌잖아요 근데이
패러미터가 수천억 개가 있으면 끝없이
내려갈 수 있다 그래서 로컬 미니마
빠지지 않는다라는게 현재의 해석이요
해석 가설이 수학적으로 증명된 바가
없어요 그죠 이때까지 설명한 거를
시각화 한 거예요 어 좋습니다 얘의
목표는 근해를 타는 거고요 W 조정의
결과가 처음에는 랜덤하게 떨어졌기
때문에 하게 네를 타요 박자가 맞아야
네가 움직이는 거거든요 근데 얘가
손실을 낮추는 방향으로 학습을 하다
보면 박자를 맞추게 돼요 어 오 오
저렇게 타라고 알려준 적이 없지만를
조정하면 저렇게 탄다 오 가만 보면은
딱 내려갈 때 무릎을 쫙 굽히는게
보여요 bec better th 먼
사람보다 더 잘 타게 되는 거죠
심지어 사람이 본능적으로 근해를 타는
거보다 약간은 다르게 타서 훨씬 더
흔들리는 거예요 의미를 줘 가지고
원래 그네를 타는 범을 사람이
알려주려면 수식도 사람이 짜야 되고
물리학자 뭘 들어야 되고 스포츠
과학자 뭘 들어야 돼서 수식을
알려주고 그대를 타게 해야 돼요 근데
저거는 그냥 더를 조종한 결과라는 거
근데 인공지능을 더 열심히 공부하다
보면 어떤 생각이 이냐면 훌륭한
인공지능 컴퓨터가 저 경사 강을
통해서 찾은 방법을 사람은 어떻게
그동안 찾았을까 그죠 오히려 그게
놀라워요 나중에는 그래서 지금까지
설명드린 걸 종합해서 보면 왜 저렇게
계산하면 인공지능이 나오는지를 이해
못 한다 그다음에 숫자들의 의미가
이해가 안 된다 사람이 넣은게 아니다
그런 뜻의 블랙 박스고 또 블랙박스가
오해를 주는 거는 안 보인다
계산식이라는 오해를 하는데 계산식은
다 보인다 알파고도 계산식 다 볼 수
있어요 그죠 다만 이해가 안 된다
역전파 요것도 이제 또 제프리 트
님이 중심에 계시고요 렇게 세 분이
역전파 만드신 겁니다 결국은 더
조정하는 건데 경사하강법을 너무
느려요 경사 강을 빨리 하는게 역전파
생각하시면 쉬워요 원래 경사 강법
내가를 아까 올리거나 내리거나 쭉
계산을 해요 그래야 예측이 나오잖아요
근데 잘 한번 생각해 보세요 w1
그렇게 해야 돼요 W 2도 그렇게
해야 돼요 10열 개면 열개
100개면 100개를 해야 돼요 너무
비율적이에요 W2 얘를 바꾼 거에
대해서 계산하기 때문에 여기까지는
계산이 돼 있어요 계산할 때 W2
여기서부터 계산하면 돼요 w1 계산과
W2 계산이 중복돼 있어요이 앞쪽
레이어를 계산할 때 이미 뒤쪽을 한
번 다 계산해야 되기 때문에 중복이
엄청난 중복이예요 그래서이 중복을
줄여 주고자 하는게 역전파 생각하시면
돼요 근데 이제 연세 법칙 미분에서
나오는 이걸 이용하는 건데 요게 오늘
장표 중에 제일 어려워 보이는
장표가네 하지만 별거 없다 미분이란게
사실 x 얼마나 바꾸면 V 얼마나
바뀌냐 뭐 그런게 미분이 거잖아요
근데 연세 법칙은 뭐냐면 미분의이
원리상 입력이 있고 예측이 있는데
예측이 나와야 손실이 있잖아요 W
바꿨을 때 예측이 얼마나 바뀌어서
손실이 얼마나 바뀔 거잖아요 x
얼마나 바뀌었을 때 y 얼마나 바뀔지
연세 법칙 수학적으로 증명된 공식에
의해서 x 얼마나 바뀔 때 V 얼마나
바뀔지 알고 V 얼마나 바뀔 때가
얼마나 바 바지 알고가 얼마나 바뀔
때 y 얼마나 바뀔지 알면 각각의
서로의 관계를 알면 x 바뀌었을 때
y 바뀔 거를 요렇게 계산할 수
있다예요 그게 연세 법칙이요 그러면
요거하고 저 경사 강법고 이용을 하면
중복 계산을 줄일 수가 있게 되는
거예요 그걸 이용해서 아주 빠르게 W
어떻게 바꿀지를 얻어내서 딥러닝을
돌린다 예측이 나오면 손실이 계산이
되죠 그거를 미분을 하면이 W2
얼마나 바뀌었을 때 손실이 얼마나
바뀔지 계산할 수 있어요 한 번에 쫙
수천만 개를 한 번의 계산으로 다
조정하는 거예요 역전파 덕에 더 적은
계산으로 모든를 변경 가능하다 이게
원리 설명 끝난 겁니다 아 여러분들
이제이 딥러닝에 대한 원리를 다
이해를 하셨어요이 세주 노키 선생님이
심지어 1993년에 나온 겁니다
이분이 이제 뉴럴넷 백프로퍼게이션
이런 걸 이용해서 만드신 겁니다 얘도
결국에 W 찾아가는 과정을 보여주는
거예요 소리가 나오고 있을 겁니다
[음악]
상 여러분
놀랍죠 이게 지금 소음에서 말을 할
수 있는 걸로 만든 거예요 그에 타는
것처럼 문장은 중거 사람이 음성
합성을 한 거예요를 조정을 하면
텍스트를 넣었을 때 저런 음파가
나오게 되는 거예요 근데 저게 전파로
되는 거예요 이거 루훈 이분도 제프리
힌트 랩에서 포스트 닥을 하신
인공지능 흔히 4대 천왕이라 하는 또
이분이 뉴럴넷 역전 파를 이용해서 뭘
만드셨는지 봅시다 038 본인 연구실
전화번호로 갑니다 아 지금 저기다
전화 얼마 어이야 당시에 저렇게 저
컴퓨터를 가지고 우와 이미지 인식을
한 거야
우와 요즘 그 구글에서 하고 있는
이상한 숫자 적는 거 같은 것도음
근데 이게 또 이제 2차 겨울이 또
이어지는 거예요 거기 끝이었던 거예요
야 숫자 인식도 되고 음성 합성도 저
정도 되는데 저거 이상이 잘 안 되는
거예요 채치 피티 안되는 거예요 그
이유는 여러 가지가 있는데 이제 와서
보면 몇 가지 이유가 있어요 하나는
웨이트 조절하는 그 역정 파로
조절한다 그랬잖아요 근데 얘가 예를
들면 처음에 제가 랜덤하게 뚝
떨어진다 그랬잖아요 근데 그게 되게
재수 없게 어디 뚝 떨어지면 재수가
없어 가지고 산을 못 내려와요
요즘에는 그게 재수 없게 떨어지더라도
산을 잘 내려오는 방법 같은 걸 좀
많이 발견해 놨어요 근데 이것도 뭐
수학적으로 발견한 거냐 그런게
아니에요 이렇게 저렇게 해보다 보니까
재수없게 떨어지더라도 잘 내려가는
거를 발견을 했어요 그리고 심지어
그분은 예를 들면 약을 만드신 분이면
이게 왜 약초가 있는지를 설명을 자기
생각에 이런 거 같아요라고 써 놨어요
근데 몇 년 뒤에 이게 나오고 나서
모두가 이제 그걸 쓰거든요 왜냐면
이게 재수없게 떨어지는게 너무 큰
문제였어요 근데 몇 년이 지나고 나서
무슨 논문이 나오냐면 야 그 잘돼
우리가 다 알아 근데 그 발명가가
생각한 그 이유는 아니야를 증명하는
논문이 나왔어요 아 이렇게 저렇게
증명해 봤는데 그 이유는 아니야
그래서 우리는 이렇게 생각해 근데
그것도 증명되지 않았어요 그래서 저
2차 겨울 이후에 뭐가 풀린 거냐면
특효약이 많이 나왔다 그다음에 또
하나는 학습할 데이터가 인터넷 덕분에
그래서 그 데이터가 늘었다 겨리
플린은 대충 한 2006년쯤 되는데
그리고 또 결정적인게 컴퓨터가
빨라졌어요 GPU 등장이었다 GPU
아지 등장하고 그래서 데이터가
많아지고 그 데이터를 빠르게 연산하고
그다음에 어떤 특표 약들이 좀
발견됐다 그게 다예요 요거는 진짜 말
그대로 개발자들이 코딩하는 거의
그대로를 비주얼라이즈 한 거거든요
텐서 플로우를 그냥 시각화해서 돌려볼
수 있는 거예요 뉴런이 있고요
뉴런들이 연결돼 있어요 얘가 입력
이에요 얘가 히든 레이어 얘도 히든
레이어 얘가 아웃풋이 뭘 학습하 겠냐
얘가 타겟이 입력 x 있고요 입력 y
있어요 X Y 둘 다 입력이라고
생각해 봐요 그다음에 얘가 지금
색깔로 표현한게 Z 축이라고 생각해
보세요 어떤 x 어떤 y 있을 때
파란색일까 오렌지 색일지 이게
정답이에요 사람이 찍어 준 거예요
얘가 하는 일은 W 조정 밖에 없어요
잘 보면이 W 조정될 때 파란색과
주황색이 바뀝니다 이거 아까 제가
손으로 그린 거 그거 하는 거 있죠
그거랑 비슷한 일 하고 있는 거예요
지금 그리고 얘가 로스 예요 지금
아까 제가 재수 없는 경우가 있다
그랬잖아요네 그냥 빠져버리는 거 재수
없게 어디 잘못 빠졌어요 여기서 못
빠져나가고 있어 지금 어 마침 이거를
딱 보여 드릴 수 있게 좋다 근데
제가 얘를 레이어를 늘리거나 이러면
재 석게 빠질 경우가 줄어요 한번
다시 해
볼게요 우와 바로 아무 함수나 맞춘
그거랑 같은 거예요 이거 아까 단층
레이어 얘기했잖아요 그러면 요거 두
개만 가지고 되는지 자이 빠졌다 이건
재수가 없는 경우거나 이거에 한
개거나 한번 더 해 볼까요 재수가
없는 건지 한 개네이 한개인가 보다
유런 하나만더 그죠 누은 하나만 더
올려봅시다 하나만 더 늘리면 혹시
어떻게 돼야 될까 어 어 돼버렸어
이거 정답을 한번 바꿔 봅시다 이거
진짜 어렵다 이거 이거 뭐죠 과자
과자 그 이름 뭐죠 아무튼 이런
함수를 과연 만들 수 있느냐 어 안
되는 거 같죠 예 이거 안 되죠 이거
될 리가 없지 빌려 볼게요 아까
여기선 됐었어요 근데 이렇게 복잡한
함수는이 정도 뉴럴넷 Pro 전는 안
될 거라고 봅니다 근데 그나마 얘가
최대한 로스를 낮추는 방향으로 어
지금 로스 낮추고 있다 보여요 이게
로스가 낮아지고 있잖아요 그나마 얘가
어느 정도 찾은 거야 지금 히든을
늘려 보죠 예 그러니까 딥러닝
연구하는 사람들은 맨날 요거 바꿔
보고 요거 바꿔 보고 돌린 다음에
여기 어디까지 떨어지는지 보고 아
희망이 없는데 뭐 이러는 거예요
희망이 없어 보이다 갑자기 또 툭
떨어지죠 이거 산에서 낭 떨어질 만난
거예요 지금 지금 낭 떨어질 만나서
얘가 오 신났어 신났어 신났어 오
오오오 오 이러면 희망이 좀 안
보이잖아요 이러다 갑지 푹 할 때도
있어요 야 요거 맞춰 보고 싶다 되게
이거 당연히 만들 수 있으니까 여기
있는 걸 거잖아요 그럼 아무 생각
없이 이거 만들려면 어떻게 해야
될까요 그냥 이거 무조건 이렇게
들리면 돼 그렇죠 그 한번 돌려
보세요 그냥 근데 어쨌든 가고 있죠
뭐 간다 간다 간다 이게 분연히 간
사람들이 제일 즐거운 순간이에요 이게
됐잖아 됐네요 이게 철록 쓰고 이거를
느껴봐요 히어 아니 철록 썼는데 채치
비티가 말 같은 말을 하면 얼마나
즐거웠을까 부드러운 걸로 바꿔 볼게
시그모이드 그럼 훨씬 더 감동적으로
나올 레귤라이저도 좀 늘릴게요 제가이
뭐 좋은 거예요 그다음에 좀 부드럽게
할게요 좋은 약들 많이 쳤고요 어씨
좋은 약 넣더니 안 되네 약 약을
잘못 쓰고 있어 양을 잘못 쓰 안 돼
안 돼 자 레귤라 빼고 잠깐 다
빼보자 다 빼보자 일단 다시 다시
내가도 잘하는 거 같아 아 그러게
이게 딥러닝 하는 겁니다 이거 리얼
저 황성 님 대단한데 황님 컴퓨터하고
친한가 봐요 여러분 약물 남용이
이렇게 위험합니다데 원래 못 돌리는
거 아니야 잠깐만 자존심 상하는데
제가 요즘에 이게 원래 대표가 되면은
실무다는 이제 행정 일이 조금
많아지거든요 대표님 제가 더 부드럽게
만들어 드릴게요 그죠 렐로 하면 잘
되나
봐요 보셨죠 여러분들 만들어지죠
만들어지죠 아 내 인공지능 쪽으로
갔었어야 되는데 진짜 좋은 모양
나왔다 이거 보세요 모양 봐요 자존심
상하네 저 인공지능 스타트업 대표인데
잠깐만 내가 만지니까 또 안 되네이
나는 막 로스가 올라가 똑같은 건데
어 왜 이러지 어 진짜 안 되나 여기
안 라고 이거 안 된다 진짜 연습 좀
하고 올 걸 그랬다 제가 아까 얘기한
아무데나 떨어져도 잘 풀리게 해줬다는
그 명약이 여기 화면에 없거든요이
뒤에 숨어 있을 수도 있는데 그게 안
숨어 있으면 시그모이드 원래 문제가
있어요 왜냐면 시그모이드 저 레이어가
많을 때 좀 문제가 있거든요 그
레이어가 많을 때 문제가 있는 거를
푸는 명약인 데가 명약이 안 들어가
있나 봐 여기에 지금 여러분 뭘 보고
계신 거냐면 채치 BT 만드는 방법을
보고 계시는 겁니다 진짜 아무 생각
없이 하는 거 같은데 왜 내가 하면
안 되고 항상이 하면 잘 되죠요 분다
분다 뭐야 뭐야 진짜 보입니까
기가막히게 풀고 있습니다 아 이거
우리 거의 최상의 결과가 나오고
있는데 완벽하다 완벽한 결과가 가까운
거 같은데 성님 집단이 가시죠 아 내
길을 잘못 들었네 아니 근데 성님
이게 뭔지 잘 모르시잖아요 지금
감이죠은 알잖아요 트레이닝 로스가 저
줄고 있어요 심지어 저희 제품 제가
안 만듭니다 여러분 아무튼 이제 진짜
딥러닝에 끝까지 다 본 거예요 그래서
저게 이제 역 전파까지 다 본 거예요
이것도 힌트 님이 하신 거예요 그래서
심층 신뢰망이라고 딥 빌리프
네트워크이다 걸 만들었어요 이게
딥러닝이란 말 나오기 전에 2006년
인가에 만드신 건데 볼츠만 머신을
쌓고 딥 빌리프 머신이라고 이름을
지었어요 아마 그 이름에서 딥러닝이
나왔나 싶기도 해요 그러고 나서 이제
겨울이 다시 풀리기 시작하는 일이
어떻게 벌어지면 2009년도에 이게
음성인식 연군 대요 여기가 로그
스킬이에요 이게 에러 율이에요
93년도 아지만 해도 그냥 에러에
그냥 다 틀려요 근데 연구에 연구에
연구를 해 가지고 이렇게 개선하고
있었어요 갑자기 노란선이
나타나잖아요네 딥 빌리프 네트워크를
출발로 해서 딥러닝을 쓴 아까 우리가
방금 텐서플로우 플레이그라운드 같이
해 가지고 나온 뉴럴넷이 음성 인식을
갑자기 이렇게 만든 거예요 저 같은
사람이 등장을 한 거죠 아 근데 이게
얼마나 놀라운 결과냐 이걸 만든 항성
님은 원래 음성인식 전문가가 아니야이
제프리 린튼의 제자 두 명이 한
건데요이 노란 점이 얼마나 놀라운
점이냐 제프 린튼의 제자 두 명인데
그 중에 한 명은 음성 인식이라 아무
상관이 없고요 한 명은 뉴럴넷 음성
인식을 하려는 과제를 맡게 됐어요
본인이 근데 왜 맡게 됐냐면 하고
싶어서도 아니고 중요해도 아니고 제프
린트 랩에 모든 다른 사람은 다 비전
연구를 하고 있었대요 근데 누군가는
음성을 해야 돼서 그냥 걔가 한
거예요 그리고 걔는 음성인식을 해 본
적이 없어 근데 아시겠지만 이게 너무
현실적인 상황이잖아요 랩 가면은
은하고 있어 누군간 별을 해야 돼 어
뭐 그런 거죠 제가 별을 했습니다 아
역시 그래서 성님 아까 그 잘
돌리시는 그나 그래가지고 그 친구가
나 음성식이 뭔지도 모르는데 뉴럴넷
했더니 갑자기 노란 점을 집어 아직
겨울이 풀리기 전이에요 그래서
음성인식을 좀 아는 사람들도 달려들고
뉴럴 더 달려들더니 짝 이렇게 된
거예요 그래서 요즘에 음성인식 엄청
잘하잖아요 딥러닝이 한거다 그다음에
2011년도에 페이라는 교수님이 시각
문제 데이터 셋을 만들었어요 그래서
요걸로 학습도 하고 테스트도 하고 그
대회를 만들어서 대회에 이제 저
알렉스 넷이 참여를 했는데 저
참여하게 된 계기도 재밌어요이 힌트
님께서 2009년도 만에도 딥러닝이
잘 될 거라고 믿는 사람들은 거의
힌튼 튼의 친구들과 튼의 제자들 밖에
없었어요 그래서 이거를 찍었지만 별로
그렇게 받아들이지 않았어요 그래서
힌트이기도 이분이 이런 데이터셋을
만들었고 대회를 열고 있다라는 소식을
듣고 다른 어떤 유명 대학에 인공지능
학과 뭐 이런 학과장이 얘기를 하다가
아이 이거 나는 못 받아들여 근데
네가 여기서 1등하면 내가 그다음부터
들어 줄게 그래서 힌트 님이 아 그래
그래 가지고 또 이제 대학원생이 둘이
있는 거죠 이분이 이제 서치 키버
채치 피티의 피티의 아버지 아버지
같은 분 그다음에 알렉스 넷 알렉스
그래서 대회에 참가했어요
2012년도에 2010년에이 대회가
열렸고요 처음으로 트래디셔널 CV
아는게 컴퓨터 비전이요 컴퓨터 비전도
머신 러닝에서 하는 거예 예 이건
라의 거꾸로 성공률이 정답률 70 몇
프가 1등이었고 그 2012년 13도
봐도 안 올라가잖아요이 파란색의
방법은 1% 개선하면 논문이 되던
근데 갑자기 저 힌튼 그룹에서 아까
그 세 명이 알렉스 넷을 들고
와가지고 그래서 이점을 찍어 버려요
학계가 난리가난 거예요 뭐냐 저거
유래 그걸 아직도 쓰는 사람 있
2014년부터는 그냥 딥러인의 전쟁이
되었습니다 그리고 저 올라가는 거
보세요 여기서 100점을 향해서
터미네이터 2 보면은 죽이러 오잖아요
그 터미네이터 2가 현실로 온다면
2분들이 제일 위험한 분들이에요
그래서 알파고도 나오고 그니까 이제
겨울은 끝난 거죠 그래서 학계는 또
어떻게 됐냐 이게 로그 스케일입니다
aii 논문의 페이퍼 수가 컴퓨터
공학하는 사람만 딥러닝을 해서 될까
아니죠 문학에서도 제가 보는 천문학과
관련된 논문이 한 여섯 개 정도 전이
된 매번 있어요 AI 논문이 두 개씩
있어요 최소 그래서 채치 PT이 아까
그 서치 키 보입니다 분은 거의 다음
노벨상 후보라고 해도 돼 왜냐면
믿음이 떨어질 때마다 이분은 돈 더
써도 된다 10억으로 안 되면
100억 쓰면 될거다 이런 주장을
계속 하신 분이에요 그래서 채치
피티가 나오기까지 이분이 공이 제일
큽니다 그래서 지금까지 말씀드렸지만
이게 약간 약치는 느낌이 있어요
이론적으로 증명 안 된게 너무 많은데
잘 된단 말이에요 2017년도에 뉴럴
제일 큰 학해 중에 하나에서 한
꼭지가 뭐였냐면 과연 딥러닝은 연금
술인가 과학인가는게 있었어 수학적으로
증명 안 된게 너무 많은데 너무 잘
되네 너무 이상하다 밝혀지지 않는
구석이 많다 요즘에 생성형 말이
많은데 그러면 생성형 딥러닝과 다른
거냐 안 다르다는 걸 말씀드리고 싶은
거예요 요즘 나오는 신기한 인공
지능들을 그냥 다 딥러닝에 어 그럼
생성 형을 어떻게 하는 거지를
말씀드릴게요 자 원래는 학습을 할 때
우리가 고양이를 넣으면
캐시라인 아아 근데 사실 그것도
학습이 된다는게 지금 생각해 보면
말이 안 되는데 됐잖아요 거꾸로도 안
될 이유가 뭐가 있지 그 캐시하는
글자를 넣으면 그림 그리는 함수
만들면 되잖아 그렇죠 보통은 우리가
이미지를 넣고 뭔지를 판별을 하는
거였죠 그래서 학습을 어떻게 시키느냐
심지어 이건 학습이 더 쉬워요 이렇게
가는 함수는 고양이 그림을 주고 이게
고양이에요 개예요 사람이 알려줬어야
되잖아요 근데 물론이 함수를
학습시키는 건 더 어려운데 사실
데이터 모으기 더 쉬웠어요 왜 쉽냐
레이블링 작업 포기해요 포기한 다음에
인터넷에서 도그 사진을 모아요
그다음에 반띵 해요 이거를 넣으면
이게 나오는 함수라는게 사실 말도 안
되는 함수아 억 걸고 W 찾기 해요
찾아지네 그거를 조금만 더 확장하면
생성률이 되는 겁니다 해치 피티는
그럼 뭐 하는 거냐 이거를 놓고 이걸
나온 거 잘 생각해 보면이 반띵 지운
거잖아요 그거랑 똑같아요 인터넷에서
텍스트를 수없이 수집을 한 다음에
랜덤하게 지워요 그다음에 이거를
넣으면 바나나가 나오게 하고 이걸
넣으면 사과가 나오게 하고 그걸
학습을 하는 거예요 그래서 이거를
통해서 딥러닝을 한게 결국에 채집
비티가 나오더라는 거예요 근데
놀랍게도 채집 PT 학습을 하다 보면
다음 단어 예측을 잘하기 위해서 감정
유이라는게 생기더라 사람이 시킨 적이
없다 이게 근데 감정이 생긴게 아니고
감정적으로 분석을 하더라라고 보면은
좋을 것 같아요네 전 토필드 님께서
이렇게 말씀하셨습니다 난 이것을
생물학으로 전향한다 생각하지 않고
오히려 물리학을 할 수 있는 또 다른
경로를 탐구한다고 생각했습니다 그리고
이분이 굳이 나는 생물학으로 전한다고
생각하지 않고 이런 말씀을 하신
이유가 너 왜 굳이 뭐 이런 말을
많이 들 대요 저도 많이 들었어요
천문학에서 넌 왜 굳이 나가냐 그래서
그분이 노벨상을 받으셨다는게 전 좀
인간적으로 감동 포인트였고 좋습니다
더 감동의 포인트는 당연히 제가 팬인
제프 힌튼 교 제프 트 님의 말씀으로
마치겠습니다 신경망으로 인공지능을
만들 수 있다는 것에 의심이 없었다
이에 동의하지 않는 대부분의 다른
연구자들이 저는 모두 다 틀렸다고
생각했습니다 모두 다 틀렸다고
생각했다 저렇게 생각할 수 있는
사람은 밖에 에서 본다면 진짜 문제가
있는 사람이거나 이단 나나 이렇게
보이거든요 그럼에도 불구하고 모두 다
틀렸다고 생각했으면서 노벨상까지
수상하셨다 거에 이번에이 제프리 인턴
교수님이 얼마나 뛰어난 과학 자인지를
증명이 되지 않았나 그렇게 생각을
합니다 인사할 시간도 많습니다
여러분의 시간을 낭비해 드릴 느리지만
쿨과 미팅이었습니다 감사합니다
교수님들 감사합니다 감사합니다
