알려주지 않은 감정 뉴런이 인공신경망에 생기기 시작했다?! 퍼셉트론의 발전과정과 겨울 그리고 극복! 2024 노벨물리학상해설 2부! [보이저엑스 남세동 대표]

안될과학 Unrealscience
147 팔로워
2024 노벨물리학상 해설 두 번째 이야기!
딥러닝의 핵심 인공신경망은 어떻게 만들어졌나?!
퍼셉트론이 간단한 연산을 못한다는게 증명되었다?!
추운 겨울을 맞이한 퍼셉트론은 어떻게 화려하게 부활했을까?
인공지능 기업 보이저엑스 남세동 대표님과 함께 알아봅니다!
◆ 2024 신상 굿즈 유니버스 맨투맨 + 공룡 후드 집업
모어사이언스 스토어에서 만나볼 수 있습니다!
https://smartstore.naver.com/morescience
#노벨물리학상 #ai #딥러닝 #퍼셉트론 #보이저엑스 #남세동
◆ Thanks to
Editor: 이재현
Guest: 보이저엑스 남세동 대표
◆ 안될과학-모어사이언스 스마트스토어 (과학굿즈)
https://smartstore.naver.com/morescience
◆ 안될과학 인스타그램
https://www.instagram.com/unreal.science
◆ 안될과학 커뮤니티
https://cafe.naver.com/unrealscience
◆ 안될과학 문의
E-MAIL : [email protected]
단순히 목표는 단어를 쭉 뱉는 거예요.
감정 같은 걸 학습하라고 한 적도 없고
알려준 적도 없어요, 감정에 대해서.
근데 얘가 감정이 있는 것 같네?
다음 단어를 유추하기 위해서 감정이 필요한 거예요.
열이 받았어.
그럼 다음 단어가 좋지 않게 나올 거잖아요?
근데 그런 거를 사람이 시킨 적이 없어요.
그 학습 결과 저절로 레이어 중간에
어떤 뉴런 하나를 잡아서 보면
얘가 플러스거나 마이너스거나가
감정 상태랑 이어져 있더라라는 걸
영어로 밝혀냅니다.
인사할 시간도 많습니다.
여러분의 시간을 낭비해드리
느리지만 쿨한과
랩 미팅입니다.
반갑습니다, 교수님들.
반갑습니다.
예쁜 꼬마선 잠깐 설명 주시겠어요?
이번에 노벨 생리의학상에서
마이크로 RNA를 찾아내는데
또 큰 역할을 한 녀석 덕분에
노벨상이 4개가 나왔어요.
씨 엘레강스라고 불러요.
그래서 이 녀석이 방금 말씀대로
뉴런이 302개인가 그렇대요.
제가 좀 놀란 거는
약 300개도 아니고
302개잖아요.
정확하게 셀 수 있어요.
그래서 그거에 연결 강도
아까 그 W 있잖아요.
회로와 신호 강도
역치 이런 게 다 나와 있어요.
302개밖에 안 되기 때문에
혹시 이거 보신 적 있으세요?
이게 뭐냐면
302개의 뉴런을
우리가 정확하게 신호의 강도와
역치를 다 알고 있다 그랬잖아요.
그거를 이런 수식 모델로 옮긴 거예요.
그래서 컴퓨터로
저 뉴런의 모양 그대로 옮겨요.
그거를 레고 마인드봇에 올려요.
부딪히면 뒤로 갑니다.
부딪히면 뒤로 가라고
사람이 코딩한 게 있냐?
없어요.
얘는 학습한 것도 아니에요, 심지어.
딥러닝 이런 거 아니에요.
생물학적으로 밝혀진
연결 강도 같은 거를
이거 코딩을 한 게 아니에요.
그냥 그 함수값만 그대로 넣어준 거예요.
함수값을 그대로 넣은 거예요.
예쁜 꼬마 산중에
숫자적 영혼이 기틀어진 거죠.
그래서 이제
저 퍼셉트론을 보고
ABCD를 구분하는 걸 보고
로젠블라님은 좀 억울해하는데
너무 언론들이나 이런 쪽에서
흥분을 한 거예요.
인공지능이 대단한 게 나올 거다
그러고 있었는데
이분이 나쁜 분은 아니겠죠.
근데 딥러닝 하시는 분들이 보기에는
약간 빌런 같은 분이에요.
빌런 등장했습니다.
인성이 그렇다는 거 아니고
인공지능학자고요, 일단.
아까 얘기한 논리, 기호주의
기호주의라고 하거든요.
연결주의의 반대를
연결주의 그거 안 되는 거다
그런 주장을 하신 분이에요.
기호주의의 대표주자
이분이 엑소화의 문제라는 걸 냈어요.
브롱스 과학고등학교라고
여기 출신 노벨상도 많이 나오고
아주 유명한 과학고등학교가 있더라고요.
이 얘기를 왜 하냐
이분과 로젠블라 씨
같은 시기에 여길 다녔어요.
과학고 출신이었군요.
어쨌든 근데 이제 둘이 앙숙이 됐어요.
이분이 잠시 승리하는 바람에
딥러닝 다 망해버렸는데 그 당시에
엑소화 문제가 뭔지 볼게요.
이 두 개가 같은 색깔인가요?
라고 제가 물어봤어요.
그러면 사람은 대답을 하죠.
이 두 개가 같은 색깔인가요?
아니에요.
라고 아주 단순하게 대답을 할 수 있잖아요.
그리고 아까 말씀드린 대로
이 NAND라는 게이트를 모으면
엑소화를 만들 수가 있어요.
이 당시에 이분이 비판한 내용은 뭐냐면
퍼셉토론 가지고는
이것조차 구분을 못한다
라는 걸 수학적으로 증명을 해버리신 거예요.
그래서 퍼셉토론 이것도 구분을 못해?
근데 그건 수학적으로 증명이 됐어요.
할 말이 없는 거죠.
그 엑소화가 뭔지 볼게요.
Exclusive OR라는 뜻인데
원래 OR는
둘 중에 하나 또는이잖아요?
A와 B 둘 중에 하나만 1이면 1이 나오는 거예요.
그러니까 0111이 OR예요.
근데 Exclusive OR는
베타적 OR예요.
그래서 둘 중에 하나만 1일 때
둘 다 1일 땐 또 아닌 거예요.
왜냐면 베타적이어야 돼서.
그래서 이걸 엑소화라 그래요.
근데 그러면
이거랑 아까 이거랑 어떻게 이어지는지를
잘 생각해보면
00일 땐 같은 거잖아요.
같이 노란색 노란색
파란색 파란색
A와 B가 같냐 다르냐를 알 수 있어요.
이 회로를 가지고.
그러면 이 두 개가 같냐 다르냐를
판별을 하려면
인공지능이
XOR을 만들 줄 알아야 돼요.
근데 퍼셉트론은 수학적으로
이걸 못 만든다라는 게 증명이 됐어요.
퍼셉트론을
단층 퍼셉트론이라고 하는데
단층 퍼셉트론이 뭐냐면
아까 퍼셉트론을 이렇게 모을 수 있다고 그랬잖아요.
근데 여러 개를 길게 복잡하게 모으면
그건 단층이 아닌데
이 판이
또 있고 또 있고 또 있고 하면
그건 다층 퍼셉트론이에요.
근데 단층 퍼셉트론이 뭐냐면
이거 층이 하나만 있는 거예요.
그래서 W를 조정하는 이 층이 한 층만 있어요.
이게 하나라는 전제 하에서는
아무리 모아봐야 XOR 못 만든다는 뜻이에요.
그리고 퍼셉트론은 원래
다층이 될 수도 있지만
이 당시에
저 로젠블럿이 한 거는
단층이었어요.
그래서 그게 왜 그런지를
잠깐 제가 설명을 시도해볼게요.
이게 좀 어려울 수도 있는데
단층일 때는 저 퍼셉트론을
아무리 모아봐야
이 선 하나밖에 못 그어요.
그러니까 직선을 아무리 모아봐야 직선인 거죠.
이걸 하려면 직선 가지고는
이 XOR을 못 만든다.
단층에서는.
그래가지고 인공지능 어떻게 나와.
근데 이 민스키 님이
사람들이 좀 오해하는 거는
그냥 퍼셉트론으로는 XOR 안되라는 주장을 하신 걸로 오해하고 있는데
많은 분들이
그건 아니에요.
이분은 단층에서는 XOR가 안 된다는 걸 증명한 거지
다층에선 된다는 걸 이분이 몰랐냐.
모르지 않았어요.
당연히 얼마나 똑똑하신 분인데.
그러면 다층의 퍼셉트론의 문제는 뭐냐.
야 근데 너희들은
지금 다층 퍼셉트론의 학습 방법을 모르잖아.
아까 로젠블럿은 뭘 한 거냐면
이 단층은 학습이 가능하다라는 걸 만들었어요 실제로.
실제로 되게 간단해요 이 원리가.
근데 이분도 다층 퍼셉트론을 만들고 싶었어요.
민스키도 그거를 하면 XOR을 풀 수 있다는 걸 알았어요.
하지만 아무도 다층 퍼셉트론을 W를 조정하는 방법을 발견을 못했던 거예요.
그래서 다층이면 훨씬 복잡한 함수를 만들 수 있거든요.
그래서 이제 우리에게 필요한 거는
다층에서 W를 찾는 방법이 필요했던 거예요.
이 그림이 사실 진짜 초등학생도 이해할 수 있는 그림이란 말이에요.
입력이 숫자로 들어와요.
그 다음에 화살표는 곱하는 거예요.
이 숫자를 곱해요.
그 다음에 얘 입장에서는 여러 개랑 연결돼 있잖아요.
다 곱하게 한 거 더하는 거죠.
그 다음에 그게 0보다 크면 1을 내보내고요.
0보다 작으면 0을 내보내는 거예요.
그 다음에 또 곱하기 더하기.
그래서 이게 보면 복잡해 보이실 수 있겠지만
곱하고 더하고 0보다 크냐 작냐 곱하고 더하고 0보다 크냐 작냐의 반복일 뿐이다.
그래서 아까 우리가 엔드를 다 이해했잖아요.
이제 다층에서 XOR가 풀린다는 것도 계산해 볼 수 있어요.
0, 1일 때 1이 나오는 장면 해봅시다.
나머지는 했다 치고
요게 0이고 요게 1입니다.
그렇게 가는 거죠.
잘 기억합시다.
0하고 1 곱하면 여기는 어차피 0이에요.
그리고 여긴 1 곱하기 1이니까 1이에요.
0.5가 역시라는 뜻이에요.
그러면 1인 거예요.
0.5보다 크니까.
여기 이제 요거 구할 거예요.
0 곱하기 마이너스 어차피 0이에요.
여긴 1이잖아요.
1 곱하기 마이너스 1이면 어차피 0 더하기 마이너스 1.
마이너스 1이죠.
마이너스 1은 마이너스 1.5보다 큽니다.
그러면 걔도 1이다.
아까 얘 1이었죠.
1이었죠.
둘 다 갑니다.
1 곱하기 1은 1이에요.
1 곱하기 1은 1이죠.
둘 다 더해요.
얼마죠?
2죠.
2면 1입니다.
그렇죠.
그러면 아까 정답지를 다시 볼까요?
1 나왔습니다.
그래서 지금까지 설명드린 건 뭐냐면
다층 퍼셉트론이 되면 XOR를 만들 수 있다예요.
두 층으로 하면 XOR를 만들 수 있다는 게
지금 또 이제 우리가 해본 거잖아요.
근데 만들 수 있다는 건 다 알아.
모잼블럿도 알고 마른민스키도 알아.
그래서 이거는 우리가 사람이 정한 거잖아요.
하지만 이게 1조개가 있다고 해봐요.
채찍피틀은 이게 뭐 몇천억 개란 말이에요.
이 몇천억 개를 어떻게 사람이 정해요.
그래서 이제 겨울이 온 거예요.
야 요거 해결해야 되는데
요거 해결할 방법이 없으니까 겨울이 오죠.
드디어 호필드님께서 만든
이 노벨상의 이유가 되었던
호필드 네트워크가 1982년에 나옵니다.
이 호필드님께서 원래 물리학자시고
전자의 스핀 같은 게 위의 방향, 아랫방향
그거를 어떻게 생각해보면
위면 흙이고 아래면 배기고 그렇게 생각할 수 있잖아요.
그런 생각을 하시다가
이런 걸 정리하셨다고 합니다.
이게 뉴럴렛까지 가는 건데
가만 보면 노드가 있고 연결이 돼 있잖아요.
혹시 황석님 많이 불편하세요?
뭐가 불편해요?
이거 때문에 전 전혀 안 불편합니다.
실수할 수 있죠, 사람들.
저는 이게 너무 불편합니다.
제가 이거 왜 들고 왔냐면
패턴 얘기를 할 거예요.
사람이 불편하다고 생각하면 불편하잖아요.
그렇죠.
뭐가 잘못된 거죠?
내가 인지를 하는 패턴에
권리적 되는 부분이 나타나는 거죠.
다시 한 번 보면 물리학 모델에서
스핀 같은 거 얘기했잖아요.
얘가 스핀이 위로가 있다, 밑으로가 있다.
물리학 이론에 따르면
그런 게 쉽지 않다라는 거예요.
그래서 이런 상태가 되게 이상한 상태라는 거예요.
얘는 한 번 생각해봅시다.
얘는 얘가 파란색이 돼야겠네?
그렇죠.
근데 그러면 다 노란색이잖아.
그럼 얘는 어떤 논리에 의해서
얘는 한 다리씩 건너가야 되는 논리가 생기는 거죠.
그렇죠, 한 다리씩 건너가야 되는 논리.
사람이라는 게 정말 무서운 게
모든 사람은 생존을 위해서
우리 뇌가 어떻게 작동을 해왔냐면
어떤 형상을 파악하는 게 아니라
모든 것을 패턴으로 인식을 합니다.
그렇죠.
그렇기 때문에 구름 같은 걸 보더라도
어? 저거 토끼하고 닮았네?
그렇죠.
옛날에 화성에 얼굴이 있다고
그렇죠.
그래서 사람은 그렇게 설명하지만
이분은 물리학자시고
이걸 수식어로 바꿔야 되니까
호필드 대통령이 설명드릴 건데
한 번 이런 생각을 해봅시다.
이 색깔을 바둑돌을 하나씩 뒤집듯이
내가 하나하나가 뒤집힐 거예요.
어떤 상황에서.
그러면 얘가 뒤집히는 수식 논리가 뭘까요?
내 왼쪽과 나는 다르게 갈 거야.
내 왼쪽에 곱하기 마이너스 1을 할 거야.
노란색을 1이라고 하고
파란색을 마이너스 1이라고 해봅시다.
내 좌우 안은 마이너스 1을 곱하고
위아래 안은 1을 곱해서
0보다 크면 1이 되고
0보다 작으면 마이너스 1이 되고
이렇게 해서 계속 반복하다 보면
얘가 결국엔 파란색으로 뒤집히게 돼 있다.
그게 호필드 네트워크가 하는 거예요.
그렇죠.
이 뉴런 하나는 모든 다른 뉴런과 연결돼 있어요.
그리고 여기 웨이트가 있어요.
곱하고 더하고.
그래서 0보다 크면 1이 되고
0보다 작으면 마이너스 1이 되고
이거를 계속 반복하는 거예요.
그러면 뭐가 되느냐.
저분도 이제 사람의 머리가
0101 이런 걸로 기억 같은 걸 하는 게 아닐까?
왜냐하면 저분이 82년도에 호필드 네트워크를 보신 거잖아요.
저때는 이미 사람 뇌를 많이 봤잖아요.
사람 뇌를 봤는데 메모리 같은 게 안 보이는 거예요.
그럼 어디서 기억을 하지?
디스크가 없잖아요.
근데 사람은 분명히 기억을 해요.
그러니까 시냅스가 기억을 하겠지라는 생각을 했어요.
호필드 네트워크는 쉽게 얘기하면 기억 장치예요.
어떻게 기억을 하느냐.
얘를 입력을 줘요.
그러면 아까 그 0101 뒤집는 논리가 있을 거잖아요.
호필드 네트워크를 막 학습하고 나면
뒤집는 논리에 의해서
뒤집을까 말까를 계속 결정을 하는 거예요.
그래서 결국에는 이런 모양이 나올 거다.
그래서 호필드 네트워크 어떻게 학습하는 거냐면
얘와 얘를 막 집어넣어요, 이런 패턴들을.
그다음에 이 매트릭스를 만드는데 이게 뭐냐면
픽셀이 몇 개죠?
50 곱하기 2,500개.
얘는 2,500 곱하기 2,500이에요.
모든 픽셀과 픽셀의 관계를
내가 노란색일 때 얘도 노란색이네.
얘가 노란색일 때 얘도 노란색이네.
이 관계를 다 통계를 내요.
이게 2,500개가 있는 거예요.
얘는 학습이 아니라 계산이에요.
계산을 하면 이런 매트릭스가 나와요.
이거의 평균 같은 게 나와 있는 거예요.
그걸 이용해서 웨이트에다 집어넣어요.
여기다가 깨진 개그림 있죠?
이 깨진 개그림 2,500개에 0101을 막 넣어요.
그 웨이트에다가 곱하기 더하기 아까 퍼셉트론 연산을 돌려요.
계속 돌리다 보면 얘가 파란색이 되듯이
개가 나오고 손이 나오고 이러는 거예요.
노벨상 수상할 때 어떤 말을 했냐면
우리 뇌가 불안전하더라도
여러분들 오른쪽 그림을 보지 않고
이 그림만 봤을 때도
네 발 달린 짐승이 나타나겠네가 보이잖아요.
그런 거를 컴퓨터에서 똑같이 작동할 수 있게 만든 게
호필드 네트워크인 거예요.
그래서 뉴런들을 모으면
이렇게 기억하는 효과를 만들 수 있다는 거를
실제로 보여주신 거죠.
이제 제가 존경하고 팬인 제프린트 님
그분이 만든 게 볼치만 머신입니다.
우리 호필드 네트워크를 봤잖아요.
걔는 모든 점과 모든 점이 똑같이 연결돼 있어요.
볼치만 머신도 그거랑 똑같아요.
근데 색깔만 달라요.
V는 비주얼의 V고요.
H는 히든의 H예요.
그것만 딱 바꾼 거예요.
이거는 이 두 분이 만드셨어요 참고로.
세즈너스키랑 힌튼이랑.
잠깐 재밌는 얘기를 드릴게요.
힌튼 분이 제가 존경하는 이유 중에 하나가
재밌는 얘기를 많이 하세요.
제가 물리학에서 낙제하고 심리학을 중도 포기했다니요.
사실은 심리학에서 낙제하고 물리학을 그만둔 겁니다.
제 자존심이 걸린 문제라고요.
그래서 이분이 물리학자는 아닙니다 일단.
이 히든이 중요해요.
우리가 음악을 들었어요.
어떤 음악으로 얘기할까요?
아무 음악이나 좋습니다.
저는 우리 장홍진 교수님한테 이 헤비메탈을 전수 받고 있거든요.
근데 제 취향은 아니더라고요.
아 그래요?
뉴에이지로 가시죠.
아 저 뉴에이지를 들었는데
기타로 들었고요.
또 한 번은 피아노로 들었어요.
하지만 사람은 그 두 개의 음악이 같다라는 거를 인지하죠.
근데 음파가 디지털로 바뀐 것만 보면
컴퓨터가 그거를 완전히 다른 신호로 이해할 거잖아요.
보인다의 V 있잖아요.
여기서 보인다가 음파예요.
겉으로 드러나는 거.
그 호필드 네트워크.
그거는 보이는 것만 서로 연결되어 있고
보이는 것끼리만 처리가 되어 있었어요.
어 근데 사람은 음의 높낮이와 길이를 뽑아낸 거잖아요.
보이는 게 다가 아니다라는 걸 알잖아요.
그거를 이제 히든 노드라는 거를 넣어서 좀 담아보고자 한 거예요.
그게 이제 채찍피티 얘기를 잠깐 해볼게요.
제 생각에는 오픈AI가
다른 수많은 회사들이나 연구그룹보다
압도적으로 앞서갔던 이유는
이런 여러 가지 근거들을 통해서
유럴넷을 엄청 키우면
채찍피티 같은 거가 진짜 나올 거야라는
믿음이 아주 컸던 것 같아요.
이게 왜 믿음이 필요한 거냐면
아무도 해본 적이 없는
수천억 파라미터의 트레이닝을 해봐야 돼요.
근데 그 수천억 파라미터를 트레이닝하는 데는
돈이 얼마 되냐면
수백억이 들었어요.
요즘에는 그게
수천억도 모자라다는 얘기가 있어요.
그런 하나 만드는 게.
근데 그러면 자.
아무도 될지 안 될지 아무도 모르잖아요.
그냥 공상과학의 영역이에요.
오픈AI는 이게 되지 않을까라고 믿었던 게 대단한 거예요.
왜 그런 믿음을 가졌냐.
그 믿음 중에 하나가
학습을 할 때
글자 하나하나를 넣으면 출력하는 걸 학습을 했어요.
근데 얘는 단순히 뭘 학습한 거냐면
T를 넣으면 H가 나오고
H를 넣으면 I가 나오고
This is 이렇게
단순히 못 보는 단어를 쭉 뱉는 거예요.
감정 같은 걸 학습하라고 한 적도 없고
알려준 적도 없어요 감정에 대해서.
근데 얘가 감정이 있는 것 같네?
다음 단어를 유추하기 위해서 감정이 필요한 거예요.
열이 받았어.
그럼 다음 단어가
좋지 않게 나올 거잖아요?
근데 그런 거를 사람이 시킨 적이 없어요.
그 학습 결과
저절로 레이어 중간에
어떤 뉴런 하나를 잡아서 보면
얘가 플러스거나 마이너스거나가
감정 상태랑 이어져 있더라라는 걸
연구결과를 밝혀낸 거예요.
그게 히든이에요.
그래서 심지어 채칩피티의 연구그룹에서는
무슨 얘기까지 하냐면
얘가 의식이 있는 거 아니야?
그건 아직은 과학적인 얘기는 아닌데
그런 얘기를 할 정도로
너무 놀라운 거예요.
연구한 사람들이 보기에는.
이게 그 논문에 나오는 내용 캡처인데
다음 단어 다음 단어를 예측하는 동안에
그 뉴런의 값을
마이너스 1에서 1까지를
그냥 빨간색부터 초록색까지 표시를 한 거예요.
그렇게 봤더니 얘가
긍정적인 상태일 때는 초록색이 되고
부정적인 상태일 때는 빨간색이 되는 거예요.
아무도 그렇게 시킨 적이 없어요.
다음 단어를 예측하는데 필요한
수많은 상태값 중에 하나가 감정인 거예요.
어떤 또 다른 뭔가가 있을 거예요.
그 수많은 상태들이 조합이 돼서
다음 단어가 예측이 된다.
지금까지는
모든 노드와 모든 노드가 연결되어 있었죠.
그래서 그 애는 순방향이 아니에요.
그걸 리커런트라고 하는데
다시 돌아가고 다시 돌아가고
순환이 계속 일어나는 거죠.
그게 수학적으로 되게 어려워요.
풀기가.
볼춤한 머신을 만들고 봤더니
얘가 너무 어려운 거예요.
힌트님이 또 그다음에 만든 게
저 리스트릭티드 볼춤한 머신.
근데 얘가 지금 비순환으로 돼 있잖아요.
얘는 보라색에서 파랑 한 방향으로만 가요.
순환이 생기잖아요.
그래서 얘가 이제 수학적으로 훨씬 풀기가 쉬워진 거고요.
근데 왜 얘를 리스트릭티드
똑같이 볼춤한 머신이라고 부르냐.
사실 얘를 펼치고 나서
같은 레이어에 있는 커넥션만 끊으면
얘가 얘로 바뀌어요 사실은.
파랑색도 파랑색 끊고
보라색도 보라색 끊고
그렇게 끊으면 이게 그림이 됩니다.
그래서 얘를 리스트릭티드 볼춤한 머신이라고 했는데
잘 생각해보면
얘를 계속 쌓은 게 지금의 딥러닝이에요.
그게 아까 멀티레이어 퍼셉트론과도 동일하고
그래서 쟤를 계속 쌓으면 얘가 돼요.
그리고 얘가 알파고예요.
우리 엑소얼 문제를 해결하기 위해서
이게 필요하다는 거를 얘기를 했죠.
근데 이거를 구현을 해낸 거죠 제프리니튼이.
자 학습하는 걸 보여드릴게요.
입력이 이 배경색이 바뀌는 거예요.
랜덤하게 바뀌어요.
그다음에 출력은 흑색이면 0
백색이면 1이 출력하는 건데
어떤 인공지능을 내가 만들고 싶냐면
배경색에 따라서
글자를 내가 흑색으로 해야 잘 보일까
백색으로 해야 잘 보일까
하는 인공지능을 만들고 싶은 거예요.
근데 그 인공지능을 내가 지금부터
학습을 시키는 걸 보여드릴게요.
정확하게는 학습 데이터를 만들고 있는 거예요.
자 그러면 지금 뭘 학습시킨 거냐면
이런 배경색일 때는
나는 이게 좋아.
그러니까 네가 한 번
나랑 똑같이 해봐.
학습 데이터를 만들었기 때문에
진짜 학습을 시킬 거예요.
이걸 누르는 순간 학습이 끝납니다.
왜냐하면 이거 너무 단순한 문제라서
학습이 됐어요.
얘는 이제 뉴럴 네트워크
얘는 원래 있는 알고리즘
이 둘이 경쟁을 붙여볼 거예요.
다를 때까지 한 번 해보세요.
어? 다르다.
어느 게 마음에 드세요?
전 왼쪽이 마음에 들어요.
왼쪽을 본인이 찍은 거기 때문에
얘가 학습한 거예요. 인공지능이
근데 오른쪽은 알고리즘이에요.
얘는 어느 게 마음에 드세요?
왼쪽이요.
학습이 된 거예요. 얘가
이 녀석 나의 취향 저격인데
어? 얘는 어때요?
오른쪽이 마음에 들어요.
그럼 아직 아까 그 20개인가밖에 안 알려줬잖아요.
학습이 덜 된 거야.
이건 왼쪽
이것도 왼쪽
똑같고
이것도 왼쪽
그러면 자 알고리즘보다
뉴럴 네트워크가 더 잘한 거예요.
이제 이 녀석의 내부를 볼 거예요.
그 전에 잠깐
이 알고리즘이 뭔지 한번 볼게요.
사실은 저 색깔은 RGB의 조합이에요.
레드 그린 블루의 가중평균이에요.
사실은 레드 그린 블루를 가중평균으로 하면
회색으로 바꿀 수 있어요.
그렇죠.
그래서 얘가 백색에 가까우면
앞에 글자를 검은색으로 하고
반대로 검은색에 가까우면
저거 화이트로 바꿔라.
그렇죠 그렇죠.
자 이제 학습한 거의 코드를 볼게요.
너 이렇게 복잡하다고?
복잡해 보이지만
곱하기 더하기 하는 거예요.
이 코드를 잘 보시면 노드와 웨이트를 그냥
곱하기 더하기 하는 코드예요.
알파고도 이거랑 비슷하게 생겼어요 사실.
그럼 알파고는 뭐가 다른 거냐?
얘가 수천억 개 있는 거예요.
근데 얘는 지금
이 W값을 지금 나한테
특성에 맞게 맞춘 거잖아요?
W값을 맞춘 거예요.
방금 학습한 거예요.
이렇게 디테일하게 맞춰준다고?
근데 그러면 얘가 정답이냐?
아니에요.
학습을 바꾸면
얘가 또 다른 숫자들로 바꿀 거예요.
짐 러닝은 뭘 한 거냐?
지금 얘는 트레인이라는 게
얘를 찾은 거예요.
이 숫자가 이렇게 되면
행성 님 마음에 들 거다라는 걸 찾은 거예요.
저의 RGB 매직 넘버들이 저 숫자들이에요.
왜 블랙박스라고 얘기하느냐?
이 숫자의 의미를 사람도 모르는 거예요.
그리고 지금 실제로 이게 코드 다거든요?
이 웨이트를 여기서 곱하기 더하기 하면
행성 님이 좋아하는 결과가 나온 거예요.
이런 식으로 하면 채집피트가 된다는 거예요.
이걸로 이세돌한테 한 번 진 거잖아요.
방금 그 코드 그대로 그림으로 바꾼 거예요.
멀티레이어 퍼셉트론이죠.
그래서 단순히 그냥 RGB의 값이 들어오면
곱하기 더하기 했을 때
0이냐 1이냐에 따라서
600을 정했는데
행성 님 마음에 드는 인공지능이 완성된 거예요.
내 새끼
총 천연색이라고 하는데
RGB의 조합이 총 몇 개냐면
컴퓨터는 RGB를
보통은 2의 8승으로 처리를 해요.
R의 강도 2의 8승
G의 강도 2의 8승
B의 강도 2의 8승
그래서 2의 24승이에요.
이 색깔의 종류가 총 1,600만 개입니다.
내가 다 외우게 해.
그러면 1,600만 개를 외우게 해야 돼요.
근데 사실 행성 님이
내가 뭐가 좋은지 알려준 건 몇 개를 알려줬죠?
한 20개?
20개, 30개 알려주셨잖아요.
근데 20개, 30개만 알려줬는데
얘가 지금 보니까
1,600만 개에 대해서 잘 대답하는 것 같아요.
이게 뭐랑 똑같은 거냐면
내가 개그림 천장 주고
고양이 사진 천장 주고 학습을 시켰더니
아무 개 사진이나 줘도
개라고 하는 거랑 비슷한 거예요.
그게 어떻게 가능한지를 지금 생각을 해보는 거죠.
아까 엑소아 같은 거에서
지금은 3차원이지만
아까 2차원 그림에서 이렇게 선 끊는 거라고 했잖아요.
사실은 이것도 뭐 하는 거냐면
이 배경색이 나한테 랜덤하게 주어졌을 때
랜덤한 배경색에 대해서
행성 님은 나는 이거는 검은색이 좋아.
이건 하얀색이 좋아. 알려줬잖아요.
그러면 그거를 아까 엑소아 랜드처럼
나눌 수 있는 함수
이 함수를 W를 찾는 거예요.
W를 찾으면 이런 식으로 선이 꺼질 거잖아요.
단층 퍼셉트론은 이 선을 하나밖에 못 그어요.
근데 얘는 다층 퍼셉트론이기 때문에
이렇게 여러 개를 그을 수 있어요.
여러 개를 이렇게 끊고 보면
1,600만 개의 칼라 중에
20개만 점을 찍어줘도
행성 님 마음에 들게 검은색 하얀색이 나온다.
이게 인공지능이다.
참고로 이건 제 손이고요.
이거는 제가 쓰는 서피스의 펜인데
이거는 뭘 보여주는 거냐면
그렇게 W를 막 조정을 하다 보면
얼마나 다양한 함수를 만들 수 있는가가
수학적으로 어느 정도 증명된 게 있어요.
제가 코딩해서 W를 조정하면
얼마나 많은 함수를 만들 수 있는지를
눈으로 보여드린 거예요.
왜 제가 굳이 손으로 하냐면
제가 손으로 아무 함수나 그릴 수 있을 거잖아요.
이 아무 함수나라는 거를
정확하게 표현하기 위해서
그냥 아무렇게나 그린 거예요.
제가 아무렇게나 그린 함수예요.
W를 막 조정을 하면 학습하는 과정이에요.
오 맞추고 있어 맞추고 있어.
다 맞췄죠 방금.
근데 이게 된다고요?
이건 수학적으로도 증명이 돼 있어요.
이런 조건 하에선 된다고.
나 이거 학사 때 데이터 피팅 하는데
너무 힘들었었거든요.
데이터 피팅 하셨어요?
이걸 커브 피팅이라고 하는데
신호들이 나오잖아요.
이 신호들이 맞으면
여러 개의 파라미터들이 있을 거 아니에요.
관측된 온도라든지 속도라든지
이런 것들을 가지고
변수를 찾는 게
제 관측의 연구 결과였거든요.
이런 거 있었으면 진짜 와...
근데 이게 커브 피팅인데요.
이 커브 피팅이
딥러닝을 비판할 때
그거 그냥 커브 피팅이잖아요.
그 비판을 해요.
예를 들면 그거 그냥 앵무새잖아.
채찍 피팅을 비판할 때부터
그 틀린 말이냐?
맞는 말이에요, 사실.
놀라운 거는 커브 피팅만 해도
앵무새처럼 외우기만 해도
이렇게 훌륭한 인공지능이 나온다는 게
놀라운 거죠.
함수를 표현하는 힘이
뉴럴렛이 대단하다.
그럼 W 찾는 방법을 드디어 설명을 드리겠습니다.
커브 피팅 이전에
더 단순한 라인 피팅 해봅시다.
이게 데이터예요, 학습 데이터.
점들이요, 노란 점들.
입력이 X축이고
출력이 Y축이라고 해봅시다.
만약에 얘가 키라고 하면요.
키가 X일 때
몸무게가 이렇더라의 분포잖아요.
점들을 찍은 거예요.
자, 그러면 이거를 예측하는
모델을 만들 거예요.
모델의 다른말은 함수예요, 쉽게 얘기하면.
근데 커브로 하지 않고
라인으로 한다고 합시다.
그러면 그 라인은
AX 플러스 B라고 쓸 수 있잖아요.
그러면 우리가 모델을 만들 때
할 수 있는 일은
이 A와 B를 정하는 일밖에 없죠.
사람은 그냥 직관적으로 눈으로 딱 보이니까
직선을 일단 끄고
근데 컴퓨터는
딱 보고 직관적으로 이렇게 딱 못 끄니까
어떤 일을 하냐면
이 A와 B를 막 조정을 해가지고
저 하늘색이 정답이에요.
초록색이 모델의 결과
보라색이 손실
A와 B가 정해지면
초록색 선이 끄어지겠죠.
끄고 나면
요거를 계산할 수 있을 거잖아요.
그러면 그걸 손실이라고 불러요.
자, 그러면 이걸 토탈 손실이라고 할게요.
토탈 손실은
이거의 거리의 합이겠죠.
토탈 손실이 적은 쪽으로
난 AB를 조절할 거예요.
그냥 아까 직관적으로 눈으로 보고
빨간색 끄었잖아요.
그렇게 생각하지 마시고
높이거나 낮춰보고
손실 계산하고
어? 낮추니까 좋네?
더 낮춰봐.
어? 또 손실이 줄었어.
그러면 A와 B를 동시에 막 그렇게 해요.
그래서 A는 점점 플러스로 가다가
뭔가 여기서 딱 멈출 거고
B도 이렇게 쭉 가다가
멈출 거예요.
그래서 저 W 조정하는 게
A와 B를 조정하는 건데
예측을 하고
손실을 계산한 다음에
손실이 주는 방향으로
움직이는 거예요.
올려도 보고
내려도 보고
손실을 계산한 다음에
어느 쪽이 좋은지를 보고
손실이 적은 방향으로 가는 거예요.
너무 단순하죠?
그렇게 하면
이렇게 돼요.
인사할 시간도 많습니다.
여러분의 시간을 낭비해드릴
느리지만
쿨함과
랩 미팅이었습니다.
감사합니다, 교수님들.
감사합니다.
자막 제공 및 영상 제공 및 광고를 포함하고 있습니다.
