반도체의 전설 '짐 켈러'가 만든 AI칩! 엔비디아의 강력한 경쟁자로 떠오를까? | 정인성 작가 #1 [투자Insight]

증시각도기TV
44 팔로워
2024. 8. 18.
- 촬영일 : 2024년 8월 6일
- 진행자 : 곽상준 (증시각도기TV 각도기)
- 게스트 : 정인성 ('반도체 제국의 미래', 'AI 혁명의 미래' 저자)
제가 지금 당장 인공지능 만들어 놓은
걸 전개해야 된다 그러면네 원홀
자체를 쓸 필요는 없습니다 왜냐하면
성능도 그냥 그런데 이거는 돌아갈지
아닐지 모르고 지금 비디아 1포는
사면은 전 세계 그 기업에서 다
끌어와서 쓸 수 있고음 그래 성
생태계 자체가 지금은 되게 베이비인
거죠네 그
[음악]
안녕하십니까 증시 각도 TV 시청자
여러분 투자 여러분 반갑습니다 네어
여러분이 좋아하시는 우리 한국 최고의
반도체 작가죠
작가시점네네네 우리 정인성 반도체
제국의 미래 정인성 작가님 보시고
반도체 이야기 듣는 시간 갖도록
하겠습니다 자 그 어서 오십시오 예
안녕하세요네 안녕하십니까 최근에 이제
뭐 AI 반도체가 뭐 열풍을 불었다가
주가가 이제 또 폭락을 하고 난리가
아닌데 엔비디아가 주가가 좋았다가
떨어질 때 뭐 세카 캐피탈이
투자자들이 좀 그 좀 부정적인 의견을
내기도 했습니다만 또 하나의 요소가
됐던 것이 경쟁사에 등장 이런 것도
이슈가 됐었습니다 근데 가장 이제
한국 사람들 귀에 박혔던 건 한국
사람들 중에 반도체 투자 조금
공부했다는 사람들 알고 있는 반도체
뭐 제작의 거의 뭐 신네 설계 예
설계의 신 짐 켈러가 토스터 렌트를
만든지는 꽤 됐는데 갔으니까 도대체
뭐가 만들어 는데 여기서 이제 AI
그렇죠 칩을 만들었습니다 다른 것도
아니고 그리고 바로이 칩이 나오기
전에 KBS 이런데 대담을 했었는데
뭐라고 얘기했냐 86 기술도 그
문제가 많지만 쿠다 마찬가지로 문제가
많다 예 그럼요 예 뭐 세상에 어떻게
보면 우리가 레거시란 표현을 쓰는데
역사가 깊은 반도체 그 반도체가 같이
끌고 왔던 소프트웨어 시스템은 그
소프트웨어 생태계는 점점 좀 그
비효율성의 쌓이긴 해요음 근데 물론
그 비효율성이 쌓였다고 해서 한 방에
이걸 다 깨고 바닥부터 만들 수
있느냐 그것은 또 별개 문제죠네
그러니까 이제 맞는 말인데 그러면
짐켈러 이제 cto 아마 CEO
올라갔나 그럴 건데 이분이이 문제를
정말 해결할 수 있냐 이것은 조금 더
지켜볼 필요는 있겠죠음네 그래서
이번에 그쪽에서 웜 홀이라는 새로운
제품을 만들었고 어 그리고 개방형
소위 말하 리스크 5라고 표현하
개방형을 사용했고 어 그리고 어
개발자 친화적으로 만들면서 확장
가능성을 주기 위해서 기존에 어
네트워킹을 따로 하는게 아니라 기존
사용하고 있는 이더넷을 사용하면서
했습니다이 부분 좀 설명해 주시면
좋을 것 같아요 이제 이렇게
생각하시면 돼 우리가 AI 반도체라고
하지만이 반도체도 추론 반도체가 있고
학습용 반도체가 있잖아요 근데
일반적으로 추용 반도체는 그냥 그 칩
안에 우리가 구동하려면 인공지능이 쏙
들어가는게 제일 이상적이에요음 근데
학습용 반도체를 만들려고 하면요 이게
특히 지금처럼 인공지능 크가 막
커지면 GPU 뭐 mpu 됐건 무엇이
됐건 칩 하나 안에 학습할 데이터랑
인공지능이 다 들어가질 않아요네
그래서 얘네들이 연결해 주는 수단이
쭉 있어야 돼요 1천개 만 개 이렇게
GPU 연결해 줘야 되는데 그게
엔비디아에서 MV 링크죠커 짐 켈러가
말하는 건 나는이 GPU 연결하는
수단으로 2더 에서를 쓰겠다 쉽게
말하면 우리 뒤에 꽂는 랜선 있죠
그렇죠 요걸로 하겠다는 거예요음 이제
물론 그것만 있는게 아니고 되게 좀
독특한 컨셉이 많아요 그 안에는 일단
우리가 생각하는 그 일반적인 CPU
GPU은 좀 많이 다르게 돌아가
이게요 안에 리스크 5가 들어가는 거
자체는 그렇게 중요한 요소는 아니고요
실제 설계에서네 실제로는이 텐스
토렌트의 칩은 우리가 흔히 보는
CPU GPU음 이제 좀 대학에서
폰노이만 아키텍처라고 하죠요
녀석들이랑 다소 다른 사용 방법을
취하고 있다는게 핵심이에요 아 테스토
랜드가 예네 사실 그런 컨셉이 최초로
나온 것은 아닌데 이제 이루 말씀드려
볼게요 제가 지금 GPU going
CPU 메모리를 놓고 일하는 방식은
다 요런 식으로 움직여요 예를 들면
제가 음식을 만든다고 해 볼게요
그러면 음식 재료를 메모리라는 곳에
놓고요네 예단 당근을 볶아야 된다
그러면 당근을 가져와서음 복고 GPU
안에서 당근을 다시 메모리에
올려놔요네
그다음에이 당근을 볶은 다음에 예를
들면 뭐 후추를 뿌려야 된다 그러면
또 당근을 메모리에서 가져와서 후추를
뿌려요네 그러니까 근데 앞에 생각해
보시면 볶은 다음 바로 펜에서 뿌려도
됐죠네네 근데 실제로 돌아가는 방식은
메모리에서 가져온 다음 다시 메모리에
쓰고 써야 될 놈을 또 가져오고 이런
식으로 돌아간다는 거예요네 이게
일종의 폰 누한 방이죠 시스템 반도체
그러니까 연산 반도체 옆에 메모리
반도체를 붙여서 이걸 구동하는
소프트웨어네 갖고 돌리는 방식 그니까
연산을 하고 보관했다 다시 원산을
갔다 왔다 갔다 하는 그런 방식을
포는 방식이라고 하는 거죠네 근데이
방식이 좋아 보이고 실제로 잘
돌아갔죠 CPU 쓸 때는음 근데 이제
인공지능 시대가 열리니까이 가져와서
썼다가 놓고 가져와서 썼다 놓고 너무
많아져요 이게 굉장히 많아집니다이
횟수가 왜냐면 당장 프로그램의 크기만
봐도 우리가 한글이나 MS 워드 돌릴
때 필요한 메모리보다 채치 피치
구동할 때 필요한 메모리가 뭐 1천
배에서 만 배 가까이 커요 음 론할
프로그램의 크기가 크면은 당연히
연산용 반도체 GPU 됐건 뭐가 됐건
더 많이 메모리에서 뭔가를 가져와야
되겠죠 그렇죠 그게 지금 hbm이라
메모리가 떠오른 이유기도 해요네
한꺼번에 엄청난 메모리를 갖다 써야
되기 때문에 그다음 왜냐면 GPU
성능은 초 극대화 돼 가지고 한꺼번에
연산할 수 있는 병렬 연산 숫자가
많아졌고 병렬 연산 숫자를 맞춰
주려고 하니까 길을 여러 개 내
가지고 창에 문을 다 열어 갖고 한꺼
에 데이터를 뭐 천개씩 줘야 되니까
그렇죠 근데 hbm 보시면 지금 한
10년 동안 GPU 그 하이엔드
GPU 한 40 몇 배 정도
빨라졌는데네 hbm 같은 기술을 써도
메모리는 한 15배 밖에 안 빨라요
지금 갭이 크죠 그럼 이거를 좀
해결하는 여러 가지 방법들이 있어요
그중 이제 텐스 토렌트 같은 회사가
택한 방식은 아까 봤던 거 당근 왔다
갔다 하는 거 그거 자체를 줄이면
되지 않냐 이런 겁니다 네네 그래서
이거를 어떤 식으로 줄이느냐 어떻게
보면 좀 이 칩을 쓰는 사람이 할
일이 많아요음 여기는 어떤 식으로
돌아가냐면이 중간중간에 데이터를 썼다
가져왔다 하는 부분들을 최대한 자기
칩 안에 놓고요 그러면 그 칩 텐스
토렌트 칩 안에도 조그만 연산기이
잔뜩이 있잖아요 그럼 걔네들 저장
공간 안에서 돌아다니게 하는 거예요
조금씩 저장 공간이 크진 않겠네요
그게 그렇죠 조그만 저장 공간을 가진
녀석을 잔뜩 늘어 놓고 디아도 그런
공간이 있어요 근데 엔비디아는 좀
간단한 규칙이 그게 얼마 이상 데이터
커지면 다시 램으로 써 버리고
그러는데 여기는 그렇게 안 하고 제가
잡아두고 싶은만큼 잡아두는
거예요음 예를 들면 당근을 아까
말했지만 볶은 다음에 후추를 쳐야
된다고 그러면 제가 이거 후추 쳐야
된다는 거 알고 있죠 이게 당근 볶는
영역을 칩 안에 지정해 놓고요 그래서
당근을 막 볶으면 그다음에 램으로
가지 말고음 바로 당근에 후추 뿌리는
곳으로 보내 줘라 칩에서 이런
구조입니다음 이게 이제 텐스 토렌트가
만든 칩의 기본 컨셉이에요 엔비디아
칩이다 당근 보고 메모리에 다시
썼다가 GPU 후측 뿌리고 또 저기
메모리로 보냈다가 했을 텐데 이제
처음에 당근을 한번 가져오면 당근
보고 후추 치고 하고 싶은 거 다
하고 최종 결과물이 음식이 집 밖으로
뿅 튀어나오게 써라 이런 겁니다이
핵심은 써라예요 이제 그렇게 해 줄
게가 아니고 우리는 요런 일을 할 수
있는 칩을 만들었으니까 사용하시는
여러분 분이 잘 쓰시면 메모리도 훨씬
메모리 대역폭도 훨씬 적게 쓸 수
있고 성능과 효율이 좋아집니다 요런
컨셉인
거예요네 근데 이런 접근의 문제가
뭐겠어요 이론은 다 좋은데음 이렇게
만들어 놓은 프로그램이 없죠 지금음
이런 반도체를 고려해서 써 놓은
프로그램이 없잖아요 사실 그런 거예요
이제 이런 컨셉으로 칩을 만들어
왔는데 그중 첫 단계에 웜홀은 지금
나온 거 엄밀하게 상용 제품이 아니고
개발자 보드라고 불러요 이제 이집에
좀 익숙해지고 이걸로 프로그램을
시작해야 될 사람들을 위해서 파는
제품입니다 네네 그 제품들 두 개
나온 상황이죠음 제 기억으로 이게
원래
2021년인기가요음 제품 자체는 또
2년 정도 갭이 있죠 그래서 그냥
성능만 놓고 보면 사실 엔비디아 추론
칩 그 러블리스 4 l4 다 조금
부족해요음 전기도 많이 쓰고 오 어
전기를 많이 쓴다고요 예 그러니까
동시대 제품으로 봐야죠 물론지 지금
진 켈러 제품은 아마 글로벌 파워들이
어딘가 12나노 제품을 쓰고 있을
거예요네 그리고 비디아 L 4는
4나노 쓰니까 좀 언페어 할 순 있죠
비교가 공정하지 않은 비교라고 할
수도 있지만 소비자 입장에서는 같은
해에 만난
제품이잖아요음 근데 이제 개발자
보드인 걸 고려해도 좀 이득이
부족하다고 지금 나온 건 그렇게 볼
수 있죠 실제로 이걸로 추론 같은 거
하라는게 아니고 소프트웨어를 미리
만들어라는 개념에 가까워요이 제품은음
그러니까 이제이 제품이 컨셉은 다
봤으니까 어 이런 컨셉이나 한데 이게
정말 성공할까 아닐까 개발자 보드
뿌리고 큰 고객들이 이걸로 무언가
하기 시작하느냐 이게 훨씬
중요해요음 제가 알기로 이거
소프트웨어 하는 사람들이 많이 힘든
걸로 알고 있어요 사용하기 아니
그러면은 하나 먼저 여쭤보기 싶은게
그 연산집 안에서 메모리를 일부 좀
가지고 있다가 하 하고 어떻게 다른
거 그 레이죠 그 디아도 램이
있는데요 이제 기존에 많은 CPU
GPU 가지고 있는 그 은요 목표가
아까 봤던 폰노이만 모델을 하해네
최대한 빠르게 성능을 높이는게
목적이에요 이런식이 예를 들면
프로그램이 어 디램 다 데이터를
써야지하고 하는데 램 영역이 이제
자주 접근하는 데이터를 보고 있다가
어 이거는 자주 쓰는 거니까 S 안에
넣어 놔야지 이런 식으로 성능을
개선하는 거요 네네 소프트웨어 쓰는
사람 입장에서 폰노이만 구조가
유지되는데 실제 반도체가 움직일 때
자주 쓰는 녀석은 램에서 빠르게 색
접근하고네 그러다가 더 자주 접근하는
있으면 얘 쫓아내고 새로운 데이터
넣는 방식이죠 그러면 이걸 어떻게
구분 그 램에 넣어야 될 것 안
넣어야 될 것 뭐 거 규칙 많습니다
뭐 lru 이런 거 쓰기도 하고 뭐
거기다 AI 조금 접목해서
쓰는데음 뭐 하여튼 전체 메모리가 한
80gb 하면은 뭐 1% 못 넣어요
실제로는음 이제 이런게 가능한 이유는
실제로 우리가 메모리에서 특정
데이터를 가지고 오면 가져온 놈을 번
쓰더라 요런 전제가 있는 거죠음 근데
이거는 또 완벽하진 않아요 왜냐하면
GPU 프로그래머가 뭘 하고 있는지
모르죠 그냥 칼질 해라 뭐 후추
뿌려라 이런 거지이 당근이 볶음밥에
들어갈 건지 아니면은 냉장실에 갖다
넣을 건지 이런 건 모르죠 근데 텐스
토렌트 같은 컨셉은요 그것까지 컨트롤
하라는 개념에
가까워요음 예를 들면 제가 나름 칩이
판단을 한다고 해서 지금까지 봤더니
당근을 복 음 항상 후추를 뿌렸다는
거야 후추 준비하겠죠 후추에 해당하
메모리 영보이 준비를 해야 되는데
어쩌다 한번 이게 그냥 냉장고로
가거나 예를 들면이 반도체는 몰랐지만
당금 복가 나는데 냄새가 이상하면
갖다 버리 수도 있잖아요 그럼 그럴
때마다이 S 효율이 나빠져요
실제로는음 텐스 같은 칩들은 그런
것까지 컨트롤을 좀 하라는 느낌에
가깝죠네 여기 네가 보내기로 한 거면
반드시 다음 영역으로 보내라음 이게
왜 이런 칩이 그래도
가능해졌을 돌리던 그 CPU ES
돌리던 프로그램이랑 특징이 좀 많이
달라서 그래요 어이 옛날에 CPU
돌리던 프로그램은 예 좀 그 메모리를
접근할 때 많이는 접근 안 하는데
굉장히 무작위로 접근을 했어요 예들
여기에 있는 메모리 접근하면 근처를
접근하다가요 근처에 있는 메모리
갑자기 확 뛰고 아 저거나 확 뛰고
그런 식으로 돌아가는데음 인공지능은
그 우리 그림 그려 본 거 보면 그
딥
딥러닝이라는 돼 있죠 뭐 신경망 층이
여러게 있잖아요 그래서이 메모리로
봐도요 흐름이 조금 보이긴 해요
정방향으로 가겠구나 얘들 제가
인공지능이 한 10층으로 된 AI
하면 3층에서 1층으로 메모리를
보내는 일은 거의 없더라음 그래서
나올 수 있게 된 칩인 거야 이거는
어 그러니까 옛날에 우리가 CPU
프로그램이었으면 텐스 토렌트 같은
컨셉 는 하는게 많이 힘들었을
거예요음 예상을 할 수 없으니까요
제가 텐스 토렌트 안에 조그만 식
코어 중에 이텐 6라고 불러요 얘들은
그 단위 연산 장치를 얘 들면 그
4번 칩에 뭔가 데이터가 있는데 이게
어디로 갈지 예측하는게 옛날
프로그램들이 힘들었어요 근데 AI
이거 예측이 좀 많이 쉽죠음 그러니까
굉장히 그 밑에 있는 메모리까지 다
컨트롤하게 해 주면 디램 대역폭을
아낄 수 있겠구나음 아까 말했던 그
원래는 당근 볶음면 메모리 놓고 했던
이런 것들을 다 빼고 당근을 볶아서
후추가 이제 쳐야 되면 제가
명시적으로요 칩 안을 떠나지 말라고
할 수 있거든요음 아 그러니까 예를
들어서 너는 AI 쪽 출연만 해 AI
추론 중에서 너는 예를 들어 그림만
영역을 해 또 너는 음성만 해 뭐
이렇게 지정을 하면 그 약간 특화
그거보다 훨씬 딥하게 되어 있어요
이제 예를 들면 그림 그리는
인공지능이 있다 그러면 얘가 층이 열
개 있다고 해 봐요 그림 그리기 위한
첫 단계 두 단계 세 단계 이음 쭉
있을 수 있죠네 그러면 첫 단계에
필요한 데이터는요 칩에서 특정 영보
지정을 하는 거죠음 여기로 들어올
데이터는 전부 다 그림 그리는 내용의
첫 단계다음 그러면 두 번째 단계를
담당하는 칩의 일부분을 또 아예
지정을 하는 방식인 거야음 그렇군요
그러면은 그 프로그래머들이 그 칩에
명령어를 다 넣어 줘야 된다는 얘기네
뭐 그렇죠 뭐 그거는 다른 칩들 그데
비디아 였다면 칩 전체가 그 그린
그린데 열 단계가 있다고 하면 첫
단계 할 때 칩 전체가 우글우글 몰라
와서 다 해결하고음 그 거대한
GPU요음 그다음에 또 두 번째 층
계산해야 되면 또 GPU 전체가
우글우글 몰려가서 해결하고 요런
식으로 돌아가요 근데 이제 텐스
토렌트 그리고 요런 계열의 칩들은 칩
안에 아예 좀 물리적으로 맵핑되는
거에 가까워요음 예를 들면 이만한
GPU 있으 GPU요 부분은 그림
그리는 AI 첫 번째 층이다 그러면요
녀석들은 두 번째 층으로 보내주고 세
번째 층으로 보내주고 이렇게
돌아갑니다 네네네 그 그 다 당연히
효율은 좋을 수밖에 없는데네 그
명령어 밖에 거가 들어오게 되면은
인식 자체를 못 할 수도 있겠는
거네요 그 다시 프로그램 많이 해
줘야 되고 우리가 AI 좀 많이
바꿔야 되면 이런 거 힘들 거예요
그음 예면 범용 AI 어렵다는 얘기네
어떤 측면 빠르게 진화하고 있으면 좀
사용하기 까탈스러울 수 있죠 아네
그러니까 어떻게 보면 이런 칩들은 좀
제가 기술적 성숙도가 올라가서요 인공
지능이면 되겠다 싶으면 요거에 맞춰서
좀 쓸 수 있지 않을까음 그 생네
근데 이게 굉장히 저렴하게 나왔어요
뭐 성능은 뭐한 30% 그러고
엔비디아에 뭐 가격은 뭐 근데 비교
대상을 봐야 되는데 지금 웜홀 웜홀
개발자 보드는 그 천 몇 불 1400
몇 불 이런 식으로 나오는데 비슷한
성능내는 엔비디아 추론 칩이랑 가격이
비슷합니다 사실은 어 그 엔비디아
l4 찾아보시면 나올 거예요음 그
포의 가격 자체가 초에 100만 원
200만 원 대기 때문에음 이거
솔직히 한 람 월급도 안 되죠음
그러니까 제가 지금 당장 인공지능
만들어 놓은 걸 전개해야 된다
그러면네 워홀 자체를 쓸 필요는
없습니다음 왜냐하면 성능도 그냥
그런데 이거는 돌아갈지 않지 모르고네
지금 엔비디아 1포는 사면은 전 세계
그 기업에서 다 끌어와서 쓸 수
있고음 그 성 생태계 자체가 지금은
되게 베이비인 거죠네 그리고 예를
들어 기 허브라는 그 개발자들이 모든
자기의 그 코드를 올려 놓은 데고
쿠다 생태계로 올린 것들이 엄청나게
많을테니까음 바로바로 이제 이미 쌓아
놓은 그 지적 자산에서 터 자기가
시작해서 좀 빠르게 더 올릴 수 있다
뭐 이런 얘네 그러면 텐스 토렌트는
어떻게 해야 될까요 기존에 쿠다
생태에 있던 애들을 자사 칩에서 잘
돌아가게 해 줘야겠죠 거의 딸깍질
man 하면 돌아가게 해 줘야 되는데
그죠음 그게 사실 AMD 잘 못하죠
그거네네 그렇죠 AMD n GPU
구조가 사실 엔비디아 비슷해요음 쿠다
쓰냐 힙 쓰냐 차이지 그 쿠다 에다가
힙이라는 그래도 잘 안 됩니다 사실은
구조가 비슷한 집에서도 이렇게 호환성
따라가는게 힘든데 구조가 이렇게
상반된 칩에서 잘할 수 있겠느냐 그까
이거는 되려 텐스 토렌트 쪽에서 진짜
그쪽 사람들 최적화 컴파일러 이런
사람을 잔뜩
뽑아서음 고객 하나 큰 거 오면은
거기 완전히 달라붙어 갖고 이거
하나를 성공을 시켜야 돼요 고객을음네
그래야 뭔가이 칩으로 자라나기
시작하죠음 아직은 보여줘야 될게
많다고 생각해요음 그 100만
원짜리를 내놓은 거는 너희들이 알아서
한번 만들어 봐 이렇게 파을 가라
중거 아니요 예하고 싶 일단 써보라는
거죠 예 예 그러니까네 그러니까 개발
보드라고 부르는 거예요 그걸 상용
제품이라고 부를 수는 없고 실제로
이제 근데 성능은 보고 특성은 좀 볼
수 있잖아요 개발자들이 내가 뭐 해야
되는지도 알 수 있고 아마 초반에
들어오는 사람은 굉장히 해야 되는
일이 많고 이후에 들어오는 사람 들은
이제 칩이 잘되면 서서히 쉬워질
거예요 그 예전에 다로 인공지능 하던
사람들도 2008년 이럴 때 보면네
지금처럼 딸깍질 못하고음 그 일일이
컴파일러 돌려놓고음 그 엔비디아
기계어로 막 던지고 그랬어요 그런
사람들이 성공하니까 점점 자주 쓰는
거 묶어 갖고 어 이제 이거 일일이
쓰지 말고 이거는 묶어서 쓰자 하면서
생태계가 쌓여온 거죠 지금 그 단계인
거예요 그래서 이제 제가 뭐 짐켈러
같은 분 를 평가할 수 있는 입장은
아닌데네 지금까지 CPU 해왔던
싸움과는 조금 다른 싸움을 한다고
말씀드리고 싶어요 네네 이분이 뭐
AMD 있다가 뭐 애플도 갔다가
인텔도 갔다가 했잖아요 근데 그때마다
설계를
성공시켰는데음 그 설계들을 어디서
승리했네 하면 이미 그 소프트웨어
생태계가 갖춰진 곳에 멤버였다 AMD
있을 때는 이미 인텔이 깔아놓은
x86이라고 부르는 거대한 소프트웨어
생태계의 호환성을 가지고 가는
입장이었고 호환 호환되는 생태계
만든게 아니고 애플에 왔을 때도 암
AR이라는 회사의 그 생태계 이렇게
간 것이고요네 텐스 토렌트는 반대로
생태계가 없는 곳에서 이제
토양부식네네네 그러면 지금 이제
말씀하신 대로 그 만드는 기반이
엔비디아는 암 계열이고 또
AMD음 s86 정확하게 정확하게
엔비디아는 자기 아내 얘도 그
기계어가 있습니다음 우리 그냥 다라고
뭉뚱 그려 부르지만 얘들도 그 안에
세부 호환성 버전이 쭉 있어요 뭐
쿠다 컴퓨터 케이퍼빌리티 요런 것들을
가지고 있고요 그 케이퍼빌리티 좀
달라도 최대한 애러 안 나고 잘
돌아가게 해 줍니다 비디아네 네네
그러면은 그 우리가 설계 툴이 리스크
5를 쓴 거잖아요 리스크 파도 쓴
거죠 어 정확하게는 이제 여기
로드맵을 보시면 종 는 그 AMD
mi 300에 가까운 칩을 만들려고
하는데 일단 요런 식으로 하는 거
엔비디아는 어떻게 되어 있냐면 칩이
그 칩 안에 거대한 그 쿠다 코어라고
부르는 거대한 연산기 잔뜩 있어요네
근데 텐스 토렌트는 어떻게 돼 있냐면
그 쿠다 코어에 해당하는 녀석이
조그만 CPU 다섯 개를 가지고
있고음 이게 그 리스크 5 베이비
코어라고 불렀어요 여기서는 네네
오로지 그 명령어 처리만 해주는
베이비 코어들 다섯 개가 있고 음
녀석들이 밑에 있는 램이랑 쿠다
코어에서 연산 장치에 해당하는 그
곱셈기 덧셈기 이런 거를 제어하는
구조예요네네 리스크 파이브를 쓴 거
자체는 여기서는 큰 혁신은 아니에요
그래서음 정확하게 그 안에 암 코어가
들어가도 상관이
없습니다음 그렇구나 예 왜냐면 이거
그냥 제어하는 수단일 뿐이기 때문에
아허 거대한 연산기을 그 베이비 코어
다섯 개가 제어하고 요거 하나가 텐
6예 그 텐 6 코어를 그 그러니까
리스크 파 다섯 개랑 연산기 가진
애를 바둑판처럼 쫙 늘어 놓은
설계적음 그러니까 이거 리스크 파
자체는 핵심은 아니에요 여기서음 어
그러면은 어 실제로 과연 mbdi 그
아성에 경쟁사로 시간이 지나면 과연
자리 잡을 수 있을지 자리 잡으려면
뭐가 어떻게 대야 근처에 갈 수
있을지 저 크게는 이제 두 가지가
있어야 된다고 보는데 하나는 지금의
열풍이 꺼지면 안 됩니다 아 예
왜냐하면 이제
어떻게 보면 성과가 잘 안
나오고 그냥 AI 자체에 관심이
없어지면 기존 거 그냥 쓰던 거 오래
쓰려고 하지 새로운 거를 사람 뽑아서
훈련해 가면 쓸 그런 이유가 전혀
없죠 네네 그게 이제 첫 번째 일단은
지금 열풍이 좀 계속 혁신이 나와야
되겠고요 두 번째는 성공적으로
돌아가는 AI 중에 원가 때문에 안
돌아가는 놈이 하나 나와야 돼요음
예를 들면 GPT 6가 나왔다고 해
보죠 뭐 존재하지도 않겠죠 예 근데
이게 어떻게 되는지 몰라 해봤더니음
이거를 구동하면 완전히 뭐 산업의
혁신이 일어날 거 같아요네네 근데
오픈가 이거 오픈 AI 이걸 돌려
보니까 하나 돌리는데 학습 말고
출연하는데 GPU 한 1,000개씩
필요하더라 그것도 이제 메모리 때문에
그러면 원가가 안 나오잖아요 그렇죠
우리 a00 여덟 개 빌리는 거
기준으로 하루에 10만 원 단위로
줬었나 하루에 억 단위로 나갈
거잖아요 돈이 굉장히
비싼데 내가이 비싼 녀석을 돌려서
적용하려고 했더니음 저쪽 효율은
오르는데 내 원가가 너무 높다 요런
시나리오 이런 칩을 쓰는 거죠네
왜냐면 지금 텐스 토렌트 칩이 기존에
안 되던 인공지능 되게 해
준다기보다는 돌아가던 녀석도 효율을
확 올리는 형태기 때문에
그렇습니다네네네 예 그렇죠 그니까
지금 말씀하신 것처럼 그 우리가 이제
잘 모르는 영역인데 소위 말한
클라우드 서비스나 서버 업체들이 그
그 엔비디아의 뭐 GPU 든가 이걸
빌려 주는 겁니다 사용할 시간을 빌려
주는 거죠 GPU 서버를 예 그래서
시간당 그 부과를 하는 거예요 지금
그 최전선에서 실제로 해 보셨기
때문에 정 작가님이 이런 말씀을 해
주신 거고 그럼 우리는 이해하셔야
될게 뭐냐면은 아 서버에 이렇게 깔아
놓으면 우리 같은 일반인들이 채
GPT 3.5에 4.0에 질문해서
돌아가기도 하지만 그리 정작가 같은
분은 프로그램을 설계하기 위해서 직접
GPU 시간을 두고 빌려서 쓴다는
개념입니다 그래서 그거를 위해서 지금
또 그 서버가 구축되고 있는 것 중네
그 클라우드이 지금 GPU 사는
이유가 그냥 구경하고 뭐 지구 온나나
일으키려고 사는 건 아니잖아요 네네
자체 데이터 센터가 없는 많은
기업들이 데이터 센터는 있는데 당장
공간이 없다 이런 회사들을 고객으로
삼으려고 사는 거예요 그렇죠 저희도
이제 클라우드에서 그 GPU 빌려서
학습시켜 봤죠 여기저기서 빌려서 썼죠
이제 네네 이제 그고 임대도 PC
방이랑 똑같아요 가격이 시간당으로
매겨지기 때문에 음 거의 칼처럼
떨어져요 얼마나 썼는지 이렇게 좀
원가를 추정해 볼 수가 있죠음 네네
뭐 자기 데이터 센터 있으면 몇십 %
싸고 하겠지만네 뭐 어쨌거나 요거에
핵심은 텐 스토렌 같은 칩 다른 칩들
마찬가지예요 지금 AI 반도체라고
나오는 많은 칩들은 지금 엔비디아
칩으로 안 되는게 확 된다 이런 건
아니에요
왜냐하면 텐스 토렌트 칩도 엔비디아
칩도 뭐 저쪽 그록 뭐 세레브라스의
이론에서 기반한 동일한 인공지능을
돌려요음 그러니까 제가 예를 들면
채치 PT 구동하는데 어떤 반도체에서
돌려도 해야 되는 곱셈 덧셈 숫자
이런 건 다 똑같아요네 그 안에서
얼마나 원가를 싸게 만들어 주냐에
문제죠음 그 그런데 이제 최근에
구글에서 아 애플에서는 최근
애플에서는 그
AI 학습시킬 때 비디아 GPU
사용한게 아니라 그 구글에 tpu
사용
가 저 그런 거 들으면 그냥 어
gcp 썼구나 이렇게 생각하면 gcp
구글 클라우드
플랫폼인데네 그냥 뭐 비디아 GPU
너무 늦게 참여해서 없었거나 아니면
개발자가 빵빵하고 하니까 우리는 우리
학습코드 다 구글 TP 옮길 자신
있어 랬 이거 아주 특별한 일은
아니에요네 근데 이제 그것이 뭐 아주
특별하 하면 원래도 구글은 그 AI
그 회사 들 중에 제일 컴퓨트 이제
GPU 빵빵한 회사였어요 왜냐하면
이미 알파고 할 때부터 자기들을
tpu 만들어서 학습을 시켰으니까
원래도 컴퓨터는 빵빵 했죠네 그거 뭐
클라우드에 좀 돌렸다고 해도 이상한
일은 아니죠네네네 그러니까는 아
애플이 어 구글에 클라우드를 썼을
수도 있다라는 말씀을 해 주신 거고
굳이 그러면 그 비 사서 서버를 구축
안 한다는 얘기가 되겠네요 애플 같은
경우는 있는 아마 서버 룸이 있을
텐데 네 이런 거잖아지 채치 피트가
22년 말에 터졌고 터지고 나서 화들
짝 해 갖고 얼른 그 팀이 일어나
갖고 이제 팅크 일어나서 회의를
잡아도네 지금 GPU 없는데
어떡하겠어요 그렇지 일단 제품은
올해는 나와야 되는 거고음 그러면은
GPU 쓸 거 얼른 구해야 되잖아요
근데 그 시점엔 클라우드도 GPU
부족했다고 그러면 어떻게 됐겠어요
일단 남들 안 쓰는 거를 그냥
차지해서 쓸까 했는데 아마 구글
gcp 있지 않았을까 뭐 전 내부자가
아니라서 모르겠지만 뭐 그런 식이거나
아니면 gcp 그 구글 tpu 가격
대비 연산 능력은 좋아요 네네네 사실
엔비디아가 아닌 모든 녀석이 가격
대비 그 AI 최대 성능은 다
좋습니다 해 보면 예 그 그러니까
엔비디아의 GPU 성능이 최고지만
가격도 비싼게 미죠 가격도 성능이 그
가격 대비 최고냐 하면 그렇진 않아요
가격 대비로는네 예 문제는 이제
돌아가던게 안 돌아간다 딴 거 쓰면
이런 거죠 그 아마존도 들어가 보면
그 인텔 가우이 있어요 인텔이 만든
AI 그런 거 있잖아요 그렇죠 뭐
저는 켜볼 생각도 안 했습니다 사실은
왜냐하면 우린 소수였고 사람이 훨씬
중요한 상황이니까 그냥 그 엔비디아
GPU 잘 쓰는 거음 왜냐면 기존에
제가 제 컴퓨터에서 하던 것도 다
엔비디아 칩으로 맞춰져 있으니까 그런
거 편의성 때문에 그냥 엔비디아 거를
썼죠 아마존 쓸 때도 이제 애플은
그렇게 안 하고 tpu 클러스터로
학습하려고 했겠죠 네네네 구글 쪽에서
좀 생태에 확장해 볼 생각으로 좀
싸게 줬을 수도 있어요 써봐라 이렇게
네네네 어 지금 걱정하고 있는게 이제
그 비디아 지수들 같은 경면
엔비디아의 지표를 이제 어 확장
속도가 느려지는 거 아니냐 경쟁자들이
계속 나오면 그런 생각을 하는데
어떻게 보십니까 그럴 수도 있죠
당연히 이게 어떻게 보면이 학습
반도체라는 건 지금 좀 고만고만한
인공지능 회사들이 돌리기에
엔비디아가음 좋아요음 근데 회사가 좀
많이 커지면네 얘들 오픈 AI만큼
크다 마이크로소프트 정도 된다음
그러면은 과거에 구글이 했던 것처럼
자체 인공지능 칩을 한번 설계해 볼
여지가 있죠음 왜냐하면 만개 10만
개 단위로 매해 쓸 텐데네 그러면 좀
이야기가 달라지겠죠
음음음음 그래서 저는 실제로도 그
점유율 자체는 좀 낮아질 수 있다고
생각해요네 디에게시스
엔비디아가 그러니까 계속해서 생태계
지원을 하고음 집에다가 이제 좀
시대를 앞서서 기능들을 넣어서 얘들을
따돌려야 되는 거죠음 이거는 어떻게
보면 서로 뭐 쫓고 쫓기는 관계 같은
거라 갖고 지금 정확한 답은 이야기할
수 없어요네 근데 어쨌든 지금으로
그만 따져보면 어 전성비 좀 떨어지고
가성비도 떨어지지만 최대 성능 치는
비디아 최근에 나오는 호퍼 칩이라
이제 신형 블랙칩 이라든가 이런
것들이 가장 좋긴 하겠네요 뭐 나오는
순서도 빠르
어떻게 보면 그쪽에 맞춰 생태계가이
칩을 보면서 발전하기 때문에음 칩이
약간 이상하게 나와도음 항상 좀 좋을
가능성은 있죠음 근데 이제 칩을 정말
깊이 보고 칩 위에 있는 소프트웨어를
많이 건드릴 수 있는 큰 회사들은
자신들이 구동하는게 AMD 칩에 좀
더 좋을 수도 있고 그래요 그 정도
컨트롤은 가능하니까 네네 그러면 그런
특정 분야들에서 이제 다른 회사
칩들이 학습용으로 커 나갈 가능성이
있죠
C
[음악]
