ИИ МАСКА УМНЕЕ ChatGPT? СЕКРЕТ СУПЕРКОМПЬЮТЕРА Colossus | РАЗБОР
Droider
1 подписчик
1 просмотры видео·23 дек. 2024 г.
[музыка]
кто сказал что за год нельзя построить
самый большой и мощный суперкомпьютер
для тренировки искусственного интеллекта
невозможно нет времени слишком дорого
илон Маск не согласен всего за 122 дня
его команда построила огромный комплекс
со 100.000 графических процессоров над
иным маскам часто подшучивает то он
собирается копать тоннели под городами
то продаёт огнемёт под брендом The
boring Company когда Мак объявила о
создании новой компании xai которая
займётся разработкой искусственного
интеллекта многие отнеслись к этому
скептически даже Мы в нашем Telegram
канале предположили что это очередной
ход очередная причуда миллиардера -
говорили они куда ему тягаться с openi и
чат gpt в то или другие прошёл Всего
лишь год и xai выпустил чат Бота грок
который не только может Послать вас
Извините куда подальше но и
демонстрирует впечатляющие результаты в
текстах приближаясь к показателям
продуктов openi Но настоящая сенсация
произошла когда стало известно что Маск
построил один из крупнейших в мире
суперкомпьютеров для обучения своего
искусственного интеллекта более того уже
известны планы по его расширению до
невероятного масштаба миллиона
графических процессоров Как такое
возможно что происходит внутри этого
технологического монстра и почему это
может изменить будущее искусственного
интеллекта Всем привет Это дройдер с
вами Валерий истишев погнали разбираться
[музыка]
история xei началась 9 Марта 2023 года
Маск основал компанию в штате Невада а
затем перенёс её штаб-квартиру в район
залива сан-франциско официальное
объявление о создании компании было
сделано 12 июля
2023 на тот момент Мир уже вовсю
погрузился в технологическую
сингулярность вместе с чат gpt и желание
маска открыть компанию по созданию ии
выглядело как попытка запрыгнуть в
последний вагон уходящего поезда но как
вы убедитесь к концу ролика Маск может и
опоздал на поезд но возможно вскоре
перегонит его но обо всём по порядку
начнём с магии чисел дата основания xai
была выбрана не случайно Сумма чисел в
дате 7 + 12 + 23 = 42 что отсылает
культовый книги Автостопом по галактике
дугласа Адамса где суперкомпьютер
вычисляет что ответ на главный вопрос
жизни вселенной и всего такого - это
число 42 Забавно но официальная миссия
xai звучит именно так понять истинную
природу
Вселенной но естественно за этой
шутливой отсылкой стоит серьёзная
команда профессионалов маску удалось
собрать разработчиков создавших одни из
самых важных инноваций в машинном
обучении и вот несколько ключевых первое
некоторые члены команды ответственно за
разработку оптимизатора ам это своего
рода Автопилот для обучения нейросетей
который сам подбирает оптимальную
скорость обучения как опытный учитель
знающий Когда нужно замедлиться а когда
можно двигаться быстрее они создали
технологии batch normalization и layer
normalization которые позволяют
нейросетям лучше учиться выступая
регулировщика движения внутри сети
следят за тем чтобы информация проходила
равномерно без заторов второе именно эта
команда первая обнаружила существование
состязательный примеров своеобразных
оптических иллюзий для искусственного
интеллекта когда небольшое изменение
картинки мо может заставить нейросеть
принять панду за гибон в их портфолио
входят и другие технологии формер Excel
- технология которая позволяет
искусственному интеллекту Лучше понимать
длинные тексты запоминая контекст
примерно как человек при чтении книги
также техника автоформа зации
превращающая текст в математические
формулы словно переводчик с
человеческого языка на язык математики и
memorizing transform система позволяющая
искусственному интеллекту запоминать
огромные объёмы информации как человек с
графической памятью также многие из этих
специалистов участвовали при создании
легендарных проектов например Альфа Star
первого искусственного интеллекта
победившего лучших игроков StarCraft 2
или Alpha Code системы способные писать
код на уровне опытных программистов в
общем команда собралась такая что
скептикам уже не до
шуток первым продуктом компании стал
чатбот грок выпущенный в ноябре 2023
года в отличие от правильных конкурентов
вроде чат G5 ГК сла своим особым
чувством юмора и готовностью отвечать на
острые вопросы более того бот имеет
прямой доступ к платформе X и может
использовать актуальную информацию
оттуда Хотя преимущество ли это ещё
большой вопрос тут стоит объяснить
немного подробнее Мак очень взъелся на
Open и Chat gpt по той причине что у
компании очень строгий подход к цензуре
Chat gpt очень сложно заставить ругаться
матом говорить всякие обидные вещи или
даже общаться на сексуальные темы
собственно запуск xai - это своеобразный
БДК и женщины лёгкого поведения от маска
как человеку
свободолюбивой что его цензур роботы
поэтому грок может ругаться и флиртовать
с вами спокойно делает карикатуры на
политиков и так
далее друзья знаете что общего между
хамелеоном и экраном современного
смартфона Хамелеон способен менять свой
цвет благодаря специальным клеткам
хроматофора который держат пигменты и
отражающие кристаллы А вот современный
экран и он тоже использует кристаллы
жидкие кристаллы которые поворачиваются
под воздействием электрического поля и
создают все цвета которые мы видим И
сегодня у меня в руках устройство
которое доказывает технологии уже
опередили природу Meizu mblue 21 Давайте
разберём его по косточкам в основе
устройства восьмиядерный шестидесятых
битный процессор от unisoc который
разгоняется до 1,6 г гц экран здесь
отличный его диагональ 6,79 дюйма это
IPS Дисплей с разрешением 1640 на 720
точек и частотой обновления 90 гц Это
между прочим самый большой экран в своём
ценовом сегменте А ещё он достаточно
яркий чтобы читать даже На ярком солнце
в топовой версии 6 ГБ оперативки а
встроенную память можно выбрать на 64
или 128 ГБ мало не беда есть слот для
карт памяти microSD и это ещё не всё
специальная технология Meizu может
добавить ещё 4 гига оперативной памяти
позаимствовал их из внутреннего
хранилища система камер основной
мегапиксель модуль с дополнительным двух
мегапиксель сенсором для портретов
фронтальная камера на 8 мегапикселей
делает классные селфи и обеспечивает
неплохую картинку в видеозвонка о
дизайне всего есть три цвета синий океан
алмазно белый как у нас и Чёрный Титан
друзья переходите по ссылке они там вы
найдёте все подробности о смартфоне
Meizu mblue 21 ну а мы поехали дальше
первая модель grock 0 содержала 33 млрд
параметров и уже тогда приближалась к
возможностям lla 2 отме с её 70 млрд
параметров используя вдвое меньше
вычислительных ресурсов следующая версия
grock 1 достигла впечатляющих
результатов 63,2 про на тесте H ива для
оценки написания кода и 73% на тесте mml
для проверки общих знаний за год уже
вышло несколько версий Бота от базового
к 1 до современного к 2 который уже
умеет работать с изображениями и
показывает результаты лучше Chat gp4 в
некоторых тестах А в декабре 2024 года
появилась Аврора модель для генерации
изображений кстати игрок доступен для
всех желающих прямо в Твиттере точнее в
X До недавнего времени требовалась
премиальная подписка но сейчас можно
творить безобразие бесплатно кроме того
игрок понимает по-русски Но такой
стремительный Прогресс требует огромных
вычислительных мощностей изначально xai
использовала мощности серверов X и Open
Oracle для своего обучения но амбиции
маска простирались гораздо дальше до
самого Марса тут не об этом ему нужна
была собственная инфраструктура чтобы
конкурировать с самыми мощными
суперкомпьютера
[музыка]
мира и вот в сентябре 2024 года мир
узнал о существовании colossus или The
colossus просто гигантского кластера из
100.000 графических процессоров NVIDIA
h100 построенного всего за 122 дня но
как же устроен этот Монстр и что делает
его особенным колоссус - Это не просто
набор графических процессоров
Соединённых вместе Это целый комплекс
инженерных решений Давайте заглянем
внутрь этого технологичного чуда основой
косса являются стоки с жидкостным
охлаждением от компании су Micro в
каждой стойке установлено восемь
серверов формата 4u и каждый такой
сервер содержит 8 NVIDIA h100 Итого
получается 64 GPU на стойку восемь таких
стоек объединяются в мини Клар на 512
графических процессоров всего в
комплексе 4 зала по 25.000 GPU каждый
что в сумме и даёт 100.000 графических
процессоров Ну а Чтобы достичь такого
количества потребовалось установить
1.560 стоек с серверами эти серверы
необычные коробки с GPU Они самые
продвинутые и серверы на рынке на момент
создания комплекса каждый сервер
построен на уникальной материнской плате
которая интегрирует четыре переключателя
PCI Express от BRC в других серверах эти
компоненты обычно размещаются на
отдельной плате что усложняет
конструкцию помимо GPU в colossus есть
стойки с обычными CPU серверами Зачем
Дело в том что не все задачи эффективно
решаются на графических процессорах
обработка и подготовка данных различные
служебные задачи всё это лучше делать на
обычно процессорах то есть дорогостоящие
GPU используются для главной задачи
обучение нейросетей идём дальше другие
производители добавляют жидкостное
охлаждение к обычным воздушным системам
и это как если бы вы в обычный
автомобиль поставили электродвигатель в
colossus всё Изначально спроектировано
под жидкость и получается экая Tesla
среди серверов в нижней части каждой
стойки установлен cdu или coolant
distribution Unit своего рода сердце
системы охлаждения он оснащён резервными
насосами и блоками питания если один
насос выйдет из строя его можно заменить
Прямо во время работы системы не
выключая стойку жидкость циркулирует по
двум контурам синему для подачи
охлаждённой жидкости и красному для
отвода нагретой даже переключатели PCI
Express имеют свои собственные
жидкостные блоки охлаждения уровень
детализации поражает задние дверцы стоек
оснащены теплообменниками похожими на
автомобильные радиаторы эти
теплообменники подсвечиваются синим в
нормальном режиме работы и красным если
требуется обслуживания что позволяет
техника моментально определять
проблемные стойки в огромном дата-центре
ведь охлаждение такого монстра требует
особого подхода по всему зданию
проложены огромные трубы настолько
большие что рядом с ними человек
выглядит карликом эти трубы образуют два
контура один для подачи холодной воды в
здание второй для отвода нагретой Как
это работает пожалуйста холодная вода из
внешних промышленных охладителей или
чиллеров поступает в здание внутри она
распределяется по разным залам с
серверами где Чере систему
теплообменников забирает тепло От
серверных стоек нагретая вода затем
выводится наружу к чиллера важно
отметить что эти чиллеры не холодильники
в обычном понимании они не делают воду
ледяной а лишь охлаждают на несколько
градусов чтобы она снова могла
использоваться в системе охлаждения это
Замкнутый цикл позволяющий отвозить
огромное количество тепла выделяемое
серверами дальше про скорость соединения
что тоже очень важно все серверы
соединены между собой высокоскоростным
каналами Ethernet на 400 гиби бит в
секунду каждый сервер имеет девять таких
подключений обеспечивая общую пропускную
способность 3,6 теби в секунду за это
отвечают сетевые карты NVIDIA bluefield
3 это так называемый dpu со встроенными
процессорами Представьте что Ваш
компьютер - это город CPU - Центральный
процессор - это мэрия которая управляет
всем городом GPU графический процессор -
это фабрики производящие товары А dpu -
это транспортная система города которая
не только перевозит грузы но и Сама
решает Как лучше организовать движение
Какие маршруты выбрать и как избежать
пробок впечатляет и организация
кабельных систем каждый оптоволоконный
кабель индивидуально нарезанную длину и
промаркирован над стойками проложены
огромные кабельные трассы напоминающие
речные русла из сверкающего
стекловолокна Это не просто красиво
такая организация критически важна для
обслуживания техники должны точно знать
Какой кабель Куда ведёт в этом лабиринте
соединений А мы даже не можем у себя на
домашнем компе нормальный кбл менеджмент
сделать
Ладно на самом деле у меня тоже неплохо
всё продумано не хуже чем у маска теперь
про память в colossus используется
распределённая система хранения на базе
nvme накопителей вместо обычных жёстких
дисков Хотя флеш память дороже за
петабайт на таком масштабе она
выигрывает за счёт более высокой
производительности плотности хранения и
энергоэффективности и одна из самых
интересных фишек в этом суперкомпьютер
использование батарей Tesla meg Pack
зачем спросите вы Дело в том что что при
обучении нейросетей потребление энергии
постоянно колеблется то взлетает до Пика
то падает эти миллисекунд колебания
создают нагрузку на электросеть батареи
же работают как буфер сглаживая эти
скачки на пиковой нагрузке комплекс
потребляет 150 мегават энергии этого
хватит чтобы дать питани примерно
100.000 домов в мае 2024 года xai
привлекла 6 млрд долларов инвестиций от
ведущих венчурных фондов Америки А в
ноябре 2024 компания получила ещё 5 млрд
при оценке в 50 млрд Вот тебе и шуточки
над маском эти средства планируют
использовать чтобы увеличить количество
GPU до миллиона строительство Идёт уже
полным ходом и глядя на масштабы проекта
возникает вопрос а единственный ли это
путь может быть существует другой не
требующий таких энергозатрат и
пространства и именно здесь в игру
вступают квантовые
компьютеры то что мы наблюдаем сейчас в
мире суперкомпьютеров - это Столкновение
двух принципиально разных подходов к
созданию вычислительной мощности для
искусственного интеллекта подход xai
можно назвать brot Force взять много
классических процессоров и объединить их
вместе это работает но требует огромных
затрат энергии места и денег даже с
самым эффективным жидкостным охлаждением
комплекс потребляет 150 мвт энергии как
мы уже говорили этого достаточно чтобы
питать небольшой город Google же
напротив предлагает совершенно Иной путь
в декабре 2024 года они представили
квантовый процессор willow который
занимает крошечную долю от размера
колосс но способен на невероятные вещи
уло выполняет за 5 минут вычисления на
которому самому быстрому современному
компьютеру потребовалось бы 100
септиллион лет и это в десятки раз
больше чем возраст всей нашей Вселенной
чтобы понять почему это возможно нужно
разобраться в нескольких базовых
принципах в классических компьютерах
информация хранится в битах ноль или
единица в квантовых используются кубиты
которые могут находиться в суперпозиции
этих состояний то есть одновременно в
нуле или единице Но помните Кот
Шредингера то ли живой то ли Мёртвый то
ли одновременно подробно мы разбирались
в этой теме в нашем ролике про квантовые
компьютеры и ещё у нас был формат со
спецами на эту
тему Проблема в том что кубиты очень
чувствительны к помехам и быстро теряют
своё состояние и в итоге Чем больше
кубив тем больше и ошибок билу первым в
мире продемонстрировал под пороговую
работу когда увеличение числа кубив
ведёт к уменьшению ошибок а не к их
росту это прорыв которого ждали почти 30
лет с момента открытия квантовой
коррекции ошибок Питером шором в 1995
году и знаете что самое интересное
Google утверждает что квантовые
компьютеры будут особенно интересны
именно для искусственного интеллекта они
смогут обрабатывать данные недоступные
классическим машинам оптимизировать
архитектуры нейросетей и моделировать
квантовые системы это особенно важно для
создания ии способного делать научные
открытия например в области новых
материалов лекарств или источников
энергии то есть Google собрались
подходить к обучению ии совершенно с
другого ракурса самое странное и
интригующее во всей этой истории
заявление одного из разработчиков Вилу
якобы решение задач которое заняло бы 10
септиллион лет подразумевает то что эти
задачи квантовый процессы решает
одновременно в параллельных реальностях
якобы благодаря этому задача на
невероятное количество времени занимает
всего 5 минут у этой идеи также есть И
скептики куда же без них например мы
натолкнулись на такую статью где
заявления Google подвергаются жёсткой
критике но это всё-таки не профильная
пресса надо ждать отзывы реальных учёных
Так что противостояние колосус И willow
- это не просто соревнование технологий
это Столкновение двух философий попытки
решить проблему в лоб с помощью
масштабирования существующих технологий
и стремления найти принципиально новый
подход основан на законах квантовой
механики мы с вами стоим на пороге новой
эры в мире вычислений для искусственного
интеллекта с одной стороны xai строит
огромный суперкомпьютер демонстрируя что
при наличии ресурсов и решимости можно
создать нечто невероятное за считанные
месяцы с другой появляются квантовые
системы намекая что будущее Может быть
совершенно иным одно Пока непонятно
Может ли кластер на миллион GPU помочь
маску догнать или обогнать Open ai
поговаривают что сейчас важна не Сколь
мощность а сколь качество входящих
данных и на постах Твитера или X как
будто бы особо умного Бота не
натренировать в комментариях гигантские
кластеры графических процессоров или
компактные и элегантные и загадочные
квантовые машины но вероятнее всего есть
третий вариант и будущее стоит за
гибридными системами в любом случае мы с
вами живём в удивительное время когда
технологии развиваются быстрее чем
когда-либо в истории Всем спасибо за
просмотр это дройдер с вами был Валерий
истишев До встречи в будущем
[музыка]
