Друзья, мы запустили англоязычный канал с хитовыми роликами Droider. Будем рады, если поддержите нас: включите VPN (чтобы видео продвигалось среди иностранной аудитории) и посмотрите ролик. Давайте вместе продвигать качественный техно контент!
Сегодня мы поговорим о том, как устроен суперкомпьютер. Обсудим российские суперкомпьютеры и возможность их обновления в будущем. И вновь мы задаемся вопросом - можно ли создать полностью российский компьютер на наших процессорах? Что для этого требуется?
СПИКЕР: Константин Стефанов, старший научный сотрудник вычислительного центра МГУ
СОДЕРЖАНИЕ: 00:00 Вступление 01:30 Важная новость от Droider 02:16 Что такое суперкомпьютер? Какова его мощность в iPhone'ах. 05:11 Чем структурно отличается суперкомпьютер от обычного ПК или смартфона? 06:39 Почему в суперкомпьютере используется в основном GPU, а не CPU? 08:24 GPU и тензорные вычисления 11:00 Сколько электричества потребляет суперкомпьютер? 13:10 Применение: Для чего нужны суперкомпьютеры? 17:34 Можно ли загрузить эмуляцию вселенной в суперкомпьютер? 19:50 А можно на суперкомпьютере майнить? 21:26 Можно ли сэмулировать человеческий мозг? 23:42 Можно ли сделать под суперкомпьютер видеоигру с реалистичной графикой? 25:17 Рейтинг суперкомпьютеров Топ-500 27:24 Суперкомьютер "Червоненкис" от Яндекс и его устройство 28:53 "Сердце" суперкомпьютера или его "матка" 29:53 Какое железо чаще всего используется? Что такое InfiniBand? 34:44 Конструирование суперкомпьютера: в чем искусство? 36:00 Насколько быстро происходит устаревание суперкомпьютера? 37:20 Сколько стоит час работы "Ломоносов-2"? 38:21 Санкции против суперкомпьютеров 39:49 Мечты о создании суперкомпьютера; решения на PlayStation, Raspberry Pi и др. 40:52 Насколько необходимая вещь - суперкомпьютер? 42:13 Спасибо, что посмотрели
С вами на связи Борис Веденский и Валерий Истишев! Обзоры смартфонов, репортажи с выставок, новости из мира технологий и многое другое на самом популярном в Рунете канале о гаджетах Droider.Ru!
А можно на суперкомпьютере майнить крипту?
Ух!
А можно ли симулировать человеческий мозг?
Ух!
Вы хотите нарисовать случайные пути молекул?
Свободные часы появились, чего зря проставить?
Современный самолет без суперкомпьютера не сделаешь.
Прогноз погоды без суперкомпьютера не сделаешь.
Лекарства быстро не сделаешь.
Фу!
Есть такой любопытный сайт с неочевидным названием
Top500.org
И это не подборка рейтингов чего угодно
От сериалов до шампуня, как можно предположить по названию
Это рейтинг самых крутых суперкомпьютеров в мире
И там куча интересной информации
Например, самый мощный суперкомпьютер в мире
Fugaku, созданный в Японии, работает на процессорах ARM
Прямо как наши смартфоны
При этом самое популярное железо это видеокарты от NVIDIA
А еще оказалось, что в топ 50 на ноябрь 2021 года
Входит 5 российских суперкомпьютеров
3 от Яндекса и 2 от Сбера
Поэтому сегодня выпуск про суперкомпьютеры
Как они устроены, зачем нужны
Чем отличаются от обычных, кроме цены и размера
Почему работают на видеокартах
И можно ли на суперкомпьютере запустить суперреалистичную видеоигру
Это формат, где мы говорим о технологиях с людьми
Которые в этом реально разбираются
Подпишитесь на канал, чтобы другие выпуски не пропускать
Нажмите лайк и колокольчик, чтобы больше людей их увидело
А еще у нас есть канал в Телеграме
Дроидровидео, где также дублируются все выпуски
Первая ссылка в описании
С вами Борис Юденский, погнали!
Важная новость. Мы запустили Ютуб-канал на английском языке
С нашими хитовыми роликами
Поэтому нужна ваша помощь и вашего VPN
Чтобы продвинуть наши разборы и поделиться ими с новой аудиторией
Нужны просмотры из других стран
Поэтому мы будем очень благодарны
Если вы включите VPN и нажмете по первой ссылке в описании
Ну и можете посмотреть видео
Оно называется «Как правильно заряжать смартфон на английском»
Заодно нажать лайк и подписку
От нас спасибо
Давайте продвигать знания о технологиях среди новых зрителей
Суперкомпьютер
Для, наверное, большинства людей
Это какой-то огромный зал со шкафами
Если измерять мощность суперкомпьютера в айфонах
То сколько будет?
Ух!
Мне тут сложно ответить на этот вопрос
Потому что я не знаю, что такое мощность айфона
Единицы измерения
Вот того, что вы назвали мощностью
Производительности суперкомпьютеров
Исторически была такая вещь, как
Операция с плавающей точкой в секунду
То есть это операция
Не с целыми числами, а числами представленные в формате
Плавающей точки
Сколько таких операций компьютер может выполнить в секунду?
То, что называется флопс
Флопс, совершенно точно
Если вы возьмете
Какой-нибудь процессор
Ну, например, для настольного компьютера
Частота 2 гигагерца
У него 2 на 10
В девятой 2 миллиарда
Тактов в секунду
За каждый такт он может выполнить, например
4 операции
Вот, соответственно, это будет 8 гига флопс
То есть 10 в
8 на 10 в девятой
Вот суперкомпьютеры
Самые мощные в мире
Сейчас подобрались
Чуть-чуть не дотягивают до производительности
10 в 18
В этом году мы ждем такие машины
Это вот которые
Эль Капитан
В том числе Эль Капитан
Они его обещают построить
Вот он будет
Это то, что мир и сообщество
Ждет очень давно
Граница экзофлопс
Соответственно 10 в 18
Самый производительный компьютер, действующий сейчас
Японский фугаху
Это примерно половина экзофлопса
Соответственно 5 на 10 в 17
Операции с плавучей точкой
Это достаточно сложно
Но мне кажется, если начинать говорить
Квинтиллионы, квадриллионы
Это еще менее понятно
Если говорить про 10 в какой-то степени
Получается во сколько раз
Суперкомпьютер фугаху японский
Мощнее компьютера обычного
Обычный мы сказали 8 на 10 в 9
Фугаху 5 на 10
В 17
Соответственно
В 100 миллионов раз
Чуть меньше
За счет того, что 8 в 5
А он во столько же раз дороже?
Сложно сказать
Японцы люди скрытные
И не объявляли цену своей машины
Но было несколько оценок
От разных изданий
Она стоит примерно миллиард долларов
Сколько сейчас стоит в долларах
Ну условно
Офисный компьютер
Считается обычный, стоит хороше тысячу долларов
Раньше всегда была такая
Плюс-минус прикидка
Ну соответственно миллиард поделится тысячу, миллион раз
А производитель 100 миллионов
Неплохая сделка
Наверное
Все-таки и там, и там есть слово компьютер
Да
Даже смартфон по сути портативный компьютер
Но
Объясните, чем структурно суперкомпьютер отличается
Все современные суперкомпьютеры
Сейчас это
Мы их называем вычислительные кластеры
То есть они состоят из
Относительно независимых компьютеров
Ну там понятно, что фугаку нет
А какие-нибудь компьютеры попроще
Обычные серверы, стоечные
Там один юнит, два юнита
Иногда лезвия
Которые
Ну там относительно независимы
То есть у каждого сервера
Процессор, память
Связаны при помощи высокоскоростной сети
Это может быть как обычная сеть
Обычный интернет
Но это не очень эффективно
Так и связаны специализированными другими сетями
То есть физически
Это ну наверное все
Ну плюс понятно, что поскольку они очень плотные
Возникает проблема охлаждения
Если вы набили полную стойку серверов
У вас там стойка может потреблять
20 киловатт, 40 киловатт
60 киловатт
Вам нужно куда-то это тепло деть
Но это уже вопрос не самой вычислительной части
Это вопрос того, что мы называем инженерной инфраструктурой вокруг
Как туда привести электричество
Как оттуда отнести тепло
Министерство водоснабжения
Суперкомпьютера
Да, в последнее время
Чаще всего суперкомпьютеры охлаждаются водой
То есть прямо к вычислительному узлу
Подходит трубка с водой
И отходит трубка с водой потеплее
Но все-таки
Насколько я понимаю, это не обычные серверы
Как минимум в них используется в основном GPU
А не CPU
GPU используется по довольно простой причине
GPU это достаточно специализированный вычислитель
Соответственно
На единицу денег
От него можно получить больше
Флопса, больше
Производительности
Лет 15 назад
Не было GPU
До этого были серверы
Только с процессорами
Один-два процессора
Они еще тогда не были многоядерные
И это были обычные серверы
Потом, когда появилось GPU
Когда они проэволюционировали
С той точки зрения, что на них
Стало удобно не только рисовать
Кадры для игр
Но и делать
Обычные вычисления
Их стали ставить в качестве ускорителя
Но при этом процессор никуда не девается
Он осуществляет все управление
Он считает часть задач
А значительная часть работы
Отгружается на GPU
Но при этом надо иметь ввиду
Что есть до сих пор некий класс задач
Которые на GPU отгружаются очень плохо
Их приходится считать на процессоре
У GPU небольшой объем относительно оперативной памяти
Соответственно
Если у вас задача не влезает в память GPU
Вам приходится организовывать
Перемещение данных
Между памятью GPU
Памятью основной машины
Памятью CPU
Этот канал достаточно медленный
Соответственно надо исхитряться
Если при этом у вас
Оказывается ситуация, что например
Вам нужно сделать одну операцию
А для нее переместить много байт
Окажется, что вам невыгодно это делать на GPU
Потому что время на перемещение данных
Съест весь выигрыш от производительности GPU
Насколько я понимаю
Прелесть GPU заключается в том
Что они лучше работают с
Тензорными вычислениями
Можете про это рассказать?
Традиционно
Мы остановились
На компьютерах
Вычислять
Суперкомпьютер это очень большой вычислитель
На компьютерах решаются вычислительные задачи
Соответственно
Традиционное моделирование
Нам нужно получить результат
Который похож на правду
Если стол, наш вычисленный результат
Должен быть похож на стол
Соответственно
Нам нужно иметь хорошую точность вычислений
Традиционные вычисления
Шли с точностью
Двойной точности
По историческим причинам она называется
Одно число занимает 8 байт
Или одинарной точности 4 байта
Когда появились задачи
Искусственного интеллекта
Оказалось, что им такая точность не нужна
Соответственно
Им достаточно
Если
Можно проводить действия
С числами меньшего объема
Меньшей длины
16 битный например
То можно
На том же количестве транзисторов
Сделать больше вычислительных ресурсов
А поскольку таких задач много
То в GPU стали делать
Возможность вычислений на этих числах
С меньшей точностью
Но поскольку ресурсов
Транзисторов требуется меньше
GPU гораздо
Быстрее выполняют такие операции
Мы вначале говорили про флопсы
Традиционный флопс это тот самый флопс
Двойной точности 64 битный
Тот же самый
Фугаку про который я говорил
Он там около половины
Экзофлопса в двойной точности
А в
Половинной точности
Он уже превзошел экзофлоп
Если мы пересчитаем в других числах
То у него будет производительность гораздо больше
То есть вычисления
С числами которые
Немножко по другому записаны
Менее точно это и есть тензорные вычисления
Да если грубо то тензорные вычисления
Это вычисления с числами с меньшей
Точностью плюс
Обычно это вычисления не с единичными числами
А с векторами, с четверками числ
Или вот что то такое
Соответственно в GPU есть специальные устройства
Которые умеют быстро
Проводить операцию с такими числами
Сколько электричества
Потребляется это богательное?
Ух!
Ну давайте по разному пройдемся
Например ваш компьютер ломоносов 2
Наш компьютер ломоносов 2 потребляет около мегаватта
Но понятно что это потребление
Не только вычислителя
Потому что
Помимо вычислителей как я сказал
Все что мы завели в вычислитель
Это выделится в виде тепла
Это тепло нужно куда то отвезти
Соответственно у нас
Второй потребитель это
Система охлаждения
А 1 мегаватт это в масштабах
Я не знаю 5 этажки это сколько?
Ух!
Ну вот чайник у вас это
2 киловатта дома
500 чайников
Я живу не в 5 этажке
Я живу в 25 этажном доме
Вот я когда то для интереса ходил
По крепкостям у нас на дом
2 мегаваттных подстанции
Но это явно с огромным запасом
Ну то есть как дом примерно?
Скорее как
Несколько больших
А если говорить про какие то
Топовые машины
Ну обычно это
Десятки мегаватт
Ну в принципе
В том же самом списке топ 500
Обычно написано для каждой машины
Сколько она потребляет
Можно туда посмотреть
Почти по всем там будут эти данные
Но обычно это 20, 30, 40 мегаватт
Порядок тот же
И потребление основное
Больше на охлаждение получается?
Нет, то что потребляет все на охлаждение
Но это так сказать паразитный расход
Без него никак, но это не то что тратится на вычисления
Дальше мы смотрим
У каждой установки есть такое
ПУЕ на русском
Power usage efficiency
То есть какое отношение
К всей потребленной энергии
К энергии которую потребляет вычислитель
И у
Самых энергоэффективных машин
Это может быть 1, 0, 7
1, 1, ну то есть
На охлаждение идет примерно 7, 10 процентов
От того что потребляет вычислитель
У более старых машин это может быть
20 процентов, 30 процентов
Ну в порядке таких
Применение, а для чего нужны
Суперкомпьютеры? Из юности я помню
Что значит в шахматы
Играли с Каспаровым, а сейчас
Что делают? Ну игра
В шахматы это конечно скорее демонстрация
Плюс та система
Которая обыграла Каспарова она была специально
Сделана для этого, то есть это не
Ну то есть это конечно суперкомпьютер
Но это специально сделанная система
Специально написанные программы
Это была демонстрация того что можно
Обыграть человека, нет
Конечно
Суперкомпьютеры
Используются
Не для этого, хотя
Какие-то шахматные задачи могут использоваться
Как какие-то учебные
Учебные или показательные вещи
Чаще всего это решение
Опять же это всегда
Моделирование чего-то, а вот что
Можно моделировать? Можно считать прогноз погоды
У гидрометцентра есть свой мощный
Суперкомпьютер, на котором
Считают все эти прогнозы, которые мы потом
Смотрим на разных сайтах, видим по телевизору
И так далее, можно считать
Какую-нибудь вычислительную химию
Например, лекарства
Вот про это интересно
Да, я прочитал, что
Было найдено около 30 химических
Элементов, до двухлетней
Давности новости, около 30 химических
Элементов, которые могут
Помочь в борьбе с ковидом
Ну, во-первых, не элементы
Химические элементы, это тоже таблица Менделеева
Химические соединения, конечно же
Ну, например, в том числе
Как традиционно
Было устроено, вот мы знаем, что у нас
Что-то в организме не то, появилась
Там бактерия, мы знаем, у нее какой-то
Белок, нам нужно
Как-то убить эту бактерию
Ну, это не вирус, но бактерия у вируса
Тоже есть какие-то части, которые
Можно убить, у нас есть
Мишень, что называется, это
Большая-большая молекула
Как классически брались, брали огромное
Количество пробирок, наливали туда эту молекулу
В каждую пробирку
Капали вещество
Которое потенциально
Может с ней взаимодействовать
Дальше смотрите, что в пробирке происходит
Долго, дорого, подвержено
Ошибкам, сейчас
Все то же самое можно сделать
На компьютере, большая молекула
Маленькая молекула, ну, поменьше
Молекула потенциального вещества
Лекарства, дальше путем
Вычислений моделируется, как они будут
Взаимодействовать, если взаимодействуют
Хорошо, найден тот самый
Возможный вариант лекарства
Понятно, что это только самый первый этап
Потому что, ну, например
Эти вычисления
Все еще не очень точные
Поэтому мы находим потенциальное
Вещество, дальше нужно
Проверить в пробирке, что оно действительно
Взаимодействует, дальше нужно проверить
Что оно не токсичное, что оно не навредили
Больше, то есть пройти по всем остальным
Этапам разработки лекарства, но
Самый первый этап
Поиска потенциального лекарства
Суперкомпьютеры позволяют
Ускорить
Из миллиардов вариантов отсеять
500, более-менее подходящих
Ну, миллиарды это, наверное, перебор, скорее
Десятки, может быть, сотни тысяч
Но, тем не менее, да, подобрать несколько десятков
Или сотню, того, что потенциально
Может сработать
А есть какие-то пользовательские задачи, что мы можем
Назвать? Ну, в том числе
У нас на суперкомпьютере пользователи
Решают, в том числе, и такие задачи
Я имею в виду, скорее, то, что мы
В повседневной жизни можем встретить
Типа прогноза погоды
В повседневной жизни вот у нас машины
Все машины сейчас при разработке
Тоже просчитываются на суперкомпьютере
Просчитывается аэродинамика
Не только обдувом
В трубе, но гораздо больше просчитывается
Вычерлительным образом
Просчитывается
Жесткость, прочность, как себя поведет
Автомобиль при ударе
Разбить автомобиль в испытаниях это дорого
Гораздо проще его разбить
Условно на суперкомпьютере
И кроме того, что
Это гораздо дешевле, это и гораздо
Более показательно, потому что
Когда вы разбиваете машину от бетонный блок
Вы видите целую машину, вы видите
Разбитую машину. Когда вы
Разбиваете машину на суперкомпьютере, вы можете
Проследить за тем, как будет двигаться
Каждый ее кусочек
Не пройдет ли что-нибудь в процессе, например
Через водителя или пассажира
Сделать это в натурных испытаниях
Гораздо сложнее
Гораздо дороже
Можно ли загрузить
В самый мощный суперкомпьютер
Эмуляцию Вселенной?
Есть такая известная
Кажется, это теорема
Называется, хотя я не уверен, что она доказана
Что полностью промоделировать Вселенную
Может только сама Вселенная
В любом случае, любое численное
Моделирование будет
Некоторым упрощением
Дальше вопрос, что вы хотите промоделировать
От Вселенной?
На суперкомпьютерах
Астрономы решают задачи
Образования галактик
Они моделируют движение всех звезд
В какой-нибудь галактике за какой-то промежуток времени
Да, такие задачи решаются
Может быть, решаются задачи
Взаимного движения галактик
Чтобы все звезды во Вселенной
Мне кажется, что мы еще не дожили до таких мощностей
Хорошо, а если я хочу
Чашку кофе с точностью до каждой
Молекулы промоделировать
Это можно на суперкомпьютере?
Вопрос
А что вы хотите промоделировать?
Положение каждой молекулы
В любой момент времени
А зачем?
Вы хотите нарисовать
Случайные пути молекул?
Где они будут?
Что будет с жидкостью?
Когда я подброшу ее?
Проблема в том, что начиная
С определенного маленького уровня, в том числе молекул
Они движутся случайно
Вы просите нарисовать вам
Случайные пути движения молекул
Ну, это можно сделать
Но это не имеет особого смысла
Если вы, например, хотите
Промоделировать
Вот вы кладете туда сахар
Как этот сахар будет расходиться
По объему
Это, конечно, можно промоделировать
Но вопрос, опять же
А с какой точностью вы это хотите?
Если вы хотите с точностью для молекул
Ну, наверное, это можно сделать
Но опять возникает вопрос, зачем
То есть всегда
Вопрос у любой модели
Это ее точность
С целями моделирования
То есть мы говорили про лекарства
Большая молекула, маленькая молекула
Участвуют, например, две молекулы
Там моделируют движение отдельных атомов
А если вы моделируете
Обтекание воздухом автомобиля
Вам не нужны молекулы
Вам нужны какие-то маленькие
Но гораздо больше молекул кубики воздуха
А можно на суперкомпьютере
Майнить крипту?
Можно, но сейчас уже, наверное, невыгодно
Потому что электричество
Тоже стоит денег
На суперкомпьютере те же самые
ЦПУ, те же самые GPU
Если вам выгодно майнить крипту на GPU
Ну, наверное, это можно сделать и на суперкомпьютере
На обычной ЦПУ ее майнить
Сейчас вроде бы невыгодно
Из того, что я знаю, но точно так же будет невыгодно
На суперкомпьютере
Не понял, почему? Там же в основном GPU стоит
Нет, там стоит GPU
Если вы будете майнить то, что выгодно
Майнить на GPU
Ну, логично на суперкомпьютере
Это тоже будет выгодно
Хотя, потому что он более энергоэффективен, чем
Тот компьютер, та видеокарта, которая может стоять у вас под столом
Ну, не считая специализированных
Микросхем
Которые делают специально под байдинг
Те будут еще эффективнее, конечно, переплюнуть их не получится
А как думаете, какие-нибудь владельцы
Суперкомпьютеров так делают?
Ну, типа, свободные часы появились, что, зря проставили?
Думаю, нет
Потому что
Ну, разве что
Какой-то хулиган там это сделает
Который не будет платить при этом за электричество
Ну, потому что, во-первых
Свободные часы на суперкомпьютерах бывают крайне редко
Часть ресурсов простаивает
В основном тогда
Когда у нас в очереди стоит задача
Которой нужно много ресурсов
И мы должны накопить ей эти ресурсы
И то, в этом случае применяются разные ухищрения
Пытаются просунуть вперед короткие задачи
Ну, а во-вторых
Все-таки за использование суперкомпьютеров
Всегда отчитываются
И если будет в отчете
Написано, что мы тут майнили крипту
Я боюсь, у того, кому этот отчет
Возникнут вопросы
А можно ли сэмулировать человеческий мозг?
Сейчас в Европе
Есть большой проект
На много лет
Который
В том числе
Вообще он посвящен мозгу
Но в том числе
Одной из целей является
Эмуляция работы мозга
На суперкомпьютерах
На больших установках
Но, как я понимаю, каких-то
Результатов
Ах, каких
Которым, понятно, нет специалистов
Там пока не достигнуто
С другой стороны
Вот мы говорили о тендерных вычтениях
Они нужны для вычтения нейросетей
Нейросеть
Она исходно задумывалась
Как некое подобие мозга
Другой вопрос
Что это потом положили на модель
Фактически это стало перемножением больших матриц
Но, тем не менее, в каком-то смысле
Да, нейросеть это тоже эмуляция мозга
Но только
Не такого большого, как человеческий
Какого-нибудь животного
А такого очень маленького мозга, заточенного на специальную задачу
Ну, гипотетически это возможно
То есть я так понимаю, что здесь задача
Располагается на две части
Часть, которая связана с масштабом
И часть, которая связана с логикой работы мозга
Про логику работы мозга мы пока
Не все понимаем
А если мы поймем ее
Масштаба вычислительной мощности суперкомпьютеров
Нам хватит, чтобы вас эмулировать?
Боюсь, что нет
Я не знаток биологии
Поэтому я не помню, сколько нейронов в мозге
Но мне кажется, что в мозге нейронов
Миллиарды
А самые мощные нейросети
По-моему, все-таки до миллиардов
Элементов не дошли еще
То, что моделируются нейросети
Это гораздо более простая вещь
Чем реальный нейрон
Соответственно, моделирование реального нейрона
Гораздо сложнее
Поэтому на текущих мощностях нет
Когда биологи поймут
Как работает нейрон
Может к тому моменту вычислительные мощности
Станут подходить для этого
Эмуляции
Это же все развивается параллельно
Где-нибудь в Японии или в Южной Корее
Сделают первый искусственный мозг
Будем приходить за ответами
Как в фильме Стража
Как там?
Вполне возможно, но пока это скорее фантастика
42
Хорошо
Вопрос Бориса Геймера
А можно ли сделать под суперкомпьютер
Видеоигру с графикой
Неотличимой от реальности
Опять же возникает вопрос
А что такое графика неотличимая от реальности?
Мы посадили 100 человек
Включили им кино
И 99 из 100
Сказали это все кино
Наверное возможно
Вопрос опять же сколько объектов
Какие будут эти объекты
С какими свойствами
Потому что
Одно дело
Изобразить шарики на бильярдном столе
Они простые
Если вы туда подпустите дыма
Это станет гораздо сложнее
Если у вас
Вы в какой-то момент задерете
Сукно бильярдного стола
И оно начнет трепыхаться
Это еще сложнее
Вопрос опять же
Модель какой сцены вам надо
И движение человека
Они заданы заранее
Или еще надо
Человек в этом костюме
В котором снимают фильмы
Где-то там за кадром движется
И надо учитывать его движения
Это добавляет к вычислениям
Какую-то сложность
Но
Сложно очень оценить
Где или на вычеркнутых мощностей
Перестанет хватать
Но в принципе что-то фотореалистичное
В реальном времени конечно делать можно
Теперь вопрос про рейтинги
О чем мы уже говорили
Это очень интересная часть
Есть такой рейтинг топ 500
Я его посмотрел
Очень интересный сайт
И обнаружил что во-первых
В первых пятидесяти
Есть целых пять российских компьютеров
Три от Яндекса и два от Сбера
Как устроены эти рейтинги?
Как они считаются?
Значит
Во-первых
Это в каждом рейтинге подает
Систему туда владелец системы
То есть это не кто-то собирает информацию
Если ты хочешь попасть в рейтинг
Ты туда должен податься
Есть несколько достаточно
Больших вычислительных систем
Хозяева которых сказали что мы не будем туда подаваться
Ну не хотим тратить
На это время
Или какие-нибудь отдельные соображения
Дальше про топ 500 классический
Есть тест
Он называется ЛИНПА
Это решение большой системы
Линейных уравнений
В школе мы решали уравнение
2х плюс 3у равно 5
3х плюс 8у равно 6
Система линейных уравнений
С двумя неизвестными
Вот этот тест решает такую же систему
Только там неизвестных сотни тысяч
Вот
Дальше он решает ее
Заранее фиксированным методом
Известно в зависимости от
Размера этой системы
У нас уравнений должно быть столько же
Сколько неизвестных
В зависимости от числа неизвестных
Сколько нам нужно выполнить операции
С плавающей точки
Чтобы решить эту систему
Решается система
Замеряется время
Операции делим на время
Получаем флопсы
Результат подается туда
Плюс какая-то сопроводитель информации
Что за машина, как устроена
И основной критерий по которому ранжируются
Системы в топ 500
Это как раз вот эта самая реальная
Производительность
Сколько максимум вы выжили на этом конкретном
Тесте
Сколько уравнений в секунду решаешь
Ну не сколько уравнений
А какую большую систему
Можешь решить
Потому что на самом деле чем система больше
Тем обычно производительность получается больше
Хотя время решения удлиняется
Самый производительный российский
Суперкомпьютер на данный момент по этому рейтингу
Называется
Червоненки, если я не ошибаюсь
Совершенно верно
Он на девятнадцатом месте
В мировом рейтинге
Что вы можете сказать про его устройство
Чем он отличается от других
Суперкомпьютеров в СНГ
Почему он сам?
Ну из того что я знаю
Это машина Яндекса
И кажется
Яндекс делает под себя сервера
Опять же я
Не знаю я его в живую не видел
Я читал конечно о нем публикации
То что публиковал Яндекс
Но вот может быть у него
Необычный форм фактор
Но с точки зрения остального он большой
Там использовано много GPU
И поскольку
Как я понимаю основная цель Яндекса
Это как раз считать нейросети
Считать задачи искусственного интеллекта
Они на GPU хорошо считаются
Там много GPU
На один процессор
Дальше много серверов
Которые объединены
Как раз инфинибендом
С этой точки зрения
Это достаточно обычный Суперкомпьютер
Без каких то специальных решений
Хорошо
Если там сотня процессоров
И графических процессоров
То наверное должен быть
Какая то матка процессоров
Нельзя составить
Суперкомпьютер только из вычислителей
Естественно нужны какие то
Дополнительные сервера
Которые занимаются координацией
И не только сервера
Например нам нужно где то хранить данные
Часто вычислительные узлы делают без дисков
У них есть только оперативная память
Но при этом эта матка
Не обязана быть самой мощной
Среди всех
Потому что ее задача
Определить какие узлы выделить
Под конкретную задачу
Вычислительную
И запустить
После этого все происходит
Уже без сообщений
Ну или с минимальной коммуникацией
Что задача не зависла
Что задача не перебрала выделенный лимит времени
Что ее пора уже снять
Или она закончилась
И эти ресурсы можно передать следующей задаче
Я вот тоже посмотрел рейтинг топ 500 суперкомпьютеров
Там есть интересная аналитика
Какое железо чаще всего используется
И вот заметил что два самых популярных устройства
Это NVIDIA TESLA V100
Графический ускоритель
И NVIDIA A100
Вот что мы про них знаем
Чем они отличаются, почему они так популярны
Это просто два разных поколения
Видеокарт
Ну только это уже GPU
Это график процессинг юнит
То есть то что исходно было видеокарты
Сейчас это видеокарта без видеовыхода
Она не умеет делать картинку
Она умеет только вычислять
Но внутри там то же самое
Как в игровых видеокартах
V100 это более старое поколение
A100 более новое поколение
Которое сделано позже
Ну дальше можно конечно говорить что у A100
Памяти больше, больше вычислительной мощности
Но по смыслу это примерно одно и то же
Какие еще важные элементы есть
Помимо того что стоит куча шкафов
Вы уже сказали по поводу связи
Как все таки именно устроена эта связь
Очевидно что обмен данными
Быстрый имеет огромное значение
Как это устроено
Даже дело не в том что он должен быть
Ну он должен быть быстрый
Но не в том плане что мы должны прокачать
Очень много данных в единицу времени
Это можно сделать на эзернете
У нас сейчас есть эзернет 200 гигабит в секунду
400 гигабит
На маленьких расстояниях это может быть и медный кабель
Ну там начиная
По моему от 3 или 5 метров
Это всегда оптоволокно
Проблема в том что нам нужно это сделать
С очень маленькой задержкой
Потому что пока мы передаем данные
От одного узла к другому
Другой узел ждет, он чаще всего простаивает
Чем больше эти задержки тем больше времени
Тратится на ожидание
Поэтому
Достаточно часто
В суперкомпьютерах применяются специализированные решения
Ну вот в топовых машинах
Типа Фугаку, типа того что
Эль Капитана, который строит в США
Там свои какие-то решения
Которые делались либо под эту машину
Ну либо там под какие-то единичные машины
Про которые не особо рассказывают
Как она устроена
Есть, ну может быть это не стандарт
Но очень распространенная технология
Называется InfiniBand
Она придумана
Компанией Milanox
Которую сейчас купила NVIDIA
Она обычно на шаг вперед по скорости
То есть в тот момент когда появляется Ethernet 200 гигабит
InfiniBand умеет 400 гигабит
И вот так далее
Но она отличается очень маленькими задержками
И она позволяет строить
Сети с нетривиальной топологией
То есть классический Ethernet
Это дерево, строго
То есть у нас между любыми
Двумя точками ровно
Один путь
Сейчас, да, для дата центров научились делать
Чуть более сложные топологии
То что называется толстые деревья
Когда таких путей несколько
InfiniBand это умел очень давно
Но InfiniBand, например, умеет построить
Такую топологию как TOR
То есть вы размещаете
Вычислительные, ну не вычислительные узлы
Коммутаторы, на самом деле InfiniBand
На котором подключены вычислительные узлы
В некой решетке двумерной, трехмерной
И по измерениям
Вы отпускаете связи
И крайние еще замыкаете
То есть двумерный TOR это бублик
Трехмерный TOR уже так себе не представишь
Потому что он должен быть замкнут в четвертом измерении
И, соответственно
Чем это хорошо?
Мы за счет того, что у нас много путей
Между каждыми двумя точками
Можем обеспечить большую пропускную способность Ethernet
И, во-вторых, такая топология
Гораздо более устойчива к отказам
Если у нас в дереве отказывает один канал
У нас кусок дерева вылетает из игры
Если в Торе отказывает один канал
Ну, управляющий софт
Перемаршрутизирует
Вокруг отказавшего линка
А понятно, что когда у вас
Тысячи, десятки тысяч узлов
Там обязательно каждый день что-нибудь выходит из строя
Это физически
Тоже оптоволокно, но
Отличается логикой
Физически ничего не придумали
Физически придумали либо медь, либо оптоволокно
И больше ничего
Конечно, это отличается только протоколом связи
Ну, это отличается тем, что
Карта InfiniBand берет на себя
Гораздо больше работы по передаче пакета
Чем карта Ethernet
Хотя, опять же, эти технологии потихоньку уходят
В том числе и в Ethernet
Который доступен для дата-центров
То есть, если базово говорить про структуру
У нас есть вычислительные модули
У нас есть модули, которые отвечают за связь
Это прям отдельные, видимо, серверы тоже
Это не серверы, это специализированные устройства
Точно так же, как в дата-центре у вас есть серверы
Которые подключены к коммутаторам
Точно так же для сети InfiniBand
Серверы подключаются к коммутаторам
Только коммутаторы сделаны по-другому
Из сетевой карты
А между ними точно такое же оптоволокно
И более того, на взгляд, очень сложно
Отличить, приходится смотреть
Какой же у нас тут партнамер
Чтобы понять, для чего это
Ну, а вообще, если мы говорим про конструирование суперкомпьютера
Понятно, есть связь
Есть много шкафчиков
В чем
Искусство создания суперкомпьютера
За счет чего можно вырваться вперед
Или это тупо масштабирование?
Тупо масштабирование — это искусство
Потому что тут нужно соблюсти баланс
Если очень много
Вычислительных ресурсов
Слабая сеть
Будем простаивать на сети
Если суперскоростная сеть
Но очень хилые вычислители
Сеть будет простаивать
Если
В конце концов
Не доподвели электричество
Не сможете запустить его
На полную мощность
Плохое охлаждение
Например, если вы занимаетесь задачей
Искусственного интеллекта
У вас огромные объемы данных
Их же тоже нужно где-то хранить
Мы про это не говорили
Но всегда у суперкомпьютера
Есть система хранения, где лежат данные пользователей
К ней тоже должен быть доступ
С определенной скоростью
И сбалансировать все эти компоненты
Есть искусство построения
Плюс
Искусство подогнать систему
Под те задачи, что там будут решаться
Потому что одно дело решить лимпак
Для топ-500
Это простая задача
Ей не нужно много хранилища
Насколько быстро суперкомпьютеры устаревают?
То, что сейчас находится на 19 месте
В рейтинге
Через год оно где окажется?
Можно, наверное
Проследить
Можно взять систему чуть подальше
И если ее открыть
Там будет прямо по годам
Если я правильно помню
Топовые
Ну топовые самые системы
Типа там
Их раньше выключают, чем они выходят из рейтинга
А так
Рейтинг обычно обновляется
Там 150
200 систем
Каждые полгода
Старые выходят
Новые появляются
Понятно, что в зависимости от года
Это может быть поменьше, побольше
Но в принципе до трети рейтинга может обновляться
А вот я помню
Я как раз сейчас пытаюсь найти
Ломоносов в рейтинге
Я помню в 19 году он был
На 39 месте
Ну
Я не помню по годам, конечно
Но что-то такое было
Сейчас он уже вышел из топ-500?
Нет, он еще не вышел
Он еще, если я правильно помню
На 200 каком-то месте
Ну
За 2,5 года
Где-то на
200 позиций
Это нормальная скорость
Ну а если я приду со стороны
То сколько стоит час работы
Ломоносов 2 для меня?
Если я правильно помню
То ли один удло час, то ли один процессор час
Стоит порядка 30 или 40 рублей
А что это значит?
То есть мы берем потом
Количество узлов и умножаем
Да, вы берете количество узлов
Сколько вам дали, умножаете на сколько часов
Ну и сколько всего узлов
Ну в Ломоносове 2
Полторы тысячи узлов
То есть мы полторы тысячи умножаем на 40 рублей
И получаем стоимость работы часа
Поскольку я с коммерческой частью не знаком
То может быть и так
Хотя смысла брать на один час нет
И смысла брать всю установку на самом деле
Тоже нету
Потому что очень маленькое число задач
Можно загрузить в такую большую систему
Иногда выгоднее взять маленький кусочек на подольше
Санкции, которые сейчас происходят
Они могут понизить производительность
Наших суперкомпьютеров из-за этого?
Того, что уже есть, наверное нет
А того, что будет строиться
Ну в зависимости от того
Во что реально выльются
Эти санкции
Если запретят поставки GPU
Не будет мощных машин
Если запретят поставки серверных процессоров
Ну наверное тоже будет делать гораздо сложнее
Поскольку сейчас есть документы
В которых слова достаточно общие
Пока не понятно
А можно ли
Вот вы сказали про 10 лет срок службы
А можно ли просто взять
В 20 раз больше
Единиц
И сделать из них
За счет масштаба современной суперкомпьютеры
То есть взять много
Очень много старых процессоров
И сделать из них мощную машину
Производительную
Ну теоретически
Можно
А практически электричество
Как же оно будет есть электричество
Ведь суперкомпьютер
Часто выводится из эксплуатации
Не потому что он сломался
А потому что с точки зрения оплаты электричества
Выгоднее старое убрать
Вложить огромную кучу денег
Поставить новую
И на его сроке эксплуатации
Электричество будет меньше на единицу
Производительности
Соответственно можно
Но это вам на старых процессорах
Вам электростанцию придется рядом ставить
Понятно
А то у меня просто давняя мечта была
Сделать какой-нибудь стартап
Когда ты собираешь технику
Которую люди предстоят пользоваться
Старые смартфоны, ноутбуки
Их как-то все вместе объединить
Чтобы они какие-то задачи решали
Но вы говорите, что это вряд ли будет работать
Потому что дорого
Именно потому что в коммерческой эксплуатации
Это дорого
Хотя такие проекты в качестве учебных
Был суперкомпьютер
Аля суперкомпьютера он конечно не был мощный
Но по тем технологиям сделал из Sony Playstation
Было и из Raspberry
Из малинок
Делали такую систему
Даже на суперкомпьютерных выставках
Показывают
Там был такой кубик, в нем были собраны 64 малинки
И они по тем же технологиям
Были соединены между собой, что-то считали
Ну как я понимаю
Сейчас у испанцев
Есть машина сделанная на процессорах
ARM, которые часто ставят в телефоны
Причем очень приличная машина
Очень большая
Альтернативные технологии развиваются
Конечно, но
Именно на старом
Это все равно не энергоэффективно
А в целом
Суперкомпьютеры это насколько
Как сказать
Необходимая вещь для
Развития
Это как
Электричество в доме
Это как интернет
Или это все таки баловство
Дополнительная примочка
Тут надо понимать
Что вы хотите развивать
Для того
Чем мы занимаемся в повседневной жизни
Наверное они не нужны
С другой стороны современный автомобиль
Ну или его будешь делать в то времени
Что он уже перестанет быть современным
Быть об стенку
Исследовать
Без суперкомпьютера не сделать
Современный самолет
Без суперкомпьютера не сделать
Прогноз погоды
Без суперкомпьютера не сделаешь
Может быть
без прогноза погоды. Ну, как-то, наверное, можно, но, наверное, не очень хорошо.
Вот. Рекарство быстро не сделаешь. Вот, наверное, это ответ.
Спасибо, что посмотрели. Лично мне было очень интересно. Немного такой подкаст получился. Пишите в комментариях, какие еще темы в рамках формата вам интересны. Сегодня
немного даже в сторону математики, науки пошли. Может быть, где-то тут стоит копаться. И подписывайтесь на канал, жмите колокольчик, лайк, чтобы другие выпуски не пропускать.
С вами был Борис Сиденский, это Дроидр. До встречи в будущем.