GEMINI 2.0 от Google | ОБЪЯСНЯЕМ
Droider
1 подписчик
19 просмотры видео·5 янв. 2025 г.
[музыка]
представьте себе помощника который не
просто отвечает на ваши запросы а
действительно понимает контекст
происходящего помощника способного
создавать изображения и озвучивать их
собственным голосом а что если он сможет
управлять вашим браузером помогая в
реальных задачах или даже писать код
исправляя ошибки в github а представлять
уже и не надо ведь недавно Google
анонсировала Новое поколение своей г
манской языковой модели Gemini 2.0 или
как я её называю по-русски
Близнецы ровно год назад Google
Представила первую версию Gemini
мультимодальная способна одновременно
работать с текстом изображениями аудио и
кодом Ну а я за этот год научился
произносить Gemini правильно А не гени
или Gemini Спасибо вашим комментариям за
этот год миллионы разработчиков по всему
миру начали использовать её в своих
проектах А сам Google
интегрирована сразу в семь своих
продуктов с суммарной аудиторией более 2
млрд пользователей Ну как минимум Вы
скорее всего хотя бы раз использовали
Gemini в своём пиксель девайсе Однако
технологии не стоят на месте Последний
год команда Google Deep Mind усиленно
Работала над новым поколением модели
фокусируются на том чтобы сделать её
более агентное не только понимать Мир
вокруг но и действовать в нём
Планировать на несколько шагов вперёд и
выполнять действия от имени
и вот в декабре 2024 года Google
Представила Gemini 2.0 самую мощную
модель компании на сегодняшний день Но
что же в ней такого особенного Какие
возможности она открывает и главное как
это изменит наше взаимодействия с
искусственным интеллектом в будущем
Сегодня мы детально разберём все
анонсированные новинки и погрузимся в
мир сингулярности которую приготовили
нам в компании что ж Давайте начинать с
вами Мити Иванов это дройдер
[музыка]
погнали Когда в прошлом году Google
Представила первую версию Gemini мир
увидел первую по-настоящему
мультимодальные от конкурентов которые
добавляли поддержку изображений и аудио
постфактум Минай изначально создавалась
для работы со всеми типами данных
одновременно конечно демки создали
настоящий вау-эффект Однако как мы
разобрали в нашем ролике на самом деле
они были постановочные кстати
рекомендуем глянуть там много полезной
информации Ну и самый залайканный
комментарий к тому ролику в целом
отражает всю суть того анонса Однако
несмотря на некоторый скептицизм после
рекламной кампании модель смогла
закрепиться и не оказаться на знаменитом
кладбище проектов Google по словам
компании более миллиона разработчиков
начали использовать её в своих проектах
Теперь же Google делает следующий шаг и
Gemini 2.0 - Это не просто обновление
существующей модели а полное
переосмысление того как искусственный
интеллект может взаимодействовать с
реальным миром и Да я понимаю что это
звучит пафосно но вы мне кажется чуть
позже сами поймёте что это как минимум
заявка на господство но для начала
Давайте разберёмся с циферка они тоже
важны у gini 2.0 есть пока только
ответвление с припиской фш и именно её
результатами хвастается компания в
области генерации кода модель достигла
впечатляющего реута в
92,93 и5 Pro показывала результат
85,4 на сложных математических задачах
включающих алгебру и геометрию модель
достигла показателя
89,7 А на соревновательном уровне
сложности результат составил
значительный Прогресс в сравнении с
предыдущей версией у неё было
52% в тесте grounding который проверяет
способность модели давать фактически
корректные ответы на основе
предоставленных документов gini 2.0
Flash показала результат
83,6 в области мультимодального
понимания модель также сделала Шаг
вперёд на тесте MMM который проверяет
понимание и рассуждение на уровне
колледжа с использованием различных
типов данных результат ставил
70,71
2% против
826 про уж не знаем С чем связано такое
разительно отличие наша догадка скорее
всего модель Pro с которой сравнивали фш
в этой дисциплине Просто может
проглотить больше токенов для
рассуждения А если вы знаете почему так
произошло Пишите в комментариях Если же
говорить об улучшениях на бумаге то тут
по словам разработчиков тоже всё хорошо
jemini 2.0 получила восемь различных
голосов и может говорить на разных
языках с учётом акцентов и интонаций при
этом сгенерирован ная речь защищена
технологией sint ID невидимым водяным
знаком который помогает определить
искусственное происхождение аудио
модель Теперь может нативно работать с
Google Search причём делает это
совершенно по новому Когда вы задаёте
вопрос модель запускает несколько
параллельных поисковых запросов
анализирует результаты и комбинирует
информацию для создания максимально
точного ответа что касается доступности
тут Google выбрала поэтапный подход к
развёртывании уже сейчас разработчики
могут начать экспериментировать с Gemini
2.0 через AP в Google ai Studio и Vertex
ai полноценный запуск с поддержкой всех
функций запланирован на начало 2025 года
Но самое интересное то как все системы
работают вместе создавая основу для
по-настоящему интеллектуальных
ассистентов потенциал Gemini 2
раскрывается в целой экосистеме проектов
каждый из которых решает конкретные
задачи и это выглядит действительно
футуристично ПРО модель ш мы уже
рассказали однако спустя несколько дней
после анонса Google показали ещё одну
экспериментальную версию модели Gemini
2.0 Flash thinking главная особенность
этой модели в том что она не просто
выдаёт ответы А показывает Весь процесс
своих размышлений разбивая сложные
задачи на простые логические шаги Джеф
Дин главный научный сотрудник Google
Deep Mind Объясняет что модель
специально обучена использовать
промежуточные рассуждения для усиления
своей логики При этом она сохраняет все
преимущества скорости характерные для
архитектуры фш в демонстрации модель
решает физические задачи подробно
описывая каждый шаг своих рассуждений
перед предоставлением финального ответа
Это позволяет решать невероятно сложные
научные задачи в совершенно разных
областях стоит отметить что Google не
одинока В разработке подобных систем
Open недавно Представила свою модель
рассуждений о1 которая доступна
подписчикам Chat gpt ей Мы даже
посвятили отдельный ролик и если вы
хотите понять как работают подобные
рассуждающий модели обязательно его
Посмотрите ссылку оставлю в описании
разработчики уже могут
экспериментировать с Gemini 2.0 Flash
thinking через Google ai Studio
получается ждём каких-то крутых
приложений на его основе Project ast
демонстрирует значительный Прогресс в
развитии универсальных и и ассистентов с
момента первого анонса на Google ao
команда собирала отзывы от тестировщиков
использующих Прототип на Android
устройствах и наконец показала свои
наработки в новой версии работающей на
базе Gemini 2.0 появилось несколько
новых фишек диалоговая система получила
возможность общаться на нескольких
языках одновременно Лучше понимать
акценты и необычные слова задержка при
обработке речи Теперь сопоставима со
скоростью человеческого разговора что
делает взаимодействие более естественным
значительно улучшилась работа с памятью
Project Astra может поддерживать
контекст разговора до 10 минут в рамках
одной сессии и запоминать предыдущие
разговоры для лучшей персонализации
важным улучшением стала интеграция с
инструментами Google Ассистент Теперь
может использовать Google Search Lens и
Maps Это позволяет системе не просто
отвечать на вопросы но и предоставлять
практическую помощь в реальном мире
например сориентировать вас на местности
или стать личным диетологом в магазине
Google начала расширять программу
тестирования Project Astra включая в неё
небольшую группу пользователей которые
будут тестировать систему на прототипа
умных очков кстати совсем недавно
компания показала совершенно новый
Android для очков виртуальной реальности
так что всё сходится пока же компания
продолжает собирать обратную связь от
тестировщиков Для дальнейшего улучшение
Системы ну а мы Надеемся на скорый анонс
Project mariner - это Первая Попытка
Google создать и Агента способного
понимать и взаимодействовать с
веб-интерфейс так как это делает человек
работая через экспериментальное
расширение Chrome mariner воспринимает
веб-страницу целостно от пикселей
изображений до структуры форм и контента
это комплексная обработка позволила
достичь впечатляющего результата
83,5 на бенчмарке Web Voyager для
понимания масштаба достижения Агент
должен не просто читать страницы а
выполнять реальные задачи требующие
понимания контекста и последовательности
действий в обычной жизни этот агент
будет делать всю работу за вас
достаточно просто попросить Ну например
купить билеты на самолёт и Вуаля всё уже
сделано без вашего участия прямо через
браузер jes инструмент для автоматизации
кода ки и и Напарник для разработчиков
интеграция непосредственно с github
позволяет jes понимать не только код но
и весь контекст разработки от истории
изменений до обсуждений в рабочей
переписке J анализирует сотни
потенциальных решений проверяя их через
существующие Юнит тесты и применяя
собственный анализ качества кода по сути
Это первый и агент который не просто
пишет код а действительно участвует в
процессе разработки Но если и
демонстрируют возможности мина 2.0 в
обычной жизни или разработке то
следующий проект Google переносит нас в
игровые миры в отличие от традиционных
игровых ботов игровые агенты на базе
gemin 2.0 способны анализировать
происходящее на экране в реальном
времени и вести осмысленный диалог об
игровых ситуациях Google уже
сотрудничает с supercell авторами Clash
of Clans и Day но не очень понятно зачем
это нужно Представьте вы играете а рядом
с вами находится опытный напарник не
только подсказывает следующий ход но и
может обратиться к Google поиску чтобы
найти информацию о последних стратегиях
и тактика потенциал этой технологии
выходит далеко за рамки простых
подсказок можно представить MM игры где
каждый NPC управляется уникальным и
агентом создавая по-настоящему живой мир
или обучающие игры где и наставник
подстраивается под ваш Темп обучения и
стиль мышления Ну и выглядит это конечно
максимально футуристично вся эта
экосистема
на новом поколении процессоров
tpu именно эти процессоры сделали
возможным создание такой мощной и
разнообразной экосистемы проектов на
базе gini 2.0 Кстати они теперь доступны
и клиентам Google Cloud на этом можно
было бы и закончить ролик про 20 Однако
Google по старой традиции Стива Джобса
показала
[музыка]
генеративных моделей для создания
контента начнём С2 модели для генерации
видео теперь модель понимает не просто
последовательность кадров а саму суть
кинематографа Ну по крайней мере так
говорит компания Она работает с
разрешением до 4К и может создавать
видео длительностью в несколько минут
что уже само по себе впечатляет особенно
интересна работа vio 2 с
кинематографические модель понимает
технический язык кино можно указать
конкретный обектив пример восемнадцати
миллиметровый широкоугольник и она
создаст видео с соответствующими
характеристиками хотите получить
характерное баке на заднем плане Просто
добавьте в промт shallow depth of field
модель также понимает концепции движения
камеры от плавных проездов до динамичных
съёмок с рук а в интернете создают уже
целые трейлеры инженеры Google уделили
особое внимание физике движения в
генерируемых видео voo 2 научилась
корректно обрабатывать сложные
взаимодействия объектов правильно
передавать вес и инерцию движущихся
предметов это особенно заметно в сценах
с водой дымом или тканью элементами
которые раньше были настоящим испытанием
для генеративных моделей человеческие
движения тоже стали выглядеть намного
естественнее модель научилась избегать
типичных артефактов вроде искажённое
анатомии или неестественный движений она
может создавать реалистичные
эмоциональные выражения лица и
правдоподобно жестикуляции те аспекты
которые часто выдают искусственное
происхождение контента даже Сора от Open
нервно курит Imagine 3 нейронка для
генерации изображений модель получила
значительное улучшение в нескольких
ключевых областях Прежде всего это более
глубокое понимание композиции Imagine 3
создаёт визуально сбалансированные
изображение с правильным распределением
элементов и грамотной работой с
перспективой хотите
фотореалистичный применят правильную
цветопередачу и детализацию нужен
импрессионизм вы получите характерные
мазки и работу со светом абстрактное
искусство Imagine 3 создаст композицию с
правильным балансом форм и цветов весь
контент создаваемый vo2 и Imagine 3
автоматически маркируется с помощью
технологии SN ID этот автоматический
водяной знак помогает идентифицировать
искусственное происхождение контента Veo
2 сейчас работает через виде FX И
постепенно интегрируется в YouTube
shorts а Image and 3 уже работает в
Image FX более чем в 100 странах
можно констатировать что 2024 год стал
поворотным в истории искусственного
интеллекта теперь важно чтобы был не
просто уникальный продукт а целая
экосистема продуктов мы наблюдаем
рождение новой парадигмы в развитии
искусственного интеллекта эры Агент
систем и и перестаёт быть просто
инструментом и становится активным
помощником способным понимать контекст
планировать действия и принимать решения
под контролем человека и Судя по темпам
развития техно
это только начало возможно Через
несколько лет мы будем вспоминать анонс
Gemini 2.0 как момент когда
искусственный интеллект сделал решающий
шаг от теоретических возможностей к
практической пользе в повседневной жизни
А пока будем внимательно следить за
развитием этих впечатляющих технологий А
на сегодня это всё с вами был Мити
Иванов это дройдер до встречи в будущем
[музыка]
