18 просмотры видео·2 авг. 2024 г. #vertdider #veritasium Если вы в России: https://boosty.to/vertdider
Если вы не в России: https://www.patreon.com/VertDider
Учёные надеются, что продвинутый ИИ будет обучаться сам в процессе решения поставленных задач. Пока же приходится поломать голову, чтобы объяснить машине, как ей работать. Но способы есть. О них и пойдёт речь в этом видео.
Плейлист «Конкретные проблемы безопасности ИИ»: https://www.youtube.com/playlist?list=PLqL14ZxTTA4fEp5ltiNinNHdkPuLK4778
Видео Computerphile: https://www.youtube.com/watch?v=9nktr1MgS-A&t=0s
Статья «Конкретные проблемы безопасности ИИ»: https://arxiv.org/pdf/1606.06565.pdf
Канал Сета Блинга: https://www.youtube.com/user/sethbling
Переводчик: Александр Пушкин
Редактор: Алексей Малов
Научный редактор: Михаил Самин
Озвучка: Станислав Черсков
Монтаж видео: Джон Исмаилов
Монтаж звука: Андрей Фокин
Обложка: Андрей Гавриков
Спасибо за поддержку на https://www.patreon.com/VertDider и https://boosty.to/vertdider
Озвучки Vert Dider выходят с вашей помощью:
Dmitry Chechulin, Lexx, Rashn, Tequilll, simens_green, Александр Рыбаков, Виктор Харламов, Alex, Alexander Kulikov, Alexey Nikitin, Alien, Artem Sobolenkov, Being of Whiteout, Dmitriy Finozhenok, Dmitry14, Ilia Mogilner, Inferadrus, KGA, Kirill Markov, Maxim Titov, Rincewind, SodayaSodochka, Timophey Popov, Unhexigion, andruche, asd asd, asdadasa, dv0, oneniceday, pervprog, Алекс, Арс Ник, Дмитрий Казанов, Екатерина Боноева, Кожаный Гусь, Максимилиан, Никита Омельницкий, Тимур Абдуллин, Тот самый Виктор, Шамсудин Насаев, Pavel Dunaev, Mikhail Stolpovskiy, Sergey Zhukov, Mariya, [email protected], Nataliya Slovesnikova, Anton Bolotov, Pavel Parpura, Vitaliy Vachynyuk, Oleg Zingilevskiy, Eugene Tsaplin, Все будет хорошо, Мikhail Samin, Katoto Chan, Victor Turansky, Maryna Tereshchenko, Leonid Steinberg, Irina Shakhverdova, Alex, Aleksei Shabalin, Kirill Zaslavskii, Victor Cazacov, Kirill Vlasov, Victoria Kleban, Alexander Goida, Valeriy Dubrava, Vladimir Sharich, mifon bejenari, Anna Ostrovskaya, Alex Kulakov, Maxim Korotkov.
#vertdider #veritasium
Сайт студии: http://vertdider.tv
Мы в социальных сетях:
— https://vk.com/studio_vd
— https://t.me/vertdider
— https://twitter.com/Vert_Dider
Разрешение на публикацию: https://bit.ly/2SFhrHZ
© https://www.youtube.com/@UCLB7AzTwc6VFZrBsO2ucBMg
Источник: https://www.youtube.com/watch?v=V527HCWfBCU
[музыка]
Ну вот и последнее видео про статью
конкретные проблемы безопасности и вам
не обязательно смотреть предыдущее Но
если что я оставлю ссылку в описании
Сегодня поговорим о так называемом
безопасном исследовании Я уже делал
ролик о проблеме исследовани и
использовани с ней сталкивается любой
аен
шать Сразу две задачи разобраться за что
дают награду и сделать то за что дают
награду Представьте что вы в ресторане в
котором уже бывали несколько раз до
этого можно заказать блюдо которое вам
знакомо и понравилось то есть
использовать имеющиеся знания либо
попросить что-то новое с чем ещё не
знакомы исследовать чтобы получить
больше знаний Есть риск потратить уйму
времени непонятно на какую еду вместо
того чтобы
Но если совсем не экспериментировать
можно упустить что-то хорошее проблема
найти баланс при обучении с
подкреплением проще всего делать то что
на ваш взгляд принесёт наибольшую
награду такой подход вряд ли окажется
самым эффективным Агент просто будет
повторять первое действие за которое
получил награду снова и снова как
человек который каждый раз заказывает в
ресторане одно и тоже даже не зна что е
есть в Мен
о способе избежать такой ситуации задать
некую частоту с которой агент будет
исследовать новые варианты Пусть
выполняет самые эффективное действие в
99% случаев А в одном проценте выбирает
что-то случайное такой подход
максимизирует
вознаграждение но и эксперименты
допускает решение примитивное и думаю вы
сами понимаете насколько это небезопасно
Представьте машину с автопилотом которая
обычно всё делает с учётом ситуации
но в одном проценте случаев решает
крутануть руль в случайную сторону или
нажать на одну из педалей просто чтобы
посмотреть что получится и конечно
узнает что-то новое Но какой ценой Как
видите это небезопасно это Довольно
простой подход есть и другие посложнее
Например можно попробовать сделать и
излишне оптимистичным перед совершением
неизученный свия система прогнозирует
какой награду сможет получить обычно это
примерно ноль но показатель можно
намеренно завысить
чтобы искусственный интеллект испытывал
иррациональный оптимизм к новому и
считал любую
неисчислимо и считать всё новое хорошим
не безопасно Надо ли уточнять что при
решении сложных задач стратегия
случайных действий также известная как
метод научного тыка работает не очень
эффективно вряд ли получится найти новое
эффективное решение сложной задачи
добавляя случайные вариации к вашему
обычному подходу другой вариант на
какое-то Время Изменить заданную
цель чтобы позволить системе прийти к
состояниям в которых она ранее не была
Представьте вы учитесь играть в шахматы
против компьютера и вам поела ваша
обычная
стратегия мало Чем отличается от другой
вы решайте в этой партии Я попробую
поиграть по-новому постараюсь забрать
как можно больше фигур противника А в
следующей пройти фигурами как можно
дальше А потом забрать ферзя любой ценой
а потом ещё что-нибудь на некоторое
время вы отходите от вашей лучшей
стратегии и в результате можете
оказаться в игровых ситуациях которых
раньше не видели узнать что-то новое об
игре А в долгосрочной перспективе
повысить ваше мастерство ненадолго
сменив цель можно изучить новые Закоулки
пространства возможностей куда лучше чем
совершая случайные ходы Однако
применение такого подхода к и в
реальности ещё опаснее чем если он будет
изредко делать случайные вещи если
роботу уборщик в исследовательских целях
сделает что-то случайное то скорее всего
он выполнит задачу просто чуть менее
эффективно в худшем случае он что-нибудь
уронит или сам упадёт Да это несколько
небезопасно теперь Представьте что он
начинает целенаправленно выполнять
какую-то случайную задачу
в рамках исследования он выбирает новую
цель и выстраивает сложный многоэтапный
план её достижения это может быть Куда
опаснее чем набор случайных действий и
проблема не в случайности а в том что
новая цель отличается от основной даже
если она будет не случайной проблема
останется Представьте систему и в
которой есть специальная функция
напоминающая что одна из задач не дать
разбиться в вазе Вот только система
никогда не видела как бьются вазы и она
очень слабо представляет что это значит
можно исследовать этот вопрос временно
изменив цель так чтобы за битьё ВАЗ
награждали и система узнает что вообще
значит разбить вазу временная замена
целей подходит для обучения и
исследования но это не безопасно те
примитивные методы исследования которые
используются сегодня в реальный мир
выпускать не стоит впрочем пример с
вазой не самый удачный систему которая
способна усомниться в полноте
собственных знаний вряд ли придётся
заставлять что-то исследовать изменяя
основную исследование и так будет
инструментальной целью такой системы Как
и любого достаточно умного Агента это
называется Инструментальная сходимость Я
уже об этом рассказывал если коротко
общий и будет исследовать мир в рамках
своих штатной работы а не потому что это
вшитой код такая система найдет способ
изучить вазы не разбивая их в процессе
например прочитать книгу или посмотреть
и проанализировать видео скорее всего
исследование будет только для
относительно примитивных систем в
реальном мире я говорю про современные
системы и а также их ближайших потомков
общий искусственный интеллект из
далёкого будущего вполне справится так
как проблема актуальна специалисты её
уже неплохо изучили и много чего
придумали И как же нам обеспечить
безопасное исследование первый вариант
определить какие опасные действия может
предпринять и при исследовании и
запретить их вот есть квадрокоптер под
управлением искусственного ите вы хотите
выяснить На какие мавры он способен Но
если система начнет выяснять Что будет
если врезаться в землю а безопасности
речи и быть не может разумно было бы
позволить дрону изучать любые манёвры но
встроить дополнительную систему
безопасности которая если Дрон окажется
слишком низко перехватит управление и
поднимет аппарат на безопасную высоту а
затем вернёт контроль системе обучения
примерно как в автошколе на учебных
машинах с педалями для инструктора
примере я чтобы не усложнять говорю о
запрете определённых участков
физического пространства в котором
находится квадрокоптер но этот подход
гораздо шире ведь на самом деле мы
запрещаем определённые сочетания
параметров Агента и среды важно не
столько физическое пространство сколько
абстрактное пространство всевозможных
сочетаний и система безопасности
перехватывает управление когда ии
движется в опасной область этого
пространства такой подход может
сработать при условии что вы знаете все
опасные области и как их избежать Ладно
в землю мы больше не врем но есть ещ и
деревья придется следить и за ними а
также разработать манёвры для ухода от
столкновения чем сложнее задача тем
больше возникает нюансов которые надо
продумать заранее и объяснить машине
поскольку перечислить все опасные
области трудно Можно попробовать
обратное перечислить безопасное говорим
безопасно летать вот здесь выше любых
деревьев и домов но не слишком высоко
чтобы не встретить низколетящие
самолёт И оставайся в границах
отведенной для полта
площадки это пространство считается
безопасным Дрон будет исследовать свои
возможности в этой области а если
вылетит за её границы система
безопасности перехватит управление и
вернёт Дрон домой Это удобнее чем
описывать все небезопасные зоны Не надо
гадать Какая ещё неприятность может
случиться достаточно задать зону
безопасности Проблема в том что ваша
оценка безопасности пространство
несовершенно
повторюсь так как это не физическое
пространство а пространство параметров
чем сложнее система тем их больше а
значит растёт и это пространство доля
параметров за безопасность которых мы
можем поручиться уменьшается
относительно общего их числа возможности
системы оказываются ограничены крошечной
областью безопасность который вы можете
гарантировать если бездумно её расширять
Есть риск разрешить системе потенциально
опасные
конфигурации если оставить всё как есть
система не раскроет свой потенциал
множество эффективных стратегий
останутся неизученные потому что они
лежат вне одобренного нами пространства
Хотя сами вполне
безопасны есть и совсем радикальный
подход где мы показываем эталонный
пример и просим систему придерживаться
его как можно точнее разрешив небольшие
отклонения но пытаясь скопировать
человека система врядли его превзойдёт
так мы избавились от небезопасно
исследования почти полностью запретив
исследование вот такой баланс между
функционалом и
безопасностью ладно что ещё можно
сделать довольно широко применяется
человеческий надзор в машине с
автопилотом сидит человек который должен
перехватить управление в теории Так
пусть заодно принимает решение что
системе можно исследовать А что нет но
как я говорил в прошлом видео подход
плохо масштабируется
если и захочет изучить миллион вещей
человек будет просто неэффективен
возможно системе понадобится принимать
решение с нечеловеческой скоростью когда
ответ надо дать за долю секунды от
человека толку никакого он слишком
медленный вероятно если улучшить
человеческий надзор это повысит
безопасность
исследований последнее на сегодня
симуляции это очень популярный и
эффективный метод ничего страшного с
симуляции пойдёт не по плану и
виртуальный Дрон врежется в чью-то
виртуальную
голову о проблемах такого подхода можно
сделать отдельное видео Но если в двух
словах то всегда есть нюансы учесть всё
и сделать симуляцию неотличимы от
реальности задача непростая и чем
сложнее решаемая задача тем больше
нюансов обучение на симуляции
ограничивает возможности вашего и
Однажды учёные решили выяснить Способен
ли эволюционный алгоритм создать
генератор периодических сигналов уро
пот сигнал с определенной частотой так
вот их алгоритм создал нечто странное
это не был генератор сигналов но
каким-то образом с задачей устройства
справлялась на ошибки в симуляции ничего
не спешишь ведь это была не симуляция
вот на реальной электронной схеме
алгоритм делал ровно то что от него
хотели но было непонятно Каким образом
разобравшись учёные поняли что алгоритм
собирал радиоприёмник который ловил
очень слабый сигна от электронной начики
стоявшего рядом компютера осно выдавал
нужный Сигнал это прекрасный пример того
что нетривиальные решение поставленной
задачи Порой просто невозможно получить
в симуляции Кто бы додумался добавить
туда наводки и посторонние шумы в
симуляции система изучит только те
аспекты реальности которые мы посчитали
достаточно важными чтобы их воссоздать
вряд ли найдёт решение до которых мы не
догадались бы сами Но ведь в этом одна
из задач
и Это только часть
проблемы мало того что в симуляции может
не быть каких-то важных аспектов нашей
реальности
так ещё в ней могут быть явления которых
не
существует ошибки Это даже хуже
достаточно умный и будет специально
искать баги в
коде потому что очень часто они
позволяют получить наилучший результат
если у вас в симуляторе физики есть
ошибки то велика вероятность что с их
помощью можно нарушать фундаментальные
законы и например получать энергию из
ничего проблема даже не в том что
реальность стимулируется недостаточно
точно Проблема в том что самые
интересные для нас решения лежат в той
части пространства параметров где
реальность симулирует наименее точно
нельзя быть уверенным что результат
симуляции будет безопасным в реальном
мире особенно если речь идёт о сверхов
решениях которые зачастую лежат на
границах допустимого подведём итог
исследование - это всегда риск потому
что в процессе мы буквально пробуем
сделать что-то последствий чего не
понимаем с рисками надо работать их
можно минимизировать тогда и сможет
исследовать не ни
опасности переведено и озвучено студии
Верт дайдер