Карен Казарян: Искусственный интеллект выйдет из-под контроля человека. Ученые спорят лишь о том, когда это произойдет

Гости
Карен Казарян
главный аналитик Российской ассоциации электронных коммуникаций

Ольга Арсланова: Теперь о будущем. Искусственный интеллект является самой большой угрозой цивилизации. Так считает основатель "SpaceX" и "Tesla" Илон Маск. И он посоветовал правительству взять под контроль развитие технологий искусственного интеллекта. Маск, кстати, уже давно заявляет о связанных с искусственным интеллектом рисках, и в очередной раз решил нам о них напомнить.

Петр Кузнецов: Зачем же он его тогда создает? "Проблема искусственного интеллекта – тот редкий случай, когда нам надо проявить активность в регулировании вопроса, иначе может быть слишком поздно, - говорит Маск. – Искусственный интеллект – фундаментальный риск для существования человеческой цивилизации. Дтп, авиакатастрофы, некачественные лекарства или плохая пища таковыми не являются, - убежден Маск. – Он также выразил обеспокоенность вероятностью социальной дестабилизации, повышения уровня безработицы, к которым приведет тот факт, что роботы начнут выполнять нашу работу".

Ольга Арсланова: Но больше всего предприниматель озабочен тем вредом, который искусственный интеллект может нанести в интернете. В качестве примера предприниматель привел гипотетическую ситуацию, в которой искусственный интеллект для увеличения объемов инвестиций в оборонную промышленность может использовать хакерские атаки и распространение дезинформации, что способно даже спровоцировать… И звучит как сценарий фантастического фильма. Насколько это может быть воплощено в жизнь, мы узнаем у нашего эксперта. В гостях у нас Карен Казарян, главный аналитик Российской ассоциации электронных коммуникаций. Здравствуйте.

Петр Кузнецов: Добрый вечер.

Карен Казарян: Здравствуйте.

Ольга Арсланова: Знаете, мне это, честно говоря, напомнило какое-то Средневековье. Вроде бы человек живет в XXI веке, передовой разум и так далее, а страхи назад средневековые, несмотря на всю информационную революцию. Как ведьм боялись, сейчас боятся некого алгоритма, который по сути придумывает сам человек.

Карен Казарян: Это абсолютно верное замечание. Особенно это касается того, что придумывает сам человек. Я бы тут разделил на две части. Первая – это страх настоящего искусственного интеллекта. То есть то, что есть сейчас – это машинный интеллект. И по сути интеллектом его называть довольно сложно. Это некие алгоритмы. А я говорю о настоящем сознании. И это действительно скорее из разряда фантастических каких-то прогнозов. И это сродни прогнозам, что, наверное, инопланетная цивилизация тоже может нести угрозу. Но это какой-то несколько другой уровень. Это неплохо описывать и неплохо такие прогнозы все равно строить, но это какая-то другая, фантастическая…

А есть какая-то очень конкретная, применительная. И тот факт, что алгоритмы создают люди, означает, что люди вносят туда собственные предрассудки, собственный порой злой умысел, собственные ошибки… Что еще в принципе могут люди внести? И это именно тот момент, когда мы понимаем, что эта технология будет все больше и больше использоваться, но мы не очень хорошо понимаем, какие могут обнаружиться ошибки в ее использовании.

Аналогии можно провести с любой другой технологией, с каким-нибудь материалом для строительства. Совершенно очевидно, что здания должны строиться из материалов, которые первоначально одобрены для этого строительства и для которых понятны нагрузки, вес и так далее. А алгоритмы искусственного интеллекта – одно дело, когда они используются в соцсетях или чтоб таргетировать на вас рекламу. Совершенно другое дело, когда они начинают использоваться в принятии решений, которые влияют на благополучие жизни человека.

Простой пример. В США есть компания, которая помогает устанавливать размер залога для подозреваемых на основе неких алгоритмов.

Ольга Арсланова: В вынесении каких-то судебных решений.

Карен Казарян: Да. Очень быстро выясняется, что для чернокожих сумма залога по умолчанию больше. Да, действительно, они чаще оказываются арестованными, чаще сбегают.

Ольга Арсланова: То есть используется некая криминальная статистика, и на ее основе…

Карен Казарян: Да. Другое дело, что понятно, что эта криминальная статистика может быть неполной. У нас, очевидно, есть не вся криминальная статистика. И может быть неправильно подобрана. Это как синдром выжившего. У нас есть узкий набор, кого мы знаем, что выделили как преступника. Мы не знаем целиком объем людей, кто совершает правонарушения. У нас получается такой эффект, который прямо влияет на жизнь людей, и вроде это алгоритм. Вроде никто ж не виноват, что так получилось.

Но проанализировать, справедливо ли это решение и вынесено ли оно действительно на основе объективных данных, чрезвычайно тяжело.

Ольга Арсланова: И права конкретного человека могут быть совершенно точно нарушены. Еще один пример, который часто приводят, когда говорят нам о таких страшилках искусственного интеллекта – это массовое внедрение автопилотов в автомобили. Когда, например, в автомобиле 4 пассажиров, ребенок перебегает дорогу. И вот эта машина может путем простых вычислений решить, что жизнь этих четверых важнее, чем этот один. При этом человек чем хорош? Своей спонтанностью и возможностью принимать какие-то совершенно странные иногда, но при этом спасительные решения. Машина этого не умеет. Но не может ли всю эту свою спонтанность, эту непредсказуемость и это творчество человек вложить в алгоритм и сделать машину более гибкой?

Карен Казарян: Наверное, может. Проблема в том, что специалистов по машинному обучению в мире человек 200, наверное, таких серьезных, которые действительно могут понимать о том, как анализируется информация в нейронных сетях и какие выводы построили эту цепочку решений.

Как ни странно, небольшая схожесть машинного интеллекта с обычным в том, что вы пытаетесь понять, почему принято то или иное решение, особенно когда вы находите какую-то очевидную ошибку, вы смотрите и видите систему нелинейных уравнений, которых там несколько тысяч – и вперед, идите считайте и смотрите, где, куда и что пошло не так. Очень сложная математика.

Петр Кузнецов: При этом же недавно робот начал играть с человеком в покер. И выяснили, что робот научился блефовать.

Карен Казарян: Именно так. Что касается той же автотранспортной проблемы… Вот эта проблема системы, куда повернуть и кого задавить – она, конечно, красивая, но она все-таки очень теоретическая. На практике такого происходить не будет, потому что, во-первых, лидары, которыми сейчас оснащены машины, они обладают зрением 360 и видят препятствия за поворотами. Во-вторых, очевидно, что сенсоры будут находиться не только на машине, но и на дорожном полотне, и информация будет передаваться.

А вот реальная проблема: что, если какой-то из сенсоров вышел из строя и передает неправильные данные, ложную информацию? И машина принимает…

Петр Кузнецов: Ладно это фейковые новости. Они не так опасны.

Карен Казарян: Просто неполадка. И машина принимает решение, затормозить или нет, на основе ложного сигнала. И можно ли скомпенсировать этот ложный сигнал? Вот такие проблемы более очевидны и опасны.

Ольга Арсланова: Хочется спросить у наших зрителей, боятся ли они искусственного интеллекта. Пожалуйста, позвоните, расскажите. Потому что если анализировать комментарии в социальных сетях, под каждым видео человекоподобного робота, который появляется, такое ощущение складывается, что их люди действительно боятся. То есть ты видишь перед собой свое подобие и ты не знаешь, что ждать от этого странного персонажа, который выглядит, как ты, но при этом, вероятно, намного умнее.

Карен Казарян: Кстати, японские исследователи как раз объяснили, что если посмотреть, какими они делают роботов, они их делают миленькими, потому что в том числе были проведены исследования, что так лучше реагируют люди, чем непонятных ходячих четвероногих  от "BostonDynamics".

Ольга Арсланова: Они все равно сумасшедшее впечатление производят, именно потому что они очень похожи на людей.

Карен Казарян: Есть определенный уровень. Опять-таки, есть по этому поводу достаточно большое количество исследований психологии людей. Они должны быть милыми. Как только робот начинает слишком походить на человека (вот эти куклы), сразу эффект страха возникает. Должна быть какая-то небольшая антропоморфность, но не полностью.

Петр Кузнецов: Давайте пофантазируем. Может ли человек довести искусственный интеллект до какого-то уровня развития и потом на основе полученных данных, еще на основе чего-то он начнет саморазвиваться? То есть уже в теории выйти из-под контроля человека?

Карен Казарян: Люди, которые сильно более умные, чем я, считают, что да: проблема, что две принципиально разных точки зрения насчет таймлайна, когда это может произойти. Если тот же Курцвейл, всемирно известно ученый, как раз который придумал термин "сингулярность", он считает, что это может произойти в течение следующих 30-50 лет.

Ольга Арсланова: Сингулярность?

Карен Казарян: Искусственный интеллект как одно из требований к этому. То многие другие ученые, гораздо более пессимистичные, что не хватает ни знаний о том, как работает человеческий мозг, ни технологий и вычислительных мощностей, для того чтобы обрабатывать такие объемы информации. То, что достигнут – нет сомнений. Вот когда – это очень большой вопрос.

Петр Кузнецов: По-моему, тот же Маск сказал, что через 20 лет без работы может остаться 15% мировой рабочей силы. Вот это все-таки хорошо или плохо? То есть, с одной стороны, безработица, ненужность профессий, с другой – людей, наверное, надо пугать, чтобы они как-то развивались.

Карен Казарян: 15% - это еще довольно оптимистично. Если мы посмотрим на историю всех технологических циклов, по крайней мере, из опыта, технологии уничтожают рабочие места, но прирост рабочих мест всегда потом положительный. Это совершенно не помогает тем людям, которые…

Петр Кузнецов: Новых профессий.

Карен Казарян: Новых профессий, оптимизация и так далее. Это совершенно не помогает тем людям, которые попали в это уничтожение. Но мы по крайней мере знаем, что рано или поздно с экономикой все будет  нормально. Мы видели, что с роботизацией в той же автомобильной индустрии был очень неприятный период. Но потом как-то более-менее восстановилось. В том числе работа на предприятии.

Вопрос в том, что работу начнут терять те люди, которых мы не подразумеваем, что могут. Например, работу начнут терять офисные работники. Первый раз это будет не производство, а офисные работники. Формально даже те же программисты могут начать терять работу по той простой причине, что код очень неплохо генерируется. И во что их переобучать и как потом готовить… Собственно говоря, почему начинаются все эти вопросы о безусловном доходе? Потому что не очень понятно, какая вообще доля рабочих мест будет действительно замещена.

Ольга Арсланова: Это, кстати, действительно, очень важный момент. Если выбирать какие-то крайности, искусственный интеллект сделает людей беднее и несчастнее, или даст им возможность, не работая, получать какую-то природную ренту, безусловный доход и заниматься творчеством, просто наслаждаться жизнью?

Петр Кузнецов: Раньше уходить на пенсию.

Карен Казарян: В идеальном случае должно происходить именно второе. Безусловно. Но тут очень большой вопрос – кто будет контролировать основной стек технологий? Если это будет несколько корпораций, скорее всего, маловероятен такой сценарий.

Ольга Арсланова: Роботам же платить не нужно.

Карен Казарян: Сейчас многие (например, Гейтс) считают, что нужно налог на роботов вводить, который был бы источником вот этого безусловного дохода.

Мне кажется, это в некотором смысле еще золотой век… Кого точно не заместят – это экономистов. Потому что новые экономические теории явно понадобятся.

Ольга Арсланова: Конечно же, мы знали, что это напишут наши зрители, что в первую очередь заменят журналистов, телеведущих. Пробовали, да, по-моему? Радиоведущих…

Карен Казарян: "Bloomberg" пишет – простые финансовые новости автоматизированы: "акции повысились, акции понизились", "погода завтра будет такая", "эта команда выиграла, кто-то забил" – вот это сейчас уже все спокойно автоматизируется.

Ольга Арсланова: То есть в принципе генерировать новости…

Карен Казарян: Простые информационные агентства – да.

Ольга Арсланова: Без анализа, без сбора комментариев и мнений.

Карен Казарян: Абсолютно.

Ольга Арсланова: Все-таки какое-то поле у нас остается. Давайте послушаем Евгения. Здравствуйте, Евгений. Пока что вы с живыми людьми разговариваете в прямом эфире. Здравствуйте.

Зритель: Спасибо. Я хотел у гостя уточнить. А что такое искусственный интеллект? Вы можете как-то ключевые особенности его назвать? Что мы можем называть искусственным интеллектом? Какими функциями он должен обладать, чтобы он назывался именно искусственным интеллектом? Каковы отличия?

Ольга Арсланова: У вас есть сомнения в том, что кто-то из знакомых вам людей…

Карен Казарян: Я говорил в начале. Термин "искусственный интеллект", вероятно, некорректен. И когда мы говорим об искусственном интеллекте, мы подразумеваем именно о том, чтобы им самоосознанное сознание. Сейчас мы говорим скорее о машинном интеллекте, о тех алгоритмах, которые обрабатывают информацию по тем же принципам, по которым обрабатывает мозг человека, в первую очередь – нейронные сети с различными уровнями сложности.

То есть это некая система алгоритмов, которая на основе в идеальном случае неструктурированной информации может находить связи, взаимодействия, определять, структурировать ее и выстраивать определенные выводы на ее основе.

Пока что достаточно простые. Чем больше вы накручиваете алгоритмы, тем сложнее могут приниматься эти решения.

Петр Кузнецов: Еще один звонок. Давайте послушаем Ольгу.

Ольга Арсланова: Башкирия.

Карен Казарян: Башкирия. Здравствуйте, Ольга.

Зритель: Здравствуйте. Меня зовут Ольга. Я из города Дюртюли, Башкирия. Вы обсуждаете такую интересную тему. На самом деле я тоже опасаюсь этого. Опасаюсь, что роботы заменят людей, что на самом деле не будет рабочих мест. И поэтому у меня такой интересный вопрос. Я хочу, чтобы мои дети занимались робототехникой, чтобы не остались без работы. Где этому учат?

Ольга Арсланова: Спасибо.

Карен Казарян: В принципе я не отвечу за все-все-все, но я знаю, что в МГУ есть соответствующая специализация, есть в ИТМО, есть в Бауманке… Наверняка есть еще, но образование – не вполне моя часть. Специализация "Робототехника" прописана в Национальной технологической инициативе. Так что я думаю, что в ближайшие 2-3 года это будет оформлено как прямо действующая по ГОСТу специализация.

Ольга Арсланова: А это будет востребовано? У нас не будет такого же перебора робототехников, как в свое время экономистов и юристов, которых некуда устроить на работу?

Карен Казарян: Я думаю, что все-таки это очень непростая специализация, которая подразумевает одновременно инженерное и математическое образование, computerscience и программистское. Поэтому это такая серьезная междисциплинарная история. Я думаю, что она просто не для всех.

Ольга Арсланова: И идей еще очень много, в том числе от наших зрителей. Предлагают создать алгоритм антикоррупционный. Совершенно спокойно можно такой алгоритм честности встроить в некого робота. И он заменит, например, чиновников, которые с людьми общаются, и взятки брать не будут.

Карен Казарян: Эта работа на самом деле ведется.

Петр Кузнецов: Но мы же выяснили, что робот научился блефовать. Смысл заменять чиновника?

Карен Казарян: Главное – какие ему границы задать. На самом деле большая часть того, где используются алгоритмы – это регулирование, в том числе регулирование в финансовой и антикоррупционной сфере, когда на основе тех данных, которые вы имеете (по закупкам, по каким-то событиям на финансовых рынках), отмечаются какие-то события, которые могут представлять интерес для соответствующих органов и потом могут проверяться. Такое есть, такое используется на различном уровне. Дальше, я думаю, только больше.

Петр Кузнецов: Карен, знаете у меня какой вопрос? Вот мы сейчас говорим о развитии искусственного интеллекта в мире. Но ведь есть целые континенты, для которых проводной телефон – пока еще суперсовременная технология.

Ольга Арсланова: Да что далеко ходить? Даже в России у нас серьезное отставание. Тот же печатный станок, книгопечатание до нас дошло спустя век.

Петр Кузнецов: Но мы же все равно живем в ногу со временем. Мы просто какие-то ступени пропускаем. Пропускаем эпоху проводного телефона и сразу переходим (та же Африка) на мобильный телефон сразу.

Ольга Арсланова: Получается, отставание не такое страшное?

Петр Кузнецов: Или просто действительно это совершенно другой мир?

Карен Казарян: Те же дроны, например, в Африке достаточно активно используются. Дешевые китайские, но тем не менее.

Ольга Арсланова: А туалет есть не в каждом доме при этом.

Карен Казарян: Туалет есть не в каждом. А солнечные батареи чаще, например, встречаются. Поэтому такая странная гибридная технологическая модель, безусловно… У этих стран вряд ли найдутся пока что силы на разработку собственных технологий. Но и многие сообщества внутри стран понимают, что достаточно эффективно можно на самом деле помогать населению, предоставляя им какие-то такие выходы, когда действительно, возможно, нет туалета, но, имея сотовый телефон, имея солнечную батарею, уже качество жизни увеличивается у людей. И те же крупные благотворительные фонды типа Фонда Гейтса очень активно как раз в подобные проекты вкладываются. Поэтому сейчас вот так. Я думаю, что в будущем, возможно, увидим и новые технологии…

Петр Кузнецов: Вот искусственному интеллекту в плане развития важно присутствовать во всех частях света, во всех уголках, или достаточно просто базироваться…

Карен Казарян: Ему, безусловно, нужно присутствовать везде по той простой причине, что собираемые данные будут очень отличаться. И достаточно сложно переносить из одной среды в другую. Очень серьезная проблема, например, у компании Google с машинным зрением связана с тем, что даже при постоянном подправлении очень часто вылезают ошибки, связанные фактически с расизмом. Просто потому что искусственные алгоритмы начинают подбирать из сети те наборы данных, которые поражены, к сожалению, человеком. И десятки примеров. Типа вы вводите "непрофессиональная прическа", поиск по картинкам – почему-то вылезают исключительно афроамериканки с пышной шевелюрой. До глупости, но тем не менее это так. И такие вещи пока очень тяжело научиться обходить. Для этого нужны более объективные наборы данных и больше данных в принципе. Соответственно, нужно развивать его везде.

Ольга Арсланова: Спасибо. Карен Казарян, главный аналитик Российской ассоциации электронных коммуникаций, был у нас в гостях. Говорили о возможных опасностях искусственного интеллекта.

 

 

Умные машины сделают людей беднее и несчастнее или подарят возможность наслаждаться жизнью?