Ноам Хомский: «ИИ вводит неосведомленных в заблуждение»

Искусственный интеллект (ИИ) захватывает мир. Он преобразует все сферы жизни и поднимает при этом серьезные этические проблемы для общества и будущего человечества. ChatGPT, доминирующий в социальных сетях, представляет собой чат-бот на базе ИИ, разработанного Open AI, который способен генерировать ответы, подобные человеческим. Потенциал применения такой технологии огромен, но все чаще звучат призывы регулировать ИИ. Может ли ИИ перехитрить людей? Представляет ли он угрозу обществу? Может ли ИИ стать экзистенциальной угрозой? На эти вопросы изданию Common Dreams ответил Ноам Хомский, один из признанных в мире интеллектуалов, которого часто сравнивают с Галилеем, Ньютоном и Декартом.

– Как научное понятие ИИ появился в 1950-х годах, но за последние пару десятилетий он вторгся во все сферы, включая банковское дело, страхование, автомобилестроение, музыку и оборону. Фактически было показано, что в некоторых случаях ИИ превосходит человеческие возможности, например в игре в шахматы. Вероятно ли, что машины станут умнее людей?

– Давайте определимся в понятиях. Машина – это программа, которая может быть написана компьютером, но с подачи человека. Второе, следует разделять инженерную и научную мысль. Чистая инженерия стремится создать продукт, который может принести некоторую пользу. Наука стремится к пониманию того, что представляют собой интеллект и когнитивные способности человека

Насколько я понимаю, основатели ИИ – Алан Тьюринг, Герберт Саймон, Марвин Мински и другие – рассматривали его как науку, часть зарождавшихся тогда когнитивных наук, использующих новые технологии и открытия в математической теории вычислений для улучшения понимания. С годами эти задачи исчезли и в значительной степени были вытеснены инженерной ориентацией. 

Возвращаясь к вопросу, я его понимаю так: будут ли разработаны программы, превосходящие человеческие возможности? Оговорюсь, мы должны быть осторожны со словом «возможности» по причинам, к которым я вернусь позже. Но если мы используем этот термин для обозначения производительности человека, то ответ таков: определенно, да. На самом деле, они давно существуют: калькулятор в ноутбуке, например. Он может намного превзойти то, на что способны люди, хотя бы из-за нехватки времени и памяти. В 50-х годах для закрытых систем, таких как шахматы, было хорошо понятно, что рано или поздно, с развитием огромных вычислительных мощностей и длительным периодом подготовки, может быть разработана программа, позволяющая победить гроссмейстера, который играет с ограниченным объемом памяти и времени. Достижение, достигнутое годы спустя, стало в значительной степени «пиаром» IBM. Многие биологические организмы превосходят когнитивные способности человека гораздо более глубокими способами. У пустынных муравьев на моем заднем дворе крошечные мозги, но они намного превосходят человеческие навигационные способности в принципе, а не только в производительности. Нет Великой Цепочки Бытия, в которой люди были бы на вершине.

Продукты разработки ИИ используются во многих областях, к лучшему это или к худшему? Даже простые и знакомые программы могут быть весьма полезны: в языковой области, среди прочих, такие программы, как автозаполнение, живая транскрипция, Google Translate. При значительно большей вычислительной мощности и более сложном программировании должны быть и другие полезные приложения, в том числе в естественных науках. Некоторые из них уже есть: помощь в изучении сворачивания белков – это один из недавних примеров, когда поисковая технология помогла ученым справиться с критической и трудноразрешимой проблемой.

Инженерные проекты могут быть полезными или вредными? Текущая работа с большими языковыми моделями (LLM), включая чат-боты, предоставляет инструменты для дезинформации и введения в заблуждение неосведомленных. Угрозы усиливаются, когда они сочетаются с искусственными изображениями и воспроизведением голоса. Учитывая различные опасения, десятки тысяч исследователей ИИ недавно призвали к мораторию на разработку из-за потенциальных опасностей, которые они ощущают.

И всегда возможные преимущества технологии необходимо сопоставлять с потенциальными затратами.

Когда мы обращаемся к ИИ и науке, возникают совсем другие вопросы. Здесь необходима осторожность из-за непомерных и безрассудных заявлений, часто усиливаемых в средствах массовой информации. Чтобы прояснить проблемы, давайте рассмотрим случаи, некоторые гипотетические, некоторые реальные.

Я упомянул навигационные способности насекомых, которые является удивительным достижением эволюции. Ученые добились значительного прогресса в изучении того, как это происходит у насекомых, хотя нейрофизиология, очень сложный вопрос, остается неуловимой, как и эволюция систем. То же самое можно сказать и об удивительных подвигах птиц и морских черепах, которые преодолевают тысячи миль и безошибочно возвращаются к месту происхождения.

Предположим, приходит Том Джонс, сторонник инженерного подхода к ИИ, и говорит: «Все ваши работы были опровергнуты. Проблема решена. Пилоты коммерческих авиакомпаний постоянно добиваются таких же или даже лучших результатов».

Или возьмем пример мореплавательных подвигов полинезийцев, которые до сих пор используют звезды, ветер, течения, чтобы доставить свои каноэ в назначенное место за сотни миль от места. Это тоже было темой многих исследований, чтобы выяснить, как они это делают. У Тома Джонса есть ответ: «Перестаньте тратить свое время; военно-морские суда делают это постоянно». Тот же ответ.

Теперь давайте обратимся к реальному случаю - овладению языком. В последние годы это стало темой обширных и весьма информативных исследований, показывающих, что младенцы обладают очень богатыми знаниями окружающего языка (или языков), намного превосходящими те, которые они демонстрируют в поведении. 

Входит Том Джонс: «Вас опровергли. Не обращая внимания на ваши открытия, LLM, сканирующие астрономические объемы данных, могут найти статистические закономерности, которые позволяют моделировать данные, на которых они обучаются, создавая нечто, очень похожее на нормальное поведение человека. Чат-бот».

Увеличьте вдвое терабайты сканируемых данных, добавьте еще триллион параметров, используйте еще больше энергии Калифорнии, и моделирование поведения улучшится, при этом более четко выявив принципиальную неспособность подхода привести к какому-либо пониманию. Причина элементарна: системы работают так же хорошо с невозможными языками, которые младенцы не могут усвоить, как и с теми, которые они усваивают быстро и практически рефлекторно.

Давайте переключим внимание на обычную науку, где вопросы становятся интересными. Даже один пример изучения языка может дать глубокое понимание различия между возможными и невозможными языками.

Причины просты и знакомы. Любой рост и развитие, включая то, что называется «обучением», – это процесс, который начинается с состояния организма и шаг за шагом преобразует его на более поздних стадиях.

Таким процессом является овладение языком. Начальным состоянием является биологический дар языковой способности, который, очевидно, существует, даже если это, как полагают некоторые, особая комбинация других способностей. Это крайне маловероятно по давно понятным причинам, но это не имеет отношения к нашим проблемам здесь, поэтому мы можем отложить это в сторону. Очевидно, что человеческая способность к языку заложена биологически. Простой трюизм.

Переход происходит в относительно стабильное состояние, измененное лишь поверхностно, помимо знания языка. Внешние данные запускают и частично формируют процесс. Изучая достигнутое состояние (знание языка) и внешние данные, мы можем сделать далеко идущие выводы о начальном состоянии, биологическом задатке, который делает возможным овладение языком. Выводы о начальном состоянии налагают различие между возможными и невозможными языками. Различие справедливо для всех тех, кто разделяет начальное состояние – насколько известно, для всех людей; похоже, что между существующими группами людей нет различий в способности овладевать языком.

Все это обычная наука, и она достигла многих результатов.

Эксперимент показал, что стабильное состояние в значительной степени достигается очень рано, к трем-четырем годам. Также хорошо известно, что способность к языку обладает базовыми свойствами, характерными для людей, следовательно, это истинное видовое свойство: общее для человеческих групп и фундаментальным образом уникальное свойство человека.

В этом схематичном описании многое упущено, в частности роль естественного закона в росте и развитии, в случае вычислительной системы, такой как язык, принципы эффективности вычислений. Но в этом суть вопроса. Опять же, обычная наука.

Важно четко понимать проводимое Аристотелем различие между обладанием знаниями и использованием знаний (в современной терминологии – компетентностью и производительностью). В языковом случае полученное стабильное состояние – это владение знаниями, закодированными в мозге. Внутренняя система определяет неограниченный набор структурированных выражений, каждое из которых мы можем рассматривать как формулирование мысли, каждая из которых может быть реализована в некоторой сенсомоторной системе, обычно звуковой, хотя это может быть знак или даже (с трудом) прикосновение.

Доступ к внутренне закодированной системе осуществляется с использованием знаний (performance). Performance включает внутреннее использование языка в мышлении: рефлексию, планирование, воспоминание и многое другое. С точки зрения статистики это, безусловно, подавляющее использование языка. Это недоступно самоанализу, хотя мы можем многое узнать о нем обычными научными методами, извне, образно говоря. То, что называется внутренней речью, на самом деле является фрагментами внешнего языка с приглушенным артикуляционным аппаратом. Это лишь отдаленное отражение внутреннего использования языка, важные вопросы, которые я не могу здесь обсуждать.

Другими формами использования языка являются восприятие (синтаксический анализ) и продуцирование, причем последнее в решающей степени связано со свойствами, которые остаются такими же загадочными для нас сегодня, как и тогда, когда Галилей и его современники на заре современной науки относились к ним с благоговением и изумлением.

Основная цель науки – открыть внутреннюю систему как в ее начальном состоянии в человеческой способности к языку, так и в конкретных формах, которые она принимает при приобретении. В той мере, в какой эта внутренняя система понята, мы можем приступить к исследованию того, как она влияет на производительность, взаимодействуя со многими другими факторами, влияющими на использование языка.

Данные о производительности дают представление о природе внутренней системы, особенно когда они уточняются экспериментально, как при стандартной полевой работе. Но даже самый массовый сбор данных неизбежно вводит в заблуждение решающими способами. Он придерживается того, что обычно вырабатывается, а не знания языка, закодированного в мозге, основного объекта исследования для тех, кто хочет понять природу языка и его использование. Этот внутренний объект определяет бесконечно много возможностей такого рода, которые не будут использоваться в обычном поведении из-за факторов, не имеющих отношения к языку, таких как ограничения кратковременной памяти, темы, изученные 60 лет назад. Наблюдаемые данные также будут включать многое из того, что лежит за пределами системы, закодированной в мозге, часто сознательное использование языка способами, нарушающими правила, в риторических целях. Это прописные истины, известные всем полевым работникам, которые полагаются на методы выявления информации у информантов, в основном эксперименты, для получения усовершенствованного корпуса, исключающего неуместные ограничения и девиантные выражения. То же самое верно, когда лингвисты используют самих себя в качестве информантов – совершенно разумная и нормальная процедура, распространенная в истории психологии вплоть до настоящего времени.

Продолжая изучение обычной науки, мы обнаруживаем, что внутренние процессы и элементы языка не могут быть обнаружены путем изучения наблюдаемых явлений. Часто эти элементы даже не проявляются в речи (или письме), хотя их воздействие, часто незаметное, можно обнаружить. Это еще одна причина, по которой ограничение наблюдаемыми явлениями, как в подходах LLM, резко ограничивает понимание внутренних процессов, которые являются основными объектами исследования природы языка, его приобретения и использования. Но это не имеет значения, если от заботы о науке и понимании отказались в пользу других целей.

В целом в науке на протяжении тысячелетий выводы делались с помощью экспериментов – часто мысленных экспериментов, – каждый из которых представлял собой радикальную абстракцию от явлений. Эксперименты основаны на теории и направлены на то, чтобы отбросить бесчисленные нерелевантные факторы, влияющие на наблюдаемые явления, такие как лингвистические характеристики. Все это настолько элементарно, что редко даже обсуждается. И знакомо. Как уже отмечалось, основное различие восходит к аристотелевскому различию между обладанием знаниями и использованием знаний. Первое является центральным объектом изучения. Вторичные (и довольно серьезные) исследования исследуют, как внутренняя система знаний используется в производительности, наряду со многими неязыковыми факторами, которые не входят в то, что непосредственно наблюдается.

Мы могли бы также вспомнить наблюдение биолога-эволюциониста Теодосия Добжанского, известного в первую очередь своей работой с дрозофилами: каждый вид уникален, а человек – самый уникальный из всех. Если мы заинтересованы в понимании того, что мы за существа – следуя указанию Дельфийского оракула 2500 лет назад, – нас в первую очередь будет интересовать то, что делает людей самыми уникальными из всех, в первую очередь язык и мышление, тесно переплетенные, как признается в богатой традиции, восходящей к классической Греции и Индии. ;Большинство поведений довольно рутинны, следовательно, в некоторой степени предсказуемы. Что дает реальное представление о том, что делает нас уникальными, так это то, что не является рутиной, что мы находим, иногда экспериментально, иногда наблюдая, от обычных детей до великих художников и ученых.

И последнее замечание в этой связи. Общество столетие страдало от массовых корпоративных кампаний, поощряющих пренебрежение к науке, темам, хорошо изученным, в частности Наоми Орескес. Все началось с корпораций, продукция которых смертоносна: свинец, табак, асбест, позже ископаемое топливо. Их мотивы понятны. Целью бизнеса в капиталистическом обществе является прибыль, а не благосостояние людей. Это общеизвестный факт: не играешь в эту игру, и тебя выбывают, заменяя кем-то, кто это сделает.

Отделы по связям с общественностью корпораций с самого начала осознали, что было бы ошибкой отрицать растущее количество научных доказательств смертельного действия их продуктов. Это было бы легко опровергнуто. Лучше сеять сомнение, поощрять неуверенность, презрение к этим остроносым костюмам, которые никогда не красили дома, но приезжают из Вашингтона, чтобы сказать мне, чтобы я не пользовался свинцовой краской, разрушая мой бизнес (реальный случай, который легко размножить). Это сработало слишком хорошо. Прямо сейчас это ведет нас по пути к уничтожению организованной человеческой жизни на земле.

В интеллектуальных кругах, подобные эффекты были подготовлены постмодернистской критикой науки.

Возможно, было бы неучтиво задавать этот вопрос, но, я думаю, справедливо спросить, способствуют ли Тому Джонсу и тем, кто некритично повторяет и даже усиливает свои небрежные заявления, те же пагубные тенденции?

– ChatGPT – это чат-бот на естественном языке, который использует ИИ для обеспечения общения, подобного человеческому. В недавней статье в New York Times совместно с двумя другими авторами вы критиковали новые чат-боты из-за шумихи, потому что они просто не могут соответствовать лингвистической компетенции людей. Однако возможно ли, что будущие инновации в области ИИ могут привести к созданию инженерных проектов, которые будут соответствовать человеческим возможностям и, возможно, даже превзойдут их?

– Заслугу за статью следует отдать фактическому автору, Джеффри Ватумаллу, прекрасному математику, лингвисту и философу. Два перечисленных соавтора были консультантами, которые согласны со статьей, но не писали ее.

Это правда, что чат-боты в принципе не могут соответствовать лингвистической компетенции людей по причинам, изложенным выше. Их базовый дизайн не позволяет им достичь минимального условия адекватности теории человеческого языка: отличать возможные языки от невозможных. Поскольку это свойство дизайна, оно не может быть преодолено будущими инновациями в этом виде ИИ. Однако вполне возможно, что будущие инженерные проекты будут соответствовать и даже превосходить человеческие возможности, если мы имеем в виду способность человека действовать с определенной производительностью. Как упоминалось выше, некоторые уже давно сделали это: например, автоматические калькуляторы. Что еще более интересно, как уже упоминалось, насекомые с крошечным мозгом превосходят человеческие способности, понимаемые как компетентность.

– В вышеупомянутой статье также было отмечено, что современные проекты ИИ не обладают человеческими моральными качествами. Делает ли этот очевидный факт роботов с ИИ меньшей угрозой для человечества? Я полагаю, можно привести аргумент, что это делает их, возможно, даже большей.

– Это действительно очевидный факт, если понимать «моральные качества» в широком смысле. Без тщательного контроля разработка ИИ может представлять серьезные угрозы. Предположим, например, что уход за пациентами был автоматизирован. Неизбежные ошибки, которые можно было бы преодолеть с помощью человеческого суждения, могли бы породить ужасную историю. Или предположим, что люди были отстранены от оценки угроз, определяемых автоматизированными системами противоракетной обороны. Исторический опыт диктует однозначный ответ – это было бы концом человеческой цивилизации.

– Регулирующие органы и правоохранительные органы в Европе выражают обеспокоенность по поводу распространения ChatGPT. Недавно представленный законопроект Европейского союза пытается бороться с ИИ, классифицируя такие инструменты в соответствии с их предполагаемым уровнем риска. Согласны ли вы с теми, что ChatGPT представляет серьезную общественную угрозу? 

– Я могу легко посочувствовать усилиям по борьбе с угрозами, создаваемыми передовыми технологиями. Я, однако, скептически отношусь к возможности сделать это. Я подозреваю, что джинн выпущен из бутылки. Злоумышленники – институциональные или индивидуальные – вероятно, могут найти способы обойти меры предосторожности. Такие подозрения, конечно, не повод не пытаться и проявлять бдительность.

Перевод с английского Сергея Деменского

В иллюстрации использовано изображение автора diyah farida (CCBY3.0) и изображение автора Ruslan Dezign (CCBY3.0) и изображение автора Olena Panasovska (CCBY3.0) с сайта https://thenounproject.com/ и фото с сайта https://unsplash.com/