Читаем Рождение разума: Как интеллект зарождается в людях и нейросетях онлайн бесплатно

Знак информационной продукции (Федеральный закон № 436–ФЗ от 29.12.2010 г.)

Переводчик:Мария Кульнева

Редактор:Юлия Самуленок

Главный редактор:Сергей Турко

Руководитель проекта:Анна Деркач

Арт-директор:Юрий Буга

Корректоры:Елена Биткова, Евгений Яблоков

Верстка:Максим Поташкин

© 2025 by Gaurav Suri and Jay McClelland

This edition published by arrangement with Basic Books, an imprint of Basic Books Group, a division of Hachette Book Group, Inc., NY, NY USA via Igor Korzhenevskiy of Alexander Korzhenevski Agency (Russia). All rights reserved.

© Издание на русском языке, перевод, оформление. ООО «Альпина Паблишер», 2026

Все права защищены. Данная электронная книга предназначена исключительно для частного использования в личных (некоммерческих) целях. Электронная книга, ее части, фрагменты и элементы, включая текст, изображения и иное, не подлежат копированию и любому другому использованию без разрешения правообладателя. В частности, запрещено такое использование, в результате которого электронная книга, ее часть, фрагмент или элемент станут доступными ограниченному или неопределенному кругу лиц, в том числе посредством сети интернет, независимо от того, будет предоставляться доступ за плату или безвозмездно.

Копирование, воспроизведение и иное использование электронной книги, ее частей, фрагментов и элементов, выходящее за пределы частного использования в личных (некоммерческих) целях, без согласия правообладателя является незаконным и влечет уголовную, административную и гражданскую ответственность.

Предисловие

Наш мозг представляет собой огромную сеть клеток –нейронов, – которую оживляют волны электрической и химической активности, то нарастающие, то затухающие, то вновь набирающие силу. Наши восприятие, мысли, решения и действия – все то, что мы называемразумом, – рождаются из этих волн.

Как это происходит? Как разум может возникнуть из паттернов активности в мозге?

Для нас это один из самых древних и волнующих вопросов человечества. Он затрагивает саму нашу сущность и заставляет задуматься о месте человека во Вселенной. Он также связан с вопросом, существует ли искусственный разум и если да, то какова его природа. Мы назвали книгу «Рождение разума», чтобы предложить принципиально новый ответ на этот вопроскак .

Мы – ученые-практики, посвятившие свою жизнь изучению человеческого разума. Начиная наши исследования, поначалу независимо друг от друга, каждый из нас стремился выяснить, можно ли понять работу разумамеханистически – подобно тому как мы изучаем устройство самолета или развитие вирусного заболевания. Нам казалось, что существующие подходы к интересующим нас вопросам расплывчаты и слишком оторваны от конкретных фактов о работе мозга. Мы полагали, что опора на механистическое понимание процессов в мозге поможет нам найти более точные ответы на вопросы о природе человека.

Физик Ричард Фейнман перед смертью оставил на доске такую запись: «Чего я не могу создать, того я не понимаю». Эта фраза точно отражает суть нашего подхода. Мы стремимся создавать системы, подобные мозгу, которые воспроизводят те феномены разума, которые мы хотим понять. Разумеется, воссоздать мозг во всех деталях невозможно. Поэтому мы строим модели, абстрагируясь от множества подробностей, чтобы продвигаться вперед.

Используемые нами модели –модели нейронных сетей – основаны на принципах работы обширных нейронных сетей мозга. Они позволяют исследовать, как человеческие способности могут возникать из нейронной активности. В этих моделях мы намеренно опускаем многие сложные подробности устройства мозга, чтобы сосредоточиться на базовых процессах, помогающих понять работу нашего разума. В этой книге мы расскажем о нейронных сетях, механизмы которых проливают свет на то, как люди воспринимают мир, принимают решения, формируют понятия и ставят цели.

Эти модели также помогают найти ответы на вопросы о человеческой природе, которые давно волнуют и нас, и многих других. Такие вопросы часто начинаются со словпочему, что иоткуда . Почему мы порой не можем воплотить свои намерения в действия? Почему мы и окружающие находимся в плену предубеждений? Что позволяет нам иногда мгновенно схватывать истину, а в других случаях – совершенно не понимать очевидного? Откуда берется наша интуиция и почему она так часто нас подводит?

Поразительно, что нейронные сети, реализованные в виде компьютерных программ, стали фундаментом искусственного интеллекта. Модели, которые мы и другие исследователи изначально создавали для понимания человеческого разума, легли в основу искусственных интеллектов. Поэтому изучение того, как нейронные сети воспроизводят наши мыслительные способности, проливает свет и на современные системы ИИ. В этой книге мы рассмотрим ключевые принципы нейросетевых моделей человеческого разума, на которых основаны системы ИИ, в некоторых аспектах достигающие наших когнитивных способностей, а порой и превосходящие их. Хотя мы сосредоточимся на тех идеях, которые считаем фундаментальными, мы также затронем некоторые стремительно развивающиеся инновации в системах ИИ середины 2020-х годов – особенно в двух заключительных главах. Эти инновации увлекательны и эффективны уже сейчас, но, вероятно, в ближайшие годы их ждет еще более стремительное развитие. Где возможно, мы описываем эти идеи с акцентом на их основополагающих принципах, а не на преходящих технических решениях. Наша цель – дать читателям фундамент, который останется актуальным, даже когда изменятся конкретные технологии.

Книга состоит из четырех частей. В первой части мы начнем с описания того, как система может обладать свойствами, которые отсутствуют у любой из ее составляющих. Этот феномен –эмерджентность – лежит в основе нейросетевой концепции разума, согласно которой разум возникает из взаимодействия простых вычислительных элементов, подобных клеткам мозга. Мозговые клетки сами по себе не способны мыслить, но их взаимодействие порождает мыслящую систему. Во второй части мы покажем, как нейросетевая концепция разума помогает объяснить широкий спектр человеческого поведения. Сначала мы рассмотрим нейросетевые модели памяти, включая ее несовершенство. Затем обратимся к тому, как мы, осмысляя окружающий мир, зависим от контекста, – в том числе к тому, как ожидания формируют наши мысли. После этого мы исследуем процесс принятия решений – почему наш выбор иногда рационален, а иногда иррационален. В третьей части мы подробно расскажем, как нейронные сети – биологические и искусственные – обучаются на опыте. Мы опишем, как обучение формирует наши знания об объектах и их свойствах и как оно обеспечивает использование языка – особенно в больших языковых моделях. Наконец, в четвертой части мы расширим применение нейросетевого взгляда на разум. Мы покажем, как нейронные сети могут помочь в понимании таких феноменов, как формальное мышление, мотивированное поведение и сознание, – аспектов разума, которые пока не полностью охвачены нейросетевой теорией. В заключение обсудим некоторые следствия нейросетевого подхода – как для нас, людей, так и для наших машин.

Мы включили в книгу интерлюдии – воображаемые и вымышленные (если не указано иное) диалоги. Например, в одном из них Зигмунд Фрейд беседует с Адамом Смитом, в другом – редактор этой книги разговаривает с вымышленным посетителем бара в Нью-Йорке. Мы придумали эти разговоры, и все слова, вложенные в уста персонажей – исторических или вымышленных, – плод нашего воображения. Надеемся, эти интерлюдии оживят ваши размышления над поднятыми вопросами, так же как они оживили для нас процесс написания книги.

Мы создавали эту книгу для всех, кому интересен разум – человеческий и искусственный. Мы не предполагаем, что у читателя есть математическая подготовка. Кроме простого умножения и сложения, в книге нет ни одной формулы. Мы также не требуем предварительных знаний в области когнитивных, психологических, нейронных или компьютерных наук.

Наше понимание механизмов разума продолжает развиваться. Многое еще предстоит открыть – но то, что мы уже знаем, поражает воображение и имеет глубочайшие последствия.

Мы приглашаем вас в это путешествие. Возможно, оно изменит ваш взгляд на себя и на свое место во Вселенной.

Гаурав и Джей

Часть I Разум как нейронная сеть В первой части мы предлагаем вам рассмотреть идею о том, что разум можно продуктивно представить как результат взаимодействия клеток мозга, которые сами по себе не обладают способностями разума. Мы введем понятие эмерджентности – явления, при котором целое обладает свойствами, которые отсутствуют у его частей, – и покажем, каким образом модели нейронных сетей помогают понять, как возникает разум. Глава 1 Приглашение Когда одному из авторов этой книги, Гаураву, исполнилось 14 лет, родители подарили ему на день рождения сумму, эквивалентную примерно $50. Этих денег хватило бы на джинсы клеш – абсолютный маст-хэв для любого подростка того времени – или на долгожданную школьную поездку с друзьями. Проблема заключалась в том, что он мог позволить себе что-то одно, а хотелось и то и другое. Нужно было принять решение. И вот тем вечером, собравшись с духом, он сделал выбор: он поедет в путешествие. Джинсы, в конце концов, могут подождать. Он был уверен, что поступает правильно. Но наутро произошло нечто неожиданное: Гаурав проснулся с твердой уверенностью, что нужно выбрать джинсы. Варианты остались прежними, но его решение изменилось. Эти колебания, повторявшиеся несколько дней подряд, крайне озадачили его. В то время он только начинал осваивать компьютеры и представлял разум как своего рода компьютер, работающий по законам логики. Но какой компьютер выдает один ответ вечером, а другой – утром? Как могут меняться без видимой причины решения, основанные на логике? И если его мысли и предпочтения не результат работы логики и разума, то что же они такое? Гаурав столкнулся с вечными вопросами человечества. Как рождаются наши мысли? Почему мы поступаем так, а не иначе? Можем ли мы доверять собственным мыслям? И в более общем смысле – что такое разум и как он работает? Распространенные представления о разуме (и их недостатки) Что такое разум? Можно сказать, что это сущность внутри нас, которая порождает наши мысли, восприятие, воспоминания, чувства, решения и действия. Но что он представляет собой на самом деле? Откуда берется? Рассмотрим вкратце несколько распространенных концепций и их недостатки. Одна из концепций разума основана на религиозных традициях, многие из которых сходятся в том, что разум происходит от божественной материи или духовной субстанции, способной оживить человеческую плоть и превратить ее в личность. Нетрудно понять источник этой идеи: человеческая плоть кажется приземленной и бессмысленной. Как она может порождать интеллект? Несомненно, разум должен происходить от чего-то иного – чего-то неведомого, неземного. Чего-то, что связывает нас с бессмертным, священным и исполненным смысла. Чего-то божественного. Проблема в том, что поиск корней разума в вечном, при всей возвышенности и даже красоте этой идеи, не объясняет, что такое разум и как возникают мысли. Такой подход превращает разум в невыразимую сущность, не поддающуюся дальнейшему познанию. Если наша цель – понять, как разум порождает мысли и все остальное, что мы ему приписываем, то останавливаться на этом нельзя. Согласно второй концепции, разум представляет собой набор связанных друг с другом убеждений и желаний. Например, убеждение: «Люди с учеными степенями больше зарабатывают». Соответствующее желание: «Я хочу получить высокооплачиваемую работу». Логично предположить, что убеждения и желания взаимодействуют, порождая намерения и действия. Когда нас спрашивают, почему мы поступили определенным образом, мы можем сослаться на убеждения и желания, которые, по-видимому, повлияли на наше решение. Почему мы поступили в аспирантуру? Можно ответить: «Чтобы получить работу с хорошей зарплатой». Возможно, работа разума заключается во взаимодействии убеждений и желаний, формирующих цели, которые затем направляют наше поведение. Недостаток модели «убеждения-желания» состоит в том, что она не объясняет происхождение этих убеждений и желаний. Как такие абстрактные явления, как убеждения и желания, возникают из физических процессов в мозге и как они порождают физические действия – движения, поступки, речь? Кроме того, модель не объясняет, почему люди часто действуют вопреки своим убеждениям и желаниям. Например, пациенты не принимают жизненно важные лекарства, а работники не открывают пенсионные счета, необходимые для финансовой стабильности. И это происходит несмотря на то, что эти люди верят в эффективность лекарств и хотят обеспечить себе достойную старость. Тем не менее они бездействуют. Еще одна концепция представляет разум как программное обеспечение, которое получает данные из внешнего мира и применяет к ним набор правил, возможно, заложенных эволюцией. И действительно, в некоторых случаях работа разума напоминает применение правил: если у животного есть крылья и оно летает, мы, скорее всего, отнесем его к птицам; мы выбираем блюдо в ресторанном меню, полагая, что оно будет лучше по сравнению с другими вариантами; мы образуем прошедшее время недавно возникшего глагола fax как faxed в соответствии с простым правилом: прошедшее время глагола в английском языке чаще всего образуется добавлением окончания ed . Проблема концепции «разум как программа» в том, что она не продвигает нас далеко в понимании разума. Да, многие птицы летают, но мы узнаем птицу, даже если она не умеет летать. Да, мы часто выбираем в меню то, что нам нравится, но на наш выбор влияют факторы, не связанные с внутренней ценностью, – например, расположение блюда в верхней части страницы. Да, мы часто добавляем ed для образования прошедшего времени, но существует множество неправильных глаголов, где это правило не работает (например, sleep превращается в slept ). Еще одно существенное ограничение этих моделей – они не привели к созданию работающих систем искусственного интеллекта. Подход, который мы представляем в нашей книге, оказался гораздо успешнее. Согласно последней концепции, с которой мы часто сталкиваемся, различные аспекты разума зависят от отдельных «специалистов», каждый из которых располагается в своей специализированной области мозга. С этой точки зрения, мы двигаемся благодаря областям мозга, специализирующимся на движении; видим благодаря областям, отвечающим за зрение; чувствуем мотивацию благодаря областям, специализирующимся на мотивации; говорим благодаря языковым зонам – а в некоторых версиях этой теории мышление также осуществляется специализированными «мыслительными» областями. Бесспорно, области мозга демонстрируют определенную степень специализации. Вопрос в том, откуда она берется. Согласно одному подходу, который отстаивает философ Джерри Фодор в книге «Модулярность разума» (The Modularity of Mind), специализация возникает благодаря особым внутренним свойствам этих областей мозга, отобранным эволюцией для выполнения специфических вычислений. Хотя области мозга действительно в некоторой степени различаются по внутренней структуре, в нашей книге мы представляем иную точку зрения: специализация в основном является следствием различий между входящими и исходящими связями разных областей мозга. Например, часть мозга, называемая зрительной корой, играет важную роль в зрительном восприятии именно потому, что получает особенно мощный сигнал от глаз. Это означает, что изменение входящих сигналов должно изменить и функцию данной области мозга. И действительно, у людей, слепых от рождения, зрительная кора не получает визуальной информации и перепрофилируется для невизуальных задач – обработки слуховых или тактильных сигналов, которые также частично поступают в эту область. Вместо представления о разуме как наборе жестко специализированных модулей такой подход предлагает видеть его как гибкую систему, формируемую опытом, обучением и требованиями среды. Это помогает объяснить существование того, что некоторые ученые называют «областью визуальной формы слова», – области мозга, которая специализируется на чтении написанных слов. Было бы странно утверждать, что эволюция создала эту область специально для чтения, ведь письменность была изобретена всего около 5000 лет назад. 5000 лет – слишком малый срок для эволюции, чтобы путем естественного отбора сформировать специализированный модуль чтения. И все же у людей, умеющих читать, эта область мозга действительно специализируется на чтении. Почему? Чтение требует различения тончайших визуальных деталей – например, различий между очень похожими буквами. Область визуальной формы слова получает мощные сигналы от нейронов зрительных областей мозга, обладающих максимальной чувствительностью к деталям, и потому вовлекается в процесс чтения. У людей, не умеющих читать, эта область специализируется на других задачах, также требующих различения мелких деталей, например на распознавании лиц. Такие факты подтверждают нашу точку зрения: специализация в мозге формируется опытом и зависит от входящих и исходящих связей областей мозга, а не от заранее заданных эволюцией функций. Мы рассмотрели несколько концепций разума, каждая из которых обладает определенными недочетами. Теперь обратимся к концепции, которая открыла путь к гораздо более глубокому пониманию разума и сделала возможным развитие искусственного интеллекта: к представлению о разуме как о явлении, возникающем в нейронной сети. Что такое нейронная сеть? Осознав ограниченность привычных представлений о разуме, некоторые ученые и математики решили подойти к его пониманию совершенно по-новому. Они предположили, что, возможно, стоит начать с изучения продуктов деятельности разума, то есть мыслей и действий, путем отслеживания сигналов в сетях нейронов головного мозга. Мозг состоит из миллиардов клеток, которые называются нейронами . Нейрон – это базовый элемент, который обрабатывает и передает информацию в мозге и всей нервной системе. На самом элементарном уровне функции нейронов вполне понятны. Они способны: 1) активироваться – то есть генерировать короткие электрические импульсы, называемые потенциалами действия ; 2) передавать сигналы другим нейронам, с которыми соединены физически; 3) создавать новые связи с другими нейронами или изменять силу существующих. Теперь попробуем представить себе сеть нейронов. Изображать настоящие нейроны довольно сложно, поэтому договоримся обозначать их кружками, которые будем называть элементами сети. Некоторые элементы связаны между собой, и эти связи мы можем показать стрелками. Элементы, которые активируются сигналами из внешнего мира, назовем входными ; те, что передают сигналы во внешний мир, – выходными ; а элементы без контакта с внешним миром – скрытыми . Мы изобразили нейронную сеть (рисунок 1.1). Рисунок 1.1. Примитивная модель нейронной сети Как же такая нейронная сеть поможет нам понять разум? Чтобы показать возможности подобного подхода, представим автобус, несущийся на пешехода на переходе. Если рассматривать мозг пешехода как нейронную сеть, то сигналы, обнаруживающие большой движущийся объект, передаются через глаза к входным элементам. Те, в свою очередь, посылают сигналы скрытым элементам, которые активируют выходные элементы, заставляющие мышцы ног сократиться и унести тело с опасного места. Стрелки здесь показывают направление передачи сигналов: например, входные элементы воздействуют на скрытые, поэтому между ними идут прямые стрелки. Обратите внимание: это объяснение основывается на том, что мы знаем о возможностях нейронов. Получается, что наши нейроны – каждый из которых сам по себе не способен «думать» о том, чтобы увернуться от несущегося автобуса, – совместными усилиями осуществляют это действие, обмениваясь сигналами и активируя друг друга. Согласно теории нейронных сетей, все мысли и действия разума возникают благодаря взаимодействию нейронов. Больше ничего нет. Разумеется, передача сигналов между нейронами в мозге устроена сложнее, чем в нашем упрощенном примере. Но можно достичь существенного прогресса, сосредоточившись на нескольких ключевых аспектах этого процесса. Во-первых, нейроны способны менять частоту генерации потенциалов действия – это можно представить как градуированную степень активации. Во-вторых, каждый нейрон способен принимать сигналы от множества других нейронов. По крайней мере в первом приближении можно сказать, что нейроны суммируют поступающие к ним сигналы активации и чем больше эта сумма, тем сильнее активируется сам нейрон. В-третьих, нейроны создают и изменяют силу связей в зависимости от опыта. Например, знакомство с новым человеком может сформировать связи между нейронами, которые представляют его лицо, и нейронами, которые представляют его имя. При повторных встречах эти связи укрепляются. Прочная связь между двумя нейронами позволяет им сильнее воздействовать друг на друга. На схеме крайне сложно отобразить множество нейронов, активирующихся с разной интенсивностью и одновременно влияющих друг на друга через связи различной силы. Но одному из нас, Джею Макклелланду, помогла визуальная аналогия, которая позволила ему осмыслить одновременную работу элементов нейронной сети (рисунок 1.2). Рисунок 1.2. Горный поток, падающий в природные резервуары, можно использовать как иллюстрацию некоторых аспектов одновременной работы нейронной сети Джей был тогда молодым доцентом, который пытался понять разум не как систему, последовательно обрабатывающую разрозненные идеи, а как непрерывный процесс, подверженный множеству воздействий различной интенсивности. Во время похода по Йосемитскому национальному парку, там, где другие люди видели горный поток, каскадами падающий из одного природного резервуара в другой, Джей вдруг увидел метафору непрерывных процессов разума. Он представил, что разные резервуары соответствуют разным мыслям. Количество воды в них соответствует их активации. Каждый водоем может получать воду из нескольких других, и уровень воды в нем определяется суммой всех этих струй. Одни бассейны соединены глубокими или широкими протоками, несущими мощные потоки, другие – едва заметными ручейками. Эти соединения напоминали связи различной силы, объединяющие мысли друг с другом. Он понял, что эта метафора позволяет думать о разуме как о нейронной сети, и вскоре начал строить модели, во многом опираясь на это интуитивное представление. Метафора Джея, как и любая другая, несовершенна, но, помимо иллюстрации процессов в нейронной сети, ее механистическая природа указывает на заманчивую возможность: операции разума можно понять как физический процесс, подобный течению воды под уклон или повороту растений к свету, а не как проявление какой-то загадочной сущности. Не может ли это стать отправной точкой для разгадки всех тайн разума? Возникновение разума в нейронной сети Возможно, вы уже начинаете признавать, что нейронная сеть действительно открывает путь к пониманию разума. И все же вас может смущать мысль о том, что мышление возникает из взаимодействия нейронов, каждый из которых сам по себе мыслить не способен. Центральная идея нашей книги: мышление возникает из компонентов, которые сами не могут мыслить. Примеры помогут понять явление эмерджентности. Одно из самых впечатляющих проявлений эмерджентного поведения – согласованный полет птичьей стаи, обычно скворцов или ласточек. Стая движется как единое целое, пульсирует и колышется, создавая завораживающий воздушный балет (рисунок 1.3). Это явление называется мурмурацией, и, наблюдая за ним, легко поддаться ощущению, что стая – это единый организм с собственным разумом, который каким-то образом координирует движения всех своих частей. Рисунок 1.3. Завораживающие сложные узоры птичьих стай не создаются дирижером. Они возникают из относительно простого поведения каждой отдельной птицы Но никакого управляющего интеллекта нет. Каждая птица просто взаимодействует с несколькими ближайшими соседями в определенном радиусе. Каждая реагирует на изменения направления и скорости полета своих непосредственных соседей. Эти локальные взаимодействия создают эффект домино: малейшее изменение в полете одной птицы распространяется по стае, порождая грациозное скоординированное движение. Ни одна птица не знает об общем рисунке движения стаи – он возникает сам. Это похоже на влажность воды. Ни одна молекула воды не обладает свойством влажности. Влажность возникает благодаря электрическому взаимодействию молекул воды друг с другом и с поверхностями, которых они касаются. Эмерджентность проявляется и в группах людей – толпа может быть способна на жестокость, на которую не способен ни один из ее участников в одиночку. В этой книге мы покажем – без математики и технических подробностей, – как многое из того, что мы приписываем разуму (мысли, решения, эмоции), может возникать из взаимодействия нейронов. Мы еще многого не понимаем в этих процессах, но модели, созданные нами и другими исследователями, а также накопленные знания о мозге уже показывают, как наш опыт, мысли и действия могут рождаться в нейронной сети. Путешествие, изменившее все Любопытство Гаурава относительно природы его решений в конце концов привело его в аспирантуру Стэнфордского университета [1] . К тому времени он уже был знаком с нейронными сетями и эмерджентностью. Он интуитивно чувствовал потенциал этих идей, но еще не мог полностью связать их с волновавшими его вопросами. И вот однажды Гаурав попал на семинар Джея Макклелланда, который к тому времени был уже маститым профессором. Больше всего Гаурава поразила бескомпромиссная конкретность подхода Джея. Он не отмахивался от важных деталей, не ссылался на непостижимые теоретические концепции, не занимался спекуляциями и не делал удобных допущений. Вместо этого Джей выбирал явление, которое хотел понять, формулировал набор четких исходных принципов и предположений, а затем прозрачно применял эти принципы для вычисления активаций нейронной сети при заданных входных сигналах. Гаурав пришел к Джею, чтобы лучше понять его подход. Первое явление, которое Джей продемонстрировал Гаураву, касалось извлечения информации о группе людей. Это была разработанная Джеем нейронная сеть, которую мы опишем в главе 4. Гаурав тщательно проследил активации в сети и с восторгом обнаружил, что нейронная сеть способна делать логические выводы. Эта способность не была заложена в сеть явно – она возникла из взаимодействия элементов сети. Это стало поворотным моментом. Он помнит, как сидел за столом и сказал себе: «Я уже никогда не буду думать о разуме так, как думал раньше». Цель нашей книги – дать читателям возможность пережить такое же откровение. Для достижения этой цели мы отобрали результаты экспериментов с людьми, животными и искусственными нейронными сетями, которые проливают свет на важнейшие аспекты человеческого разума. Эти примеры показывают, как мы воспринимаем мир, формируем понятия, принимаем решения, испытываем эмоции, проявляем самоконтроль, используем и понимаем язык и даже как мы мыслим и рассуждаем. Каждое явление, которое мы стремимся объяснить, подкреплено обширными экспериментальными данными, позволяющими оценить объяснительную силу разрабатываемых нами нейросетевых моделей. Дополнительный бонус: понимание искусственного интеллекта Для нас стремление понять собственный разум – возвышенная цель сама по себе, которая не требует дополнительных стимулов помимо внутренней ценности самопознания. Но оказалось, что изучение разума через нейронные сети дает полезный и неожиданный бонус: понимание современных систем искусственного интеллекта, которые основаны на тех же принципах нейронных сетей, что изначально разрабатывались для понимания человеческого разума. Современные системы ИИ намного превзошли ранние попытки создать машины, способные распознавать изображенные объекты. Они могут переводить с одного языка на другой, улавливая тончайшие смысловые оттенки, превосходят человека в глубоко интуитивных играх вроде го и ведут естественную, похожую на человеческую беседу на практически неограниченный круг тем. Этот список впечатляющих достижений наверняка будет расти в ближайшие годы. На волне восторгов по поводу этих прорывов потерялось важное понимание: системы машинного обучения, демонстрирующие такие способности, – это, по сути, нейронные сети, во многом похожие на модели, которые мы и другие исследователи используем для изучения ключевых аспектов человеческого разума уже более 50 лет. Их интеллект основан на заимствованной у мозга концепции: совокупности нейроноподобных элементов, которые возбуждают и тормозят друг друга через связи. Несмотря на десятилетия усилий, предыдущие версии ИИ, опиравшиеся на символы, обозначающие объекты и отношения в соответствии с системами правил, не достигли уровня интеллекта, который теперь воплощен в нейросетевом ИИ. Более того, нейронные сети в ИИ также демонстрируют эмерджентные свойства – свойства, присущие системе в целом, но отсутствующие у ее отдельных компонентов. Например, они действуют в соответствии с правилами, которым их никогда явно не обучали, и улавливают языковые нюансы, которые никому не удавалось формализовать с помощью явных систем правил или алгоритмов, напрямую запрограммированных людьми. Иногда они могут создавать у людей впечатление, что перед ними разумные человекоподобные существа. У этих систем все еще много недостатков, но, вероятно, они будут продолжать совершенствоваться. Чтобы понять эти новые разумоподобные системы среди нас, полезно иметь представление о нейронных сетях и их эмерджентных свойств. Мы подробнее рассмотрим концепцию эмерджентности и более детально изучим свойства реальных и искусственных нейронных сетей. Мы покажем, как эти сети позволяют воспроизвести многие аспекты человеческого опыта, мышления и поведения и как они привели к созданию машин с порой сверхчеловеческими способностями. Мы рассмотрим их сильные и слабые стороны, некоторые неисследованные направления и их значение для нас самих, для наших систем искусственного интеллекта и для того, как мы можем лучше взаимодействовать друг с другом и с нашими машинами. Путь, по которому мы вас приглашаем пойти, ведет к пониманию того, как возникает интеллект, – будь то биологический интеллект человеческого разума или искусственный интеллект машины. Интерлюдия. «Это не я» Июнь 2023 г. Нью-Йорк. Т. Дж. Келлехер, научный редактор издательства Basic Books, провел день в своем манхэттенском офисе за изучением заявки на книгу «Рождение разума». Теперь он зашел в бар Jimmy’s на 44-й улице выпить после работы. Другой посетитель, художник Пабло, узнав, чем занимается Т. Дж., спрашивает, попадались ли ему интересные книжные проекты. Т. Дж. Вообще-то есть один. В этой книге утверждается, что все наши мысли и чувства порождаются клетками мозга. По мнению авторов, все, что мы собой представляем, все наши действия, по сути, вся наша личность – результат работы этих клеток. И больше ничего нет. Пабло (энергично мотает головой). Ну уж нет, такую книгу публиковать не стоит. Ни в коем случае! Т. Дж. Почему? Пабло. Расскажу вам одну историю – она вас убедит. Это случилось со мной на самом деле. Я как-то был на художественных курсах, и к нам пришел нейробиолог из Нью-Йоркского университета с кучей зарисовок мозговых клеток – нейронов, как он их называл. Он хотел создать арт-проект, подчеркивающий их красоту. Даже дал нам посмотреть на них в микроскоп и… Т. Дж. Нейроны и правда красивые. Сантьяго Рамон-и-Кахаль… Пабло. Да-да, именно. Он показывал нам рисунки Рамон-и-Кахаля. Но знаете что? Он хотел делать искусство с нейронами именно потому, что верил: наш разум возникает из этих штук. Никому же не приходит в голову делать арт-проекты про клетки почек! Нейроны интересны и красивы именно потому, что из них якобы возникает наша личность. Ваши авторы утверждают то же самое, верно? Т. Дж. Верно. Пабло. Помню, я смотрел на эти рисунки, качал головой и думал: «Нет, нет и нет. Я – это нечто необъятное. Мои мысли – это гораздо больше, чем электричество в нейронах. Эти крошечные штучки не могут быть мной». Т. Дж. А почему нет? Пабло. Сейчас скажу то же, что сказал ему! Я задал простой вопрос: может ли он объяснить, как наш разум возникает из этих нейронов? Т. Дж. И что он ответил? Пабло. Ничего. Он не смог даже начать объяснять, как нейроны позволяют нам воспринимать мир, испытывать эмоции, принимать решения, понимать абстрактные концепции или заниматься математикой. Пока кто-нибудь не сможет убедительно объяснить, как разум возникает из мозга, нам следует помалкивать на эту тему. Т. Дж. кивает и молча смотрит в свой бокал. Пабло (разворачивается на барном стуле к Т. Дж.). О чем задумались? Т. Дж. О том, что, если я собираюсь принять рукопись книги «Рождение разума» к публикации, авторам лучше бы подготовить план ответов на ваши вопросы. Глава 2 Как разум может возникнуть из мозга? Представьте: вы переезжаете в новый город и выбираете квартиру из нескольких вариантов. Агент по недвижимости подобрал несколько предложений, большинство из которых вас не устраивают. Первая квартира – слишком далеко от вашей работы, вторая – от работы вашей девушки, третья – рядом с шумной магистралью, четвертая – темная, пятая – дорогая, но вот шестая! Шестая – то что надо. Вы в восторге звоните девушке и объясняете, почему стоит внести залог: идеальное расположение, все нужные удобства и подходящая цена. Она соглашается и дает добро. Вы тут же звоните агенту. Эта сценка – типичный пример мышления . Размышляя, мы собираем нужную информацию, анализируем ее в соответствии с приоритетами и приходим к решению. Мы проделываем это изо дня в день, и именно такие мысли составляют ткань нашего повседневного опыта – настолько привычную, что мы перестаем замечать, насколько это удивительно. Жизнь в том виде, в каком мы ее знаем, трудно представить без осознанных мыслей, и очевидно, что именно они направляют наши действия. Восприятие, мысли, решения и действия – все это процессы, составляющие наш разум. Но откуда берется сам разум? Большинство ответит, что разум каким-то образом порождается мозгом. Но как именно мозг создает процессы, которые мы называем разумом? Мы можем представить, как сердце качает кровь или сокращаются мышцы. Но какие процессы в мозге способны породить наши мысли? Какие процессы могут создавать поэзию, мосты, математику и вакцины? И откуда мозг знает, как выбрать ту самую подходящую квартиру? Именно эта загадка не давала покоя французскому философу и ученому Рене Декарту. Блестящая ошибка Декарта В 1630-х годах, прогуливаясь по королевским садам Версаля, Декарт обнаружил нечто удивительное. Стоило ему наступить на определенные плиты дорожки, как приходила в движение расположенная неподалеку статуя. Заинтригованный, он выяснил устройство механизма. Оказалось, что статую приводила в движение вода, текущая по гидравлическим трубкам. Поток запускался, когда кто-то наступал на плиту, соединенную с системой труб. Вдохновленный этим открытием, Декарт предположил, что похожий механизм отвечает за движения живых существ. По его теории, внешние раздражители – например, жар от огня – заставляли «животные духи», заключенные в крошечных трубочках (сегодня мы знаем их как пучки нейронов), устремляться к шишковидной железе в мозге (рисунок 2.1). Оттуда «животные духи» перенаправлялись по другим трубочкам к той части тела, которая должна была среагировать – например, отпрянуть от огня. Идеи Декарта оказались ошибочными практически во всем. Нейроны не содержат жидкости, которую он себе представлял, нервные сигналы передаются не через давление в жидкостях, а шишковидная железа не участвует в регуляции движений. И все же его догадка была гениальной. Декарт верно уловил, что наши действия – это механический процесс, способный работать без управления со стороны некоего высшего разума. Он полагал, что если кровообращение – механистический процесс, подобный работе водяного насоса, то и некоторые аспекты разума (например, отдергивание руки от источника боли) могут оказаться механистическими процессами того же рода. Рисунок 2.1. Декарт предположил, что отстранение человека от раздражителя можно объяснить механистически, не прибегая к идее управляющего центра. Его объяснение включало движение жидкости по крошечным трубочкам, отчасти напоминающим нервные волокна. Он считал, что таким образом можно объяснить все поведение животных и отчасти поведение человека. Иллюстрация из трактата Декарта «Человек» (L’Homme) Однако смелость Декарта имела границы. В своих трудах он не допускал мысли, что человеческое мышление тоже может быть механистическим процессом. Вместо этого он постулировал существование бестелесного духа, который взаимодействует с телом, но существует отдельно от него. По Декарту, именно эта духовная субстанция, или душа, наделяла людей разумом, способным к мышлению, – использованию языка, следованию законам логики и занятиям математикой. Мало кто из современных ученых полностью поддерживает дуалистическое учение Декарта. Однако его ключевая идея – что высшие функции разума качественно и принципиально отличаются от более простых механистических процессов, которые роднят нас с животными, – сохраняется в разных формах. Многие авторитетные психологи, прежде всего Даниэль Канеман, утверждают, что существует две отдельные системы мышления: одна управляет автоматическими, рефлекторными действиями, другая – медленным, осознанным мышлением. Многие видные лингвисты, прежде всего Ноам Хомский, убеждены, что человеческий разум от рождения настроен на освоение и использование языка. По их мнению, именно уникальный языковой модуль человека, управляемый особым набором правил и качественно отличающийся от других когнитивных процессов, делает возможным язык и служит главным отличием людей от животных. Значительная часть когнитивистов, работающих с вычислительными моделями, по-прежнему считают, что наша способность к логическому и математическому мышлению опирается на особую символическую систему, отличную от нейронных систем, которые управляют нашими базовыми реакциями на сенсорные стимулы. Многие другие ученые – и мы относим себя к их числу – выбирают иной подход. Они исходят из того, что все наши мысли, переживания и действия возникают как эмерджентный результат нейронной активности мозга. Взаимодействие нейронов, которое происходит по общим базовым принципам, порождает не только простые рефлекторные движения, описанные Декартом, но и наши сложнейшие когнитивные процессы, связанные с языком и математикой. Взаимодействие нейронов – вот двигатель разума. На первый взгляд это утверждение вызывает недоумение. Как может система, целиком построенная на нейронах, – каждый из которых сам по себе не способен на мышление, – порождать весь спектр человеческого познания? Неожиданно удачную метафору для понимания нашего интеллекта дает поведение муравьев. Интеллект муравьев Если вам доведется увидеть муравьиную тропу от гнезда к источнику пищи и обратно, проведите эксперимент: поставьте на их пути препятствие так, чтобы вокруг него были короткий и длинный обходные пути. Например, муравьи, подойдя к препятствию, могут повернуть направо и пойти коротким путем или повернуть налево и пойти длинным. Понаблюдайте за их поведением. А если муравьев под рукой нет, просто попробуйте предсказать, как они поступят. Развернутся ли муравьи, идущие от гнезда, и пойдут обратно? Или разделятся на два примерно равных потока – половина длинным путем, половина коротким (рисунок 2.2, третий ряд)? Или каким-то образом сообща выберут короткий обход? Оказывается, муравьиные колонии превосходно находят оптимальный маршрут. Буквально за несколько минут почти все муравьи начинают обходить препятствие коротким путем (рисунок 2.2, нижний ряд). Словно знание о кратчайшем пути мгновенно становится достоянием всей колонии. Как такое возможно? Откуда берется интеллект муравьиной колонии? Когда мы задаем людям этот вопрос, первым делом они начинают очеловечивать муравьев. Может, возвращающиеся муравьи как-то сообщают встречным, чтобы те поворачивали направо, а не налево? Но для этого муравьям нужно было бы оперировать довольно абстрактными понятиями длинного и короткого расстояния и уметь осмысленно передавать эти понятия сородичам. Нет никаких свидетельств, что муравьи обладают такими способностями. Может, более разумная королева-матка как-то направляет колонию по лучшему маршруту? Но матка обычно остается в гнезде, да и будь она рядом, у нее нет интеллекта, позволяющего осмыслять расстояния. Рисунок 2.2. Муравьи словно «знают», где более короткий путь обхода препятствия О муравьях известны два общих факта. Во-первых, передвигаясь от гнезда к источнику пищи и обратно, они оставляют следы химических веществ – феромонов . Во-вторых, муравьи склонны идти по феромонным следам, проложенным сородичами. Для объяснения выбора маршрута достаточно предположить, что муравей пойдет по пути с наибольшей концентрацией феромонов. Вот как можно объяснить коллективную способность муравьев выбирать короткий обход препятствия, опираясь на эти два факта. Представим мир, в котором живут всего два муравья, путешествующих от гнезда к источнику пищи (рисунок 2.3). По дороге они натыкаются на препятствие (1). Первый муравей по имени Лев обходит препятствие слева, а второй, Прав, – справа. Оба оставляют за собой феромонный след. Как видно на рисунке, препятствие устроено так, что путь Права оказывается короче пути Лева. Идя коротким путем, Прав добирается до пищи первым (2). Он хватает кусочек и должен нести его в гнездо. Но какой дорогой возвращаться? Феромонами помечен только один путь – тот, которым Прав сюда пришел. Поэтому Прав идет назад по собственным следам. Между тем Лев, выбравший длинный обходной путь, наконец добирается до пищи (3). Он тоже хватает кусочек и должен возвращаться. Но каким путем? Теперь у него два варианта: короткая дорога, которой Прав прошел дважды (туда и обратно), или длинная, которой только что пришел сам Лев. На коротком пути больше феромонов, ведь Прав прошел по нему дважды. Поэтому на обратном пути Лев выберет короткую дорогу (4). Рисунок 2.3. Когда один муравей (Прав) находит пищу и возвращается своим путем, второй муравей (Лев) следует за ним. Оба муравья просто идут по самому сильному феромонному следу домой Механизм, работающий для Лева и Права, действует и для всей колонии. Последующие муравьи, выбирая дорогу к пище и обратно, обнаружат более высокую концентрацию феромонов на коротком пути. Следовательно, они тоже предпочтут его. Мы описали модель – упрощенное представление реальности, которое показывает последствия двух базовых принципов: откладывания феромонов и следования по феромонным следам. Модель демонстрирует, что способность колонии находить кратчайший обход препятствий может быть эмерджентным следствием этих двух простых форм поведения, определяющих поведение всей популяции. При этом ни одному отдельному муравью не нужно взвешивать альтернативы и сознательно выбирать оптимальный маршрут. Мы точно так же рассматриваем разум как эмерджентный результат активности нейронов в мозге. Мыслительные способности нашего разума вовсе не обязаны зависеть от мыслительных способностей отдельных изолированных нейронов. Мы предлагаем вам рассмотреть возможность того, что некоторые способности муравьиной колонии служат удачной метафорой мыслительных способностей разума. Как внешне целенаправленное поведение муравьиной колонии возникает из действий муравьев, которые на индивидуальном уровне не преследуют никакой конкретной цели, так и мощные возможности человеческого разума могут возникать из взаимодействия нейронов, которые поодиночке не способны на то, что мы считаем интеллектом. Главная цель этой книги – показать, как именно способность к мышлению возникает из совместной деятельности множества нейронов, порождающих опыт, мысль и действие. Нейронные сети станут ключевым инструментом в поиске ответа на этот вопрос «как». Интерлюдия. Интеллект слизевиков Сентябрь 1999 г. Токио. Тосиюки разглядывает плазмодиального слизевика. Вид, который он изучает, Physarum polycephalum, ярко-желтый, как Губка Боб, и немного напоминает коралл или лишайник. У него в буквальном смысле нет мозга. И все же Тосиюки, похоже, пытается выяснить, способен ли слизевик выбраться из лабиринта. Он нарезал одного polycephalum на кусочки и разместил их по всему пластиковому лабиринту. На двух концах лабиринта он положил корм для слизевика. Между источниками пищи есть только один прямой путь – все остальные ведут в тупик или петляют. Слизевик кажется совершенно неподвижным, да и Тосиюки тоже замер. Через несколько минут он засыпает. В комнату входит его дочь Марико, только что вернувшаяся из школы, и начинает разглядывать слизевика. Спустя некоторое время… Тосиюки (просыпается, смотрит на дочь). Почему ты улыбаешься? Марико. Ты проснулся как раз вовремя! Тосиюки. В каком смысле? Марико. Когда ты заснул, слизевик был только там, куда ты его поместил. Потом он разросся по всему лабиринту – заполнил каждый проход, включая тупики. Но теперь посмотри! Он остался только на кратчайшем пути между двумя кусочками еды! Твой эксперимент удался! Тосиюки (кивает). Я много раз наблюдал это явление, но оно все равно меня поражает. Марико. Как он вообще может знать, где кратчайший путь между двумя точками? Тосиюки. Вот это, Марико-тян, правильный вопрос. Досадно, но мы пока точно не знаем ответа. Моя догадка – слизевик выделяет химический маркер в слизи, который помогает ему помнить, где он уже побывал. Марико. То есть кусочки слизевика могут общаться друг с другом? Тосиюки. Да, примитивным способом, через химические сигналы. Марико. Ты хочешь сказать, что слизевик разумен? Тосиюки. Давай подумаем, на что он способен. Ты видела, что он находит самый эффективный путь между двумя точками. Он выбирает условия, наиболее благоприятные для выживания, – по сути, принимает решения. Так что да, я бы сказал, что слизевик обладает своего рода интеллектом. Марико. Как что-то может быть разумным, если ни одна его часть не обладает разумом? Тосиюки. В природе такое происходит постоянно. Муравьиные колонии умеют находить кратчайший путь в обход препятствия, но отдельный муравей на это не способен. Пчелиные рои выбирают лучшие места для ульев, но одна пчела этого сделать не может. Со слизевиком та же история. Эти формы интеллекта возникают из взаимодействия элементов системы, которые сами по себе интеллектом не обладают. Марико. Но это же просто иллюзия интеллекта! Группы, о которых ты говоришь, только выглядят разумными. Они не обладают разумом так, как им обладают люди. Тосиюки. Почему же? Марико. Хотя бы потому, что люди – не колония и не суперорганизм. Мы индивидуальности. Тосиюки. А что, если представить человеческий мозг как своего рода колонию нейронов? Ни один нейрон не обладает разумом, но вместе… Марико (после паузы). Мне все равно кажется, что это не так. Мы действуем через мышление. А слизевик не думает. Тосиюки. Я понимаю твои чувства. Но природа как будто подсказывает нам, что пора пересмотреть наши представления о собственном мышлении. Понимание разума через эмерджентность в нейронных сетях Нейрон – это клетка. Базовый элемент нервной системы. В вашем мозге около 100 млрд нейронов, и еще миллиарды находятся в остальных частях тела. Многие нейроны мозга соединены между собой обширными связями. В этом смысле ваш мозг представляет собой нейронную сеть. Как и муравей (или отдельная птица в примере с мурмурацией из главы 1), нейрон обладает довольно ограниченным репертуаром действий. В частности, он посылает другим нейронам короткие электрические импульсы – потенциалы действия, или спайки . Их можно записать с помощью электродов, введенных в мозг, и передать на динамик, где каждый импульс звучит как тихий щелчок. Без внешней стимуляции типичный нейрон генерирует импульсы с низкой частотой. Назовем это его базовой частотой активации . При возбуждении нейрон генерирует потенциалы действия с частотой выше базовой. При торможении его частота активации падает ниже базового уровня. Некоторые нейроны способны напрямую активироваться сигналами из внешнего мира – это особые нейроны сенсорных рецепторов . Большинство же нейронов получают входные сигналы от других нейронов, с которыми они связаны. Эти сигналы могут либо возбуждать нейрон (повышая частоту его активации), либо тормозить его (снижая эту частоту). Как же такая активация может образовывать целое? Оказывается, еще как может. Рассмотрим один из первых примеров нейронной сети, способной делать то, что не под силу ни одному из составляющих ее нейронов. Этот пример взят из работ нейробиологов Дэвида Хьюбела и Торстена Визеля, которые с помощью сети нейронов объяснили, как мы начинаем выстраивать картину окружающего мира. В основу их модели легли новаторские наблюдения за зрительной корой кошки, перед которой они демонстрировали слайды. За свой вклад в науку Хьюбел и Визель получили Нобелевскую премию по физиологии и медицине в 1981 г. Когда в 1950-х годах Хьюбел и Визель начинали свои исследования, уже было известно, что многие нейроны глаза реагируют на свет генерацией потенциалов действия. Как и следовало ожидать, частота их активации значительно превышает базовую, если световое пятно попадает в центр их рецептивного поля (участка пространства, к которому нейрон наиболее чувствителен), и остается на базовом уровне, если пятно находится вне этого поля. Удивительная особенность этих клеток состоит в том, что, если световое пятно располагается чуть в стороне от центра рецептивного поля, они не активируются чуть выше базового уровня, как можно было бы предположить. Напротив, их активность падает ниже базовой частоты . Иными словами, активность нейрона сетчатки подавляется, если световой стимул находится в его рецептивном поле, но смещен от центра (рисунок 2.4). Все это было известно и понятно. Загадка, которую пытались разрешить Хьюбел и Визель, заключалась в другом: как разум способен распознавать осмысленные формы, если нейроны реагируют лишь на точки света? Глядя на окружающий мир, мы видим предметы разных цветов и форм, расположенные в пространстве. Но нейроны глаза не реагируют на объекты как таковые. Они активируются в ответ на точечные световые стимулы – пятнышки или точки. Хьюбел и Визель заключили, что распознавание объектов вроде лиц или домов должно происходить в мозге. Но как именно? Они решили начать с поиска нейронов, которые активируются в ответ на целые объекты. Рисунок 2.4: Хьюбел и Визель знали, что зрительные нейроны активируются выше базового уровня, когда световое пятно попадает в центр их рецептивного поля; остаются на базовом уровне, когда пятно находится вне поля; активируются ниже базового уровня, когда пятно смещено от центра, но все еще находится в пределах рецептивного поля Они с энтузиазмом взялись за дело. Их научная работа напоминала приключения двух мальчишек, увлеченно собирающих робота в гараже. Зрительные стимулы для кошек они мастерили из картона, наклеивали на слайды и показывали через слайд-проектор. Вместо экрана натянули простыню на потолочные трубы, отчего лаборатория стала похожа на цирковой шатер. Когда они впервые обрабатывали кошку формальдегидом, то случайно устроили друг другу химический душ – и это показалось им безумно смешным. План состоял в том, чтобы показывать кошке различные стимулы (от греческого stimulus – так нейробиологи называют входной сигнал), предварительно введя электрод в участок мозга, обрабатывающий зрительную информацию (рисунок 2.5). Электрод обладал достаточной чувствительностью для регистрации потенциалов действия отдельных нейронов. Если в мозге кошки найдется нейрон, реагирующий на конкретный стимул, рано или поздно электрод его обнаружит. Рисунок 2.5. Случайно обнаружив детекторы границ, Хьюбел и Визель приступили к их систематическому изучению, записывая потенциалы действия нейронов зрительной коры кошек План был смелым, но у них почти не было опыта в записи активности отдельных клеток. Они знали нейробиолога Вернона Маунткасла, на счету которого были сотни таких записей. «Мы понимали, что нам его не догнать, поэтому сразу завоевали уважение к себе, пронумеровав свою первую клетку как № 3000, и продолжили счет оттуда», – вспоминали они позже. План сработал. «Наша серия произвела впечатление на Вернона». Единственная загвоздка заключалась в том, что, какие бы стимулы они ни предъявляли кошке, регистрируемые нейроны упорно молчали, оставаясь на базовом уровне активности. Они пробовали разные комбинации точек. Безрезультатно. Использовали изображения, которые могли бы заинтересовать кошку, – никакого ответа. В полном отчаянии они даже пытались танцевать перед животным. Бесполезно. Нейроны не проявляли ни малейшего интереса. Но вот однажды, работая с очередным нейроном, они меняли слайд в проекторе – и все изменилось. Нейрон вдруг взорвался активностью: щелчок, щелчок, щелчок – один за другим! Реагировал он не на содержание слайда. Нейрон откликался на линию, образованную границей слайда. Свершилось знаменательное событие в истории науки: Хьюбел и Визель открыли нейрон, реагирующий на изображение прямой линии под определенным углом – тем самым углом, под которым проецировалась граница слайда. Они выбежали в коридор, крича от восторга. Вопрос, разумеется, заключался в том, как же этот нейрон умудряется распознавать прямую линию. Он не реагировал на точку, не реагировал на линии под большинством углов, но стоило предъявить линию с его «любимой» ориентацией – и он отзывался с необузданным энтузиазмом. Откуда взялось это свойство? Здесь нам поможет модель нейронной сети. Сеть, которую мы опишем, очень похожа на ту, что предложили Хьюбел и Визель, и отражает ее ключевые свойства. Начнем с простого наблюдения: линию можно представить как набор точек. Для простоты представим, что линия l состоит из четырех точек: A, B, C и D. Допустим, эти четыре точки попадают в центры рецептивных полей четырех нейронов сетчатки кошачьего глаза – назовем их элемент A, элемент B, элемент C и элемент D. Как мы уже знаем, точка в центре рецептивного поля вызывает сильную активацию нейрона. Теперь предположим, что каждый из элементов A-D связан с элементом E, расположенным в мозге. Это значит, что каждый из элементов A-D при активации может передавать сигналы активации элементу E. Рисунок 2.6. Нейронная сеть с выходным нейроном, элементом E, который активно реагирует, когда линия проходит через центры рецептивных полей входных элементов (A-D). При повороте линии ответ элемента E ослабевает Как мы отмечали в главе 1, нейроны – базовые элементы обработки информации в мозге. У них сложная древовидная структура, но мы будем изображать их кружками и называть элементами, чтобы отличать компоненты нашей модели от реальных нейронов мозга. Мы используем минимальный набор элементов, достаточный для иллюстрации основной идеи. Получается рисунок 2.6a – наша первая настоящая нейронная сеть. Стрелки между элементами обозначают связи. Если от одного элемента идет стрелка к другому, активация первого элемента возбуждает (то есть усиливает активацию) второго. А теперь самое интересное! Представим, чтó происходит в нашей нейронной сети, когда глаз видит четыре точки – A, B, C и D. Точка A находится в центре рецептивного поля элемента A, поэтому он начинает интенсивно генерировать импульсы (много спайков в секунду). То же происходит с остальными элементами – они тоже обнаруживают точки в центрах своих рецептивных полей. Все четыре элемента посылают мощные сигналы элементу E, и он активируется. Удивительно то, что элемент E бурно реагирует на линию l, но гораздо слабее откликается на линии, хотя бы немного отличающиеся от l . Рассмотрим, например, линию, повернутую относительно линии l (рисунок 2.6b). Какую активацию получает элемент E в этом случае? Давайте разберемся. Элемент A активно генерирует импульсы, поскольку точка A по-прежнему в центре его рецептивного поля. Точка B слегка смещена от центра, поэтому элемент B активируется уже не так интенсивно. Элемент C работает ниже базового уровня, так как точка C попала в периферическую зону его рецептивного поля. Элемент D тоже активен на базовом уровне или ниже. В результате элемент E получает гораздо меньше возбуждающих сигналов, чем при предъявлении линии l, и его ответ на этот стимул будет значительно слабее. Ни один из элементов A-D не способен самостоятельно распознать линию, да и элемент E тоже не реагирует на линию в стимуле напрямую. Однако, действуя сообща – подобно муравьям, – элементы этой небольшой нейронной сети обрели «интеллект», необходимый для распознавания линии. Произошла эмерджентность. Как мы видим то, что видим? Представьте, что смотрите на дерево. Вы различаете ствол, ветви, листву. Видите цвет – зеленое облако, окутывающее коричневые сучья. Без труда отделяете дерево от фона. Ощущаете глубину пространства – понимаете, как далеко оно находится. Замечаете, как дерево чуть покачивается на ветру. И возникает вопрос: как же мы видим все, что видим? Первое, что приходит в голову: наши глаза верно воспроизводят картину внешнего мира, которую мы видим. Но это заблуждение. Хрусталики наших глаз проецируют на сетчатку изображение уменьшенное, перевернутое и плоское – совсем не то, что мы видим, глядя на дерево. Мы видим реконструкцию внешнего объекта – в правильной ориентации, объемную и соразмерную с учетом расстояния до нее. Эта реконструкция – плод работы зрительной коры и связанных с ней областей мозга. Зрительная кора использует иерархически организованные детекторы признаков. Как мы уже знаем, детектор признаков Хьюбела и Визеля представлял собой иерархическую сеть, где способность нейрона верхнего уровня распознавать линии возникала благодаря одновременной активации нейронов нижнего уровня. Но эмерджентность на этом не заканчивается. Одновременно активные детекторы линий помогают распознавать более сложные формы. Скажем, квадрат можно обнаружить благодаря одновременной активации четырех детекторов линий, подобных элементу E на рисунке 2.6, – по одному на каждую сторону квадрата. Детектор квадратов можно представить расположенным на более глубоком уровне, чем детекторы линий. На еще более глубоком уровне нейронной сети возможно распознавание кубов, параллелепипедов и других сложных форм. На самом деле свойства нейронных откликов невозможно исчерпывающе описать простыми терминами вроде детекторы линий или детекторы квадратов . То, что Хьюбел и Визель называли линиями, скорее напоминает участки с чередующимися полосами, а на высших уровнях формы, распознаваемые зрительной корой, обычно не поддаются простому описанию. И все же то, что мы видим, – результат конструктивного процесса, в котором участвуют нейроны со все более сложными профилями отклика на разных уровнях. Когда на сетчатку попадает изображение дерева, нейроны нижних слоев зрительной коры распознают простые признаки – линии и цвета. Нейроны последующих слоев объединяют информацию о признаках, выявленных на нижних уровнях, и распознают признаки сложных форм, глубины и движения. Нейроны высших слоев способны интегрировать информацию от предыдущих слоев – их детекторы признаков реагируют на высокоуровневые аспекты формы дерева целиком. Примечательно, что специального нейрона – «детектора деревьев» – или выделенной группы нейронов, отвечающих за восприятие дерева как целого, по-видимому, не существует. Наше зрительное представление дерева складывается из паттерна активности всей совокупности нейронов в зрительных областях мозга. Классификация изображений в ИИ На конкурсе ImageNet 2012 г. ставки были высоки. Команды специалистов по информатике состязались между собой: чей алгоритм сумеет правильно отнести каждое из 50 000 тестовых изображений к одной из 1000 заданных категорий? Среди них были самые разные рукотворные и природные объекты, включая множество пород собак. На тестовом изображении могла быть, скажем, компьютерная клавиатура, и задача каждой команды – создать алгоритм, способный ее распознать. Для нас, людей, это не составляет труда, поэтому задача может показаться простой. Но это обманчивое впечатление. Клавиатуры различаются по размеру, типу, форме и цвету. Их фотографируют под разными углами и при разном освещении. На снимках то видны пальцы на клавишах, то нет; клавиатура то подключена к компьютеру, то лежит отдельно. То, что подобные вариации не сбивают нас с толку, – заслуга наших способностей восприятия. С кошками и собаками все еще сложнее: они двигаются и не застывают в одной позе. Алгоритмы ИИ прошлых лет с трудом справлялись с такой классификацией. Но у Алекса Крижевского были основания для сдержанного оптимизма. Вместе с коллегами он применил к задаче распознавания изображений несколько оригинальных новшеств. Удастся ли им обойти сильных соперников? Мир ИИ затаил дыхание. Результат оказался разгромным. Алгоритм, получивший название AlexNet, показал точность топ–5 в 84,7% – правильный ответ входил в пятерку его предположений почти в 85% случаев. Ближайший конкурент достиг лишь 73,9% – огромный разрыв для соревнования, где даже однопроцентное улучшение имело большое значение. Компьютерное сообщество не могло не заметить – началась эра современного искусственного интеллекта. Крижевский и его соавторы опирались на два ключевых принципа работы живого мозга. Во-первых, они использовали детекторы признаков, концептуально схожие с теми, которые были описаны Хьюбелом и Визелем. Во-вторых, эти детекторы взаимодействовали в нейронной сети с иерархической архитектурой, напоминающей устройство человеческой зрительной коры. Нижние слои сети распознавали простые признаки, что позволяло верхним слоям выявлять более сложные. Но возникла проблема: никто не знал, какие именно признаки должен выявлять каждый слой сети. Например, должен ли второй слой детекторов распознавать прямые линии или лучше настроить его на круги? А может, нужен совсем другой признак? На более высоких уровнях проблема усугублялась. Что именно должны обнаруживать эти слои, чтобы правильно относить объекты к категориям? Можно было бы попробовать заранее определить детекторы признаков для каждого слоя. Скажем, первый слой распознавал бы линии, второй – углы, третий – элементы сложных форм и т. д. Но такой подход оказался негибким и малоэффективным. Любой набор детекторов, который могли придумать люди, был недостаточно универсален для работы с огромным разнообразием тестовых изображений. AlexNet решил эту проблему, обучаясь находить наилучшие детекторы признаков. На первый взгляд это кажется невероятным – как нейронная сеть может чему-то учиться, а тем более определять оптимальные детекторы для каждого своего слоя? Идея основана на использовании большого набора обучающих изображений с метками (например, изображение кошки помечено как Кошка, изображение клавиатуры – как Клавиатура ) и нейронной сети (подобной показанной на рисунке 1.1) с элементами, организованными во входной слой, выходной слой и несколько промежуточных скрытых слоев (на рисунке 1.1 был один скрытый слой). Суть в том, чтобы обучить сеть так: когда изображение подается на входной слой, сеть выдает соответствующую метку на выходном слое. Например, при подаче изображения кошки мы хотим, чтобы выходной элемент Кошка активировался максимально, а остальные – минимально. Вход сети – это активация входных элементов, выход – активация выходных элементов. Внутри нейронной сети эти активации представлены массивами числовых значений, соответствующих частоте срабатывания нейронов. Когда предъявляется изображение, выходные элементы получают значения активации, которые в сумме дают единицу. В идеале при показе изображения кошки элемент Кошка получит значение, близкое к единице, а Клавиатура – близкое к нулю. Чтобы сеть выдавала правильную метку для каждого входного изображения, ее необходимо обучить. Обучение здесь означает изменение весов связей в сети. До обучения все связи инициализируются случайным образом. На этом этапе предъявление изображения – допустим, кошки – вызовет размытый, недифференцированный паттерн активации нейронов, соответствующих всем возможным меткам, включая правильную (Кошка) . Вот тут и пригождается правильная метка. Подробности мы рассмотрим позже, а пока отметим главное: алгоритм корректирует изначально случайные связи детекторов признаков так, чтобы немного усилить активацию правильной метки и немного ослабить активацию всех неправильных. Этот процесс повторяется многие тысячи раз с разными изображениями. При каждой подаче входных данных сеть корректирует свои связи и постепенно становится все точнее. Попутно она формирует эффективную иерархическую систему детекторов признаков, обеспечивающую все более высокое качество работы. После завершения обучения детекторы признаков фиксируются, и AlexNet готов к тестированию. Теперь ему предъявляют изображения, которых он никогда не видел. Детекторы признаков, самостоятельно сформированные сетью в процессе обучения, демонстрируют поразительную эффективность в классификации новых изображений. Хотя попытки предпринимались, исследователи в основном отказались от стремления описать словами или даже точными математическими понятиями, какие именно признаки распознаются. Но что бы это ни были за признаки, они оказались исключительно полезными для категоризации изображений. Многие исследователи склоняются к мысли, что способность AlexNet классифицировать объекты напоминает аналогичный процесс в мозге. Мы согласны, что сходства есть, и считаем это прогрессом, но справедливо и то, что различий остается немало. Интерлюдия. Реакции на AlexNet Октябрь 2012 г. Пало-Альто. Анна – профессор нейронаук, изучает зрение человека. К ней обратился за интервью Анил – аспирант, специализирующийся на компьютерном зрении. Анил также работает технологическим редактором в The Stanford Daily и готовит статью об AlexNet. Он хочет узнать мнение нейробиолога о недавнем прорыве. Анил. Спасибо, что согласились на интервью! Я пишу статью об AlexNet. Не могли бы вы как нейробиолог, изучающий зрение человека, прокомментировать поразительное сходство между архитектурой AlexNet и человеческим зрением? Анна. Некоторое сходство есть. AlexNet использует детекторы признаков, иерархически организованную нейронную сеть и опирается на знание о ранее распознанных объектах при классификации новых. В этом есть определенное сходство с человеческой зрительной системой. Анил. Вас, наверное, очень воодушевляет, что принципы биологических нейронных сетей, которые вы изучаете, были воссозданы в искусственных нейронных сетях? Анна. Нет, они вовсе не были воссозданы. Анил. Простите, как это? Анна. Между тем, как распознают объекты люди, и тем, как это делает AlexNet, есть принципиальные различия. Пожалуй, важнейшее из них состоит в том, что в AlexNet используются прямые связи, а в человеческой зрительной системе – двусторонние. Анил. Понятно. Не ожидал такого поворота. Не могли бы вы пояснить? Анна. В AlexNet нижние слои передают информацию верхним. Например, активация элементов, распознающих две линии в определенной области пространства, передается следующему слою, который может обнаружить угол. Тот, в свою очередь, передает информацию дальше. Такие соединения называются прямыми связями . Анил. Полагаю, в человеческой зрительной системе есть и обратные связи? Анна. Да. Возьмем, к примеру, важную структуру мозга – таламус. Он получает сигналы от глаз и передает их в так называемую первичную зрительную кору, или V1. Это прямые связи. Но существуют и обратные связи – от V1 к таламусу. Причем обратных связей больше, чем прямых. И такая картина наблюдается во всей зрительной системе. Анил. Ладно. И что с того? Почему это так важно? Анна (впервые слегка улыбается). Хороший вопрос. Обратные связи нужны нам потому, что мы распознаем объекты не только на основе восходящих сигналов, но и с помощью нисходящих ожиданий. Нисходящие ожидания создают контекст для того, что мы видим. Покажу вам кое-что. (Открывает изображение на компьютере.) Что вы видите? Рисунок 2.7. Видите корову? Анил (несколько секунд пристально всматривается). Совершенно ничего. Какие-то случайные пятна. Анна. Хорошо. А теперь я скажу вам, что на изображении – морда коровы. Видите теперь? Анил (сначала всматривается с сомнением, потом его лицо озаряется улыбкой). Вижу! Она смотрит прямо на меня с левой части изображения! Маленькие темные точки – это глаза, рядом с ними видны уши, а внизу – нос. Анна. И теперь вы уже не сможете этого не видеть. Понимаете, что произошло? Нисходящее ожидание увидеть корову изменило ваше восприятие. Многие нейробиологи считают, что в этом и состоит функция обратных связей. То, что мы видим, – это конструкция, которую формируют как восходящие сигналы, так и нисходящие ожидания. Анил. AlexNet использует только восходящие сигналы. (Ссутулившись, несколько секунд молчит.) Знаете, я шел к вам с мыслью, что вы будете в восторге от AlexNet. Что сочтете его великим достижением. Анна. В каком-то смысле это действительно великое достижение. Но до копии человеческого мозга ему далеко. AlexNet изобретательно применяет множество приемов машинного обучения, которые в человеческом мозге попросту невозможны. Например, используется оборудование, способное обрабатывать больше 1000 изображений одновременно, а человек обрабатывает изображения последовательно, одно за другим. Для некоторых людей в таких проектах есть большой смысл. Анил. Но не для вас? Анна. Меня интересуют вечные вопросы: кто мы такие? Как возникает наш разум? Что делает возможным человеческое зрение? Вот мои вопросы, и я работаю над ними. Другим нравится создавать инструменты, способные улучшить жизнь людей. И они работают над этим. Анил. Значит, изучение разума и ИИ не имеют между собой ничего общего? Анна. Нет-нет, общего очень много. И все благодаря простому факту: современный ИИ, тот самый, что демонстрирует впечатляющий прогресс, основан на нейронных сетях. Старый добрый ИИ использовал алгоритмы с явными правилами, созданные людьми, а не нейронные сети. Но сегодняшний ИИ практически целиком построен на нейронных сетях. А нейронные сети во многом разрабатывали люди, стремившиеся понять человеческий разум. Так что теперь у нас общий инструментарий. И потому – много общего. Анил. Получается, изучение нейронных сетей поможет разобраться как в человеческом, так и в искусственном интеллекте? Анна. Вполне возможно. Я считаю, что взаимодействия внутри нейронной сети – ключ к пониманию интеллекта, будь то биологического или искусственного. Но для этого потребуется постоянный диалог. Мой совет сообществу ИИ – изучать, как человеческий мозг решает интересующие их задачи. А тем, кто стремится понять человеческий разум, советую не закрываться от мысли, что некоторые достижения в области ИИ могут подсказать новые направления исследований мозга. Надеюсь, эти области будут и дальше обогащать друг друга! Рисунок 2.8. А теперь вы видите корову? Мы обсудили, как мы распознаем и классифицируем объекты окружающего мира. Но как активация нейронов порождает сознательное переживание зрения? Мы, люди, в отличие от AlexNet, способны осознанно видеть деревья, а не просто распознавать и относить объект к категории «дерево». Открыв глаза, мы мгновенно воспринимаем богатую визуальную картину вокруг. AlexNet может подсказать, как наш мозг классифицирует объекты вроде дерева, но ничего не говорит о том, как возникает переживание самого акта видения. Как у людей возникают сознательные зрительные переживания? Теорий множество, но точного ответа нет ни у кого. Мы знаем лишь, что видим не мир как таковой, а конструкцию, существующую целиком и полностью в нашем сознании. Эта конструкция обычно неплохо отражает внешний мир, но сама им не является. Как же активация нейронов связана с сознательным переживанием зрения? К этому фундаментальному вопросу мы вернемся в главе 10. Но сначала нам предстоит разобраться, что делает нейронная сеть и почему она может дать нам инструменты для понимания разума. Эти важнейшие вопросы мы рассмотрим в следующей главе. Глава 3 Что делает нейронная сеть? Энтомологу, изучающему, как муравьиная колония обходит препятствия, необходимо разбираться в поведении муравьев. Не зная, например, что муравьи выделяют феромоны и следуют по наиболее насыщенному феромонному следу, невозможно построить механистическое объяснение того, как колония находит кратчайший путь в обход препятствия. Одна из главных задач нашей книги – познакомить вас с нейронными сетями, обладающими многими эмерджентными свойствами человеческого разума. Эти нейронные сети состоят из элементов, свойства которых основаны на свойствах нейронов реального мозга. Поэтому нам необходимо в них разобраться. Более того, нужно уметь соотносить процессы в реальном мозге с процессами в нейронных сетях – хотя бы в общих чертах. Такова цель этой главы. Мы не станем пытаться охватить всю нейронауку целиком. Вместо этого сосредоточимся на ключевых принципах, которые оказались полезными при разработке нейронных сетей. Но даже понимание этих базовых принципов откроет захватывающую перспективу того, как может возникать интеллект у людей и машин. О микроструктуре мозга до конца XIX в. было известно крайне мало. Тогда оставалось неясным, состоит ли мозг из отдельных клеток, как другие органы, или представляет собой исключение из правила. Неопределенность объяснялась тем, что не существовало надежных методов окрашивания нервной ткани. Ситуация изменилась в 1873 г., когда итальянский врач Камилло Гольджи изобрел метод серебряного окрашивания, который он назвал la reazione nera (черная реакция), позднее известный как окрашивание по Гольджи. Благодаря ему нервная ткань под микроскопом стала видна как никогда раньше: на желтом фоне четко выделялись тела клеток, густо ветвящиеся дендриты и аксоны. Такие изображения привели Гольджи и других ученых к выводу, что нервная система представляет собой единую непрерывную сеть. Заключение вполне объяснимое: при тогдашнем разрешении микроскопов нервная ткань действительно выглядела как переплетение единой нити. Эту идею оспорил Сантьяго Рамон-и-Кахаль. Он родился в 1852 г. и мечтал стать художником – и его великолепные зарисовки нервных клеток свидетельствуют о несомненном таланте. Однако отец убедил его заняться медициной, и, если оглянуться назад, это оказалось удачным решением. Рамон-и-Кахаль стал врачом и позднее начал применять метод Гольджи для изучения нервной ткани. Он экспериментировал с методикой, совершенствуя ее: менял концентрацию красителя, варьировал время выдержки образцов. Методом проб и ошибок он выяснил, что лучше использовать нервную ткань эмбрионов – молодые нервные клетки не покрыты жировой оболочкой и эффективнее впитывают краситель. Эти открытия стали результатом многолетних кропотливых экспериментов, но Рамон-и-Кахаль был готов к упорному труду. Он писал: Всякий великий труд – плод терпения и настойчивости в сочетании с упрямой сосредоточенностью на предмете в течение месяцев или лет. Упорный труд принес плоды. В 1888 г. Рамон-и-Кахаль сформулировал нейронную доктрину: нервная система, включая мозг, состоит из отдельных клеток, а не представляет собой единую непрерывную сеть, как считали Гольджи и большинство нейробиологов того времени. Рамон-и-Кахаль также установил, что каждая из этих нервных клеток, теперь называемых нейронами, передает импульсы соседним нейронам через крошечный зазор – синапс . Нейроны, которые наблюдал Рамон-и-Кахаль, различаются по размеру, форме и строению в зависимости от их функции и местоположения. Рассмотрим подробнее один из основных типов нейронов человеческого неокортекса (эволюционно самой молодой части коры головного мозга) – так называемые пирамидальные клетки (рисунок 3.1). Тело такой клетки напоминает пирамиду (отсюда название), из него выходит длинный тонкий отросток – аксон . Также имеется разветвленная система отростков – дендриты, в совокупности называемые дендритным деревом . Дендритное дерево нейрона может простираться на несколько миллиметров вокруг тела клетки. Аксон нейрона тоже может иметь местные ответвления, распространяющиеся на сходное расстояние. У крупных животных длина некоторых аксонов превышает 1 м. Синапс – это зазор между аксоном одного нейрона и дендритами другого. Рисунок 3.1. Типичный нейрон человеческого неокортекса – пирамидальная клетка . Другие нейроны могут быть крупнее или мельче Обычно нейрон принимает сигналы от других нейронов через дендритное дерево и передает сигналы через аксон и его ответвления. Прием и передача сигналов происходят в синапсах. Один нейрон может образовывать десятки тысяч синапсов с соседними нейронами. Те, в свою очередь, передают сигналы дальше через собственные синапсы. Так формируется сеть, позволяющая нейронам одной области мозга сообщаться – напрямую или опосредованно – с нейронами других областей мозга и спинного мозга. Нейроны спинного мозга затем связываются с нейронами по всему телу, часть которых управляет нашими мышцами. Поэтому, когда мы двигаем руками, чтобы поймать мяч, или губами, чтобы спеть песню, мы реагируем на сигналы от нейронов мозга, передающиеся через триллионы синапсов. Рамон-и-Кахаль осознавал революционность своего открытия синапса. Он чувствовал, что делает первые шаги на пути человечества к пониманию разума. Он писал: Подобно энтомологу, ищущему пестрых бабочек, мое внимание гонялось в садах серого вещества за клетками изящных и утонченных форм – таинственными бабочками души, чьи взмахи крыльев однажды, быть может, откроют нам тайны разума. Инженерное изящество Муравьи часто общаются при помощи феромонов. Нейроны – при помощи химических веществ, называемых нейромедиаторами . Муравьи вырабатывают различные феромоны. Нейроны – различные нейромедиаторы (вы наверняка слышали о некоторых – дофамине, серотонине, глутамате). Муравьи при контакте с феромонами меняют свое поведение. Нейроны в ответ на нейромедиаторы изменяют свой внутренний электрический заряд, или потенциал. Именно это изменение потенциала определяет, передаст ли нейрон сигнал соседним нейронам. Таким образом, нейроны общаются между собой посредством химических сигналов через синапсы, что становится возможным благодаря электрическим изменениям внутри самих нейронов. Что же это за изменения и как они происходят? Детальные механизмы весьма сложны, но общий обзор позволит уловить суть, а суть раскроет удивительную природную инженерию, которая, на наш взгляд, просто поражает воображение. Первые нейроны появились у существ, обитавших в океане. Морская вода богата солями – хлоридом натрия, хлоридом калия. Молекулы таких солей состоят из двух атомов: например, молекула хлорида натрия – из атома натрия и атома хлора. Растворяясь в воде, эти соли легко распадаются на положительно и отрицательно заряженные ионы. Атом натрия теряет электрон и, имея больше протонов, чем электронов, становится положительным ионом. Атом хлора приобретает электрон и превращается в отрицательный ион хлорида. Нейроны древних морских существ, находясь в среде, насыщенной водой с ионами, в ходе эволюции научились использовать их для создания локальных электрических полей. Эти механизмы сохранились у животных, давно покинувших океан, поскольку их нейроны по-прежнему окружены и пропитаны, по сути, морской водой (точнее, внеклеточной жидкостью). В состоянии покоя нейроны поддерживают более высокую концентрацию отрицательно заряженных ионов внутри клеточной мембраны по сравнению с положительными ионами во внеклеточной жидкости. Отрицательный заряд внутри нейрона притягивает положительные ионы снаружи, но клеточная мембрана не пропускает их внутрь. В результате в покое нейрон имеет отрицательный потенциал –70 милливольт. Этот потенциал покоя может временно нарушаться, когда нейрон получает сигналы от других нейронов (или непосредственно от органов чувств, но этот особый случай пока оставим в стороне). Представим передающий и принимающий нейроны и рассмотрим синапс между ними (рисунок 3.2). Принимающий нейрон находится в состоянии покоя, а передающий переживает всплеск активности – потенциал действия, или спайк . Потенциал действия – это кратковременная электрическая волна, распространяющаяся от тела клетки передающего нейрона к окончаниям его аксона, подобно волне от камня, брошенного в пруд. И тут вы вправе возразить: «Минуточку! А откуда у этого передающего нейрона взялся потенциал действия?» Ответ прост: его вызвали другие передающие нейроны, расположенные выше по цепи. Иначе говоря, наш передающий нейрон был принимающим для вышележащих нейронов. Он стал передающим благодаря полученному сигналу – точно так же наш принимающий нейрон станет передающим для нейронов, расположенных ниже по цепи. Вернемся к нашему передающему нейрону с потенциалом действия, бегущим по аксону. Когда потенциал действия достигает передающей стороны синапса, в синаптическую щель между передатчиком и приемником выделяется химическое вещество – нейромедиатор . Нейромедиатор открывает поры на принимающей стороне, и положительно заряженные ионы устремляются внутрь. Если в принимающий нейрон попадает достаточно положительных ионов, он может запустить собственный потенциал действия. Обычно в запуске потенциала действия принимающего нейрона участвует множество передающих нейронов. Нейромедиатор, выделенный в синапсе, затем обратно захватывается передающим нейроном. Стоит выделить четыре свойства межнейронной коммуникации, поскольку они пригодятся нам при дальнейшем обсуждении нейронных сетей. Рисунок 3.2. События в синапсе. Потенциал действия в передающем нейроне высвобождает нейромедиаторы в синапс, что может запустить потенциал действия в принимающем нейроне Во-первых, хотя потенциалы действия – дискретные события по принципу «все или ничего», мы и многие другие исследователи рассматриваем сигнал нейрона как непрерывную величину – частоту разрядов, измеряемую в потенциалах действия в секунду. Это удобно, поскольку осмысленные сигналы обычно передаются группами нейронов и их совокупное воздействие нарастает и спадает за десятки миллисекунд. Группа нейронов, генерирующих по 50 потенциалов действия в секунду, гораздо активнее (и влиятельнее), чем группа с частотой 10 потенциалов действия в секунду. В главе 2 мы отождествили частоту разрядов нейронов с активацией элементов нейронной сети. Во-вторых, передающий нейрон может влиять на принимающий, увеличивая или уменьшая его частоту разрядов. Эти возбуждающие или тормозящие эффекты возникают потому, что разные нейромедиаторы открывают в клеточной мембране поры для положительных или отрицательных ионов из окружающей жидкости. Положительные ионы приближают потенциал нейрона к порогу срабатывания – это базовый механизм возбуждения нейрона. Отрицательные ионы, входящие в нейрон (или положительные, покидающие его), отдаляют потенциал от порога срабатывания – это базовый механизм торможения. Таким образом, воздействие одного нейрона на другой может быть возбуждающим или тормозящим. Без возбуждения мозг был бы инертен и неспособен порождать мысли или действия. Без торможения ничто не сдерживало бы непрерывную генерацию потенциалов действия, и мозг вечно гудел бы, заглушая полезные сигналы шумом. В-третьих, влияние одного нейрона на другой – всегда вопрос степени . Сила отдельных синапсов различна, и один передающий нейрон может образовывать несколько синапсов с принимающим. Если рассматривать целые группы нейронов, влияние одной группы на другую зависит от общего числа синапсов между всеми передающими и принимающими нейронами. В целом степень влияния одного нейрона на другой определяется множеством факторов. В нейронных сетях мы будем представлять это градуированное влияние как силу связи между элементами. В-четвертых, суммарный вход нейрона объединяет все получаемые им индивидуальные сигналы . Сигнал в одном синапсе вызывает очень слабое изменение – обычно недостаточное для запуска потенциала действия в принимающем нейроне. Но у типичного пирамидального нейрона десятки тысяч синапсов на дендритном дереве – мест, где он принимает сигналы от других нейронов. В первом приближении нейроны вычисляют суммарный вход как сумму всех возбуждающих сигналов минус сумма тормозящих. Положительный суммарный вход повышает частоту разрядов нейрона, отрицательный – снижает. Вот и вся нейронаука, которая нам понадобится. Теперь мы готовы использовать эти четыре свойства нейронов для построения нейронных сетей. Структура нейронной сети Теперь применим рассмотренные принципы нейронауки для разработки нейронных сетей и изучения их работы. Базовый вычислительный элемент мозга – нейрон . Соответствующий базовый элемент нейронной сети называется элементом . Элементы – это гипотетические конструкты: мы постулируем, что они существуют, и исследуем, чему мы можем научиться, если это так. Элементы в моделях не обязательно точно соответствуют отдельным нейронам. Часто удобнее представлять элемент как группу нейронов, совместная активность которых отражает нечто осмысленное – например, объект или возможное действие. Некоторые нейроны генерируют потенциалы действия в ответ на события внешнего мира. Например, обонятельные нейроны реагируют на запах духов, а нейроны глаза – на вспышку света. Аналогично в наших нейронных сетях будут элементы, способные принимать сигналы извне сети. Мы будем называть их входными элементами . Нейроны, получающие достаточно сильный внешний сигнал, надежно активируют связанные с ними нейроны. Чем выше частота разрядов нейрона, тем сильнее его влияние на связанные с ним нейроны. Точно так же мы предполагаем, что каждый элемент нейронной сети имеет уровень активации . Поскольку элемент соответствует группе нейронов, его уровень активации отражает среднюю частоту разрядов этой группы. Как и у нейронов, чем выше активация элемента, тем сильнее его влияние на связанные с ним элементы. Как говорилось в главе 1, элементы нейронной сети обычно изображают кружками. Уровень активации элемента можно показать толщиной ореола вокруг кружка (рисунок 3.3). Рисунок 3.3. Три элемента с разными уровнями активации. Активация элемента соответствует средней частоте разрядов группы нейронов, которую он представляет На рисунке 3.3 показаны три элемента – A, B и C, которые можно считать строительными блоками нашей первой нейронной сети. Элемент A активирован сильно, B – средне, а C – еще слабее. Есть другой, более точный способ показать уровень активации – при помощи чисел. Значения активации должны быть ограничены минимумом и максимумом. Примем распространенное соглашение: активация варьируется от чуть меньше 0 до 1. Нулевая активация соответствует базовой частоте разрядов; положительные значения означают частоту выше базовой, отрицательные – ниже базовой. На рисунке 3.4 изображены те же элементы, но их активация показана числами. Рисунок 3.4. Активация представлена положительными или отрицательными числами в зависимости от того, превышает ли частота разрядов элемента базовый уровень или нет Пока все понятно. Но чтобы элементы образовали сеть, между ними должны быть связи. Если один элемент влияет на активацию другого, обозначим связь линией. Договоримся показывать возбуждающую связь стрелкой на принимающем конце, а тормозящую – точкой. На рисунке 3.5 элемент A имеет возбуждающую связь с элементом B и тормозящую – с элементом C. Элементы B и C не связаны и не влияют друг на друга. Кроме того, схема показывает, что ни B, ни C не влияют на A. Такие обратные связи существуют, и мы рассмотрим их в следующих главах. Чтобы показать, например, обратную возбуждающую связь от B к A, можно добавить вторую стрелку или изобразить одну линию со стрелками на обоих концах. Рисунок 3.5. Связь между элементами A и B – возбуждающая; связь между A и C – тормозящая. Поэтому активация элемента A усиливает активацию B и ослабляет активацию C. Поскольку B и C не связаны, активация C напрямую не зависит от активации B, и наоборот Вернемся к входным элементам, которые принимают внешние сигналы и активируются. На рисунке 3.6 стрелки показывают, что внешние сигналы поступают на два левых элемента, активируя их. Входные элементы связаны с другими элементами, которые не могут напрямую получать сигналы извне. Однако благодаря возбуждающим связям от входных элементов они тоже могут активироваться. Эти элементы среднего слоя, в свою очередь, связаны с крайним правым элементом и могут его активировать. Такие крайние правые элементы обычно считают выходными, поскольку они передают активацию за пределы сети, возможно, инициируя действия; для простоты в нашей сети есть только один такой элемент. Как мы уже отмечали, внутренние слои, не получающие внешних сигналов и не выдающие выходных данных, называются скрытыми слоями . В нашей сети один скрытый слой с двумя элементами. Современные сети глубокого обучения могут иметь до 1000 скрытых слоев, и в каждом слое – сотни или даже тысячи элементов. В мозге не всегда можно точно подсчитать количество скрытых слоев, и как в естественных, так и в искусственных сетях встречаются связи, перескакивающие через слои. Такие сети сложнее той, что изображена на рисунке 3.6, но работают они по тем же принципам, которые мы начинаем изучать. Обратите внимание на схему связей на рисунке 3.6. Как видно на панели 1, элемент D в скрытом слое получает возбуждающие сигналы от обоих входных элементов, а элемент C – только от элемента A. Выходной элемент E получает возбуждающие сигналы от обоих элементов скрытого слоя. Панель 1 демонстрирует состояние покоя: внешние сигналы отсутствуют, активация всех элементов равна нулю. Рисунок 3.6. Упрощенная схема потоков активации в нейронной сети Рассмотрим, как распространяется активация в нашей нейронной сети. Сразу оговоримся: мы изобразили пошаговый процесс, где активация каждого слоя полностью определяется до того, как повлиять на следующий слой. Такой пошаговый процесс типичен для искусственных нейронных сетей и может служить отправной точкой для моделирования процессов в мозге, хотя в мозге активация нарастает постепенно – обычно меньше чем за секунду. На панели 2 входные сигналы активировали элементы A и B. Размер ореола показывает степень активации. Оба элемента активированы одинаково, поскольку мы подали равные входные сигналы. Теперь проследим, как активация передается по связям. Пока что наши связи передают полную активацию передающего элемента всем связанным с ним принимающим элементам. На панели 3 элемент C получает активацию только от A, поэтому его активация равна активации A. Элемент D, напротив, активирован сильнее любого из источников своей активации. Это происходит потому, что D суммирует активацию от A и B. На панели 4 элемент E становится самым активным в сети, поскольку суммирует активацию от C и D. Эта сеть показывает, как внешние сигналы активируют входные элементы, как активация распространяется дальше и как активация элемента определяется суммой получаемых им сигналов. Именно так работала первая нейросетевая модель Джея Макклелланда, вдохновленная потоками воды в горах. Активация, конечно, не течет, как вода, – связанные элементы влияют на активацию друг друга. И все же метафора Джея помогает понять принципы работы нейронной сети. Мы уже отмечали, что в мозге активация нарастает постепенно и при достаточно длительном входном сигнале достигает устойчивого состояния. Соответственно, при прекращении входного сигнала активация элементов стремится вернуться к состоянию покоя, показанному на панели 1. Как и следовало ожидать, нейроны не остаются активными вечно. Тест-драйв нейронной сети Мы только в начале пути, но давайте попробуем создать нейронную сеть, которая отражает некоторые аспекты поведения. Представим, что у человека есть группа нейронов, активирующихся при жажде. Чем сильнее жажда, тем активнее эти нейроны. Есть и другая группа нейронов, реагирующая на голод. Представим также третью группу нейронов: при достаточно высокой активации они заставляют человека идти к холодильнику. У реального человека эквивалентом такого выходного сигнала было бы сообщение скелетным мышцам начать движение к холодильнику. Наконец, предположим, что от нейронов голода и жажды идут возбуждающие связи к нейронам «Идти к холодильнику» (о том, как возникают такие связи, поговорим позже). Как изобразить эту ситуацию в виде нейронной сети? Начнем с элементов «Жажда», «Голод» и «Идти к холодильнику» (рисунок 3.7). Поскольку элемент «Жажда» влияет на активацию элемента «Идти к холодильнику», между ними есть связь. Аналогичная связь существует между элементами «Голод» и «Идти к холодильнику». А вот между «Жаждой» и «Голодом» связи нет – мы исходим из того, что жажда не вызывает голод и наоборот. Рисунок 3.7. Нейронная сеть, где элемент «Идти к холодильнику» срабатывает, только если входной сигнал превышает пороговое значение 0,5 Мы уже подчеркивали: чтобы человек пошел к холодильнику, активация соответствующих нейронов должна превысить определенный уровень. В нашей модели это отражено пороговым значением активации, которое мы установили равным 0,5. Проследим, как работает эта нейронная сеть. Сначала рассмотрим случай, когда элемент «Жажда» имеет активацию 0,3, а элемент «Голод» полностью неактивен. Это соответствует ситуации, когда человек слегка хочет пить, но совсем не голоден. Как и прежде, связь между элементами «Жажда» и «Идти к холодильнику» передает полную активацию, поэтому элемент «Идти к холодильнику» тоже получит активацию 0,3. Это меньше порогового значения 0,5, и выходной сигнал не генерируется. Однако если элемент «Жажда» получит входной сигнал 0,6 (более сильная жажда), элемент «Идти к холодильнику» достигнет активации 0,6, что превысит порог 0,5 и вызовет выходной сигнал. Точно так же отсутствие сигнала жажды при сигнале голода 0,6 тоже активирует нейрон «Идти к холодильнику». Теперь рассмотрим случай умеренной жажды и умеренного голода. Допустим, оба элемента – «Жажда» и «Голод» – имеют активацию 0,3 и передают ее элементу «Идти к холодильнику». Поскольку элементы суммируют получаемые сигналы, элемент «Идти к холодильнику» получит суммарную активацию 0,6. Это выше порога, и элемент выдаст выходной сигнал. По той же логике комбинация «Жажда» 0,4 и «Голод» 0,2 активирует элемент «Идти к холодильнику», а комбинация «Жажда» 0,2 и «Голод» 0,2 – нет. Эта упрощенная нейронная сеть демонстрирует принципы порога и суммирования активации (активация от элементов «Жажда» и «Голод» складывается в элементе «Идти к холодильнику»). Но главное – она раскрывает важную психологическую закономерность: действие, которое мы совершаем либо при сильной жажде, либо при сильном голоде, может возникнуть и при умеренной жажде в сочетании с умеренным голодом. То есть иногда мы действуем под влиянием нескольких факторов, каждый из которых сам по себе был бы недостаточен. Подобные суммирующие влияния на человеческое поведение – а также на восприятие и мышление – постоянно фиксируются в психологических экспериментах. Обратите внимание: в этой нейронной сети активация была единственным средством обмена. При достаточной активации элемент «Идти к холодильнику» запускал реакцию; в противном случае – нет. Причем активация элементов «Жажда» и «Голод» даже не обязательна: если стимулировать гипотетический элемент «Идти к холодильнику» напрямую – скажем, внешним электрическим током, – человек направится к холодильнику. Подобное прямое воздействие электростимуляции наблюдалось в опытах на животных. Таково свойство всех нейронных сетей: активация – их единственная валюта. Мы полагаем, что этот принцип распространяется на все процессы разума. Интерлюдия. Выдуманные объяснения Декабрь 1981 г. Самолет летит в Лос-Анджелес, Калифорния. На Айзеке толстовка Калтеха [2] , на Кендалле – толстовка Школы бизнеса Маршалла при Университете Южной Калифорнии. Они сидят рядом. Кендалл. Калтех, значит? Инженер? Айзек. Нет, я занимаюсь нейронаукой. Кендалл. А, ты врач. Удаляешь опухоли мозга и все такое? Айзек. Нет, я изучаю, как можно понять наши действия через исследование мозга. Кендалл. А, вроде психологии. Моя бывшая этим увлекалась. По мне, так полная ерунда. Скажу тебе: понять человеческие поступки проще простого. Я их понимаю. (Оглядывает салон самолета, останавливает взгляд на пассажире через проход.) Видишь вон того? Только что глотнул воды. Заметил? И я скажу почему. Потому что ему пришла мысль, что он хочет пить. Вот и все! Мысль пришла – он и попил воды. Тебе бы надо потребовать деньги за обучение обратно у Калтеха. Айзек. Но что такое эта мысль? Откуда она берется? Кендалл. Да ладно тебе! У людей есть мысли. Мысли ведут к действиям, понял? Если человек идет к холодильнику, значит ему пришла мысль, что он голоден или хочет пить. Или и то и другое. Айзек. Согласен, люди думают о своих действиях. И порой, как в твоем примере с холодильником, эти мысли действительно соответствуют поступкам. Кендалл. Соответствуют поступкам? Что за ерунда? Мысль заставляет их идти к холодильнику. Они говорят себе: «Хочу пить. Надо пойти к холодильнику». Айзек (поворачивается к Кендаллу). Послушай, я работаю с пациентами с расщепленным мозгом. У них перерезан пучок нервов между полушариями, поэтому две половины мозга не могут общаться друг с другом. По сути, они живут с двумя отдельными мозгами. Одно полушарие, обычно левое, владеет речью. Правое – нет. Если грамотно построить эксперимент, можно показать правому полушарию сообщение так, чтобы левое его не увидело. Кендалл. Какое сообщение? Айзек. Например, инструкцию «пойти прогуляться». Кендалл. Но если правое полушарие не владеет речью, разве оно вообще поймет инструкцию? Айзек. Говорить оно не может, но может читать и понимать. И человек встает и идет гулять! Но вот что поразительно: если спросить, зачем он пошел гулять, он выдаст объяснение вроде «хочу попить воды». Кендалл. И это говорит левое полушарие? Айзек. Да, левое полушарие не знает, что правое выполняет инструкцию. Поэтому оно конфабулирует – выдумывает объяснение. Кендалл. То есть человек врет? Айзек. Ну, не думаю, что они считают себя лжецами. Они просто ищут объяснение своему поступку. И в данном случае объяснение оказывается неверным. Кендалл. Но эти пациенты – особый случай из-за нарушенных связей между полушариями? Нормальные люди понимают причины своих действий. Мы слышим собственные мысли. Мы действуем исходя из того, что думаем. Айзек. Согласен, обладать разумом – это как вести внутренний диалог. Но безупречные на вид объяснения, которые наш разум дает нашим поступкам, могут оказаться ложными. И это касается каждого. В одном эксперименте психологи Нисбетт и Уилсон предлагали людям выбрать одну из четырех пар нейлоновых чулок, висевших на стойке на равном расстоянии друг от друга. Непропорционально много людей выбирали последнюю пару. Кендалл. Потому что она была лучше других? Айзек. Вообще-то все четыре пары были одинаковыми. Люди просто чаще выбирали последнюю. Но никто не сказал, что дело в расположении! Вместо этого они рассуждали о вязке, плетении, качестве. Они убедили себя, что именно это повлияло на выбор. Но это была конфабуляция. Кендалл (качает головой). Выходит, мы не можем знать истинные причины своих поступков? Не верится. Айзек. Я не утверждаю, что никогда не можем. Наш разум предлагает нам объяснения наших действий. Иногда они верны, иногда нет. Кендалл. Если эти объяснения просто возникают задним числом, то каковы же настоящие причины наших поступков? Айзек. Не знаю. Возможно, нейронаука когда-нибудь найдет ответ. Кендалл. Не знаешь? И это точно не наши мысли? Айзек. Мысли – это не только те словесные формулировки, которые мы осознаем. Кендалл. А что же такое мысли? Айзек. Не знаю. Мысль как паттерн активации Мы подошли к первому из двух ключевых свойств нейронных сетей – активации . Это свойство означает, что элементы нейронной сети могут активироваться с разной силой и эта активация может в разной степени влиять на активацию других элементов. У этого фундаментального свойства есть поистине глубокое следствие. А именно: для нас – и, вероятно, для большинства когнитивных нейробиологов – мысли представляют собой паттерны активации в ансамблях нейронов нашего мозга . Мы используем термин мысль в широком смысле. Восприятие окружающего мира, размышление о том, что мы можем опоздать на поезд, переживание эмоций – все это примеры мыслей. И все они состоят из паттернов активации в группах нейронов нашего мозга. Представьте: вы идете по улице и слышите, как кто-то окликает вас по имени. Колеблющиеся молекулы воздуха ударяют по барабанной перепонке и порождают нейронный сигнал, который достигает мозга. Активируются нейроны слуховой коры, настроенные на характеристики входящего сигнала. Они запускают активацию других нейронов в других областях мозга. Формируется определенный паттерн активации – и вы осознаете, что услышали свое имя. Вы останавливаетесь и оборачиваетесь. Возникает новый паттерн активации, теперь уже в зрительной коре, – и вы узнаете друга. Оказывается, он гуляет с собакой. Запускается очередной паттерн активации. Вас охватывает радость от встречи – это результат активации в других областях мозга. Сигналы из мозга достигают лицевых мышц, и на лице расцветает улыбка. Вы останавливаетесь поговорить. Разговор заходит о его собаке. Глядя на нее, вы вспоминаете свою собаку – и в мозге вспыхивают паттерны активации, связанные с понятием собака . Эти паттерны вызваны и конкретной собакой перед вами, и общими представлениями о собаках. Вы предлагаете выпить кофе и делаете несколько шагов к ближайшему кафе, но тут звонит телефон – новый паттерн активации напоминает о предстоящем рабочем совещании. Вы на мгновение прикидываете, успеете ли выпить кофе с другом, но понимаете, что рискуете опоздать на работу. Испытываете разочарование и сознательно решаете отказаться от кофе и беседы. Все эти восприятия, эмоции и решения основаны на паттернах нейронной активности в мозге. Согласно нашему подходу, основанному на теории нейронных сетей, мысли – это и есть паттерны активности . Иногда они возникают под воздействием внешнего мира, иногда запускаются уже существующими паттернами, которые могут быть связаны с предыдущими мыслями. Хотя мысли представляют собой паттерны активации в мозге, не всякий паттерн активации можно назвать мыслью . Представьте: вы едете на работу и вдруг осознаете, что не помните, как съехали с шоссе в нужном месте и останавливались на светофорах. Можно предположить: «Наверное, у меня было множество неосознанных мыслей по дороге!» Или же мы можем употреблять слово мысль только для сознательных состояний и сказать, что доехали до работы на автопилоте, то есть не думая. В любом случае процессы в нашем мозге – те, что управляли поведением, и те, что порождали осознанные переживания, – представляли собой приливы и отливы паттернов активации. Есть что-то чарующее в представлении мыслей как паттернов активации – они формируются, расширяются, перетекают друг в друга, затем, возможно, затихают на время, но возникают вновь, иногда изменяясь от малейшего стимула. Они могут быть невероятно сложными и часто непредсказуемыми, если судить по начальному состоянию. Нам они напоминают мурмурацию стаи скворцов в небе. Знание хранится в связях Итак, мысли – это паттерны активации. Но что определяет конкретный паттерн, соответствующий конкретной мысли? Например, когда вы думаете о том, где оставили машину, в памяти обычно всплывает нужное место. То есть мысль о возвращении к машине запускает паттерн активации, содержащий информацию о конкретном парковочном месте. Как это происходит? Исследователи памяти традиционно – и, казалось бы, логично – предполагали, что мозг хранит некую запись того паттерна активации, который возник при первоначальном переживании. Ключевая особенность нашего подхода, основанного на нейронных сетях, заключается в ином предположении: после переживания остаются не сам паттерн активации, а изменения в силе связей между нейронами, участвовавшими в этом паттерне. Сила связи – это степень влияния одного нейрона (или элемента) на другой. Как мы уже говорили, в мозге такие влияния осуществляются через синапсы между нейронами, которые могут иметь разную силу. Посмотрим, как наш подход объясняет то, что произошло, когда вы вспомнили место парковки. Когда вы парковали машину, укрепились связи между нейронами, представляющими вашу машину, и нейронами, представляющими парковочное место. Благодаря этим связям представление о парковочном месте смогло активироваться заново, когда вы подумали о машине. Точно так же человек, идущий к холодильнику, чтобы утолить жажду, имеет связи между нейронами, чья активация соответствует жажде, и нейронами, отвечающими за действие «идти к холодильнику». Создавая нейросетевую модель такой ситуации, мы предполагали наличие связи между элементом «Жажда» и элементом «Идти к холодильнику». В реальном мозге такая связь – продукт опыта, ведь мы не рождаемся с готовой ассоциацией между жаждой и холодильниками. Возьмем, к примеру, понятия об окружающем мире – скажем, о птицах. Когда кто-то произносит слово птица, мы сначала активируем нейронные паттерны, представляющие крылья, перья и клювы. Узнав о птицах больше, мы можем активировать и паттерны, связанные с высоким метаболизмом или происхождением от динозавров. Так наше представление о птицах развивается по мере накопления знаний. Согласно теории нейронных сетей, биологический след этого растущего знания – как и след памяти – хранится в связях между нейронами. Это подводит нас ко второму фундаментальному свойству нейронных сетей: знание, заключенное в нейронной сети, – то, что позволяет нам распознавать предметы, помнить факты и воскрешать прошлый опыт, – хранится в связях между элементами сети . Мы называем это коннекционистским свойством нейронных сетей. Важная особенность этого свойства в том, что соответствующие связи создают проторенные пути для потоков активации – подобно тому как текущая вода прокладывает русла на поверхности земли. Некоторые пути, например связь между лицом нового знакомого и его именем, могут быть слабыми и недолговечными – как ручеек, возникающий на усыпанной листьями дорожке после короткого дождя. Другие пути, например связывающие посадку в машину с пристегиванием ремня безопасности, становятся привычными и постоянными – как река Колорадо, пробившая себе путь через Гранд-Каньон. Чем больше воды протекает, тем глубже русло; чем чаще проходит активация по нейронной сети, тем крепче становятся связи. Соблазнительно представлять память о событии как его запись – вроде дневниковой заметки или видеоролика. Но согласно коннекционистскому принципу после события остается не его точная копия, а набор изменений в связях, позволяющий приблизительно воссоздать пережитое. Новый опыт формирует новые связи между группами нейронов, и эти связи дают возможность активации одних нейронов (представляющих, например, лицо друга или мысль о припаркованной машине) влиять на активацию других (кодирующих имя друга или место парковки). Способность мозга формировать новые связи в ответ на новый опыт подтверждается множеством разнообразных экспериментов и наблюдений. В одном из исследований молодые люди учились жонглировать и совершенствовали этот навык на протяжении трех месяцев. Сканирование их мозга показало увеличение объема серого вещества в областях, отвечающих за обработку и хранение информации о сложных визуальных движениях, – в отличие от контрольной группы, которая жонглированию не обучалась. Затем участники прекратили тренировки. Спустя три месяца размеры этих областей их мозга вернулись к исходному уровню. Поскольку известно, что в анализируемой области новые нейроны не образуются, чем же объясняются изменения серого вещества? Дальнейшие исследования подтвердили: когда участники осваивали жонглирование, а затем забрасывали его, в их мозге формировались, а потом распадались новые связи. Аналогичные результаты получены в экспериментах с обезьянами. У обезьян, которых научили использовать грабли для доставания недосягаемой пищи, обнаружилась более высокая связность в определенных областях мозга по сравнению с необученными сородичами. Множество подобных экспериментов, а также наблюдения за пациентами после инсульта, которые теряли нейронные связи, а затем восстанавливали их – порой после серьезных повреждений мозга, – подтвердили важный вывод: память и обучение, связанные с новым опытом, усиливают связность нейронов в мозге, и именно эти связи служат хранилищем знаний и прошлого опыта. Как же формируются эти связи? В 1940-х годах, задолго до появления экспериментальных доказательств, канадский психолог Дональд Хебб выдвинул идею, ставшую краеугольным камнем в понимании этого вопроса. Хебб стремился связать поведение и разум с работой мозга. В молодости он столкнулся с теориями разума, совершенно оторванными от мозговых процессов. Разум считался – да и сейчас многими считается – скорее областью философии, чем-то отделенным от физического мира. Хеббу такая идея казалась глубоко неприемлемой. Он был убежден, что разум следует понимать через призму мозга, и смело взялся за эту задачу. Он ставил масштабные вопросы и искал масштабные ответы, используя интегративный подход. В книге «Эссе о разуме» (Essays on Mind), оглядываясь на свой научный путь, он писал: Психология и философия развелись давно, но, как у всех разведенных пар, у них остались общие проблемы. Одной из фундаментальных проблем, которой занимался Хебб, было влияние опыта на мозг. Он предложил простую идею: когда один нейрон активирует соседний нейрон, связь между ними укрепляется. Вот его точная формулировка: Когда аксон клетки А находится достаточно близко, чтобы возбуждать клетку В, и многократно или постоянно участвует в ее активации, происходит некий процесс роста или метаболические изменения в одной или обеих клетках, в результате чего эффективность А как активатора В возрастает. Позднее эта идея была обобщена в запоминающейся формуле: «Нейроны, активирующиеся вместе, связываются вместе». Суть идеи Хебба: если два нейрона часто активны одновременно или почти одновременно, сила (возбуждающей) связи между ними возрастает. Важное дополнение: если один нейрон часто активен, когда другой молчит, или наоборот, – их взаимные связи ослабевают. Этот принцип проявляется во многих сферах нашей жизни. Чем больше практикуешься – играешь на музыкальном инструменте, говоришь на новом языке или, как обезьяна в психологическом эксперименте, достаешь еду граблями, – тем лучше получается. По Хеббу, эти изменения происходят потому, что нейронные ансамбли, кодирующие стимул, все теснее связываются с ансамблями, кодирующими реакцию. В полном соответствии с пословицей «Повторенье – мать ученья» эти связи при многократной совместной активации становятся быстрее, прочнее и эффективнее. У привычных реакций на стимулы формируются прочные связи между появлением стимула и запуском привычного действия. Пристегивание ремня при посадке в машину – типичный пример. В нейронных сетях более быстрая, прочная и эффективная связь между элементами обозначается более высокой силой связи, или весом . Чем больше вес связи, тем сильнее ее влияние. Интерлюдия. Мозг в руках Август 2023 г. Сан-Франциско, Калифорния. Эсекьель ведет курс нейробиологии для студентов. Он передает по кругу человеческий мозг, чтобы студенты могли подержать его и рассмотреть. Большинство воспринимают это спокойно, но одна студентка, Прия, выглядит особенно озадаченной и взволнованной. Эсекьель. Все, чем был этот человек, все, что он знал, его надежды и печали, его стихи и планы, его любовь и утраты – все это сейчас у вас в руках. Прия. Я правда не понимаю. Этот человек мертв. Мозг мертв. Как он может хранить знания? Эсекьель. Его знания – в связях между нейронами. Таких связей сотни триллионов. В них его память и знания. Прия. Теоретически, если активировать нейроны, отвечающие за слово «предложение» и имя его жены, можно пробудить воспоминание о том, где он делал предложение? Эсекьель. Думаю, да. Хотя мы не знаем, как найти синапсы с конкретными воспоминаниями о жене. Эти синапсы рассеяны по всей коре – внешнему слою мозга. Прия. А можно как-то оживить весь мозг? Эсекьель. Есть серьезные ученые, которые считают это возможным. Они называют процедуру перфузией ex vivo . Пока удалось реанимировать лишь несколько нейронов в мозге свиньи. Прия. Значит, теоретически этот мозг можно реанимировать, и он будет знать все, что знал человек при жизни? Эсекьель. Полагаю, да, хотя это крайне сложно. Этот человек всю жизнь создавал синаптические связи, с которыми и умер. Они все еще здесь, как высохшее русло реки. Если бы удалось реанимировать нейроны, эти связи воссоздали бы паттерны активации, существовавшие при жизни. Все его знания – в связях. Вопрос веса Шлюз между водохранилищами на разных уровнях – удачная метафора для связей между элементами сети. В этой метафоре элемент представлен резервуаром, а его активация – уровнем воды. Такая аналогия помогает понять различия в силе связей. Широкий шлюз позволяет передающему резервуару существенно влиять на уровень воды в принимающем. Точно так же большой вес связи между передающим и принимающим элементами позволяет первому сильно влиять на уровень активации второго. Эта интерпретация соответствует биологическим нейронным сетям, где активация одного нейрона вызывает больший или меньший выброс нейромедиаторов в синапсах, что приводит к более или менее интенсивной активации принимающих нейронов. В главе 9 мы рассмотрим эксперименты, демонстрирующие, как связи между нейронами могут укрепляться под действием активационных сигналов – в полном соответствии с идеями Хебба. Как и любая метафора, аналогия со шлюзом несовершенна. Например, она плохо подходит для описания тормозных связей, где передающий элемент снижает активацию принимающего. И все же она помогает интуитивно понять принципы работы межэлементных связей. На рисунке 3.8 показаны два элемента – А и В. Элемент А получает умеренный или высокий входной сигнал. Он соединен с элементом В возбуждающей связью с низким или высоким весом. По традиции связи с бóльшим весом изображают более толстыми линиями. Рисунок 3.8. Высокий вес связи (сила связи) означает, что передающий нейрон может сильнее влиять на принимающий нейрон Низкий вес означает, что элемент А слабо влияет на элемент В. При малом весе умеренный входной сигнал в элемент А вызывает лишь слабую активацию элемента В, а сильный входной сигнал – умеренную активацию. Напротив, высокий вес означает, что элемент А сильно влияет на элемент В. Возвращаясь к метафоре с резервуарами: передающий резервуар оказывает максимальное воздействие при высоком уровне воды (соответствует высокой входной активации) и широком шлюзе (соответствует большому весу связи). Подобно тому как мы представляли активацию числами, весá связей тоже можно выразить численно. Тормозные связи имеют отрицательные веса, выраженные отрицательными числами, а возбуждающие – положительные веса, выраженные положительными числами. С учетом этих обозначений мы можем теперь указывать уровни активации и весá связей (силу связей) в нейронной сети. Вернемся к нашей сети с холодильником, но теперь (см. рисунок 3.9) предположим, что связь между элементом «Жажда» и элементом «Идти к холодильнику» имеет высокий вес (+0,9), а связь между элементом «Голод» и тем же выходным элементом – низкий вес (+0,3). Такая сеть может моделировать ситуацию, когда у человека есть устойчивая привычка идти к холодильнику, чтобы утолить жажду, но гораздо меньшая склонность делать это, если он голоден (возможно, вместо этого он тянется к банке с печеньем!). Как и раньше, элемент «Идти к холодильнику» должен получить активацию не менее 0,5 для генерации выходного сигнала (то есть его порог по-прежнему равен 0,5). Рисунок 3.9. Связи разного веса определяют степень влияния передающих нейронов Эта нейронная сеть обладает иными свойствами, чем рассмотренная ранее (см. рисунок 3.7), поскольку ее связи имеют разные веса. В первой версии нашей сети все связи имели вес 1, что позволяло элементам «Голод» и «Жажда» одинаково сильно влиять на элемент «Холодильник». В новой версии это не так. Проанализируем ее работу: исходя из сказанного выше, мы ожидаем, что связи с большим весом окажут более сильное влияние на принимающий элемент, чем связи с меньшим весом. Следовательно, элемент «Жажда» должен влиять сильнее, чем элемент «Голод». В нашей модели это реализуется следующим образом: влияние одного элемента на другой равно произведению активации передающего элемента и веса связи с принимающим элементом . Это соответствует нашим ожиданиям: передающие элементы с высокой активацией и большими весами связей должны вызывать более существенные изменения активации, чем элементы с низкой активацией и малыми весами. Рассмотрим случай, когда элемент «Жажда» имеет активацию 0,6 (довольно сильная жажда), а элемент «Голод» неактивен. Влияние элемента «Жажда» на элемент «Идти к холодильнику» составит: активация «Жажды» (0,6) × вес связи (0,9) = 0,54. Поскольку это единственное воздействие на выходной элемент, его активация будет равна 0,54. Этого достаточно для превышения порога 0,5, и действие – поход к холодильнику – произойдет. Теперь рассмотрим противоположный случай: элемент «Голод» с активацией 0,6 (довольно сильный голод), а элемент «Жажда» не получает входного сигнала. Влияние на элемент «Идти к холодильнику» составит 0,6 × 0,3 = 0,18, что значительно ниже порогового значения 0,5, поэтому действие не произойдет. Итак, высокий вес связи между «Жаждой» и «Идти к холодильнику» и низкий вес связи с «Голодом» приводят к тому, что выходной элемент активируется при сильной жажде, но не при сильном голоде. А что, если активация элемента «Жажда» составит 0,2 (слабая жажда), а элемента «Голод» – 1 (максимальный голод)? Сможете вычислить, превысит ли активация элемента «Идти к холодильнику» пороговое значение? Попробуйте сами, прежде чем смотреть ответ. В этом случае элемент «Идти к холодильнику» получит воздействие 0,2 × 0,9 = 0,18 от «Жажды» и 1 × 0,3 = 0,3 от «Голода». Суммарная активация составит 0,18 + 0,3 = 0,48, что немного не дотягивает до порога. Если бы наша сеть моделировала человека с такими связями, мы бы предсказали: в данной ситуации он не отправится к холодильнику, хотя малейшее усиление голода или жажды может сдвинуть его с места. Сила торможения Мечехвосты – удивительные создания. Свое название они получили благодаря привлекательному зеленовато-серому панцирю в форме подковы, под которым скрываются голова, брюшко и колючий хвост, напоминающий хвост ската. Самки примерно на треть крупнее самцов: они достигают примерно 60 см в длину и весят около 4,5 кг. Эти существа практически не изменились за 450 млн лет – они появились задолго до динозавров. Их козырь – зрение. У мечехвостов целых девять глаз плюс дополнительные светочувствительные рецепторы вдоль всего хвоста. Два глаза – фасеточные, то есть состоят из множества отдельных элементов, называемых омматидиями . У каждого мечехвоста их около 1000. Фасеточные глаза помогают им избегать хищников и находить подходящих партнеров для спаривания. Каждый омматидий – это специализированный нейрон с одним выходящим нервным волокном. Эти волокна крупные и доступны для исследования: к ним можно прикрепить электрод и регистрировать потенциалы действия. Сами омматидии достаточно велики, чтобы направить луч света точно на один из них. Как показано на рисунке 3.10, когда свет попадает на омматидий А, в его нервном волокне (назовем его волокном А) возникает интенсивная импульсация. Поскольку омматидий В не освещен, волокно В продолжает работать на базовом уровне или ниже. И наоборот: при освещении омматидия В интенсивная импульсация наблюдается в волокне В, а активность волокна А остается на базовом уровне или ниже. Рисунок 3.10. Действие взаимного торможения в фасеточных глазах мечехвостов Пока все было предсказуемо. Но дальше нас ждет сюрприз. Что произойдет, если свет попадет одновременно на омматидий А и омматидий В? Логично предположить, что оба нервных волокна – А и В – будут импульсировать с той же частотой, что и при изолированной стимуляции. Но происходит иное: активность обоих волокон хотя и остается выше базового уровня, но существенно снижается по сравнению с их активностью при раздельной стимуляции. Почему? Ответ кроется в явлении латерального торможения – способности возбужденного нейрона подавлять активность соседей. Это торможение осуществляется через латеральное сплетение, связывающее нервные волокна в фасеточном глазу мечехвоста. По этим каналам возбужденные нейроны посылают тормозные сигналы своим соседям. Почему же латеральное торможение снижает активность волокон А и В? Для анализа ситуации абстрагируемся от деталей и представим эти волокна как элементы сети, как мы делали раньше. Можно смоделировать нейронную сеть из двух элементов – А и В, каждый из которых соответствует нервному волокну. Эта сеть отличается от сети с холодильником в двух аспектах. Во-первых, здесь связи тормозные, а не возбуждающие. Во-вторых, связи двунаправленные: элемент А тормозит элемент В, а элемент В одновременно тормозит элемент А. Тормозные двунаправленные связи почти не влияют на ситуацию, когда входной сигнал получает только один элемент. Это соответствует освещению либо омматидия А, либо омматидия В. Рассмотрим случай, когда входной сигнал получает элемент А, а элемент В – нет. Активация элемента А устойчиво растет, а тормозная связь от А к В снижает активацию элемента В ниже базового уровня. В результате элемент В оказывает на А еще меньшее тормозное влияние, чем в покое. Итог: активация элемента А растет интенсивно, а активация элемента В подавляется ниже базового уровня. Аналогичная динамика наблюдается при активации элемента В без участия элемента А. Эти результаты соответствуют картине импульсации у мечехвоста при освещении только одного омматидия. Особенно интересна динамика активации при одинаковом входном сигнале на элементы А и В. Элемент А получает сигнал, усиливающий его активацию, но этот рост сдерживается тормозным влиянием элемента В. Тот, в свою очередь, тормозя элемент А, сам испытывает торможение со стороны элемента А. В результате оба элемента активируются слабее, чем при изолированной стимуляции, – именно это и наблюдалось в эксперименте. А что, если элемент А получит чуть больший входной сигнал (допустим, 0,55), чем элемент В (допустим, 0,50)? Попробуем проследить, что произойдет. Оба элемента снова будут тормозить друг друга. Но хотим напомнить, что влияние передающего элемента на принимающий равно произведению активации передающего элемента и веса связи между ними. Поскольку элемент А получил больший входной сигнал, его активация выше, и он окажет более сильное тормозное воздействие на элемент В, чем В на А. В результате разница между активациями двух элементов увеличится. Этот эффект называется усилением контраста . Усиление контраста через латеральное торможение работает по всему мозгу – это универсальное свойство нейронной активности. Аналогичные механизмы широко применяются и в искусственном интеллекте. Мы увидим латеральное торможение в действии во второй части книги, когда будем моделировать человеческое мышление и поведение. Например, в главе 6 мы покажем, как эффект усиления контраста позволяет организму делать решительный выбор в пользу более активного элемента, а не оставаться парализованным конкурирующими импульсами. Процессы, подобные латеральному торможению, также широко используются в приложениях ИИ. Оглядываясь назад и заглядывая вперед Давайте остановимся и кратко подведем итоги. Во-первых, нейронные сети состоят из элементов . Мысль представляет собой паттерн активации множества таких элементов. Они активируют друг друга, передавая активацию через связи разного веса. Именно в связях хранится знание нейронной сети. Влияние передающего элемента на принимающий зависит от степени активации передающего элемента и силы связи между ними. В рамках этих базовых принципов мы отметили, что активация может возникать либо от внешних входных сигналов, либо от уже активных элементов сети. Уровни активации варьируются от минимума до максимума. Веса связей могут быть возбуждающими или тормозными – активация передающего элемента может повышать или снижать активацию связанных с ним элементов. Возбуждающие связи могут формироваться, укрепляться или ослабевать по мере накопления опыта. Влияние передающего элемента на принимающий равно произведению активации передающего элемента и веса связи. Если принимающий элемент является выходным, он может запустить внешнюю реакцию при достижении порогового уровня активации. Полезное расширение этой идеи: элементы внутри сети тоже могут иметь пороги активации и молчать, пока порог не превышен. Именно эта идея использовалась в AlexNet для повышения производительности, и, вероятно, те же процессы происходят в мозге. Важно понимать взаимозависимость между потоками активации и изменением весов связей. Потоки активации определяются текущими весами связей, а изменения весов направляются информацией, которую несут потоки активации. Этот повторяющийся процесс позволяет нейронным сетям – и биологическим, и искусственным – адаптироваться и совершенствоваться со временем. Впереди нас ждет исследование того, как различные аспекты познания возникают из взаимодействия элементов в нейронных сетях. Во второй части мы рассмотрим следующие вопросы: кáк воспоминания приходят нам на ум, как они обобщаются на основе примеров и заполняют пробелы в знаниях, как контекст влияет на восприятие, понимание языка и других людей, даже на эмоции, почему мы поступаем так, а не иначе. Эти исследования способны изменить ваше представление о собственном разуме.