Обычно в нашем блоге мы рассказываем об облачных сервисах, хостинге и соответствующих технологиях. Сегодня мы представляем вашему вниманию интервью Майкла Джордана (не баскетболиста), профессора университета Беркли, в котором он рассуждает о сложностях развития технологий и том, почему Большие данные могут оказаться большим провалом.
Чрезмерное использование больших данных, вероятно, приведет к катастрофам в сфере анализа, сопоставимым с массовым обрушением мостов. Разработчики аппаратного обеспечения, создающие процессоры по образу человеческого мозга, сталкиваются с попытками доказать бесполезность такой работы с точки зрения религии. Несмотря на недавние заявления об обратном, в теме компьютерного зрения мы продвинулись ничуть не дальше, чем с физикой, когда Исаак Ньютон еще сидел под яблоневым деревом.
Это может звучать как бред сумасшедшего луддита [ ист.: участники протестов на рубеже XVIII-XIX вв., выступавшие против промышленной революции; совр.: противники достижений информационных технологий - прим. перев. ], который прорвал оцепление на конференции IEEE. Но на самом деле, эти слова принадлежат участнику IEEE Майклу Джордану, почетному профессору университета Калифорнии в Беркли. Джордан - один из самых уважаемых и авторитетных людей, мировой эксперт по теме машинного обучения. Чтобы вместить его краткую биографию потребуется отдельная крупная база данных; благодаря своей репутации именно он был выбран для написания вступления к докладу "Первопроходцы в анализе больших данных" для Национального научно-исследовательского совета 2013 года. Журналист и писатель Ли Гомес (Lee Gomes) из Сан-Франциско поговорил с ним о его отношении к современным технологиям и их развитию.
Почему мы должны перестать сравнивать человеческий мозг и компьютерные вычисления
Гомез: Из вашей статьи я сделал вывод, будто вы считаете, что в темах глубинного обучения, больших данных, машинного зрения и им подобных, присутствует огромное количество дезинформации.
Майкл Джордан: Ну, во всех научных обсуждениях действительно много дезинформации. Медиа пытаются делать все, что в их силах, чтобы найти тематики, про которые люди будут читать. Иногда все это заходит гораздо дальше действительно совершенных открытий. В частности тематика, глубинного обучения - это, в значительной степени, просто переработанная информация о нейронных сетях с 1980-х годов. А в те года они повторяли то, что было известно в 1960е годы, такое чувство, что каждые 20 лет проходит волна, затрагивающая одни и те же темы. В волне, которая идет сейчас, главной идеей является сверточная нейронная сеть, о которой уже говорили 20 лет назад. Одна из проблем, связанных с обеими предыдущими волнами, и которая упорно продолжит присутствовать в нынешней волне, заключается в том, что люди продолжают считать, будто секрет как-то связан с неврологией. Они считают, что для глубинного обучения нужно понимание того, как мозг обрабатывает информацию, учится, принимает решения или справляется с огромным количеством информации. Это откровенная ложь.
Гомез: Как человек из медиа-сферы осмелюсь возразить, что часто именно сами ученые жаждут, чтобы кто-то писал о них истории.
Джордан: Да, это партнёрство.
Гомез: На меня всегда производит неизгладимое впечатление, когда люди, занятые в сфере вычислительных систем, описывают работу мозга, при этом оперируя ужасающе упрощенными формулировками, которые вы бы никогда не услышали из уст нейробиологов. Лично вы назвали это "карикатурой на модель" мозга.
Джордан: Не хочу вешать на людей ярлыки и говорить, что все ученые в области компьютерных наук работают в одном направлении, а нейробиологи - в другом. Но это правда, что нейробиологии потребуются десятки и даже сотни лет, чтобы понять глубинные принципы [работы мозга]. Прогресс в нейробиологии стоит на самых нижних ступенях развития. Что касается более сложных уровней познания - как мы чувствуем, как мы запоминаем, как мы действуем - мы понятия не имеем, как нейроны хранят информацию, как они её обрабатывают, по каким правилам это происходит, каким алгоритмами, как они представляются и все в таком духе. Пока что мы не в той эпохе, чтобы использовать понимание устройства мозга для продвижения в построении интеллектуальных систем.
Гомез: Кроме критики карикатурных моделей мозга вы пошли дальше и раскритиковали всю идею "неврального реализма" - убеждения, что определенное аппаратное и программное обеспечение будет обладать интеллектом только в том случае, когда оно будет обладать предполагаемыми характеристиками мозга. Что вы думаете об ученых, работающих в сфере вычислительной техники, которые говорят, например: "Принцип работы моей системы схож с работой человеческого мозга, потому что она способна выполнять параллельно множество задач"?
Джордан: Ну, подобные сравнения могут оказаться полезными. Потоки и конвейеры - это метафоры, которые стали достоянием различных областей компетенций. Я думаю, что в ранние 80-е компьютерные науки находились под влиянием последовательных архитектур, как в случае с парадигмой фон Неймана о хранимой программе, запускающийся последовательно, и поскольку это была последовательность, нужно было найти способ выходить из неё. Поэтому люди начали поиск метафор, связанных с параллельной работой мозга, что оказалось полезным.
Но по мере развития предмета обсуждения выяснялось, что это не невральный реализм привел к прогрессу. Алгоритм, признанный наиболее успешным в плане глубинного обучения, основан на технике, названной "обратная передача ошибки обучения". В системе с множеством процессорных элементов вы передаете сигнал в обратном направлении, через все уровни и изменяя все параметры. Довольно очевидно, что мозг не работает таким образом. Это определенно отступление от неврального реализма, но оно привело к значительному прогрессу. Люди пытаются смешать эту конкретную историю успеха с другими попытками создания систем, принцип действия которых схож с человеческим мозгом, но которые не были и близко такими же успешными.
Гомез: Еще одно замечание, которое вы сделали касательно неврального реализма, заключалось в том, что в нейронных сетях нет ничего нейронного.
Джордан: В системах глубинного обучения нет спайков, как нет и дендритов. Но сигналы в них двунаправленные, что не наблюдается в мозгу.
Мы не знаем, как нервные клетки обучаются. Действительно ли за это просто небольшое изменение синаптического веса, как это происходит в искусственных нейронных сетях. У нас есть практически нет понимания того, как на самом деле происходит обучение в нашем мозгу.
Гомез: Я все время читаю, как инженеры описывают свои новые спроектированные процессоры, и кажется мне, что это невероятно жестокое издевательство над языком. Они говорят про "нейроны" или "синапсы" в своих чипах. Но такого же не может быть, нейрон - это живая и дышащая клетка невообразимой сложности. Приемлемо ли инженерам использовать биологические термины для описания структур, которые по сложности даже близко не стоят с биологическими системами?
Джордан: Буду здесь осторожен и скажу, что очень важно различать две области, где в настоящее время используется слово "нейронный".
Одна из таких областей - это глубинное обучение. Здесь, каждый "нейрон" в действительности только карикатура. Это линейно-взвешенная сумма, пропущенная сквозь нелинейную характеристику. Любой, кто знаком с электротехникой, распознает эти типы нелинейных систем. Слово "нейрон" здесь применяется просто для краткости и удобства. Это просто карикатура. В статистике есть процедура, называемая логистической регрессией, известная с 1950х годов, которая не имеет ничего общего с нейронами, но архитектура которой строится схожим образом.
Вторая область, если я правильно понимаю, включает то, что вы сейчас описываете, и направлена на то, чтобы ближе подойти к имитации работы настоящего мозга, или хотя бы упрощенной модели настоящей нейронной схемы. Но я наблюдаю здесь проблему, состоящую в том, что исследование не связано с пониманием того, что такая система может делать алгоритмически. Оно не связано с системой познания, которая принимала бы в себя данные и решала проблемы, как система технического зрения. В действительности, это просто архитектура, созданная в надежде, что когда-нибудь люди создадут подходящие для нее алгоритмы. Но нет ничего, что подкрепляло бы эту надежду. Думаю, что надежда основана на вере в то, что если вы построите что-то вроде мозга, то сразу станет понятно, что он может делать.
Гомез: Если бы вы могли, вы бы наложили запрет на использование биологии головного мозга в качестве модели вычислительной техники?
Джордан: Нет, вы должны черпать вдохновение из любых источников. Как я упоминал ранее, в 80х годах нам помогла фраза: "Давайте отойдем от последовательной парадигмы фон Неймана и сосредоточимся на параллельных системах". Я считаю, в наше время, когда очевидно, что детальная обработка, проводимая мозгом - это не информационный алгоритмический процесс, неуместно использовать мозг как доказательство того, чего мы достигли. Мы не знаем, как мозг обрабатывает зрительную информацию.
Наши заблуждения о машинном зрении
Гомез: Вы использовали слово "очковтирательство", когда говорили об исследованиях систем технического зрения. Чуть позже произошел всплеск интереса к историям о том, как компьютеры разрешили проблему компьютерного зрения, и что они стали также хороши в распознавании образов, как и люди. Думаете, это хотя бы похоже на правду?
Джордан: Люди способны обрабатывать беспорядочные события. Они способны оперировать большим количеством категорий и могут делать выводы в зависимости от обстановки: "Что произойдет, если я на это сяду? Что если я положу вот этот предмет на этот?" Эти задачи очень далеки от возможностей современных машин. Глубинное обучение хорошо подходит для некоторых видов распознавания изображений, например, для ответа на вопрос: "Что это за предмет?"
Но проблема машинного зрения очень обширна. Это все равно, что сказать, будто мы познали физику, когда яблоко упало с дерева. Да, мы узнали что-то новое про силы и ускорение - это было важно. В машинном видении у нас есть инструмент, который решает некоторый класс задач, но говорить, будто он способен разрешить все проблемы - глупо.
Гомез: Насколько большой кластер проблем мы способны разрешить на сегодняшний день, по сравнению с количеством, которое способен решить человек?
Джордан: С распознаванием лиц какое-то время было ясно, что проблема решаема. Кроме лиц, вы можете говорить и о других категориях объектов: "Здесь есть чашка" или "Здесь есть собака". Но все еще это очень сложная проблема: различить множество различных объектов в одном месте, и понимать то, как они друг с другом соотносятся, или то, как человек или робот будет взаимодействовать с этим окружением. Здесь существует много невероятно сложных проблем, которые далеки от разрешения.
Гомез: Даже в случае распознавании лиц, я убежден, что система работает только если у вас есть чистые фотографии.
Джордан: Опять же, это инженерная проблема - улучшить работу системы. Как вы заметите со временем, точность распознавания увеличится. Но все эти разговоры про "революционные" изобретения чересчур перегружены лишним.
Почему большие данные могут оказаться большим провалом
Гомез: Если можно, давайте обратимся к вопросу о больших данных: в ваших высказываниях на эту тему вы часто отмечаете, что современная одержимость ими может сыграть с нами злую шутку. Например, вы предсказывали, что общество будет переживать эпидемию новых, ложноположительных результатов, связанных с большими данными.
Джордан: Ну, когда у вас есть огромное количество данных, то ваши аппетиты к выдвижению теорий также приобретают тенденцию расти. И если они растут быстрее, чем статистическая прочность данных, тем больше ваших выводов будут неверными. Вероятнее всего, они будут белым шумом.
Гомез: В каком смысле?
Джордан: В классической базе данных у вас есть около нескольких тысяч человек. Вы можете думать о них как о строках в базе, а столбцы представляют собой особенности этих людей: возраст, рост, вес, заработок и так далее.
Количество комбинаций этих столбцов растет экспоненциально с их числом. Так что если в вашей базе данных очень и очень много столбцов, и мы говорим о современных базах данных, то каждый человек обладает миллионами и миллионами атрибутов.
Теперь представим, что я начну просматривать все возможные комбинации этих параметров, например: вы живете в Пекине и ездите на велосипеде на работу, вы работаете в таком-то месте и у вас такой-то возраст. Здесь возникает вопрос, каков шанс, что у вас есть определенная болезнь или вам придется по душе моя реклама? Я получаю комбинации из миллионов атрибутов, а количество этих комбинаций растет в геометрической прогрессии и достигает количества атомов во вселенной.
Это гипотезы, которые мне нужно рассмотреть. Однако для любой отдельно взятой базы данных я могу найти комбинацию столбцов, которая совершенно случайно, но точно предскажет любой исход. Я просмотрю всех людей, у которых был сердечный приступ и сопоставлю с людьми, у которых его не было. Затем буду искать комбинации, которые предсказывают сердечные приступы, но вместе с ними я найду все ложные комбинации столбцов, потому что таких комбинаций очень большое количество.
Это все равно, что заставить миллиарды обезьян печатать. Одна из них напишет Шекспира.
Гомез: Вы считаете, что этот аспект больших данных недооценивают?
Джордан: Абсолютно.
Гомез: Есть ли какие-то вещи, которые приписывают большим данным, но которые вы считаете недостижимыми?
Джордан: Я думаю, что анализ данных способен предоставить выводы различных качественных уровней. Но нам нужно понимать, какие это уровни качества. Мы должны устанавливать планки погрешностей на всех предсказаниях. Этот момент как-то упускается в большинстве литературы про машинное обучение.
Гомез: Что случится, если люди, работающие с данными, не примут во внимание ваш совет?
Джордан: Я люблю проводить аналогию с построением мостов. Если бы я был беспринципным инженером и построил тысячи мостов без упора на науку, многие из них обвалились бы, что привело бы к катастрофе.
То же самое и в случае с большими данными. Если люди используют данные и выводы, которые они могут из этих данных сделать, не задумываясь о погрешностях, не беспокоясь о неоднородности данных и их зашумленности, не интересуясь выборкой и всеми другими вещами, о которых нельзя забывать ни в коем случае, если вы инженер и статистик, то существует хороший шанс, сделав множество прогнозов, случайно разрешить действительно интересные проблемы, но также существует и шанс, что вы случайно примете решения, ведущие к катастрофе. Распознать это априори невозможно, вы просто будете делать выводы, подводить итоги и надеяться на лучшее.
И именно так обстоят дела в настоящий момент. Многие люди, создавая что-то, надеются, что все будет работать, и иногда так и происходит. В какой-то мере, в этом нет ничего плохого - это исследование. Но сообщество в целом не может допустить такого, мы не можем только надеяться, в конечном счете, приходится давать гарантии. Инженеры-строители со временем научились строить мосты, которые гарантированно выстоят. Я подозреваю, что в случае с большими данными потребуется десятки лет, прежде чем появится технический подход, позволяющий нас сказать с долей уверенности, что мы даем обоснованные ответы и учли вероятные ошибки.
Гомез: Есть ли у нас сейчас инструменты, позволяющие оценить уровень наших погрешностей?
Джордан: Информационные технологии только зарождаются как наука. Есть множество идей, рожденных на основании сотен лет статистических данных и теории вычислительных систем, и мы работаем над тем, чтобы собрать все вместе и расширить диапазон наших знаний. Существует множество идей для контроля исследований, которые называются групповой вероятностью ошибок, позволяющих узнать, с какой частотой возникали ошибки за последние 30 лет во многих гипотезах, которые я выдвигал. Но многие из них не изучались вычислительными методами, поскольку применение математических и технических средств занимает длительное время.
Не год или два. На то, чтобы все понять правильно, потребуется несколько десятков лет. Мы все еще учимся тому, как обращаться с большими данными.
Гомез: Когда вы читаете о больших данных и здравоохранении, каждая третья история рассказывает о удивительных медицинских предсказаниях, которые возникают практически сами собой путем сбора данных от всех людей, в особенности из облака.
Джордан: Вы не можете быть настроены только скептически или только оптимистично касательно этого вопроса. Истина где-то посередине. Но если вы просмотрите все гипотезы, родившиеся из анализа данных, то какая-то часть из них окажется полезной, вы просто не можете знать, которая. Так что если вы просто выберете какие-то из них, есть шанс, что вам повезет. Если вы съедите овсяные хлопья, то вы не заработаете рак желудка или что-то подобное, потому что данные такого не предполагают и [таким образом] оказывают нам некую поддержку.
Но до тех пор, пока вы не проведете полномасштабное техническо-статистическое исследование, чтобы обусловить планки погрешностей и определить количество ошибок - вы можете только гадать. Но это лучше, чем гадать на пустом месте - это рулетка, но только отчасти.
Гомез: Какие неблагоприятные последствия могут ждать сферу больших данных, если мы продолжим придерживаться направления, которое вы описываете?
Джордан: Ну, главным образом это "устаревание" больших данных. После шумихи, когда люди проинвестируют деньги, а многие компании наобещают сверх меры без проведения каких-либо серьезных исследований, все обрушится. И вскоре, через два года, или 5 лет люди скажут: "Вся эта задумка с большими данными пришла и ушла. Все затихло. Вся идея была неверной". Я предсказываю такой исход. Это то, что произойдет, при всем том обмане и громких утверждениях, не основанных ни на понимании реальных проблем, ни на том, что их решение займет десятилетия. Прогресс движется медленно, но верно - в этим направлении у нас никогда не было значительных скачков. Затем проследует период, в течение которого будет очень сложно раздобыть ресурсы, чтобы провести анализ данных. Область продолжит двигаться вперед, потому что это действительно нужно, но неблагоприятные последствия могут повредить большому количеству важных проектов.
Что делать с миллиардом долларов
Гомез: Принимая во внимание количество средств, которые вкладываются в это дело, наука, скрывающаяся за рекламой, все еще выглядит довольно примитивной. У меня есть хобби, в свободное время я ищу информацию о нелепых проектах на Kickstarter, в основном для того, чтобы увидеть, насколько они абсурдные: дошло до того, что я получаю подобную рекламу от одних и тех же компаний на протяжении многих месяцев.
Джордан: Ну, опять же, это зависит от области. Это зависит от того, как система разработана и о какой области мы говорим. Она может быть очень хорошей в определенных узких областях, а в областях более обширных, где семантика гораздо менее выражена, она может быть очень плохой. Лично я считаю, что система рекомендаций Amazon для книг и музыки очень-очень хороша. Так получилось, потому что у них собрано большое количество информации, а сфера деятельности довольно ограничена. Сфера рубашек и обуви гораздо более бедная семантически, и у них гораздо меньше данных о ней, поэтому и рекомендации работают гораздо хуже.
Все еще существует много проблем, но люди, которые создают такие системы, трудятся над ними. Здесь мы касаемся вопросов семантики и людских предпочтений. Если я покупаю холодильник, это не значит, что в основном я интересуюсь только ими. Я уже купил мой холодильник, и вероятно больше не буду интересоваться им. В то время как, если я купил песню Тэйлор Свифт, то очень даже вероятно, что я продолжу покупать её песни. Это связано с семантикой и певцов, и продуктов, и товаров. Чтобы все работало как надо для всех зон человеческих интересов, потребуется огромное количество данных и огромное количество разработок.
Гомез: Вы сказали, что если бы у вас был неограниченный грант на $1 миллиард, то вы бы работали над обработкой естественного языка. Что бы вы сделали такого, чего не сделал Google с Google Translate?
Джордан: Я уверен, что Google делает все то же, что бы делал я. Но я не считаю, что Google Translate, который включает в себя машинный перевод, решает единственную языковую проблему. Еще пример большей языковой проблемы - это ответы на вопросы. Например: "Какой второй по величине город в Калифорнии, который находится вдали от рек?" Если я напечатаю это предложение напрямую в Google, то, вероятно, не получу полезный ответ.
Гомез: Вы говорите, что за этот миллиард долларов вы бы могли решить проблему общепринятого знания, по крайней мере пока это имеет отношение к естественному языку, и закончить триумфом искусственного интеллекта: машины, которые думают как люди?
Джордан: Лучше выделить маленькую проблему, не затрагивающую все и сразу, но которая, несмотря на это, позволяет двигать прогресс. Этим мы занимаемся во время исследований. Я мог бы выбрать специфичную область. На самом деле, мы работаем над ответами на вопросы в сфере географии. Это позволило бы мне сконцентрироваться на определенных видах отношений и определенных видах данных, а не на всем, что есть в мире.
Гомез: Чтобы двигаться вперед в ответах на вопросы, вам потребуется привязать их к определенной области знаний?
Джордан: Это эмпирический вопрос о том, как далеко вы можете зайти, и он имеет отношение к тому, какой объем данных доступен. Как много вы можете заплатить людям, чтобы они начали записывать некоторые из тех вещей, что они знают об этих сферах. Как много заметок у вас есть.
Гомез: Довольно досадно, что даже с миллиардом долларов мы придем к необобщенной системе, способной работать только в определенной области знаний.
Джордан: Как правило, каждая из таких технологий совершенствовалась подобным образом. Ранее мы говорили о зрении, самые первые системы технического зрения были системами распознавания лиц. Вот и граница области. Но именно здесь, на ранней стадии, мы начали наблюдать прогресс и понимать, что такие вещи могут работать. То же самое и с речью - начало было положено распознаванием отдельных слов, а позже, медленно, появлялись системы, способные распознавать целые предложения. Процесс всегда движется от чего-то ограниченного к вещам, ограниченным все менее и менее.
Гомез: Зачем нам нужно улучшать ответы на вопросы? Неужели Google недостаточно хорош?
Джордан: У Google есть группа, занимающаяся только естественным языком, так как они осознали, что недостаточно хороши в некоторых аспектах. Например, использование "не" - люди хотят пользоваться частицей "не": "Какой город не стоит на реке?" На сегодняшний день поисковая система Google обрабатывает эту ситуацию недостаточно хорошо.
Как не поговорить о сингулярности
Гомез: Давайте отвлечемся на несколько другие темы. Если бы вы говорили с кем-то в Кремниевой долине, и он сказал бы: "Вы знаете, профессор Джордан, я - ярый приверженец сингулярности", ваше мнение об этом человеке улучшилось бы или ухудшилось?
Джордан: По счастливой случайности я никогда не встречался с такими людьми.
Гомез: Да ладно вам.
Джордан: Но я действительно не встречался с такими людьми. Я общаюсь в кругу инженеров и математиков.
Гомез: Ну а если бы вы случайно встретились с подобным человеком, что бы вы сделали?
Джордан: Я бы снял с себя шляпу академика, и начал бы вести себя как обычный человек, размышлял о том, что может случиться в ближайшее десятилетие и получал бы от этого удовольствие, как от прочтения научной фантастики. Это никак не связано с моей научной деятельностью.
Гомез: Ну хорошо, но что вы скажете по этому поводу как ученый?
Джордан: В моем понимании это - не академическая дисциплина. Отчасти это философия изменения общества, того, как меняются люди, а отчасти литература - научная фантастика, размышляющая о последствиях технологических изменений. Эти люди не дают алгоритмических идей, насколько я могу судить, потому что даже не видел тех, кто говорит нам, как двигать технологический прогресс.
Что на самом деле означает тест Тьюринга
Гомез: Пройдет ли машина тест Тьюринга на вашем веку?
Джордан: Я думаю, что произойдет медленное накопление знаний в областях связанных с речью, зрением и естественным языком. Думаю, что момент, когда мы скажем: "Теперь во вселенной есть еще одно интеллектуальное существо" не наступит в какой-то определенный узкий промежуток времени. Думаю, что системы вроде Google уже показывают определенный уровень искусственного интеллекта.
Гомез: Они определенно полезны, но их никогда не спутаешь с человеком.
Джордан: Нет, не спутаешь. Не думаю, что многие считают тест Тьюринга четким разграничением. Мы все узнаем интеллект, когда видим его, и он зарождается во всех устройствах вокруг нас. Ему не обязательно принимать форму единого организма. Я могу только заметить, что инфраструктура вокруг меня стала гораздо более интеллектуальной. Все из нас со временем это замечают.
Гомез: Когда вы говорите "интеллектуальный", вы используете это слово в качестве синонима слову "полезный"?
Джордан: Да. Что наше поколение находит удивительным, так это то, что компьютер в каком-то роде распознает наши нужды и желания - дети наших детей найдут это менее удивительным. Предполагается, что наше окружение адаптивно, предсказуемо и надежно. Появится возможность взаимодействовать с вашим окружением на естественном языке. В какой-то степени вы будете удивлены возможностью побеседовать с окружением. Прямо сейчас мы можем сделать это частично, внутри очень ограниченных областей. Например, мы можем получить доступ к банковским счетам. Такие технологии очень примитивны, но с течением времени мы увидим, как они становятся все умнее, надежнее и шире. В какой-то момент мы скажем: "Ух ты, все было по-другому, когда я был ребенком". Тест Тьюринга помог области сдвинуться с места, но, в конце концов, он перестанет быть чем-то действительно важным, и станет не более чем событием для СМИ, как День Сурка.