Алгоритмы машинного обучения

Какая теория обучения машин правильная?

 

Джоф Хинтон считает, что логику работы нашего мозга можно запечатлеть в одном алгоритме, и работает последние 40 лет в его поисках. Изначально его сфера - психология, однако теперь он занимается наукой о компьютерах и распределяет свое время между Google и Университетом Торонто. Он рассказывает о том, как однажды пришел домой очень возбужденный с криком "Я сделал это! Я понял, как работает мозг!", на что получил ответ от его дочери: "Ох, папа, только не снова!". Однако, несмотря ни на что, его усилия начинают приносить плоды.

DeepMind - стартап, приобретенный Google за 400 миллионов долларов, по сути, является магазином по продаже этого алгоритма.

Возьмем эволюционистов. Джон Холланд из Университета Мичигана возглавлял их до своей смерти в августе 2015, и они считают, что эволюция, а не сам мозг, является основным алгоритмом. Метод обратного распространения ошибки может быть неплох для налаживания связей между нейронами, но эволюция создала всю жизнь на Земле. 

Еще в 60-х Холланд начал попытки симулировать эволюцию на компьютере, используя целые популяции соперничающих индивидов, разные показатели физического развития и репродуктивности между соперничающими. К середине 90-х его последователи достигли успехов в эволюционировании, например, радио приемников и усилителей из случайного набора деталей, попутно запатентовав впечатляющее количество технологий. Сейчас их главная задача - эволюционирование реальных роботов, лучший из каждого поколения которых будет программировать 3D принтер на создание улучшенной версии. Если Т-1000 из Терминатора 2 когда-то появится на свет, то наверняка приблизительно таким способом.

Однако большая часть ученых, занятых проблемами обучения машин, считают, что имитация биологии - будь это мозг или эволюция - это, по меньшей мере, очень долгий путь к основному алгоритму. Лучше пытаться решить проблему используя основные известные принципы и все, что нам известно о вычислительной технике, логике и статистике.

Для Байесианцев создание основного алгоритма сводится к максимально эффективному применению теоремы Байеса, математического правила того, как мы увеличиваем силу веры в гипотезу при появлении нового ее подтверждения. Эту группу в статистике долгие годы не уважали, однако сейчас она набирает популярность и продолжает настаивать на том, что если алгоритм обучения не соответствует теореме Байеса, то он неправильный. 
Использование для компьютерного обучения достаточно сложной гипотезы было за пределами их возможностей до того момента, как профессор Джуди Перл из Университета Калифорнии в Лос Анджелесе совершила открытие, за которое получила премию Тьюринга - Нобелевскую мира компьютерной науки - в 2011-м году. 

Созданная ею Байесовая сеть (Pearl"s Bayesian networks), как ее назвали, может рассчитывать вероятности исхода с использованием этих переменных без малейших проблем. Велика вероятность того, что ваша первая машина с автопилотом будет ею пользоваться.

При этом, даже Байесовая сеть не может переубедить символистов, группу, которая ближе всего к классическому, основанному на знаниях ИИ (искусственному интеллекту). Ее представители, как, например, Стивен Магглтон из Имперского колледжа Лондона, считают, что действительно многофункциональный обучающийся алгоритм должен свободно комбинировать различные правила, и они ищут эти правила, заполняя пробелы в дедуктивной логике: если я знаю, что Сократ человек, то что я должен знать, чтобы прийти к выводу о том, что он смертный? Что люди смертны, конечно же. И теперь можно добавить это правило в нашу базу знаний. 

Робот-ученый Ив (Eve) из Университета Манчестера работает на этом принципе. Начав с базовых знаний о молекулярной биологии, она формулирует гипотезы, проводит эксперименты, чтобы их протестировать, и все это без человеческой помощи. В 2014-м году Ив открыла новое лекарство от малярии.

Если алгоритмы символистов эмулируют мыслительный процесс ученых, то аналогисты - представители пятого и последнего ответвления изучения компьютерного обучения - скорее эмулируют ленивого ребенка, который не готовится к экзамену, а потом списывает все ответы. 

Столкнувшись с определенном диагнозом у пациента, основанные на аналогии алгоритмы находят в своей базе пациента с наиболее похожими симптомами и предполагают, что диагноз должен быть таким же. Это может показаться наивным, однако у аналогистов есть математические доказательства того, что их алгоритмы могут научиться всему при должном количестве информации.

Однако информации нужно действительно много, поэтому они работают над более сложными формами рассуждений на основе аналогий. Дуглас Хофстадтер, когнитивный ученый и автор книги Гёдель, Эшер, Бах, за которую он получил Пулитцеровскую премию, уверен, что именно аналогия есть основной алгоритм.

Кто выиграет гонку? Возможно, ни одна из основных школ не располагает всеми кусочками пазла. Скорее всего, потребуется комбинация всех вышеперечисленных идей: объединенная теория обучения машин сродни стандартной модели физики или центральной догме биологии. А, возможно, потребуется абсолютно новый взгляд, возможно, даже не профессионального исследователя, а обычного студента аутсайдера вроде Джофа Хинтона в те времена, когда он начинал свою работу.