(495) 925-0049, ITShop интернет-магазин 229-0436, Учебный Центр 925-0049
  Главная страница Карта сайта Контакты
Поиск
Вход
Регистрация
Рассылки сайта
 
 
 
 
 

Как Big Data работает в реальной экономике

Источник: Ъ

Москвичам не нравится общественный транспорт, китайцев ждет крах рынка жилья, проблемы АвтоВАЗа все серьезнее, а цены на нефть могут опять упасть. Эти и многие другие выводы могут быть сделаны с помощью нового инструмента - анализа "больших данных" на основе геолокации.

АЛЕКСАНДР ЗОТИН

Экономический рост последних 30 лет - во многом результат прогресса информационных технологий. Компьютерная и интернет-революции позволили контролировать все стадии производства и транспортировки товаров в любой точке земного шара. Земля, по выражению экономиста Томаса Фридмана, стала плоской. Следующий революционный шаг - от "плоской" экономики к полностью прозрачной. И судя по всему, произойдет это благодаря "большим данным" (Big data; впервые термин появился в журнале Nature 3 сентября 2008 года, его автор - редактор Nature Клиффорд Линч).

Сомнительная статистика

Понять многие экономические процессы тяжело, причем не только в теории, но и на практике. Статистика здесь часто не только не помогает, но даже мешает. Вторая экономика мира - китайская - выросла в 2015 году на 6,9% ВВП, так заявляют официальные власти. Однако многие аналитики сомневаются в достоверности этих данных.

Относительно развитых стран недоверия меньше, но есть другая проблема - данные сильно запаздывают. Например, финальная оценка ВВП за прошедший год в США (их статистика во многом образцовая) появляется лишь спустя три месяца с конца года.

Для более оперативной оценки ситуации есть другие инструменты. Это разнообразные опросы на предмет текущего состояния дел в разных секторах экономики. Наиболее популярны ежемесячные опросы менеджеров по закупкам в промышленности и сфере услуг (Purchasing Managers Indices - PMI). Менеджерам надо ответить, хуже или лучше стала ситуация на предприятии относительно прошлого месяца по нескольким параметрам. Показатель ниже 50 сигнализирует о снижении деловой активности, выше 50 - о росте. Инструмент быстрый (финальный PMI за месяц выходит сразу после его окончания), но не очень точный. Например, в США за всю промышленность отвечают 400 менеджеров. Впрочем, в США индекс PMI рассчитывается с 1948 года и имеет репутацию надежного инструмента. В других странах, где PMI стали использовать недавно, доверие к нему меньше.

Мне сверху видно все

Проблема решаема: за экономикой можно следить из космоса. В 2015-м калифорнийский стартап Spaceknow запустил собственный индекс - China Satellite Manufacturing Index (China SMI), который мониторит промышленность Китая с помощью анализа спутниковых снимков. Компания выделила на территории страны 6 тыс. крупнейших предприятий. С помощью постоянно обновляющихся фотографий (сейчас их уже 2,2 млрд) в Spaceknow следят за всеми визуальными изменениями на этих объектах, а потом интерпретируют их в терминах экономической активности. Таких признаков деятельности множество: строительная активность, динамика выбросов дыма на заводах или роста отвалов на шахтах, заполнение фурами и другим транспортом парковок возле предприятия, объем товарных и сырьевых запасов, трафик грузов и рабсилы и т. д.

Все данные суммируются в индекс, который очень напоминает классический PMI; последние данные China SMI за март (48,2) хуже China PMI от независимого агентства Caixin Media (49,7) и значительно хуже официального PMI (50,2).

"Мы предоставляем независимый взгляд на китайскую экономику по совершенно новой методологии,- говорит СЕО Spaceknow Павел Макалек.- Мы не проводим опросов, наш индекс автоматизированный и абсолютно объективный". Макалек признается, что никогда не был в Китае, но для анализа это не важно, последним занимается компьютерный алгоритм. Почему выбран именно Китай - понятно. Во-первых, страна славится ненадежной статистикой, во-вторых, состояние ее экономики очень важно для всего мира. Потому у Spaceknow много заказчиков из числа госструктур и хедж-фондов.

Однако методология применима к любой стране и даже ко всему миру. "В мире всего около 6 млн километров автодорог с покрытием, 50 тыс. крупных коммерческих судов и всего лишь около 50 крупных портов,- перечисляет Макалек.- Важных экономических объектов много, но не настолько, чтобы нельзя было выстроить систему мониторинга и анализа".

Spaceknow - одна из целой плеяды компаний, занимающихся анализом данных в привязке к географии (геолокацией). Для Spaceknow важным стало резкое удешевление запуска и одновременно миниатюризация коммерческих спутников. Еще три года назад вывод спутника формата CubeSat (куб с гранью 10 см и весом чуть больше килограмма) на орбиту стоил около $1 млн. Сейчас - дешевле $100 тыс. Запустить свой спутник может позволить себе простая американская школа. Все дело в ценовой войне, затеянной компанией Илона Маска SpaceX (до 2013-го на рынке коммерческих запусков господствовали европейская Arianespace и российско-американская International Launch Services). Та же Spaceknow не имеет собственных спутников, но пользуется резким снижением цен на их запуск - поставщики снимков продают их дешевле и даже предлагают бесплатно.

Еще более важный прорыв - рост вычислительной мощности компьютеров и развитие алгоритмов обработки информации сделали возможной интерпретацию огромных массивов данных (Big Data). Недостаточно просто сохранить петабайты информации (обычно именно с этого порога информация классифицируется как Big Data), необходимо научить компьютер вычленять из массива данных релевантную информацию и правильно ее интерпретировать.

Поезда и города

Геолокация и Big Data применимы не только в макроэкономической статистике. Так, недавно лаборатория китайского поисковика Baidu Big Data Lab попыталась выяснить, сколько в КНР "городов-призраков". Известно, что их много. Но оценки вакантной застройки сильно расходятся: от 720 млн до 6 млрд метров площади. Используя сигналы с мобильных телефонов и устройств с GPS-приемниками (несколько миллиардов точек локации в день), Baidu Big Data Lab провела мониторинг китайских городов с сентября 2014 по апрель 2015 года. Результаты опубликовали частично - вероятно, чтобы не пугать публику. Из топ-50 "городов-призраков" в список Baidu попали лишь 20 случайно отобранных, зато с конкретными районами пустой застройки. В публикации компания отметила, что не хотела бы влиять на продажи жилья в указанных "призраках", поэтому она не стала ранжировать их по пустоте.

Интересные исследования проводит и недавно выделившаяся из "МегаФона" российская компания oneFactor, в которую инвестирует USM Holdings. "Одно из наших ключевых направлений - георекомендательный сервис,- рассказывает один из основателей oneFactor Роман Постников.- Этот инструмент позволяет как местным, так и национальным перевозчикам уровня РЖД выявлять неэффективные маршруты и оптимизировать их. Допустим, на поезде едет 1000 человек, 900 выходят на одной станции, и всего 100 остаются до следующей. Мы можем с высокой точностью понять, куда кто едет и каким способом - может быть, их конечный пункт назначения находится где-то посередине между станциями и следующая остановка просто избыточна? По загрузке сотовой сети мы это хорошо видим. В таких случаях хорошо бы сработала схема мультимодального транспорта: можно заменить часть железнодорожного маршрута дополнительной автобусной линией. Причем РЖД и подобные компании могли бы сразу продавать единый билет на все виды транспорта до пункта назначения. Клиентам удобно, компании выгодно - не нужно гонять составы ради 10% пассажиров".

На тех же принципах строится оптимизация городского транспорта. "Проанализировав маршрут с точки зрения загрузки (как фактической, так и потенциальной), можно выявить недозагруженные участки и снизить там интенсивность движения. Или сделать чуть больше пересадок. Парадокс в том, что скорость перемещения для большинства пассажиров возрастет",- говорит Постников.

Для Big Data на основе данных сотовой сети хорошие снимки из космоса - дополнительный плюс. "Сотовые операторы делают на основе "Яндекс.Карт" сервис для определения местоположения абонента (отправляешь SMS - получаешь ответ, где находишься, в виде фрагмента карты),- рассказывает представитель "Яндекса" Дмитрий Горчаков.- "Яндекс" регулярно выпускает исследования, основанные на данных своих геосервисов, например про транспортную доступность районов крупных городов или про высоту зданий в миллионниках. На основе "Яндекс.Карт" сейчас работает около 500 тыс. сайтов. Например, карта строек Москвы или проект, который позволяет искать спортивные объекты".

Совмещением массивов данных со спутниковыми снимками занимаются многие. В России на базе испанского геосервиса CartoDB интересные интерактивные карты и бизнес-приложения (например, по оптимизации торговых сетей и логистике) делает компания Rilos, а "Лаборатория анализа данных Александра Кукушкина" совместила сервис CartoDB с данными по услугам ЖКХ и получила массу нетривиальных визуализаций, по которым можно изучать архитектурное прошлое и настоящее российских городов.

Автомобили и нефть

При помощи BigData и геолокации получают и другие нетривиальные сведения. По словам источника "Денег", занятого анализом московских "больших данных", вопреки официальным заверениям, скорость движения автотранспорта в Москве не растет (2015 год к 2014-му). Не подтверждается и то, что москвичи якобы постепенно пересаживаются на общественный транспорт. Есть данные, что в 2015 году жителей, использующих автомобиль для поездок на работу, стало больше, чем в 2014-м.

Спутники и Big Data знают про автомобили и еще кое-что. Например, помогут ответить на вопрос, стоит ли покупать машину сейчас или дождаться скидок. В феврале 2016 года Spaceknow опубликовала серию спутниковых снимков с площадками в ЕС, заполненными нераспроданными автомобилями. И пришла к выводу: выпуск автопрома превышает спрос.

"Деньги" попросили Spaceknow проанализировать ситуацию с запасами российских автопроизводителей. В компании сравнили несколько складских площадок АвтоВаза в 2013 году и сейчас и сообщили, что "ситуация с избыточными запасами сильно ухудшилась". Оценить запасы можно в любой момент, достаточно просто набрать широту и долготу площадок в приложении Spaceknow или Google Maps (например: 53.583802, 49.216699 и 53.559026, 49.345009).

Ответ на другой немаловажный для России вопрос "Сколько будет стоить нефть?" тоже можно попытаться получить из космоса, хотя бы частично. Так, в той же Spaceknow мониторят состояние крупнейших нефтехранилищ в мире. Компьютеры научились определять уровень их заполнения. В некоторых хранилищах цилиндрической формы крышка располагается практически на уровне нефти. Если нефти в хранилище мало, тень от емкости падает на крышку (длина тени зависит от уровня нефти, а также от времени суток, то есть от высоты солнца); если же хранилище заполнено - тени нет. И сейчас эти данные указывают, что нефть почти наверняка будет дешеветь.

Передвижение танкеров и их загрузку отслеживает другой сервис - Marinetraffic. Почти все коммерческие суда имеют специальный AIS-транспондер, сигнал от которого передается наземным станциям слежения и на спутники. По нему можно не только определить, куда и откуда идет то или иное судно, но и оценить его осадку, а значит, загрузку. Интересно, что некоторые суда намеренно отключают транспондеры для противоправных действий - незаконного вылова рыбы, пиратства, контрабанды оружия (на этом иногда попадаются суда КНДР) или переливки нефти с танкера на танкер (по некоторым сообщениям, этим занимались иранские танкеры до снятия санкций). Но и эта активность не проходит незамеченной - корабли с выключенными транспондерами мониторят в американской компании Spire Global с помощью все тех же спутниковых снимков и отправляют сведения заинтересованным клиентам.

В области сельского хозяйства интересна практика российской компании ImageAiry, резидента фонда "Сколково". Она предлагает услугу спутниковой съемки Astrodigital (мониторинг площадей от 1 гектара), которой могут пользоваться фермерские хозяйства. Специальные способы съемки в различном спектре показывают, как себя чувствуют растения. Добавив к этим данным прогноз погоды и другие сведения, можно спрогнозировать урожай в текущем году. Сервисом пользуются не только аграрии, но также банки и страховые компании - им нужна оценка рисков при финансировании и страховании сельхозбизнеса. Впрочем, как отмечают в Spaceknow, фермерским хозяйствам иногда проще пользоваться квадрокоптерами и самолетами - съемки из космоса все-таки предполагают довольно большой масштаб заказа.

Статистику на свалку?

Сделают ли технологии Big Data и геолокации ненужными переписи населения, опросные методы в статистике, традиционные способы решения логистических задач и оценку многих процессов в экономике, пока не ясно. Но уже видно, что эти технологии переходят к страновому или даже глобальному уровню анализа информации. Революция здесь только начинается. И, возможно, иные стартапы могут превратиться в могильщиков статистических бюро, консалтинговых фирм и рейтинговых агентств. Пока площадка практически пуста, шансы занять на ней место есть и у российских дебютантов.

"Коллеги из Spaceknow показали довольно интересный вариант анализа экономической активности. Обещаем в ближайшее время представить свой, совершенно новый подход к анализу макроэкономических данных. На наш взгляд, он может быть еще более эффективным. Поверьте, наши сервисы позволяют узнать очень многое о реальном состоянии экономики и даже сделать точный прогноз",- заверяет Роман Постников.



 Распечатать »
 Правила публикации »
  Написать редактору 
 Рекомендовать » Дата публикации: 06.09.2016 
 

Магазин программного обеспечения   WWW.ITSHOP.RU
Oracle Database Personal Edition Named User Plus Software Update License & Support
Bitdefender Antivirus Plus 2020/1 год/1 ПК
WinRAR 5.x Standard Licence - для частных лиц 1 лицензия
SAP® Crystal Dashboard Design Departmental 2016 WIN INTL NUL
Купить Антивирус Dr.Web Server Security Suite для сервера
 
Другие предложения...
 
Курсы обучения   WWW.ITSHOP.RU
 
Другие предложения...
 
Магазин сертификационных экзаменов   WWW.ITSHOP.RU
 
Другие предложения...
 
3D Принтеры | 3D Печать   WWW.ITSHOP.RU
 
Другие предложения...
 
Новости по теме
 
Рассылки Subscribe.ru
Информационные технологии: CASE, RAD, ERP, OLAP
Безопасность компьютерных сетей и защита информации
Программирование на Microsoft Access
CASE-технологии
Реестр Windows. Секреты работы на компьютере
СУБД Oracle "с нуля"
Компьютерная библиотека: книги, статьи, полезные ссылки
 
Статьи по теме
 
Новинки каталога Download
 
Исходники
 
Документация
 
 



    
rambler's top100 Rambler's Top100