Технологии Big Data находят все большее применение в мире. Западные исследования показывают, что в 2014 г. внедрение анализа больших данных примет массовый характер. В России пока известны лишь единичные примеры успешных внедрений этих технологий. Отечественные компании присматриваются и прицениваются.
Мировой спрос на технологии Big Data неуклонно растет. По данным IDC, объем рынка технологий и услуг Big Data в 2013-2017 гг. будет ежегодно увеличиваться в среднем на 27% и в 2017 г. достигнет $32,4 млрд. Согласно исследованию Gartner, в 2013 г. 64% организаций во всем мире инвестировали или планировали инвестировать в развертывание технологий Big Data в своих бизнес-процессах, 30% уже анализируют большие данные.
Тенденция подтверждается многими экспертами, в частности, согласно исследованию медиакомпании IDG Enterprise, 70% крупных компаний уже используют или планируют внедрить технологии Big Data в 2014 г. В секторе малого и среднего бизнеса эта цифра составляет 56%. Исследование также уточняет, сколько отдельные компании тратят на работу с большими данными.
Бюджет Big Data
По данным IDG, средний бюджет компании на технологии Big Data составляет $8 млн. Эта цифра кажется космической в условиях российской действительности и сопоставима с годовыми ИТ-бюджетами ряда крупных российских компаний. Причина несоответствия, вероятно, кроется в том, что при расчете среднего значения учитывались данные очень крупных мировых корпораций.
Более применима к российской действительности открытая экспертами IDG зависимость объема инвестиций в большие данные от размера совокупных расходов компании. По приведенной таблице можно судить о примерных расходах отечественных компаний на технологии Big Data.
Сколько планирует потратить ваша компания на проекты,
связанные с Big Data, в ближайшие 12 месяцев?
| Расходы компании | <1000 сотрудников | 1000+ сотрудников | В среднем по рынку |
|---|---|---|---|
| $ 100 млн и более | 0% | 5% | 2% |
| $ 50 млн - $ 99,9 млн | 1% | 3% | 2% |
| $ 10 млн - $ 49,9 млн | 2% | 9% | 5% |
| $ 5 млн - $ 9,9 млн | 3% | 12% | 7% |
| $ 1 млн - $ 4,9 млн | 10% | 17% | 13% |
| $ 100 000 - $ 999 999 | 31% | 24% | 28% |
| Менее $ 100 000 | 31% | 7% | 19% |
| Затрудняюсь ответить | 22% | 23% | 24% |
Источник: IDG Enterprise, 2014
Поставщики не раскрывают информацию о стоимости решений для работы с большими данными, объясняя это отсутствием стандартных цен, уникальностью проектов и задач каждой компании. Достоянием общественности становятся очень редкие цифры о стоимости проектов. Так, недавно редакция CNews сообщила, что Пенсионный фонд России внедряет SAP HANA для анализа больших данных и что лицензия на решение обошлась ПФР в 3,6 млн руб.
Одно из недавних внедрений Big Data в России, о котором стало известно рынку, состоялось в банке "Открытие". Стоимость решения составила менее 5% бюджета на развитие ИТ банка. По оценкам CNews, бюджет подобного проекта по внедрению Big Data в банке для ограниченного числа задач, например скоринга, может составлять около $500-1000 тыс. Более комплексные проекты стоят дороже.
Как рассказалАнтон Заяц, директор по развитию бизнеса SAS в России и СНГ, на стоимость таких проектов влияет отраслевая специфика заказчика, выбранная конфигурация и способ развертывания решения. Конечная цена также зависит от количества пользователей, способа резервирования, а также от того, какие серверы будут использоваться. Бюджет вырастет, если в рамках проекта понадобится, например, перевод хранилища данных на высокопроизводительную платформу, интеграция решения с другими системами или установка решения для высокопроизводительной визуализации данных.
В 2012 г. аналитики высказывали предположения, что рост спроса на технологии Big Data способен вызвать увеличение ИТ-бюджетов компаний. Однако на текущий момент инвестиции в основной массе не велики, и в России такая тенденция не наблюдается.
Статьи расходов
При реализации проектов Big Data основные расходы идут на оборудование и программное обеспечение, в числе которого платформа хранения и обработки собираемой информации (СУБД), средства интеграции данных ETL и CDC (средства извлечения данных из источников, их преобразования и загрузки, в т.ч. в режиме реального времени), средства проектирования моделей данных и инструментарий для анализа и визуализации данных.
В уже упомянутом внедрении в банке "Открытие", по оценкам его директора по развитию систем аналитики и отчетностиАлексея Благирева, расходы по этим статьям распределились следующим образом: около 40% совокупной стоимости владения (Total Cost of Ownership, TCO) ушло на СУБД (HP Vertica); порядка 30% TCO составила стоимость выбранного банком средства захвата данных в реальном времени (Oracle GoldenGate); оставшуюся долю занимают решения анализа данных (около 18-20%) и моделирования (8-10%).
Операционные расходы в проектах по внедрению Big Data могут оказаться весьма существенными в связи с большим дефицитом квалифицированных кадров по аналитике данных на российском рынке и необходимостью обучать сотрудников новым технологиям. Специалисты, обладающие опытом работы в этом направлении, стоят дорого. Привлечение сотрудников из других сфер требует расходов на дополнительное обучение.
По оценкам руководителя управления программного обеспечения корпоративного бизнеса "Ситибанка"Федора Прохорова, затраты на персонал и необходимую экспертизу являются следующей по величине статьей после затрат на оборудование: "На рынке сложно найти готовых специалистов с большим опытом в области Big Data, поэтому в крупных проектах приходится прибегать к услугам консультантов". В операционные расходы также закладывается стоимость работ по настройке системы, которые в подавляющем большинстве случаев отдаются на аутсорсинг.
Как показало исследование IDG, в рамках проектов Big Data компании в первую очередь инвестируют в следующих направлениях: системы хранения (49%), серверы (47%), облачная инфраструктура (44%), исследования и аналитика (43%), приложения (42%).
В каких направлениях инвестирует ваша компания
для анализа больших данных?
Источник: IDG Enterprise, 2014
В ряде случаев отдельной статьей расходов становится приобретение данных у других компаний, социальных сетей. Так, например, американский банк PNC анализировал данные подписчиков медиахолдинга Hearst Media.
Когда вернутся инвестиции
Многие руководители ИТ сталкиваются с проблемой обоснования расходов на технологии больших данных перед руководством. Более четверти компаний, опрошенных IDG, сказали, что развитию проектов Big Data мешают сложности с определением окупаемости инвестиций, и почти половина респондентов в числе факторов, тормозящих внедрение этих технологий, назвала ограниченность бюджета.
Так как средний срок окупаемости проектов Big Data подсчитать довольно сложно, Федор Прохоров считает целесообразным начинать с небольших краткосрочных пилотных проектов с четкими критериями успеха, которые помогут продемонстрировать эффект от Big Data руководству, чтобы в дальнейшем получить финансирование на более крупные и долгосрочные проекты. По мнению Алексея Благирева, окупаемость инвестиций в технологии Big Data нельзя оценивать с точки зрения только технологического направления, так как эти решения окупаются в первую очередь с точки зрения бизнеса, покрытия бизнес-потребностей.
Дмитрий Кузякин, вице-президент и директор департамента CRM ВТБ24, говоря о дивидендах, приносимых технологиями Big Data отметил: "Для ВТБ24 это стабильные +15% к бизнесу банка".
По мнению руководителя группы перспективных технологий предпроектного консалтинга Oracle СНГАндрея Пивоварова, в большинстве случаев использование технологий Big Data дает новые возможности не столько по технологическим, сколько по экономическим причинам. "Создание петабайтного хранилища данных в банке при помощи традиционных СУБД технически возможно уже много лет, но затраты на инфраструктуру, лицензии и так далее могут быть несоизмеримы с потенциальным экономическим эффектом. Особенно если большая часть данных, составляющих этот петабайт, состоит из логов веб-сайтов или записей из социальных сетей. Big Data-технологии позволяют для многих задач построить систему, которая будет стоить в десятки раз меньше". В последнее время все больше компаний создают гибридные хранилища данных, построенные с использованием как традиционных технологий, так и технологий больших данных. По мнению Андрея Пивоварова, такие системы могут использовать лучшее из двух миров и являются экономически выгодными.
Антон Заяц считает, что окупаемость зависит от того, для каких задач внедряется решение Big Data. Например, инвестиции в системы хранения окупаются за счет использования данных в других решениях. Инвестиции в инструменты высокопроизводительной визуализации данных - за счет принимаемых с их помощью решений.
Оптимизация расходов
Существуют разные пути оптимизации расходов в проектах Big Data. Сэкономить помогут переговоры с поставщиками о скидках, использование бесплатного программного обеспечения, облачные решения, применение масштабируемых решений, внедрение Big Data сначала с небольших пилотных проектов.
По мнению участников рынка, лицензионная политика многих производителей решений для работы с Big Data архаична или непрозрачна, зачастую не учитывает работу с кластерами. Поэтому многие считают, что торг в переговорах с вендорами уместен. Возможность получить существенную скидку подтверждается практикой. Банку "Открытие", осуществившему, по словам Алексея Благирева, крупнейшее на сегодняшний день внедрение HP Verticaв России, удалось добиться уникальных условий лицензирования.
Очевидным способом оптимизации расходов на Big Data является использование бесплатных программных продуктов, однако специалисты советуют взвешенно относиться к их применению, прежде учитывая имеющуюся экспертизу внутри организации и возможности привлечения экспертизы извне. "Уже сейчас можно построить полное решения для сбора, хранения и анализа данных, не заплатив ни копейки за ПО, при этом все ведущие мировые производители систем хранения анализа и обработки данных поддерживают технологии Big Data в своих продуктах. Я считаю, что можно отработать методологию и накопить опыт на небольших проектах с использованием бесплатного ПО, а потом использовать промышленное решение от производителя существующего хранилища данных организации для промышленной эксплуатации", - рекомендует Федор Прохоров.
Какие действия предпринимает ваша компания
для анализа больших данных?
Источник: IDG Enterprise, 2014
Основную статью расходов - затраты на оборудование - можно снизить за счет облачных решений. Многие вендоры предлагают свои инструменты анализа больших данных в облачной инфраструктуре. Однако не все данные можно анализировать в облаке. "Публичные облачные решения хороши для обработки общедоступной информации, однако для внутренней информации лучше использовать свои ресурсы, - считает Федор Прохоров. - В Citi существует частное облачное решение, позволяющее всем странам использовать общие ресурсы как сервис, не вкладывая значительные средства в построение своих центров обработки данных для Big Data".
Опыта по анализу больших данных на рынке еще очень мало. Пионерам Big Data часто приходится действовать методом проб и ошибок. Велика вероятность, что по ходу проекта цели, задачи и, соответственно, требования к производительности системы будут корректироваться. Поэтому на старте целесообразно для анализа больших данных создавать инфраструктуру, которая будет впоследствии легко масштабироваться.
Алексей Благирев убежден, что приобретать чисто программные решения значительно выгоднее, нежели аппаратно-программные комплексы: "Купив HP Vertica, мы избавились от связи зависимости стоимости платформы от стоимости "железа". Законы масштабируемости "железа" живут по отдельным правилам и не зависят от политики HP. К тому же мы можем выбрать любую конфигурацию "железа" для нашей платформы. Таким образом, у нас в долгосрочном горизонте времени будет снижаться TCO".
Александра Кирьянова
Подробнее:http://bigdata.cnews.ru/reviews/index.shtml?2014/01/31/558705