В новые версии базы данных MS SQL Server и облачной платформы Windows Azure будет интегрирована среда с открытым кодом Open Source-фреймворк Hadoop.
Об этом сообщил вице-президент Microsoft Тед Куммерт (Ted Kummert) на открытии конференции Pass Summit 2011 в Сиэтле. По его словам, интеграция Hadoop с SQL Server и Azure поможет удовлетворить запросы пользователей, которым требуется эффективная обработка больших массивов данных. "Следующий этап - объединить технологии обработки данных с облачными технологиями, и получить возможности, которые невозможно было даже вообразить всего несколько лет назад", - заявил вице-президент перед пятью тысячами пользователей SQL Server.
Hadoop - это свободный фреймворк для организации распределённых вычислений, разрабатываемый сообществом Apache Software Foundation на основе технологий MapReduce и Google File System Storage. Hadoop используется в таких крупных веб-проектах, как Facebook, Twitter, Rackspace и EBay, а также в коммерческих программных продуктах IBM, EMC, Dell и Oracle. Крупнейший вклад в развитие проекта вносит Yahoo - в частности, её спин-офф Hortonworks, с которым Microsoft и заключила соглашение о интеграции фреймворка в свои продукты.
Эрик Балдешвилер(Eric Baldeschwieler), генеральный директор Hortonworks, назвал решение Microsoft новой вехой в развитии фреймворка: "Это признание Hadoop, перспектив его популярности. Теперь о Hadoop узнает огромная аудитория, кроме того, Microsoft будут придерживаться в работе принципов Open Source, что хорошо для всех, кто будет в этом участвовать".
Microsoft не впервые обращает внимание на Hadoop: так, фреймворк некоторое время использовался для реализации семантического поиска в Bing, пока не был заменен закрытым аналогом. Более масштабных попыток интеграции компания не предпринимала, вместо этого концентрируясь на разработке Dryad, закрытого аналога Hadoop на основе собственной технологии Cosmos. В отличие от Hadoop, разрабатываемого на Java, этот продукт Microsoft базируется на .NET, и его разработка продолжится параллельно с внедрением открытого фреймворка.
В рамках соглашения о стратегическом сотрудничества с Hortonworks, Microsoft уже выпустила для MS SQL Server 2008 R2 обновление Hadoop Connectors, облегчающее обмен данными между двумя системами. Сейчас компании совместно трудятся над созданием дистрибутива Hadoop, адаптированного для работы под Windows, в отличие от оригинала, рассчитанного на использование в Linux-системах. Microsoft утверждает, что он будет полностью совместим с оригинальным продуктом от Apache, а также обещает открыть код проекта для сообщества.
"Мы обязуемся обеспечить совместимость с базой исходного кода Apache, - заявил Дуг Лиланд (Doug Leland), главный менеджер по производству SQL Server. - Также мы берем на себя обязательство тесно сотрудничать с сообществом Hadoop в процессе разработки; мы хотим быть уверены, что наработки Apache будут совместимы с возможностями, которые собираемся предлагать мы".
Первыми Hadoop от Microsoft увидят пользователи Azure в конце декабря 2011 года. Благодаря нововведению, разработчики, использующие облачную платформу, смогут создавать на ней приложения, не устанавливая Azure в своих дата-центрах.
Новая версия MS SQL Server, официально сменившая кодовое имя Denali на SQL Server 2012, увидит свет в 2012 году, и будет содержать и базу данных MS SQL Server, и Hadoop. Первая будет применяться для обработки структурированных данных, Hadoop же возьмёт на себя обработку неструктурированных массивов информации. Два компонента планируется связать между собой через Hadoop Connectors.
В планах Microsoft - добавить в Hadoop возможнось принимать данные от других бизнес-приложений, таких как Excel, PowerPivot и Power View (Crescent). Конечная цель - "любые данные, любого объёма, откуда угодно", - заявляет Лиланд.
"На сегодняшний день Hadoop используют столько компаний, что поставщики должны продемонстрировать, что они способны с этим справиться, - заметил он. - Интеграция Hadoop крайне важна для нас, так как она позволит Microsoft успешно выдерживать конкуренцию".