arutyunyan gayane. big data and socialmedia

© 2015 IBM Corporation

BigData и Social Media Analytics Arutyunyan Gayane

IBM Client center

[email protected]


Содержание

Откуда берутся данные

Инструментарий для работы с данными

Значение соц. - медиа ресурсов

Примеры реализации проектов IBM


Вступительное видео

Social Media Analytics: - https://www.youtube.com/watch?v=p9KkQs-NP5w


*Список Forbes “Top 7 Social Media Marketing Тренды которые будут доминировать в 2014”

1. Инвестиции в социальные медиа станет

необходимостью а не роскошью.

2. Google+ станет одним из значительных

факторов влияния на бизнес.

3. Фото -ориентированные сети будут иметь

огромный успех.

4. Мы будем свидетелями роста микро-видео.

5. В 4-ом квартале будет резкое сокращение

доходов.

6. MySpace будет увеличивать число

пользователей .

7. LinkedIn станет крупным игроком на рынке B2B.

6

*Sept 2013 – Forbes Magazine


Статистика использования интернета в России

7

Количество открытых сообщений, публикуемых в русскоязычных соцмедиа в месяц составляет порядка 300 млн. Ежедневно публикуется около 10 млн постов, комментариев, твитов и других публичных сообщений.

57%

Статистика распространения интернета в России


Откуда берутся данные?

12+ TBs

of tweet data every day

25+ TBs of

log data every day

? T

Bs o

f

da

ta e

ve

ry d

ay

2+

billio

n people

on the

Web by

end 2011

30 billion

RFID tags today

(1.3B in 2005)

4.6

billion

camera

phones

world

wide

100s

of

million

s of

GPS

enable

d devices

sold

annually

76 million smart

meters in 2009…

200M by 2014

8


Основные группы анализа

Demographics & Geographic's

IBM Social Media Analytics

Кто?

Topics

Что?

Time

Когда?

Influencer Scoring and Sentiment

Как?

Sites & Forums

Где?


Превращаем данные в значимую для бизнеса информацию

Обработка 100 миллионов данных из эл. медиа источников

Просмотр результатов через панели руководителей

Изучаем клиентов :

– Поведение

– Сегментацию

– Доля присутствия

– Сходные шаблоны

– Настроение клиентов (8 языков)

– Развивающиеся темы

10


Traditional / Relational

Data Sources

Экосистема Big Data

Streaming Data

Traditional Warehouse

Analytics on Data at Rest

Data Warehouse

Analytics on Structured Data

RTAP: Analytics on Data in Motion

BigInsights Non-Traditional /

Non-Relational

Data Sources

Non-Traditional /

Non-Relational

Data Feeds

Traditional / Relational

Data Sources

Internet- Scale

Data Sets

Streams


Компоненты для построения решений и анализа данных

BI / Reporting

BI / Reporting

Exploration / Visualization

Functional App

Industry App

Predictive Analytics

Content Analytics

Analytic Applications

IBM Big Data Platform

Systems Management

Application Development

Visualization & Discovery

Accelerators

Information Integration & Governance

Hadoop System

Stream Computing

3 - Extend your data warehouse to

incorporate new data types

InfoSphere BigInsights

2 – Take advantage of streaming data and find

the valuable insights

InfoSphere Streams

1 – Discover, understand and

navigate all big data sources

Data Explorer (Vivisimo)

5 – Optimize infrastructure to lower

cost and improve performance

PDA/PDOA

(Netezza/ISAS)

4 – Reduce the cost of your data warehouse by utilizing Hadoop

InfoSphere BigInsights

6 – Establish and maintain an accurate,

secure and trusted view of all available data

InfoSphere Information

Server & Optim

Master Data Management

Databases & Tools

7 – Manage and leverage trusted

customer and product information

InfoSphere MDM

Data Warehouse


Social Media Analytics: Система поиска новых клиентов в социальных

сетях


Ключевые особенности Системы Что делает Система? Собирает сообщений из

социальных сетей Анализирует на предмет

интереса к продуктам банка Предоставляет инструмент

для анализа потребительского спроса

Что делает Систему уникальной?

Работа с любыми объемами

и числом источников в режиме реального времени

Развитый инструментарий анализа естественного русского языка

Возможность работы с любыми типами данных – текстом, видео, транзакциями, геолокацией и пр.

© 2015 IBM Corporation 15

Главный экран – пример интерфейса


Сценарий 1. Анализ интереса. Общая статистика.

1 2

3

Система организована в форме нескольких управленческих панелей, визуализирующих аналитику по интересу к продуктам и отзывам пользователей социальных медиа на текущий момент времени. Сейчас система работает с данными из Вконтакте, Твиттера, Фэйсбука и более 30 банковских и региональных форумов. Инструмент анализа интереса выявляет потенциальных клиентов в сети Интернет на основе анализа их высказываний в медиа.

1. Лента сообщений

На экран выводятся сообщения, в которых система обнаружила явную или неявную потребность в банковском продукте. Например, фраза человека о желании купить автомобиль может говорить о потребности в кредите на авто. Для этого применяются алгоритмы анализа естественного русского языка.

2. Статистика

Система настроена на выявление потребностей в пяти розничных продуктах, развиваемых банком. Ежедневно идет подсчёт оперативной статистики по числу новых клиентов и возможностей, обнаруженных системой. Система дает возможность анализа демографических характеристик целевой аудитории.

3. Динамика

Мы можем наблюдать за изменением уровня интереса к продуктам банка во времени и по различным источникам. Например, выявление всплесков интереса к потребительскому кредитованию в соцмедиа может позволить банку в ежедневном режиме отслеживать и корректировать маркетинговые кампании.


Сценарий 2. Анализ интереса. Ипотечное кредитование.

Специалист по продажам банка может изучить детали выявленного интереса к продукту и его реальную картину. Методы анализа высказываний пользователей позволяют с высокой точностью определять их детальные характеристики – пол и возраст автора, местоположение, особенности объекта интереса. Это могут быть конкретные марки автомобилей, вторичное жилье, бытовая техника или образование в конкретном вузе.

Этот инструмент позволяет принимать оперативные решения о подходах к работе с новыми клиентами.

1. Сегментация

Этот мощный инструмент позволяет в режиме реального времени увидеть Интернет-авторов, объединенных по однородной структуре профессий, интересов, географии, пола и возраста. Это даёт возможность направленного воздействия на активные группы конкретными предложениями. Так банк адаптирует предложения к потребностям клиентов.


Показатели по отдельным продуктам считаются по небольшим продуктовым группам. В ипотеке это дом, участок, квартира, гараж и др. В рейтинге специалист банка видит наиболее популярные темы, обсуждаемые населением. По каждой выявленной возможности с автором сообщения может быть организована индивидуальная работа.

3. Ключевые слова

Система формирует на основе обсуждений облако популярных ключевых слов. Это даёт дополнительную информацию о специфике обсуждаемых тем. Облако слов полезно для выявления неявных особенностей спроса, например, обсуждение проблем при оформлении ипотеки под материнский капитал.

1 2

3


Сценарий 3. Анализ отзывов. Общая статистика.

Инструмент анализа отзывов – мощный способ наблюдения за качеством услуг банка и общим состоянием его бренда. Ключевой особенностью является высокая точность «понимания» содержания высказываний, а не только их эмоциональной окраски. Так, отзыв о недоступности функций системы онлайн-банкинга может быть выявлен и обработан сразу после написания. Автоматизация этого процесса минимизирует риск человеческой ошибки и невнимательности в мониторинге качества услуг.

1. Сегментация

Этот блок оптимален для выявления групп «сторонников» и «противников» бренда или услуги. Руководитель может получать эту информацию на мобильное устройство в течение дня, а служба качества – чутко следить за любыми проблемами в обслуживании.


В этом компоненте ведётся совокупная информация по отзывам об услугах банка с указанием тональности и местоположения.

Информация по каждому отдельному отзыву из статистики может содержать потенциал для повышения качества обслуживания.

3. Динамика

Анализ динамики по-ложительных и отрицательных отзывов в режиме реального времени позволяет вовремя обнаружить проблемы, всплески обсуждений, атаки на бренд, информационную активность конкурентов. Срав-нение услуг с конкурентами возможно путем добавления новых правил анализа тек-стовых сообщений.

1 2

3


Сценарий 4. Анализ отзывов. Онлайн-банкинг.

Специалистам банка система предоставляет возможность углубленного анализа отзывов и их содержания. По каждому из отзывов об услуге можно определить основную причину, которая его вызвала, эмоциональную тональность, связать этот отзыв с местоположением автора. Система может также самостоятельно обучаться и выявлять новые темы и причины отзывов, ранее ей неизвестных. Возможность связать отзыв с профилем клиента в дальнейшем позволит адресно повышать лояльность к бренду и услугам компании.

1. Лента сообщений

В ленте сообщений выводятся отзывы пользователей об услугах банка. Система определяет автора, эмоциональную окраску отзыва, выделяя ключевые слова, характеризующие опыт работы с банком. Лента сокращает сотрудникам время по обработке отзывов и позволяет реагировать на них в течение операционного дня.


Помимо демографии и местоположения, система извлекает информацию о характеристиках услуги банка, которые обсуждают поль-зователи Интернет. Наиболее популярные характеристики по числу отзывов выводятся аналитику. Это позволяет быстро адаптировать обслу-живание банка к потребностям клиентов.

3. Динамика

Банк отслеживает изменение отношения к его услугам за выбранный период времени. Он может отследить явные всплески активности популярности услуг, новые темы и причины отзывов, дей-ствия конкурентов, недостатки продуктов или качества обслуживания. За счёт этого банк может добиться вы-сочайшего уровня обслу-живания.

1 2

3


Сценарий 5. География интереса.

Анализ в разрезе географической принадлежности автора проводится для регионов восточнее Урала, имеющих отношение к деятельности банка. Визуальный анализ активности и уровня интереса эффективен для мониторинга маркетинговых мероприятий и реакции на вывод новых продуктов в регионе. Для выбранного на карте региона представлены данные об экономической обстановке в регионе и детальная статистика по интересу к линейке продуктов банка.

1. Картограмма

Карта регионов содержит цветовую градацию общего уровня интереса к банковским продуктам. Для каждого из федеральных округов дополнительно выводится экономическая статистика и детальная статистика интереса по регионам и продуктам.

2. Экономика округа

Данный компонент сформирован на основе актуальной экономической ситуации в регионе и содержит информацию для аналитика о показателях рынка банковских услуг, уровне спроса и пр. Её можно использовать для сравнительного анализа с фактическим уровнем интереса в Интернете.


Статистика уровня интереса ко всем продуктам даётся в отдельности для каждого федерального округа. На основе её сотрудник банка может получить всеобъемлющую картину о потенциальных клиентах банка и их текущей активности.

1 2

3


Архитектура решений по Big Data

Cleverlance

SMART

BigInsights I2 ANB

Watson Content Analytics

Content

Classification

Streams

Sentiment

Entity

Recognition

Cogniware

Spatial Analysis Custom

Classifiers

SPSS

Voice Watson

Cogniware

I2 Integration

Cogniware

SPSS Integration

DATA COLLECION DATA EXTRACTION/ANALYSIS DATA ANALYSIS/VISUALIZATION

Cogniware

Entity Matching

Full Natural

Language

Processing


Модуль анализа Системы – на основе уникальных компонентов (IBM Infosphere Streams)

Объёмы данных

Типы данных

Скорость обработки

Сложная аналитика

Гибкость

Возможности обрабатывать Петабайты данных в день

Работа со транзакционными и неструктурированными данными (аудио, видео, изображения, сигналы датчиков

Предоставление результатов анализа с откликом в милли- и микросекунды

Выполнение сложной аналитики, включая выявление паттернов, прогнозирование и использование внешних компонентов

Развертывание на стандартной недорогой инфраструктуре x86, горизонтальное масштабирование

Миллионы событий в секунду

Микросекундные задержки

Традиционные и нетрадиционные источники

Обработка в реальном времени

Аналитика Расчет показателей

real time Контроль cистем

безопасности

Анализ логов Предотвращение мошенничества

Видео-аналитика

Мониторинг платежей

Контроль местонахождения


Social Media Analytics: Примеры реализации


IBM Social Media Analytics

Enhances the Customer Experience at:

Business Need: Detect risks to its reputation,

increase positive feedback, and customer

satisfaction.

Solution: IBM Social Media Analytics

Benefits: Proactively make plans and business

decisions based on insight gained. Measure

success of communications and approaches to

stakeholder engagement. Be nimble in response

to customer needs and feedback.

• BBVA is a customer-centric global

financial services group founded in

1857.

• Its diversified business is biased to

high-growth markets and it relies on

technology as a key sustainable

competitive advantage.

• Presence in 30+ countries; solid

position in Spain, largest financial

institution in MX and franchises in

SA and the US

• 104K employees, 47M customers,

900,000 shareholders

• Earnings up 85.5% Y2Y 2012-2013

24

Early Adopters Are Ahead of The Curve

© 2015 IBM Corporation 25

European Bank IBM Social Media Analytics was implemented for Better Brand Monitoring and Risk Management

The Bank needed an online tool to detect possible risks to its reputation in order to increase positive feedback and customer satisfaction. the Bank branches around the world reported individual analyses about the Bank’s online presence to Communications, Brand & Reputation and CSR departments, but widely differing samples and criteria in the USA, South America and Spain made reporting inconsistent.

IBM Cognos Consumer Insight (now IBM Social Media Analytics ) automates this online analytic process with a high degree of scalability. The solution can identify the subject, type, date, author, title and country of online comments made about the Bank and its brands. News channels, blogs, forums, Facebook and Twitter are regularly checked and analyzed, delivering in-depth insight in consistent, easy to understand packaged reports.

Business Need:

Solution:

Benefit:

Enables the Bank to consistently respond to and gain insight into customer needs and feedback. Gives the Bank the ability to measure the success of its outputs and approaches to engaging stakeholders and customers. Shows whether positive or negative sentiments have increased or not, looks for the source and reason of comments and helps make decisions and plans. Ensures understanding of reputational risk.


Анализ и предсказание результатов EuroBuzz with France Televisions

• Collect unstructured data from social media

sources in real-time

• Extract structured information from

unstructured text using text analytics tools

• Aggregate a huge amount of data to provide

rich KPIs and trends

Process large incoming data and compute real-

time analysis from various and unstructured

content

Detect real-time insights from social media

contents, anticipate, detect new consumer

trends, behaviors.

Solution Overview

Challenges

Solution

Benefits

Tweets on

Eurovision

event

API

Real-Time Tweet

Analysis to get artists

buzz

#eurovision

#eurofrancetv

buzz

More than

1.200.000

tweets filtered

by Streams and

containing a

buzz on artists

and songs

Semi-finals &

finals

24 hours Data

Aggregation

with Streams

11 tweets/sec

peaks on

France

Televisions

hashtag during

the show

Outline Sweeden success 3 hours before

the end of the show

« Best Web App » (IBC Award 2012)

arutyunyan gayane. big data and socialmedia

Data & Analytics