A Selfie is Worth a Thousand Words Mining Personal Patterns behind User Selfie‐posting Behaviours

Tianlang Chen, Yuxiao Chen, Jiebo Luo

University of Rochester

1) Posting selfies on social mediaplatforms is extremely popular inthe social media era2) As a typical online socialbehaviour, people's selfie‐posting behaviour is influencedby people's interest, personality,preference, activity and tendency,and it can in turn reflect andpredict these personal patterns

Our goal in this paper:Exploring the interrelation between the selfie‐posting behaviour and other personal patterns

From zero to hero in six years

Grow 5x in six years

Framework of this paper:1) Unsupervised WeChat Image Classification 2) User Characterization3) Selfie‐posting Behaviour (SPB) Prediction By User Feature4) Personal Patterns Extraction and Visualization5) Correlation Between High‐level Person Attributes and SPB6) High‐level Person Attribute Prediction By SPB

Overall Framework

Unsupervised Image Classification

Methodology                          Performance    

Unsupervised Image Classification

Category names and numbers    Using Silhouette Coefficient to determine a proper cluster number of K‐means

Evaluation accuracy is 88.5%

Unsupervised Image Classification

Pearson correlationbetween categories   

User Charactorization

• User‘s frequency feature (F) – A 46‐dimensional vector that reflects the frequency of a user to post different categories other than selfie

• User‘s inertia feature (I)– Reflect user's tendency to upload images of a given category in a Moment

• User‘s singleness feature (S)– Reflect user's tendency to upload images of a single category in a given Moment

Unsupervised Image ClassificationNames/numbers of selfie subcategories   

Performance

Four advanced selfie tendency definition

• Group selfie tendency

• Outdoor selfie tendency

• Holding an object selfie tendency

• Face mask selfie tendency

Selfie‐posting Behaviour Prediction

Basic selfie‐posting behaviour prediction

Advanced selfie tendency prediction

Using Text information

Personal Patterns Extraction and VisualizationComparison between selfie‐posting addictand selfie‐posting nonaddict  

Personal Patterns Extraction and VisualizationComparison between “a series of selfie”lover and “just one selfie” lover

Personal Patterns Extraction and VisualizationComparison between “It’s all selfies’ loverand “selfie and more” lover  

Personal Patterns Extraction and VisualizationComparison of different sets of users withspecial selfie tendencies  

Correlation Between High‐level Personal Attributes and SPB

• High‐level Person Attributes Extraction– We cluster users into five types by Non‐negative Matrix Factorization 

(NMF) – For each user, we extract six high‐level attributes based on the 

clustering result

Six attributes and the categories included

Correlation Between High‐level Person Attributes and SPB

• User Type Description based on High‐level Person Attributes– For a user, the value of an attribute is defined as the sum of frequency 

of all categories this attribute includes– For a user type, the value of an attribute is defined as the mean 

attribute value of all users this user type includes

Radar plots of attributes of five user types clustered by NMF

Correlation Between High‐level Person Attributes and SPB

Mean values of seven selfie‐posting measures among five user types

Ranking of  high‐level attributes for selfie‐posting behaviours

High‐level Person Attribute PredictionUsing user selfie‐posting behaviours feature to predict their high‐level attributes

selfie‐posting behaviour has the potential to indicate whether a user has preference toward certain attributes

ThanksQ & A

Visual Intelligence & Social Multimedia Analytics