Download - Understanding cloud costs with analytics
Ali Khajeh-Hosseini
@AliKhajeh Nov 2014, Bristol University
®
®
Understanding cloud costs with analytics
What is a cloud?
Server
Rack
Container
Electricity, Water, Internet
2500 Servers
Taken from one of Dave Cliff ’s talk on Cloud Computing
a cloud
Around 60 Staff
30 Megawatts = Perth (Scotland)!
38,500 m2 = 4 ftbl pitches
Microsoft has >1M servers h#p://web.archive.org/web/20120224062157/h#p://www.microso;.com/Presspass/emea/presscentre/pressreleases/February2012/23-‐02DublinDataCentre.mspx h#p://news.microso;.com/speeches/steve-‐ballmer-‐worldwide-‐partner-‐conference-‐2013-‐keynote/
Scale of operations
Many benefits - Elasticity & pay-per-use-pricing - On-demand computing ...
Why do companies care?
Animoto’s crazy scale-out
h#p://blog.rightscale.com/2008/04/23/animoto-‐facebook-‐scale-‐up/
Scale-out from 50 to 4,000 servers in 3 days
Capacity planning
Images taken from h#p://aws.amazon.com/economics/
Zynga’s Z-Cloud
h#p://www.rightscale.com/customers/zynga-‐grows-‐to-‐1-‐social-‐gaming-‐site-‐with-‐rightscale.php h#p://code.zynga.com/2012/02/the-‐evoluNon-‐of-‐zcloud/
Launch new games on public clouds Move to private cloud when usage patterns are understood
There are different public cloud pricing models
Rackspace IBM SoftLayer HP …
Different purchase options - On-Demand: fixed rate - Reserved: pay upfront, lower rate - Spot: Bid how much you would pay - Discounts and consolidated bills
Amazon Web Services
up-front procurement to pay-per-use
Image taken from h#p://aws.typepad.com/aws/2011/12/reserved-‐instance-‐opNons-‐for-‐amazon-‐ec2.html
AWS Reserved Instances
You have to specify: term (1/3 yr), utilization, availability zone, instance type and OS when buying a RI
AWS Reserved Instances Marketplace
Buy and sell reservations
AWS Spot Prices
Bid for an instance, it’ll get switched on if bid >= spot price. You pay spot price, AWS sets it.
h#p://www.cs.technion.ac.il/~ladypine/spotprice-‐slides-‐postmortem.pdf
Example: a MySQL Database AWS Relation Database Service (RDS) - Up-front reservation fee (optional) - CPU: $X/hour (based on instance type and cloud) - Storage: $X/GB/month - Transactions: $X/Millions of I/O ops - Provisioned IOPS: $X/IOPS/month (has other limitations) - Redundancy: double the CPU hourly rate - Data transfer: $X/GB (tiered across cloud)
What the heck? I just wanted a simple database
Google’s sustained usage model
Images taken from h#ps://cloud.google.com/compute/pricing#sustained_use
Automatically lower the price of your virtual machines when you use them to run sustained workloads
Let’s play Tetris
Images taken from h#p://googlecloudplaRorm.blogspot.co.uk/2014/04/introducing-‐sustained-‐use-‐discounts.html
Cloud spending is growing rapidly
Cloud pricing is complicated… we scrape over 12,000 prices.
Need to monitor, allocate, forecast & optimize costs
The challenge
h#p://www.gartner.com/newsroom/id/2352816
Jan 2009: Started researching cloud cost forecasting in St Andrews
Dec ‘11: With Hassan, we launched PlanForCloud
Jul ‘12: Acquired by RightScale
Nov ‘13: Launched Private-Beta of Cloud Analytics
Mar ‘14: Cloud Analytics goes into Public-Beta
Oct ‘14: Cloud Analytics is Generally Available
The story so far…
Connect to a cloud
We regularly collect data
Slice and dice the data
See historic trends
Forecast costs based on switching clouds or
increased growth
Who buys our products?
Enterprises like Sony, EA Games, PBS,
Pearson Publishing, Zynga…
Some����������� ������������������ things����������� ������������������ to����������� ������������������ look����������� ������������������ for����������� ������������������ when����������� ������������������ looking����������� ������������������ for����������� ������������������ internships����������� ������������������ or����������� ������������������ jobs����������� ������������������
Do they have fun?
What’s their hiring process?
Do they invest in good tools?
What’s the team setup, and how often do they ship?
Are people given freedom to experiment? Friday afternoon
is our iTime
What’s the level of transparency and trust? Open by Default
What’s����������� ������������������ important?����������� ������������������
Edinburgh, Santa Barbara and remote…
RightScale����������� ������������������ Employee����������� ������������������ Meetup����������� ������������������ (a����������� ������������������ week����������� ������������������ of����������� ������������������ fun����������� ������������������ in����������� ������������������ California)����������� ������������������
Dev tools
Invest����������� ������������������ in����������� ������������������ good����������� ������������������ tools����������� ������������������
Invest����������� ������������������ in����������� ������������������ design����������� ������������������
eng.rightscale.com
Invest����������� ������������������ in����������� ������������������ open����������� ������������������ source����������� ������������������
Invest����������� ������������������ in����������� ������������������ automation����������� ������������������ Meet����������� ������������������ Leeroy:����������� ������������������ our����������� ������������������ bot����������� ������������������
Ruby, Praxis (our own open source API framework), Go,
Erlang, JavaScript, AngularJS, Node.
MySQL, PostgreSQL, MongoDB, Cassandra, DynamoDB,
Redshift, Memcached, Redis, Nginx, HAProxy, Rsyslog.
AWS, Google Compute Engine, MS Azure, VMware…
Use����������� ������������������ a����������� ������������������ variety����������� ������������������ of����������� ������������������ tech����������� ������������������
RightScale.com/jobs