ameba piggの裏側

AmebaPiggの裏側

2011年5月16日月曜日

自己紹介


渡辺雄作(32) / @waysaku株式会社サイバーエージェントアメーバ事業本部所属

2006年中途入社前職は金融•証券系のSIerのプログラマーアメーバ関連開発を経て、現在はAmebaPiggのシステム開発責任者


渡辺雄作(32) / @waysaku株式会社サイバーエージェントアメーバ事業本部所属

2006年中途入社前職は金融•証券系のSIerのプログラマーアメーバ関連開発を経て、現在はAmebaPiggのシステム開発責任者

元


AmebaPiggとは？


2009年2月に開始した仮想空間サービス

現在は400万人以上のユーザーが利用する仮想空間へと成長


6割の売上を占める主要サービス


システムアーキテクチャ

•求められている要件•システム仕様


求められている要件


求められている要件大量リクエスト処理


求められている要件大量リクエスト処理スケーラビリティ



リアルタイム性

大量リクエスト処理スケーラビリティ



リアルタイム性イベント駆動(Push配信)






ブラウザで動く





ミニマムスタート（予算的な意味で）

ブラウザで動く


Flash(ActionScript3)

web-app server info-socket-server chat-socket-server game-socket-server

hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

swfやimgの配信

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

ユーザー情報のやり取り




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

チャットデータのやり取り




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

チャット＋

ゲーム情報のやりとり




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

ピグの基盤DB




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

ユーザーswfなどを格納




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

ログデータの簡単な解析

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL


システム仕様


クライアント


クライアント

ActionScript3+

独自開発フレームワーク


クライアント

ActionScript3+

独自開発フレームワーク複数人開発を意識したモジュール化

Dynamic Module LoadingDependency Injection

各種ライブラリのチューニング(LinkedListのチューニングなど)


main.swf

core.swcソケット通信などのフレームワーク

profile.swf

room.swf

casino.swf

fishing.swf

shop.swf

main.swf各モジュールへのインターフェースを

定義


main.swf

core.swcソケット通信などのフレームワーク

profile.swf

room.swf

casino.swf

fishing.swf

shop.swf

main.swf各モジュールへのインターフェースを

定義

イベント発生時に動的にswfをロードする


サーバ(socket)


サーバ(socket)

Java+

独自開発フレームワーク


サーバ(socket)

Java+

独自開発フレームワークノンブロッキングIOを使った軽量データ（コマンド）処理サーバ

独自プロトコルによるステートフル通信


<interface>Command

コマンド処理

<interface>Command

コマンド処理

送信したいデータをバイトデータにシリアライズ

AS3、pythonで実装済

server client


データストア


データストア

IndexPersister(Java)+

MySQL


データストア

IndexPersister(Java)+

MySQL

オブジェクトをバイナリでMySQLに保存MySQLはKeyValueストアとして利用するのみ


IndexPersister@Persistable("address")

public class Address {

private int userId; private String name;; private byte enable;

@IndexKey @Store(index=0) public int getUserId() { return userId; } @Store(index=1) public String getName() { return name; } @Store(index=2) public byte getEnable() { return status; }


IndexPersister@Persistable("address")

public class Address {

private int userId; private String name;; private byte enable;

@IndexKey @Store(index=0) public int getUserId() { return userId; } @Store(index=1) public String getName() { return name; } @Store(index=2) public byte getEnable() { return status; }

Key : ValueuserId : userId + name + enable

シリアライズ


IndexPersister


IndexPersister

複数の型のシリアライズに対応


IndexPersister

複数の型のシリアライズに対応データ互換性保持


IndexPersister

複数の型のシリアライズに対応データ互換性保持中間キャッシュ


IndexPersister

複数の型のシリアライズに対応データ互換性保持中間キャッシュデータ圧縮


IndexPersister

複数の型のシリアライズに対応データ互換性保持中間キャッシュデータ圧縮複合キー生成


IndexPersisterバイナリで保存するメリット


IndexPersisterバイナリで保存するメリット

データストアに依存しない

indexPersister Interface

NDIpersister

MySQL persister

MongoDB persister

その他

byte[] : byte[]

varbinary : longblob

バイナリ形式が保存できればOK

Application


MySQLの利用方法Key Valueストアとして利用

`key` varbinary(255) NOT NULL`value` longblob NOT NULL


MySQLの利用方法Key Valueストアとして利用

`key` varbinary(255) NOT NULL`value` longblob NOT NULL

Amebaで実績のあるMySQLの安定性•信頼性社内のMySQLの運用ノウハウを利用可能

I/O性能対策にI/O Accerarator(FusionIO)を採用


運用•工夫について•開発体制•システムパフォーマンス•サーバの物理設計•行動ログの保存•永続化レイヤーのリプレイス


開発体制（立ち上げ）プロデューサ

エンジニア

Flashクリエイター

デザイナー


開発体制（現在）

プロデューサ

エンジニア

Flashクリエイター

デザイナーイラストレータークリエイティブディレクター


パフォーマンスなど




hadoop cluster

memcached

File Store Cluster

memcached

MySQL




hadoop cluster

memcached

File Store Cluster

memcached

MySQL

ソケットサーバへの同時接続数

10万同時接続（ピーク時）




hadoop cluster

memcached

File Store Cluster

memcached

MySQL


10万同時接続（ピーク時）トラフィック

2.2Gbps（ピーク時）




hadoop cluster

memcached

File Store Cluster

memcached

MySQL


10万同時接続（ピーク時）トラフィック

2.2Gbps（ピーク時）

秒間クエリ(Query Per Second)

14万QPS

30万QPS


サーバ物理設計



CPU性能はあまり必要ない



CPU性能はあまり必要ない省電力



CPU性能はあまり必要ない省電力省スペース



安い

CPU性能はあまり必要ない省電力省スペース


ユーザー行動ログの保存


保存しているログの種類

ログイン•ログアウト移動チャット手紙•メッセンジャー着替え•顔変更ぴぐとも

部活カメラ•アイテム消費ペットゲームetc...


保存しているログの種類

ログイン•ログアウト移動チャット手紙•メッセンジャー着替え•顔変更ぴぐとも

部活カメラ•アイテム消費ペットゲームetc...

取得している行動ログは100種類程度約3GB/dayのログを収集

デイリーでラボチームにもデータ転送


永続化レイヤーのリプレイス



MySQLhadoop cluster File Store Cluster

Flash(ActionScript3)2011年5月16日月曜日


MySQLhadoop cluster File Store Cluster


独自実装の分散KVS



Namura Distributed Index(NDI)名村が2008年頃に開発した分散KVS




range search by keyauto shardingauto failoveron memory




range search by keyauto shardingauto failoveron memory

最終的にサーバは200台近くまで増設管理コスト肥大化

開発•検証環境のメンテナンス大変


NDIからMySQLへのリプレイス

200台近くのノードでさばいていた参照クエリをMySQL × 4台でさばく


NDIからMySQLへのリプレイス

200台近くのノードでさばいていた参照クエリをMySQL × 4台でさばく

MySQLのディスクI/O

問題


FusionIOの導入

NANDコントローラのあるカードに、専用のメモリモジュールを装着して利用するSSD(I/O Accerarator)

ReadでHDの5倍ぐらい WriteでHDの7～8倍ぐらいのパフォーマンス


Fusion-io社の製品ページ


SAS RAID5

FusionIO


MySQL QPS CPU

Load Average Traffic


スケールアウトからスケールアップへ



•スケールアウト自体はミニマムスタートには超有効•安価なサーバ•スケーラブルなソフトウェア設計



•スケールアウト自体はミニマムスタートには超有効•安価なサーバ•スケーラブルなソフトウェア設計

システムの成長が早い場合には管理コストの増大に追いつくのが大変※管理コストに追われて機能追加が遅れる


AmebaPiggの今後の課題


ダウンタイムの削減

ユーザーによる不正行為の防止

とはいえ、増え続けるサーバの管理





リリース時のサービス停止の削減監視機能強化






低年齢層や女性ユーザーも引き続き安心して使えるようにゲームでの不正行為防止






低年齢層や女性ユーザーも引き続き安心して使えるようにゲームでの不正行為防止

自作サーバの組み立て外注各種設定の更なる自動化


興味のある方は是非使ってみてください


ご清聴ありがとうございました


ameba piggの裏側

Documents