rdf semantic graph「rdf 超入門」

Copyright©2014Oracleand/oritsaffiliates.Allrightsreserved.|

OracleSpatialandGraphRDFSemanticGraphRDF超入門

日本オラクル株式会社データベース事業統括製品戦略統括本部

データベースエンジニアリング本部BigData&Security技術部

中井亮矢

OracleConfidential – Internal/Restricted/HighlyRestricted

thisducument RyoyaNakai

dc:Creater

dc:Title

vc:memberOf

rdfs:label


SafeHarborStatementThefollowingisintendedtooutlineourgeneralproductdirection.Itisintendedforinformationpurposesonly,andmaynotbeincorporatedintoanycontract.Itisnotacommitmenttodeliveranymaterial,code,orfunctionality,andshouldnotberelieduponinmakingpurchasingdecisions.Thedevelopment,release,andtimingofanyfeaturesorfunctionalitydescribedforOracle’sproductsremainsatthesolediscretionofOracle.

2


Agenda

§ Oracle Spatial and Graph § Linked Dataってなに§ RDF Semantic Graph

4 Copyright © 2011, Oracle and/or its affiliates. All rights reserved.

BigDataManagementSystemSO

URCES

DATARESERVOIR DATAWAREHOUSEOracleDatabase

OracleIndustryModels

OracleAdvancedAnalytics

OracleSpatial&Graph

BigDataAppliance

ApacheFlume

OracleGoldenGate

OracleEventProcessing

ClouderaHadoop

OracleBigDataSQL

OracleNoSQL

OracleRDistribution

OracleBigDataSpatialandGraph

OracleDatabase

In-Memory,Multi-tenant

OracleIndustryModels

OracleAdvancedAnalytics

OracleSpatialandGraphExadata

OracleGoldenGate

OracleEventProcessing

OracleDataIntegrator

OracleBigDataConnectors

OracleDataIntegratorB

4


OracleSpatialの歩み

1995～ Oracle7

1999～ Oracle8i

2001～ Oracle9i

2004～Oracle Database 10g

2007～Oracle Database 11g

Spatialの初リリースポイント情報ポリゴン空間演算子

3DデータサポートRDFセマンティック (10.2)Spatial Webサービス

2013～Oracle Database 12cSpatial and Graphに改名ベクター演算高速化ラスター並列演算

・Oracle 7.3 から実装・市場のニーズに応えた継続的な改善・挑戦的な機能追加

オブジェクト・サポート円、円弧R-Tree索引Spatial関数のサポート

測地座標系線形参照システムSpatial Partitioning Spatial Replication

ラスター・データトポロジ・データモデルネットワーク・データ・モデルジオコーディングルーティング


SpatialandGraph

6

Oracle Database 12c Spatial and Graph Option

Spatial FeaturesGraph Features

Topology & Network

Data Model Graph

RDF SemanticsGraph


GraphFeatures- RDFSemanticsGraph

RDFセマンティックテクノロジーの実装• 機能

– SPARQL 1.1 対応のRDFトリプルストアとして動作– RDB2RDF の変換プロセッサ(DM,R2RML)とRDFビュー機能– 推論エンジン機能

• RDF/RDFS/OWL/SKOS標準ボキャブラリ対応、ユーザ定義推論

• 特⻑– 1兆トリプルを捌く #1 ⼤規模トリプルストア– 既存データ,RDBユーザに優しい

• RDBからの変換、SQL内にSPARQLを記述可能、RDFビュー– 企業・軍情報機関での利⽤に耐える本格実装

• セキュリティ、推論結果の扱い、モデル単位の管理、仮想モデル

概要


RDF Semantic Graph 機能は

一言で言うと

OracleデータベースのRDF/LinkedDataの機能

§ LinkedData?

§ RDF?


Agenda

§ Oracle Spatial and Graph § Linked Dataってなに

– コンセプト– データの持ち⽅– RDF

§ RDF Semantic Graph


コンセプト

WorldWideWeb (1991-) ～ HTMLを使った文書のウェブLinkedData(1999-) ～ RDFを使ったデータのウェブ

http://ja.wikipedia.org/wiki/Linked_Open_Datahttp://www.ted.com/talks/tim_berners_lee_on_the_next_web


WorldWideWeb (文書のウェブ)

OracleConfidential – Internal/Restricted/HighlyRestricted 11

http://en.wikipedia.org/wiki/File:Internet_map_1024.jpg


文書のウェブで困ること

ウェブという「ビッグデータ」があっても…

非構造：コンピュータが内容を理解してリンクを辿るのは難しい

異なるスキーマ：複数ソースのデータを統合するのは手間がかかる

http://www.kanzaki.com/works/2011/pub/0618scs.html#s4


Webの現状

ホイコーローつくろう


例えば、、、、ホイコーローつくろう

レシピを検索




すごいいっぱいでてくる、、、



僕が欲しいレシピはアレルギー⾷材なし⾟くなくて⽢⼝で⼦供が⾷べれて⼤⼈もおいしくて、、、



サイトごとに書式も違うから⽐べるのも⼤変 (>_<)

作り出す前に２時間以上検索実際はホイコーローでないですが、ほぼ実体験


データのウェブでできること

• データの再利用•複数ソースの統合•関連データの発見

•全てのデータにURIをつける•そのURIが参照できるようにする•参照されたらRDFで情報を返す•外部データのURIを参照する



データのWebなら一発検索

ヾ(*´▽`*)ﾉ


ホイコーロー

レシピA

レシピB

レシピB

辛い

甘い

おいしい

アレルギー食材無

喜ぶ

レシピX


Agenda


– コンセプト– データの持ち⽅– RDF



データの持ち方

データのWebのためには、、• 情報をトリプル化して• グラフ化して• オントロジーを定義して• 大量に蓄積



残念ながら用語が難しい (´・ω・｀)

ここから簡単に説明



～トリプル・トリプル化とは


データの持ち方トリプル・トリプル化

織田信長は室町幕府を滅亡させ天下統一を狙った

この情報をトリプル化してみます



天下統一を狙った

情報を分割します

織田信長は室町幕府を滅亡させ



天下統一を狙った

分割完了ヾ(*´▽`*)ﾉこの情報は２つに！

織田信長は室町幕府を滅亡させた

織田信長は



狙った

分割した情報を主語・述語・目的語(SVO)に並べ替え

織田信長

織田信長

室町幕府滅亡させた

天下統一

S V O



狙った

織田信長

織田信長


天下統一

S V Oこれがトリプル

これもトリプル


"織田信長" "狙った" "天下統一".

"織田信長" "滅亡させた" "室町幕府".


実際のトリプルのファイルもただのスペース区切りでOK

これがトリプル

これもトリプル

※トリプルには他の書式もあります。



グラフ化して


トリプルからグラフへ

グラフって何？

円グラフ・棒グラフ折れ線グラフのグラフ?



グラフって何？グラフ理論のグラフ点と線の集合のこと。


トリプルからグラフへグラフって何？

関係を表現できる。

地下鉄の路線図、道路網、コンピュータのネットワークとか⼈間関係とかはグラフ化するとわかりやすい。

駅探とかカーナビでもたぶん使われてる


トリプルからグラフへグラフって何？

出典：わけがわからない...CIA長官不倫スキャンダル人物相関図http://www.gizmodo.jp/2012/11/cia_3.html



狙った

述語を主語・⽬的語の2つの間の関係と⾒做して⽮印で結びます。

織田信長

織田信長


天下統一



狙った

トリプルを⽮印で書くとRDFグラフ。

織田信長

織田信長


天下統一

これがRDF グラフ

これもRDF グラフ



「織⽥信⻑」をまとめます

織田信長室町幕府滅亡させた

天下統一狙った



合わせるとこんな形のグラフになりました


天下統一狙った


大量に蓄積



RDFグラフをどんどん集めてつなげると巨大で複雑なグラフネットワークが作れます。これをRDFセマンティックグラフと呼びます。


作った

足利尊氏

征夷大将軍

代表



巨大なRDFセマンティックグラフでは色々なものがつながっているので、色々なことがわかります

徳川家康徳川秀忠徳川家光親親

家光のおじいちゃんは誰？



みんなが勝手にトリプル化していくと重複データが増えて結局探すのがたいへんなことに <(T◇T)>

織⽥信⻑

尾張守護代

戦国⼤名

⼤名おしごと

職業

職

天下統⼀

戦国⼤名主な職歴



http://ja.dbpedia.org/resource/織田信長

http://ja.dbpedia.org/resource/戦国大名

http://example.com/職業HTTP URIの利用

定義済みのものはどっかに書いてみんな、それを使おう！

URIを使って書けば誰だって使えるものに



オントロジーとは



コンピュータは何もわからない

「織⽥信⻑」というデータはあっても• 過去の⽇本⼈かどうかもわからない• ⽇本⼈かどうかもわからない• ⼈かモノか部品か何かわからない• 架空のものかもわからない


(´・ω・｀)ﾓｷｭ



概念体系（オントロジー）をコンピュータに教えてあげるとスムーズ！

「⼈は動物の⼀種で名前を持ってるよ」

OracleConfidential – Internal/Restricted/HighlyRestricted47

動物人上位概念

名前名前持ってる

出典：wikipedia



コンピュータに概念を教える為の書き⽅の決まりが、Web Ontology Language が由来の OWL

この書式で書けば、他のデータソースとも概念を共有できちゃう！



スキーマはOWLとRDF Schema で書く

動物人上位概念

名前名前持ってる

<owl:Class rdf:ID="人"><rdfs:subClassOf rdf:resource="#動物"/>

.....<rdfs:subClassOf><owl:onProperty rdf:resource="#名前持ってる"/>

</rdfs:subClassOf>....</owl:Class>


Agenda


– コンセプト– データの持ち⽅– RDFってなに



RDFってなに？

ResourceDescriptionFramework

W3C勧告のリソース記述の枠組み。書式とそのスキーマの記述方法などがゆるく定義されてる


RDFってなに？⾝近にあるRDFの応⽤

•RSS （RDF site summary)–ブログやニュースフィードとかに使われてる。更新情報をまとめて配信するフォーマット• Webサイトの要約をRDFの形式で記述したもの

•FOAF (Friend of a Friend) Project –⼈間に関する情報をRDF化して検索対象とするプロジェクト

• 何⼈の友達を辿ってXXに辿りつけるかみたいのがわかるように


RDFってなに？RSSの例（RDF/XMLの記述になっている）<?xmlversion="1.0"encoding="utf-8"?><?xml-stylesheet href="../../../../../css/rss/feedRss1.xsl"media="screen"type="text/xsl"?><rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"xmlns="http://purl.org/rss/1.0/"xmlns:slash="http://purl.org/rss/1.0/modules/slash/" xmlns:content=http://purl.org/rss/1.0/modules/content/xmlns:taxo="http://purl.org/rss/1.0/modules/taxonomy/" xmlns:dc=http://purl.org/dc/elements/1.1/xmlns:syn="http://purl.org/rss/1.0/modules/syndication/" xmlns:admin="http://webns.net/mvcb/"> <channelrdf:about="http://science.slashdot.jp/"><title>スラッシュドット・ジャパン:サイエンス</title><link>http://science.slashdot.jp/</link><description>アレゲなニュースと雑談サイト</description>......＜中略＞<itemrdf:about="http://science.slashdot.jp/story/14/09/16/0445242/"><title>中国の考古学者、ジュラ紀の「神獣」の化石を発見？</title><link>http://science.slashdot.jp/story/14/09/16/0445242/</link> <description>中国で新たに発見されたハラミヤ目の標本に「陸氏神獣」、「玲瓏仙獣」、「宋氏仙獣」</description> <dc:creator>hylom</dc:creator><dc:date>2014-09-16T21:00:00+00:00</dc:date><dc:subject>science</dc:subject>

.....</item>

http://science.slashdot.jptitle

スラッシュドット・ジャパン:サイエンス

link

http://science.slashdot.jpアレゲなニュースと雑談サイト

description


RDFってなに？

書き⽅については⾊々• XMLをベースとしたもの(RDF/XML)• ⾏ベースでの記述⽅式 (N-Triples)• 独⾃フォーマット (Notation3/Turtle)


RDF（N-Triples)の例<http://ja.dbpedia.org/resource/夢路いとし> <http://xmlns.com/foaf/0.1/name> "夢路いとし"@ja .<http://ja.dbpedia.org/resource/夢路いとし> <http://xmlns.com/foaf/0.1/name> "夢路いとし・喜味こいし"@ja .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/birthName> "篠原博信"@ja .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/birthName> "いとし先⽣"@ja .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/birthPlace> <http://ja.dbpedia.org/resource/神奈川県> .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/genre> <http://ja.dbpedia.org/resource/漫才> .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/influencedBy> <http://ja.dbpedia.org/resource/荒川芳丸> .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/notableWork> <http://ja.dbpedia.org/resource/がっちり買いまショウ> .<http://ja.dbpedia.org/resource/夢路いとし> <http://dbpedia.org/ontology/notableWork> <http://ja.dbpedia.org/resource/バラエティー⽣活笑百科> .

<http://ja.dbpedia.org/resource/原哲夫> <http://xmlns.com/foaf/0.1/name> "原哲夫"@ja .<http://ja.dbpedia.org/resource/原哲夫> <http://dbpedia.org/ontology/nationality> <http://ja.dbpedia.org/resource/⽇本> .<http://ja.dbpedia.org/resource/原哲夫> <http://xmlns.com/foaf/0.1/homepage> <http://www.haratetsuo.com/> .<http://ja.dbpedia.org/resource/原哲夫> <http://dbpedia.org/ontology/genre> <http://ja.dbpedia.org/resource/少年漫画> .<http://ja.dbpedia.org/resource/原哲夫> <http://dbpedia.org/ontology/notableWork> <http://ja.dbpedia.org/resource/北⽃の拳> .<http://ja.dbpedia.org/resource/原哲夫> <http://dbpedia.org/ontology/notableWork> <http://ja.dbpedia.org/resource/花の慶次> .<http://ja.dbpedia.org/resource/原哲夫> <http://dbpedia.org/ontology/notableWork> <http://ja.dbpedia.org/resource/蒼天の拳> .

夢路いとし神奈川県birthPlace

漫才ジャンル


SPARQL

どうやって、データを探すの？

そのための問い合わせ⾔語がSPARQL (すぱーくる）(SPARQLProtocolAndRDFQueryLanguage)

SQLとパッと見、似た名前


SPARQL

なんとなく SQLに似てます。"お市の⽅"の兄弟を検索 (by ja.dbpedia.org)

PREFIX dbpedia-owl: <http://dbpedia.org/ontology/>PREFIX ja-prop: <http://ja.dbpedia.org/property/>SELECT *WHERE {

?s a dbpedia-owl:Person .?s ja-prop:兄弟 <http://ja.dbpedia.org/resource/お市の⽅> .

}

RDFのURLは⻑いし、何回も書いたりするので、PREFIXを使ってaliasみたいなことができます

別にPREFIX使わないで普通に書いてもいいです


SPARQL

お市の⽅兄弟

？

SELECT *WHERE {

?s a dbpedia-owl:Person .?s ja-prop:兄弟 <http://ja.dbpedia.org/resource/お市の⽅> .

}

お市の⽅と兄弟の⼈は？

Person（人）

クラス


クエリーの結果は、、、、

SPARQL

PREFIX dbpedia-owl: <http://dbpedia.org/ontology/>

PREFIX ja-prop: <http://ja.dbpedia.org/property/>

SELECT *

WHERE {

?s a dbpedia-owl:Person .

?s ja-prop:兄弟 <http://ja.dbpedia.org/resource/お市の⽅> .

}

shttp://ja.dbpedia.org/resource/織田信長http://ja.dbpedia.org/resource/織田信行http://ja.dbpedia.org/resource/織田信興http://ja.dbpedia.org/resource/織田長利http://ja.dbpedia.org/resource/織田秀成http://ja.dbpedia.org/resource/織田信照http://ja.dbpedia.org/resource/織田信治http://ja.dbpedia.org/resource/織田信包


宮崎駿の作品にでている人の配偶者の職業


RDFデータへのアクセスSPARQLクエリ@ja.dbpedia.org

• http://ja.dbpedia.org/sparql

• 宮崎駿


<http://ja.dbpedia.org/resource/宮崎駿> .宮崎駿




• 宮崎駿の作品


select*where{?moviedbpedia-owl:director <http://ja.dbpedia.org/resource/宮崎駿> .}

movie

宮崎駿

dbpedia-owl:director




• 宮崎駿の作品にでている人


select*where{?moviedbpedia-owl:director <http://ja.dbpedia.org/resource/宮崎駿> .?moviedbpedia-owl:starring ?cast.}

movie

宮崎駿


dbpedia-owl:starring

?cast




• 宮崎駿の作品にでている人の配偶者


select*where{?moviedbpedia-owl:director <http://ja.dbpedia.org/resource/宮崎駿> .?moviedbpedia-owl:starring ?cast.?castprop-ja:配偶者 ?partner.}

movie

宮崎駿



?cast ?partnerprop-ja:配偶者




• 宮崎駿の作品にでている人の配偶者の職業


select*where{?moviedbpedia-owl:director <http://ja.dbpedia.org/resource/宮崎駿> .?moviedbpedia-owl:starring ?cast.?castprop-ja:配偶者 ?partner .?partnerdbpedia-owl:occupation ?job.}

movie

宮崎駿



?cast ?partnerprop-ja:配偶者

?job

dbpedia-owl:occupation




movie cast partner jobdbpedia-ja:⾵⽴ちぬ_(2013年の映画) dbpedia-ja:庵野秀明 dbpedia-ja:安野モヨコ dbpedia-ja:漫画家

dbpedia-ja:紅の豚 dbpedia-ja:⼤塚明夫 dbpedia-ja:沢海陽⼦ dbpedia-ja:声優dbpedia-ja:ハウルの動く城 dbpedia-ja:⼤塚明夫 dbpedia-ja:沢海陽⼦ dbpedia-ja:声優dbpedia-ja:ハウルの動く城 dbpedia-ja:⽊村拓哉 dbpedia-ja:⼯藤静⾹ dbpedia-ja:歌⼿

dbpedia-ja:千と千尋の神隠し dbpedia-ja:夏⽊マリ dbpedia-ja:斎藤ノヴ dbpedia-ja:パーカッショニスト

dbpedia-ja:ハウルの動く城 dbpedia-ja:倍賞千恵⼦ dbpedia-ja:⼩六禮次郎 dbpedia-ja:作曲家dbpedia-ja:ハウルの動く城 dbpedia-ja:倍賞千恵⼦ dbpedia-ja:⼩六禮次郎 dbpedia-ja:編曲家

• こんな結果になりました

※クエリ結果が少ないのはdbpedia側に配偶者や職業データの⽋落が多いことに起因しています(>_<)


Agenda

§ Oracle Spatial and Graph § Linked Dataってなに§ RDF Semantic Graph


GraphFeatures- RDFSemanticsGraph

RDFセマンティックテクノロジーの実装• 機能

– SPARQL 1.1 対応のRDFトリプルストアとして動作– RDB2RDF の変換プロセッサ(DM,R2RML)とRDFビュー機能– 推論エンジン機能

• RDF/RDFS/OWL/SKOS標準ボキャブラリ対応、ユーザ定義推論

• 特⻑– 1兆トリプルを捌く #1 ⼤規模トリプルストア– 既存データ,RDBユーザに優しい

• RDBからの変換、SQL内にSPARQLを記述可能、RDFビュー– 企業・軍情報機関での利⽤に耐える本格実装

• セキュリティ、推論結果の扱い、モデル単位の管理、仮想モデル

概要


事例

CiscoWebEX

EliLilly

AlliedNations

EU出版局


CiscoWebExSocialOracleSpatialandGraphによる社内コラボレーションの促進

目的

§ 意味的関係から⼈と⼈のつながり、コラボレーションの創出を狙いたい

§ サイロ化した知⾒を引きずり出したい

ソリューション

§ 永続的、且つ統合されたグラフのメタデータモデルを構築

§ 概念に対して固有の意味によるタグ付§ 意味的つながりやレコメンデーションを

辿ることにより関連したコンテンツ、グループの発⾒

得られた利点

§ フォーラム、ブログ、wikiなどの各種コンテンツ間で統合されたメタデータモデル

§ メディア、ドキュメント、写真、ブログなどのコンテンツに対する企業内の⽤語やユーザ定義によるタグ付

§ タグの意味的、構造的な整合性のチェック


Oracle Graph Database | Eli Lilly様

目的

§ 調査、研究、実験の効率化のため統一化された"ボキャブラリー" を構築

§ 新薬開発のアイデア出し効率化と事前チェック

完全化

解決策

§ 臨床試験記録、化学物質構成情報、遺伝子シーケンス、パスウェイ、画像、化学論文データ等の統合ビュー

§ 関連するデータをグラフ(ネットワーク)として分かりやすく表示

§ グラフを横断的に自由に移動し新たな関係性を発見。語彙

検索。オントロジーブラウズ

“[This technology…] provides improved insight into our business by bringing together related information from diverse data sources,”J. Phil BrooksInformation Consultant, Eli Lilly and Company


Oracle Graph Database | Eli Lilly様


セマンティック検索のクエリー例意味的基盤の構築によって可能になったクエリ

• ⼤腸がんに含まれるメチラーゼのすべての相互作⽤を同定• RNAiのデータでDharmacon社の試薬を使⽤して⽣成された細胞株を検索• MCF7におけるAKT1経路活性を評価するために使⽤された抗体を取得• ⾃分のサンプルを使った全ての実験を検索• グレードIIIの結腸直腸癌であるすべてのサンプルを検索し、発現、変異との

aCGHデータを取得



Business Challenge• 社内のデータと情報データベース（遺伝

⼦・タンパク質・代謝経路・化合物・リガンドなど）の連携

• 社内外のデータの活⽤、検索、ナビゲート、共有による⽣産性の向上

Solution• 160万語に及ぶ⼤量の術語（⽣物学、化学、

医学）• RDFグラフの利⽤による意味的統合• 術語ハブ：データレポジトリ間を相互参照

するために8Gbもの参照⽤データ

事例： RDFを活用した統合データ基盤の構築


Oracle Graph Database | Allied Nation

§ 通話記録、Email、SNS情報から容疑者を推測

§ Produce “data products” for analysts

§ 個人、グループや位置などの関連性を明らかにする

§ 個人やグループ間の関連性を明らかにする偽名、暗号、専門用語の意味を明らかに

§ 業界標準テクノロジー: W3C RDF & SPARQL

§ 600 TB、10億行のトリプルストア

§ セキュリティを担保

- ファイングレイン監査機能をトリプルストアに実装

§ 1億行 / 月のペースでデータ量が増加

§ Find & label “same-as” relationships

目的

解決策

導入効果

SCREEN ONLY


EUPublicationsOffice (欧州委員会出版局)欧州連合の LinkedOpenData(LOD)プラットフォーム

目的

§ 共通メタデータモデルでの情報公開:§ EUからの全てのアナウンスメントの検索と発見§ 複数の言語とドメイン

ソリューション

§ ValidateandtagEUlaw,tenders,andpublicitytostandardizedvocabularies

§ UnifiedRDFgraphmetadatamodel§ Supportsdiscoveryofcontentthroughuser’sterminologyandlanguage

§ Providesvarietyofdisseminationmodes

§ Evolvingdatamodelthatflexiblysupportsavarietyofbusinessusecases

§ Scalability:§ OverbillionRDFtriplesinOracleGraphDB§ 2.5TBofcompresseddatainOracleDB§ Linksto3.9TB(60M)filesofEUpubs

§ Reliabilityandmaintainability§ OracleASM(AutomaticStorageManagement)§ Twofailoversystems

得られた利点


§ Appendix


Transform&

ModelingTools• RDF/OWLDataManagement

• SQL&SPARQLQuery

•OWLInferencing

• SemanticRules

• Scalability&Security

• SemanticIndexing

• Java,HTTPaccess

• JSONoutput

•Graphvisualization(Cytoscape)

•OracleAdvancedAnalytics

•OracleBusinessIntelligence(OBIEE)

•Map(GIS)Visualization

Load,Query

&Inference

Applications&

Analysis Tools

OtherDataFormats

RSS,email

TransactionSystems

DataSources

UnstructuredContent

R2RML

ProtégéforOracle

JenaforOracle

SesameforOracleNLPExtraction(partners)

OracleDatabase12c

OracleDatabase12cSpatialandGraphTooling


OracleSpatial&Graph12cRDFSemanticGraphLeveragesOracleManageability:• RAC&Exadata scalability• Compression&partitioning• SQL*Loaderdirectpathload• Parallelload,inference,query• HighAvailability• Triple-level labelsecurity• Ladderbasedinference

• ChoiceofSPARQL,SQL,orJava• Nativeinferenceengine• EnterpriseManager

• Native RDF graph data store• Manages 10s of billions of triples• Relational to RDF mapping

• SPARQL-Jena/Joseki, Sesame• SQL/graph query, B-tree indexing • Ontology assisted SQL query

• RDFS, OWL2 RL, EL+, SKOS• User-defined rules• Incremental, parallel reasoning• User-defined inferencing• Plug-in architecture

Load / Storage

Query

Reasoning

• Semantic indexing framework• OBIEE•Oracle Advanced Analytics•SPARQL Property Paths

Analytics


Linked"Open"Data

クロスドメイン(DBpedia,Freebase)

ライフサイエンス(UniProt,Bio2RDF)

地理(Geonames)

出版物

(米議会図書館,独国立経済学図書館)

メディア(BBC,NewYorkTimes)

政府(data.gov,data.gov.uk)


補足資料

§ グラフの種類


グラフ補足：グラフには色々な種類がありますグラフには様々な特徴のあるモデルがあります

無向グラフ有向グラフプロパティグラフＲＤＦグラフ表現⼒低⾼難易度低⾼関係の種類 1種類多数

84

プロパティグラフの例

尊敬(10)

信頼(3)

旧友(1)

尊敬(8)殺意(10)

重みつき無向グラフの例

5

4 3

便利(8)


無向グラフ方向が無いグラフ

• 点と線の最もシンプルなグラフ• 特定の関係の有無を表現することができる• コスト（重み）をもたせると少し表現⼒が上がり関係の強弱が表現できる

• 仲良し度と数値化して⾼いと太い、近いなど

• 例– FacebookなどのSNSの知⼈関係– 地下鉄の路線図


重みつき無向グラフの例

5

4 3

[Oracle 製品での実装]Network Data Model Graph( Oracle Spatial and Graph Option)


有向グラフ方向つきグラフ

• 線に⽅向がある• 相互の関係を分けて表現できる• また線にコスト（重み）をもたせると少し表現⼒が上がり強弱が表現できる

• 例：好意を数値化（⽉間の電話回数など、、）

• 例– じゃんけんの勝敗関係– Twitterのフォロー関係– ⼀⽅通⾏のある道路、経路– 化学物質、原⼦の状態偏移– 楽曲構成


3

7

3

6

2

重みつき有向グラフの例

[Oracle 製品での実装]Network Data Model Graph( Oracle Spatial and Graph Option)


複数の方向と関係の中身を表現したグラフ(マルチリレーショナルグラフ）

• 関係を⽂字で直接表記できる• 同じノードに対して複数の関係を表現できる• 関係の中に属性を付与できる

• 例– 雑誌などの⼈物相関図


尊敬

信頼

便利

尊敬殺意

便利

旧友

マルチリレーショナルグラフの例

ラベル付有向グラフ

[Oracle 製品での実装]Network Data Model GraphRDF Semantic Graph(部分利⽤)( Oracle Spatial and Graph Option)


プロパティグラフ関係の中身を表現することに特化したグラフ

• 関係を直接表記し属性を与えれる• 同じノードに対して複数の関係を表現できる• 関係⾃体に⾊々な情報を付与できる• より複雑な関係の表現が可能• ⼈の⽬にやさしい• 例

– 雑誌などの⼈物相関図– 多重債務状況の図⽰


尊敬(10)

信頼(6)

便利(6)

尊敬(7)殺意(10)

便利(8)

恐怖(3)

プロパティグラフの例

消費者金融A

Aさん

消費者金融B 消費者

金融C

融資⾦額:50万円

⾦利:8%

融資⾦額:20万円⾦利:11%

Bさん

融資⾦額:120万円

⾦利:5%

贈与⾦額:200万円

[Oracle 製品での実装]Property Graph

(Oracle Big DataSpatial and Graph)


RDFセマンティックグラフ多彩な関係を定義し、概念による意味の補足が可能に

• 概念（オントロジー）を持てる• 柔軟性と再利⽤性のバランス

– URI表記の利⽤による再利⽤性– オントロジーによる

• w3cで標準化されている• 同様の形式のLOD(※)と連結できる• 機械に優しい（⾃動処理に向く）• 例

– DBpedia (wikipediaのRDF版)– MusicBrainz– RSS


尊敬

信頼

便利

尊敬殺意

便利

旧友

RDFセマンティックグラフの例

戦国大名

歴史上の人物

rdfs:type

rdfs:subclassOf

rdfs:type

rdfs:type

rdfs:type

[Oracle 製品での実装]RDF Semantic Graph( Oracle Spatial and Graph Option)

※LOD：Linked Open Dataの略称で外部公開されているリンクデータ


RDFセマンティックグラフとプロパティグラフ

• プロパティグラフの表現⼒、柔軟性は⾮常に⾼い– 分析⽤のデータモデルとしては⾮常に良い– ⼈間の⽬で⾒て分かり易く、扱いやすいモデル

• RDFセマンティックグラフはデータの再利⽤性、可搬性に対する配慮が⾼い。– w3cで標準化されているため他のデータソース（LOD)との連結が容易– オントロジーによる意味、概念的な情報抽出や処理が可能– 推論機能による情報への補完や修正が可能– コンピュータでの⾼度な処理に向いたモデル



RDFセマンティックグラフとプロパティグラフデータモデルとしての使い分け


RDFセマンティックグラフプロパティグラフ表現⼒⾼い

・マルチリレーショナルグラフ形式・オントロジーによる概念記述

⾮常に⾼い・ノード、エッジともにKVストアを持っているような状態

柔軟性⾼い・新たな関係性は新規トリプルとして追加

⾮常に⾼い・プロパティでの追加も利⽤できる

データの可搬性⾼い・w3cで標準化された規格

普通・設計は利⽤者による

データの再利⽤性⾼い・URI記述ルール

普通・同⼀モデル内では問題なく利⽤可能

探索・クエリー標準規格がある・w3cで標準化されたSPARQLによる問い合わせが可能

鋭意発展中・標準的なアクセス⼿段を提供するライブラリ(Gremlin)の開発が進んでいる

永続的にストアされるデータモデル柔軟な分析用のデータモデル


分析・可視化(PropertyGraph)

データストア(RDF)

様々な切り⼝でのグラフ分析を可能に

Oracle Confidential – Internal/Restricted/Highly Restricted92

多⾯的な分析を可能にします

RDF Semantic Graph

Facebook/Twitter/Google+の⼈間関係に注

⽬

物の所有者や譲渡関係に注⽬

電話、待ち合わせなどの接触イベントに着⽬分析・可視

化(Property

Graph)S&G (PGX)

on BDA

データストア(RDF)S&G

外部LOD

外部RDF

ストア RDFによる横断的データストア


３つのグラフと領域


グラフ理論

地理学

NDM

知識表現オントロジ工学

RDF社会学

ネットワーク論

PG

グラフ理論は⽅法論として様々な領域で利⽤されています。その領域の特徴によって、加味される技術的な要素も変わっています。これらのグラフモデルに対して最適な実装をするために別なデータモデルとして提供しています




グラフ理論

地理学

NDM


RDF社会学


PG

地球の上のリアルなネットワークを取り扱う

ポイント：・地表⾯（球体）における距離・測地系の差異をまだくグラフ・時間や状況によって構造が変化

例えば、地球上の正確な距離計算には、地球を近似する回転楕円体の情報や海⽔⾯の情報、上空や地下であれば、その標⾼などを加味したそれなりの演算が必要です




グラフ理論

地理学

NDM


RDF社会学


PG

巨⼤情報を意味的に正しく取り扱う。有形・無形の知識をコンピュータ上で表現していくために形式論理学的な表現を解釈し、推論などの⾏い、論理的な整合性を担保しつつ、柔軟な管理を可能にする

ポイント：・莫⼤なデータ量・標準的な知識表現の解釈（推論）・⾼速なアクセス・標準技術への対応

w3c勧告の様々な標準仕様が存在している。RDFS(RDF Schema): RDF⽤のスキーマ記述⾔語OWL (Web Ontology Languadge):オントロジ記述⾔語と語彙。集合論と形式論理学な⾵味(バージョンやセットによって利⽤できる語彙に違いがある）SKOS(Simple Knowledge Organization System): 分類学的なアプローチによる知識表現語彙SPARQL:RDFに対する標準クエリ⾔語




グラフ理論

地理学

NDM


RDF社会学


PG

社会や⾃然界にあるグラフ構造の解析を⽬的としている。構造を定量的に把握するための様々な指標やその解釈、分析アルゴリズムがある。ポイント：・構造を定量化、可視化・構造に対する分析に特化・構造に対する解釈を踏まえたアルゴリズム

⼀般的によく⾔われる社会ネットワークの性質スモールワールド性：任意の2つの頂点が、中間にわずかな数の頂点を介するだけで接続されるクラスター性：現実世界のネットワークには三⾓形（相互に知り合い、相関がある）が沢⼭含まれているスケールフリー性：接続が偏在化していて、⼤多数の頂点はごく⼀部の頂点としか接続していない

構造の定量化の例中⼼性：ネットワーク内で中⼼的な役割を果たしている頂点を数値化した指標。中⼼性の考え⽅により、次数中⼼性、媒介中⼼性、固有ベクトル中⼼性など様々な算出⽅法がある


姉妹品のご紹介OracleBigDataSpatialandGraph

• Spatial and Graph機能が BDA(Big Data Appliance) 環境でもご利⽤頂けます

• データベースのSpatial and Graph オプションと⼀部機能、利⽤⽅法に差異がございます– データの蒸留⼯程や⼤規模な分散環境を意識した実装– Spatial

• データエンリッチメントやイベント判定に特化– Graph

• 分散環境下でのグラフ分析に特化


姉妹品


OracleBigDataSpatialandGraph

ORACLE CONFIDENTIAL

Property Graph SpatialBigDataに新しい分析機能をもたらす新機能

OracleTechnologyNetworkproductpage:http://www.oracle.com/technetwork/database/database-technologies/bigdata-spatialandgraph/

適⽤領域• ソーシャルメディア分析• IoT• サイバーセキュリティ

⾼い表現⼒をもって分析に適したモデルを提供するプロパティグラフに⾼度なグラフ分析関数を多数実装した新機能

空間データベースとして最⼤⼿かつ実績豊富なOracleが提供する空間演算関数をBig Dataインフラ上で提供

適⽤領域• 近傍情報、ジオフェンス判定• 位置情報への付帯情報の付加• 空間データ、ラスタ（画像）データの加⼯・

準備

姉妹品


Spatial and Graphオプション• Oracle Database EEのオプション

– Exadata Database Machine• 位置付け

– 永続的データストア– ⼤規模、⾼度な分析基盤

• 空間機能– ⾼度な地理・空間分析機能

• グラフ機能– RDFセマンティックグラフ– ネットワークデータモデル(地理空間向け）

Big Data Spatial and Graph• Big Data 基盤⽤のオプション

– Big Data Appliance• 位置付け

– グラフ分析基盤– （未整理データの保管と前処理）

• 空間機能– ⽐較的軽い空間演算処理の実装

• グラフ機能– プロパティグラフ– 並列グラフ分析エンジン(PGX)

SpatialandGraphと BigDataSpatialandGraphの違い

姉妹品

rdf semantic graph「rdf 超入門」

Engineering