深層学習を用いた建設・鉱山機械における生産性・...

IEICE2018 PRMU企画セッション

1

深層学習を用いた建設・鉱山機械における生産性・安全性向上への取組み～深層学習の実世界応用に向けて～

コマツ ICT開発センタ濵田真太郎

Copyright㈱小松製作所2018


2

弊社（コマツ）について



3

ダンプトラック

ホイール式油圧ショベルクローラー式油圧ショベル

モーターグレーダーブルドーザー

コマツの主要商品建設機械

ホイールローダー

比較的固く締まった土砂を掘るのに適した機械で、配管工事や都市型土木工事で使用される。

工事に使う砂利・砂をダンプトラックに積んだり、バケットに入れて移動したりする作業に使用する。

砕石、土砂を掘削すると同時に運搬する機械で、敷きならしや整地作業にも使用する。

道路の基礎となる路盤を削って敷きならしや冬場の除雪作業に使用する。

建設現場で掘削された土砂や、砕石場/鉱山の表土・原石を運搬する。



4

油圧ショベルＰＣ８０００

ブルドーザーＤ５７５Ａ

ダンプトラック９６０Ｅ

コマツの主要商品鉱山機械

ホイールローダーＷＡ１２００

最大積載量 369 ton

最高速度 60.7 km/h

全長 15.7 m

全幅 10 m

全高 8 m

重量 152 ton

ブレード容量 96 m3

全長 11.7 m

全幅 7.4 m

全高 4.9 m

重量 720 ton

バケット容量 42 m3

重量 216 ton

バケット容量 20 m3

全長 18.3 m

全幅 6.6 m

全高 7 m



5

建設業界を取り巻く環境



6

216

350

150

200

250

300

350

400

450

500

2000 2010 2014 2020 2025

単位：万人

建設業界を取り巻く環境

建設技能労働者数の推移と推計

2025年には約130万人の需給ギャップ

必要労働者数 (推計)

労働者数

労働者数 (推計)

＜参照＞総務省「労働力調査」一般社団法人日本建設業連合会「再生と進化に向けて～建設業の長期ビジョン～」

約130万人

労働力不足が深刻な問題となる（2025年には技能労働者の4割が離職）

課題解決方法は、労働生産性向上



7 建設業界を取り巻く環境

建設業は依然として他産業よりも労働時間が長く、 2016年は全産業平均に比べて

約300時間の長時間労働となっている。

建設業ハンドブック2017（一般社団法人日本建設業連合会）より



8 建設業界を取り巻く環境

全産業の3割以上を占める労働死亡者数。建設生産は屋外作業、高所作業等を伴うため、労働災害が他産業に比べ多い。

建設業ハンドブック2017（一般社団法人日本建設業連合会）より



9

ICT化に向けた取組み



10

10

（Komatsu Machine Tracking System）コムトラックス ⇒ 車両遠隔監視・管理システム ※各車両の位置情報・稼動状況・燃料消費状況等の管理が可能

建設機械車両管理システム



11

GPS衛星

KOMTRAX端末

【通信モデム】車両内ＣＡＮ

センサ

センサ

センサ

センサ

センサ

センサ

センサ

センサ

センサ

センサ

GPS アンテナ

通信アンテナ建設機械

操作

・

設定

エンジンコントローラ

ポンプコントローラ

オペレータモニタ

通信衛星回線または

携帯電話回線

通信ｻｰﾊﾞﾃﾞｰﾀﾍﾞｰｽｻｰﾊﾞ

圧力

温度

燃費

温度

ゲージ

レベル

圧力

温度

レバー

操作

･･･顧客代理店/コマツ

ｱﾌﾟﾘｹｰｼｮﾝｻｰﾊﾞ Webｻｰﾊﾞ

ｲﾝﾀｰﾈｯﾄ

コマツ（現法・工場）･･･

分析ｻｰﾊＢI ﾂｰﾙﾞ

車両にはポンプコントローラやエンジンコントローラと言った各種コントローラを内蔵。車両情報をKOMTRAX端末に取り込み、通信衛星/携帯電話回線を経由してデータサーバに収集する。




12

世界中の車両の位置、稼働状況、故障の有無などの情報を把握し、蓄積・お客様に燃費低減法やメンテナンス時期の情報提供・各地域での使われ方を知ることで商品開発に反映

KOMTRAXが装着・登録されている車両数は全世界合計で40万台以上




13 ICT建機（ICTショベル）



14 ICT建機（ICTブルドーザ）



15 ICT建機を使った施工

経験年数が浅い新人オペレータでもほぼ1日でご覧のような仕上がりで施工を完成することが可能。



16

現場に関わるすべてのものをICTで有機的につなぎ、安全で生産性の高いスマートな「未来の現場」を創造していくソリューション

防潮堤工事造成工事

道路工事河川工事



17

深層学習応用に向けた取組み



18 深層学習応用に向けて

各種課題解決に向け、深層学習の応用可能範囲は非常に広い →現在取り組んでいる一部を本日ご紹介致します。



19 お客様の生産性向上に向けて

お客様の生産性を上げる＝現場のボトルネックを解消する

ショベル（積込）ダンプトラック（運搬）

ショベルの動きをもっと詳細に見える化できないか？



20 深層学習応用事例

各種センサ情報（CANより取得）

ショベルの動きを時系列に分類（ショベル作業の見える化）深層学習

現行

ショベル

単位作業の時系列ヒートマップ出力例

要素作業の時系列ヒートマップ出力例

深層学習によりショベルの動きを詳細に見える化し、現場のボトルネックを把握する



21 入力データについて



現行

ショベル






22

１）油圧ショベルの操作方法

作業機角の図示

作業機の操作ブーム

下げ

アームアームバケットバケット

伸ばし曲げ掘削開放

ブーム

上げ左旋回

右旋回

○ ○

バケット

アーム

ブーム

上げ

下げ

曲げ伸ばし

開放掘削

右旋回左旋回

作業機の動き

２）各種センサ情報（油圧ショベルの既存センサを利用）

バケット角

アーム角ブーム角

ブームシリンダ圧

PPC圧

PPC圧：作業機レバー圧（作業機をコントロールするためのレバーにかかる元圧）

入力データについて



23 出力（推論）データについて



現行

ショベル







単位作業と要素作業

掘削

積荷旋回

排土待ち

排土

空荷旋回

荷台押さえ

掘削積込

土砂等を掘り、その土砂等をトラックの荷台に積み込む作業

掘削積込における要素作業例

単位作業




掘削積込法面整形

鋤取り溝掘削

単位作業の種類（例）

土砂等を掘り、その土砂等をトラックの荷台に積み込む作業

法面（斜面）を作る作業

溝を掘る、または削り取る作業地面の余分な起伏を所定の高さに削り取る作業

油圧ショベルの要素作業は単位作業毎に異なる Copyright㈱小松製作所2018


26 出力（推論）結果例

積込作業

ダンプ不在時の段取り作業

積込作業積込作業

休車休車休車

単位作業

要素作業

排土待ち/荷台押さえの回数からダンプ台数のカウントが可能

排土回数からダンプ1台あたりの積込回数のカウントが可能

約30分を拡大

推論結果によりショベル稼動の様々な情報が得られる



27 目的（推論結果の用途）

掘削積込における、1日の作業内訳の統計と概観

• 主作業と付帯作業の比率 • 稼働率の把握

• 主作業と付帯作業が行われた時間帯の把握 • 停車・休車時間帯の把握

主作業付帯作業未稼働

ショベル稼動集計ショベル稼動時系列ヒートマップ

ダンプトラック動態管理

凡例：

ボトルネックはダンプワークかショベルワークか？



28 目的（推論結果の用途）

サイクルタイム分析

排土待ち（ダンプ待ち）時間が長く、結果サイクルタイム全体が長くなっている。

積み込み回数が多いことから、バケット満載率が低い（荷こぼれ等）可能性がある。

積み込み回数分析

ダンプワーク

ショベルワーク



29 システム実現による効果

• ショベルの作業解析コンテンツにより、ショベルの日々の作業内容・作業効率（ショベルの“コト”）が見える化できる。

• TRUCK VISION（動態管理・ペイロード）とデータ連携することで、「現場全体の見える化」が進み、現場作業の効率化に有効。

• また、ショベルオペレータ毎の技量が見える化されるため、熟練オペのノウハウの蓄積や、若手オペの教育・指導にも活用可能。

ダンプ配置の最適化

ショベル配置（オペ配置）の最適化

熟練オペのノウハウの蓄積

若手オペの教育・指導

ダンプの位置情報を踏まえたショベルの段取りの最適化



30 深層学習を通じた建設機械の進化

深層学習を通して機械を高度化・知能化する。 ⇒ 生産性と安全性の向上を通して「未来の現場」を創造する。

周囲監視/地形認識・障害物の認識（人、車両、建物、etc.）・現況地形の認識

施工計画・現況地形の認識・最適な施工手順の作成

車体制御・作業機の自動制御・走行/旋回の自動制御

姿勢/位置認識・車体の位置と姿勢の認識・作業機の位置と姿勢認識

建設機械の進化



31

ご清聴ありがとうございました。


深層学習を用いた建設・鉱山機械における 生産性・...

Documents

深層学習を用いた建設・鉱山機械における生産性・...