Traitement en cours

Veuillez attendre...

Paramétrages

Paramétrages

Aller à Demande

1. WO2020110248 - MACHINE DE TRAVAIL, MÉTHODE DE CONTRÔLE DE MACHINE DE TRAVAIL, ET PROGRAMME

Document

明 細 書

発明の名称 作業機、作業機の制御方法及びプログラム

技術分野

0001  

背景技術

0002   0003  

先行技術文献

特許文献

0004  

発明の概要

発明が解決しようとする課題

0005   0006  

課題を解決するための手段

0007  

発明の効果

0008   0009  

図面の簡単な説明

0010  

発明を実施するための形態

0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

図面

1   2   3   4   5   6  

明 細 書

発明の名称 : 作業機、作業機の制御方法及びプログラム

技術分野

[0001]
 本発明は、自律走行が可能な作業機、作業機の制御方法及びプログラムに関するものである。

背景技術

[0002]
 従来、外界の物体との距離を測定し、測定結果に基づいて自律走行する自律作業機(例えば芝刈機)が知られている。特許文献1は、カメラにより撮影された画像に基づいて自律走行を行う自律走行システムを開示している。特許文献2は、超音波等を用いて周囲の障害物を検知する障害物認識センサ等の各種センサを備え、センサ情報に従って自律走行を行う移動作業機械を開示している。
[0003]
 ここで、カメラにより撮影された画像に基づいて自律走行を行う場合、カメラの故障時に、超音波センサ、赤外線センサなどの様々な距離計測用センサを代替手段として用いることで自律走行を維持することが考えられる。

先行技術文献

特許文献

[0004]
特許文献1 : 特開2017-173969号公報
特許文献2 : 特開平9-128044号公報

発明の概要

発明が解決しようとする課題

[0005]
 しかしながら、カメラの故障時に距離計測用センサを使用する場合、消費電力が増大すると共に製品コストも増大するという課題がある。
[0006]
 本発明の目的は、カメラの故障時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することにある。

課題を解決するための手段

[0007]
 上記課題を解決し、目的を達成するために、本発明に係る作業機は、
 カメラの画像に基づいて動作する作業機であって、
 複数のカメラと、
 前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、
 前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段と、
 を備える。

発明の効果

[0008]
 本発明によれば、カメラの故障時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することができる。さらに、いずれかのカメラが故障しても他のカメラだけで作業機の制御を行うので、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。
[0009]
 本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。

図面の簡単な説明

[0010]
 添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
[図1] 本発明の一実施形態に係る自律走行可能な作業機の外観図である。
[図2] 本発明の一実施形態に係る作業機を側方から観察した図である。
[図3] 本発明の一実施形態に係る作業機を制御する電子制御ユニット(ECU)の入出力関係を示すブロック図である。
[図4] 本発明の一実施形態に係る作業機が実施する処理手順を示すフローチャート。
[図5] 本発明の一実施形態に係るカメラ正常時の自律走行制御処理の詳細な手順を示すフローチャートである。
[図6] 本発明の一実施形態に係るカメラ故障時の自律走行制御処理の詳細な手順を示すフローチャートである。

発明を実施するための形態

[0011]
 以下、添付の図面を参照しながら、本発明の実施形態を説明する。なお、各図面を通じて同一の構成要素に対しては同一の参照符号を付している。
[0012]
 図1は、本発明の一実施形態に係る自律走行可能な作業機の外観図である。以下では側面視における作業機の進行方向(車長方向)と、進行方向に直交する横方向(車幅方向)と、進行方向と横方向に直交する鉛直方向とを、それぞれ前後方向、左右方向、上下方向と定義し、それに従って各部の構成を説明する。
[0013]
 図1において、符号10は作業機(以下「作業車」という)を示す。作業車10は、具体的には自律走行する芝刈機として機能する。但し、芝刈機は一例であり、他の種類の作業機械にも本発明を適用することができる。作業車10は、複数のカメラ(第1のカメラ11a、第2のカメラ11b)を含むカメラユニット11を備えており、視差のある第1のカメラ11a、第2のカメラ11bにより撮影された画像を用いて、前方に存在する物体と、作業車10との距離情報を算出して取得することができる。なお、図示の例ではカメラユニット11は2台のカメラを備えているが、3台以上のカメラを備えていてもよい。
[0014]
 図2は、該作業車10を横方向(車幅方向)から観察した図である。図2に示されるように、作業車10は、カメラユニット11、車体12、ステー13、前輪14、後輪16、ブレード20、作業モータ22、モータ保持部材23、ブレード高さ調節モータ100、及び並進機構101を備えている。また、作業車10は、走行モータ26、各種のセンサ群S、電子制御ユニット(ECU:Electronic Control Unit)44、充電ユニット30、電池(バッテリ)32、充電端子34、報知部35を備えている。
[0015]
 作業車10の車体12は、シャーシ12aと、該シャーシ12aに取り付けられるフレーム12bとを有する。前輪14は、前後方向においてシャーシ12aの前側にステー13を介して固定される小径の左右2個の車輪である。後輪16は、シャーシ12aの後側に取り付けられる大径の左右2個の車輪である。
[0016]
 ブレード20は、シャーシ12aの中央位置付近に取り付けられる芝刈り作業用のロータリブレードである。作業モータ22は、ブレード20の上方に配置された電動モータである。ブレード20は、作業モータ22と接続されており、作業モータ22によって回転駆動される。モータ保持部材23は、作業モータ22を保持する。モータ保持部材23は、シャーシ12aに対して回転が規制されると共に、例えば、ガイドレールと、ガイドレールに案内されて上下に移動可能なスライダとの組み合せにより、上下方向の移動が許容されている。
[0017]
 ブレード高さ調節モータ100は、接地面GRに対するブレード20の上下方向の高さを調節するためのモータである。並進機構101は、ブレード高さ調節モータ100と接続されており、ブレード高さ調節モータ100の回転を上下方向の並進移動に変換するための機構である。当該並進機構101は、作業モータ22を保持するモータ保持部材23とも接続されている。
[0018]
 ブレード高さ調節モータ100の回転が並進機構101により並進移動(上下方向の移動)に変換され、並進移動はモータ保持部材23に伝達される。モータ保持部材23の並進移動(上下方向の移動)により、モータ保持部材23に保持されている作業モータ22も並進移動(上下方向の移動)する。作業モータ22の上下方向の移動により、接地面GRに対するブレード20の高さを調節することができる。
[0019]
 走行モータ26は、作業車10のシャーシ12aに取り付けられている2個の電動モータ(原動機)である。2個の電動モータは、左右の後輪16とそれぞれ接続されている。前輪14を従動輪、後輪16を駆動輪として左右の車輪を独立に正転(前進方向への回転)あるいは逆転(後進方向への回転)させることで、作業車10を種々の方向に移動させることができる。
[0020]
 充電端子34は、フレーム12bの前後方向の前端位置に設けられた充電端子であり、充電ステーション(不図示)の対応する端子と接続することで、充電ステーションからの給電を受けることができる。充電端子34は、配線を介して充電ユニット30と接続されており、当該充電ユニット30は電池(バッテリ)32と接続されている。また、作業モータ22、走行モータ26、ブレード高さ調節モータ100も電池32と接続されており、電池32から給電されるように構成されている。
[0021]
 ECU44は、回路基板上に構成されたマイクロコンピュータを含む電子制御ユニットであり、作業車10の動作を制御する。ECU44の詳細は後述する。報知部35は、作業車10に異常が発生したような場合に異常の発生を報知する。例えば、音声や表示により報知する。或いは、作業車10と有線又は無線で接続された外部機器に対して、異常の発生を出力する。ユーザは、外部機器を通じて異常の発生を知ることができる。
[0022]
 図3は、該作業車10を制御する電子制御ユニット(ECU)の入出力関係を示すブロック図である。図3に示されるように、ECU44は、CPU44aと、I/O44bと、メモリ44cとを備えている。メモリ44cは、ROM(Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access Memory)等である。メモリ44cには、作業車10の作業日程、作業領域に関する情報や、作業車10の動作を制御するための各種プログラムが記憶されている。ECU44は、メモリ44cに格納されているプログラムを読み出して実行することにより、本発明を実現するための各処理部として動作することができる。
[0023]
 ECU44は各種のセンサ群Sと接続されている。センサ群Sは、方位センサ46、GPSセンサ48、車輪速センサ50、角速度センサ52、加速度センサ54、電流センサ62、及びブレード高さセンサ64を含んで構成されている。
[0024]
 方位センサ46及びGPSセンサ48は、作業車10の位置や向きの情報を取得するためのセンサである。方位センサ46は、地磁気に応じた方位を検出する。GPSセンサ48は、GPS衛星からの電波を受信して作業車10の現在位置(緯度、経度)を示す情報を検出する。
[0025]
 車輪速センサ50、角速度センサ52、及び加速度センサ54は、作業車10の移動状態に関する情報を取得するためのセンサである。車輪速センサ50は、左右の後輪16の車輪速を検出する。角速度センサ52は、作業車10の重心位置の上下方向の軸(鉛直方向のz軸)回りの角速度を検出する。加速度センサ54は、作業車10に作用するx,y,z軸の直交3軸方向の加速度を検出する。
[0026]
 電流センサ62は、電池32の消費電流(消費電力量)を検出する。消費電流(消費電力量)の検出結果はECU44のメモリ44cに保存される。予め定められた電力量が消費され、電池32に蓄積されている電力量が閾値以下になった場合、ECU44は、充電のために作業車10を充電ステーション(不図示)へ帰着させるように制御する。
[0027]
 ブレード高さセンサ64は、接地面GRに対するブレード20の高さを検出する。ブレード高さセンサ64の検出結果はECU44へ出力される。ECU44の制御に基づいて、ブレード高さ調節モータ100が駆動され、ブレード20が上下方向に上下して接地面GRからの高さが調節される。
[0028]
 各種センサ群Sの出力は、I/O44bを介してECU44へ入力される。ECU44は、各種センサ群Sの出力に基づいて、走行モータ26、作業モータ22、高さ調節モータ100に対して電池32から電力を供給する。ECU44は、I/O44bを介して制御値を出力して走行モータ26を制御することで、作業車10の走行を制御する。また、I/O44bを介して制御値を出力して高さ調節モータ100を制御することで、ブレード20の高さを調節する。さらに、I/O44bを介して制御値を出力して作業モータ22を制御することで、ブレード20の回転を制御する。ここで、I/O44bは、通信インタフェースとして機能することができ、ネットワーク302を介して有線又は無線で外部機器(例えば、スマートフォンやパーソナルコンピュータ等の通信機器)350と接続することが可能である。
[0029]
 <処理>
 続いて、図4のフローチャートを参照しながら、本実施形態に係る作業車10が実施する処理の手順を説明する。本実施形態では、第1のカメラ11aと第2のカメラ11bとが何れも故障しておらず正常である場合と、何れか一方が故障した場合とで異なる処理を実施する。
[0030]
 ステップS401において、ECU44は、カメラ正常時の自律走行制御処理を実施する。本ステップの詳細は図5を参照して後述する。ステップ402において、ECU44は、複数のカメラ(第1のカメラ11a及び第2のカメラ11b)の何れかの故障を検出したか否かを判定する。例えば、カメラユニット11からの入力信号に基づき、一方のカメラから入力信号が検出されなくなった場合に故障の発生を検出してもよい。或いは、入力信号は検出されているが、カメラの視界の一部がブラックアウトしていたり、カメラに水滴が付着して視界がぼやけていたりする場合に不具合の発生を検出してもよい。或いは、カメラ画像の輝度値に基づいて不具合の発生を検出してもよい。例えば、カメラに葉っぱや泥などが覆いかぶさったような場合には、カメラ画像は真っ暗な画像となる。そのような場合にはカメラ画像が実質的に取得できなくなることから、不具合の発生を検出することができる。このように、カメラの機械的な故障の発生を判定するだけではなく、カメラに何らかの不具合が発生したか否かの判定を行ってもよい。何れかのカメラの故障が検出された場合、ステップS403へ進む。一方、何れのカメラにも故障が検出されていない場合、すなわち、第1のカメラ11a及び第2のカメラ11bの両方が正常である場合、ステップS401に戻ってカメラ正常時の自律走行制御処理を継続する。
[0031]
 ステップS403において、ECU44は、作業車10の走行を一時的に停止する。故障が検出された状態で走行を継続した場合、物体との衝突や作業を行うフィールドからの逸脱などが発生する可能性があるため、走行を停止する。
[0032]
 ステップS404において、ECU44は、報知部35を制御して故障の発生を報知する。報知部35は、作業車10に搭載されたスピーカ又はディスプレイを介して音声又は表示によりユーザに対して故障の発生を直接報知してもよい。或いは、ネットワーク302を介して外部機器305と無線で通信し、外部機器305を通じてユーザに故障の発生を報知してもよい。
[0033]
 ステップS405において、ECU44は、作業車10のバッテリ(電池32)負荷を低減させる負荷低減処理を実行する。故障検出時には作業車10を充電ステーション等のステーションへ安全に帰着させたい。そこで、バッテリを節約するためにバッテリ負荷を低減させる処理を実施する。例えば、負荷低減処理は、作業車10が自律走行する際の走行速度を低下させる処理を含んでもよい。ECU44は、走行モータ26を制御して走行速度を、例えば所定の速度まで低下させてもよい。また、作業モータ20を制御して、作業車10が備えるブレード20の回転速度を低下させる処理を含んでもよい。速度を低下させるのではなくブレード20の回転を停止する処理であってもよい。さらに、作業車10が作業を行う作業領域を低減させる処理を含んでもよい。負荷低減処理はとして、これらの処理の何れか1つ又は任意の組み合わせを実施してもよい。
[0034]
 ステップS406において、ECU44は、カメラ故障時の自律走行制御処理を実施する。本ステップの詳細は図6を参照して後述する。
[0035]
 ステップS407において、ECU44は、カメラの故障が継続しているか否かを判定する。本ステップではステップS402の故障検出の方法と同じ方法でカメラが故障しているか否かを判定する。その結果、カメラの故障が継続している場合、ステップS408へ進む。一方、カメラの故障が継続していない場合、すなわち複数のカメラがすべて正常な状態に復帰した場合、ステップS401に戻ってカメラ正常時の自律走行制御処理を実施する。正常な状態に復帰するようなケースとして、例えば一方のカメラを覆っていた葉っぱが走行時の振動や風などにより落下し、再び適切なカメラ画像が取得できるようになった場合などが想定される。
[0036]
 ステップS408において、ECU44は、処理を継続するか否かを判定する。例えば、作業車10が充電ステーション(不図示)へ帰着したり、故障の発生を報知されたユーザにより作業車10の電源がオフにされたりした場合に、処理を終了する。そうでない場合、処理を継続すると判定する。本ステップで処理を継続すると判定された場合、カメラの故障が継続していることから、ステップS406に戻って、カメラ故障時の自律走行制御処理を行う。一方、処理を終了すると判定された場合、図4の一連の処理を終了する。
[0037]
 なお、図4の処理では、第1のカメラ11aと第2のカメラ11bとが何れも故障しておらず正常である場合と、何れか一方が故障した場合とを例に説明を行ったが、2つのカメラが両方とも故障することも起こりうる。ECU44は、両方のカメラの故障が検出された場合には、自律走行不能と判定して、作業車10を停止させるように構成してもよい。また、ステップS403~ステップS405の処理は必須の処理ではなく、これらの少なくとも一部が省略されてもよい。
[0038]
 次に、図5は、図4のS401におけるカメラ正常時の自律走行制御処理の詳細な手順を示すフローチャートである。
[0039]
 ステップS4011において、ECU44は、カメラユニット11から、第1のカメラ11aにより撮影された画像及び第2のカメラ11bにより撮影された画像を取得する。これらの画像は視差のある画像である。
[0040]
 ステップS4012において、ECU44は、第1のカメラ11a及び第2のカメラ11bにより撮影されたそれぞれの画像の視差情報に基づいて作業車10と物体との距離情報を取得する。本処理では、視差のある複数の画像から距離情報を取得することができる。本ステップにおける距離情報の算出方法は公知の技術であるため、詳細な説明は省略する。
[0041]
 ステップS4013において、ECU44は、第1のカメラ11a又は第2のカメラ11bにより撮影された1つの画像と、カメラ正常時の解析モデルとに基づいて、物体を認識する。ここで、カメラ正常時の解析モデルとは、カメラが故障していない正常時に使用されるモデルであって画像から物体を認識するための物体認識モデルである。カメラ正常時の解析モデルは、距離情報を取得不能なモデルである。カメラ故障時に使用される後述の他の解析モデルと比べて、保持されている情報量が少なく計算負荷が小さいため、短時間での物体認識処理が可能である。
[0042]
 ステップS4014において、ECU44は、ステップS4012で取得された距離情報と、ステップS4013で取得された物体認識結果とに基づいて、作業車10の動作を制御する。ここでは、故障が検出されていないことから、事前に入力された作業計画に従って作業を継続させる。すなわち、本実施形態では、芝刈り作業を継続させる。以上で図5の一連の処理が終了する。
[0043]
 続いて、図6は、図4のS406におけるカメラ故障時の自律走行制御処理の詳細な手順を示すフローチャートである。
[0044]
 ステップS4061において、ECU44は、第1のカメラ11a及び第2のカメラ11bのうち故障していない一方のカメラにより撮影された画像を取得する。
[0045]
 ステップS4062において、ECU44は、故障していない一方のカメラにより撮影された画像と、カメラ故障時の解析モデルとに基づいて、物体を認識すると共に、作業車10と物体との距離情報を取得する。ここで、カメラ故障時の解析モデルとは、距離情報を取得可能な物体認識モデルであり、物体から作業車10までの距離と、当該距離で観察される物体のサイズとを対応付けて格納しているモデルである。例えば、作業車10が作業を行うフィールド上に設置されている物体(例えばマーカ)は、作業車10からの距離が近ければ大きなサイズで観察され、距離が遠ければ小さなサイズで観察される。マーカが撮影された画像があれば、このカメラ故障時の解析モデルと照らし合わせることで、画像中のマーカのサイズに応じた、マーカまでの距離情報を取得することができる。カメラ故障時の解析モデルは、カメラ正常時の解析モデルと比べて保持する情報量が多く、計算負荷が増大するものの、物体を認識しつつ距離情報も取得することができる。
[0046]
 ステップS4063において、ECU44は、ステップS4062で取得された物体認識結果及び距離情報に基づいて、作業車10の動作を制御する。例えば、ECU44は、作業車10を充電ステーションに帰着させる制御を行ってもよい。この時、図4のステップS405で説明したように、作業車10の負荷低減処理の内容に従って帰着させる制御を行う。例えば、作業車10の走行速度を低減した状態で帰着させる制御を行ってもよいし、作業車10の作業速度(例えばブレード20の回転速度)を低下させるか、或いは作業(回転)を停止させた状態で帰着させる制御を行ってもよい。或いは、充電ステーションに帰着させる制御を行わずに、作業を継続してもよい。その際、作業車10の走行速度を低減した状態で作業を継続させたり、作業速度(例えばブレード20の回転速度)を低下させるか、或いは作業(回転)を停止させた状態で走行を継続したりしてもよい。或いは、作業車10が作業を行う作業領域を低減して作業を継続してもよい。その場合、充電ステーションへの帰着を容易にするために、充電ステーションから遠い作業領域を削減し、近い作業領域を残すように作業領域の低減を行ってもよい。以上で図6の一連の処理が終了する。
[0047]
 以上説明したように、本実施形態では、距離計測不能な物体認識モデルをカメラ正常時に使用する解析モデルとして、距離計測も可能な物体認識モデルをカメラ故障時に使用する解析モデルとして、それぞれ用意する。そして、カメラ正常時とカメラ故障時とで処理に用いる解析モデルを切り替える。これにより、カメラの故障時にも、距離計測用センサ(超音波センサ、赤外線センサ)等の他の代替手段を備えることなく自律走行が可能な作業機を提供することができる。従って、製品コストを低減することができると共に、距離計測用センサを駆動することによる消費電力の増大も防止することができる。
[0048]
 さらに、カメラが故障状態から正常状態へ復帰した場合には、それまで使用していたカメラ故障時の解析モデルから、カメラ正常時の解析モデルへの切替を行うことにより、状況に応じた適応的な作業機の制御を実現することができる。
[0049]
 なお、上記実施形態では作業車10が2台のカメラを備える例を説明したが、作業車10が3台以上のカメラを備えている場合にも本実施形態を適用することができる。例えば3台のカメラのうち2台に故障又は不具合が発生した場合に視差による距離検出ができなくなるので、そのような場合に解析モデルを切り替えるように構成してもよい。このように、複数台のカメラのうち故障又は不具合が発生していないカメラが残り1台となったかどうかに応じて解析モデルを切り替えることで、状況に応じた適応的な作業機の制御を実現することができる。
[0050]
 本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
[0051]
 <実施形態のまとめ>
 1.上記実施形態の作業機(例えば10)は、
 カメラの画像に基づいて動作する作業機(例えば10)であって、
 複数のカメラ(例えば11a,11b)と、
 前記複数のカメラの何れかの故障又は不具合を検出する検出手段(例えば44)と、
 前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段(例えば44)と、
 を備える。
[0052]
 この実施形態によれば、カメラの故障時又は不具合発生時に距離計測用センサを使用することなく自律走行が可能な作業機を提供することができる。さらに、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行うので、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。
[0053]
 2.上記実施形態の作業機(例えば10)は、
 前記複数のカメラにより撮影された視差のある画像に基づいて前記作業機と物体との距離情報を取得する距離取得手段(例えば44)と、
 前記複数のカメラの1つにより撮影された画像と、第1の解析モデルとに基づいて、前記物体を認識する物体認識手段(例えば44)と、をさらに備え、
 前記制御手段(例えば44)は、前記故障又は不具合が検出されていない場合には、前記距離取得手段により取得された前記距離情報と、前記物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御する。
[0054]
 この実施形態によれば、カメラに故障又は不具合が発生していない時には、視差のある画像から距離検出を行うことができるため、処理の負荷を低減することができる。
[0055]
 3.上記実施形態の作業機(例えば10)では、
 前記第1の解析モデルは、前記距離情報を取得不能なモデルである。
[0056]
 この実施形態によれば、カメラに故障又は不具合が発生していない時には、距離情報を取得不能なモデルで物体認識を行うため、処理の負荷を低減することができる。
[0057]
 4.上記実施形態の作業機(例えば10)は、
 前記故障又は不具合が検出されていないカメラにより撮影された画像と、第2の解析モデルとに基づいて、前記物体を認識すると共に前記作業機と物体との距離情報を取得する第2の物体認識手段(例えば44)をさらに備え、
 前記制御手段(例えば44)は、前記故障又は不具合が検出された場合には、前記第2の物体認識手段により取得された前記距離情報と、前記第2の物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御する。
[0058]
 この実施形態によれば、カメラ故障時又は不具合発生時には、視差のある画像に基づく距離情報は取得できなくなるものの、物体認識モデルに基づいて距離情報の取得を継続することが可能となる。
[0059]
 5.上記実施形態の作業機(例えば10)では、
 前記第2の解析モデルは、前記距離情報を取得可能なモデルである。
[0060]
 この実施形態によれば、距離情報を取得可能なモデルを用いることで、カメラ故障時でも距離情報の取得を継続することが可能となる。
[0061]
 6.上記実施形態の作業機(例えば10)では、
 前記制御手段(44)は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機のバッテリ負荷を低減させる負荷低減処理を実行する。
[0062]
 この実施形態によれば、カメラ故障時又は不具合発生時にバッテリ負荷を低減することで、作業機を継続的に動作させることが可能となる。例えば、作業機がステーションへの帰着等の所望の動作を達成できる可能性を向上させることができる。
[0063]
 7.上記実施形態の作業機(例えば10)では、
 前記負荷低減処理は、前記作業機の走行速度を低下させる処理を含む。
[0064]
 この実施形態によれば、作業機の走行速度を低下させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。
[0065]
 8.上記実施形態の作業機(例えば10)では、
 前記負荷低減処理は、前記作業機が備える作業部(例えばブレード)の作業速度(例えば回転速度)を低下させる処理を含む。
[0066]
 この実施形態によれば、作業機が備える作業部の作業速度を低下させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。例えば、ブレードの回転速度を低下さることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。
[0067]
 9.上記実施形態の作業機(例えば10)では、
 前記負荷低減処理は、前記作業機が作業を行う作業領域を低減させる処理を含む。
[0068]
 この実施形態によれば、作業機が作業を行う作業領域を低減させることでバッテリ負荷を低減し、作業機を継続的に動作させることが可能となる。
[0069]
 10.上記実施形態の作業機(例えば10)は、
 前記検出手段により前記故障又は不具合が検出された場合に前記故障又は不具合の発生を報知する報知手段(例えば305)をさらに備える。
[0070]
 この実施形態によれば、カメラの故障時又は不具合発生時に、故障又は不具合の発生を報知することで、ユーザが早期に状況を把握することが可能となる。
[0071]
 11.上記実施形態の作業機(例えば10)では、
 前記制御手段(例えば44)は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機をステーションに帰着させる制御を行う。
[0072]
 この実施形態によれば、カメラ故障時又は不具合発生時に、作業機を早期にステーションに帰着させることで、バッテリ切れで動作が停止してしまうことを防止することができる。
[0073]
 12.上記実施形態の作業機(例えば10)では、
 前記検出手段により前記故障又は不具合が検出された後、前記検出手段により前記故障又は不具合が検出されなくなった場合、
 前記制御手段(例えば44)は、前記第2の解析モデルから前記第1の解析モデルへと切り替えて、該第1の解析モデルを使用して前記作業機を制御する。
[0074]
 この実施形態によれば、カメラが正常な状態に復帰した場合に、正常時の処理へと移行させることで、処理負荷を低減した作業機の制御を実施することが可能となる。また、故障や不具合の有無に応じて使用する解析モデルを変更するので、状況に応じた適切な解析モデルを用いた制御を実現することができる。
[0075]
 13.上記実施形態の作業機(例えば10)では、
 前記制御手段(例えば44)は、前記検出手段により前記複数のカメラの全てについて故障又は不具合が検出された場合、前記作業機の動作を停止させる。
[0076]
 この実施形態によれば、全てのカメラに故障又は不具合が発生した際に作業機の動作を停止することで、距離情報の取得や物体認識を行うことができない状態での不用意な移動を防止することができる。
[0077]
 14.上記実施形態の作業機(例えば10)は、
 前記作業機と物体との距離情報を取得する距離取得手段(例えば44)をさらに備え、
 前記距離取得手段は、
  前記故障又は不具合が検出されていない場合、前記複数のカメラにより撮影された視差のある画像に基づいて、前記距離情報を取得し、
  前記故障又は不具合が検出された場合、故障又は不具合が検出されていない前記他のカメラにより撮影された画像と、解析モデルとに基づいて、前記距離情報を取得し、
 前記制御手段(44)は、前記距離取得手段により取得された前記距離情報に基づいて前記作業機を制御する。
[0078]
 この実施形態によれば、カメラ故障時又は不具合発生時においても、継続的に距離情報を取得することが可能となる。
[0079]
 15.上記実施形態の作業機(例えば10)の制御方法は、
 カメラの画像に基づいて動作する作業機(例えば10)の制御方法であって、
 前記作業機が備える複数のカメラ(例えば11a,11b)の何れかの故障又は不具合を検出する検出工程と、
 前記検出工程により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御工程と、
 を有する。
[0080]
 この実施形態によれば、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行うため、補助のための他のセンサが不要となるため製品コストを低減することができると共に消費電力の増大も防止することができる。
[0081]
 16.上記実施形態のプログラムは、
 コンピュータを、請求項1乃至14の何れか1項に記載の作業機として機能させるためのプログラムである。
[0082]
 この実施形態によれば、いずれかのカメラに故障又は不具合が発生しても他のカメラだけで作業機の制御を行う制御をコンピュータプログラムにより実現することが可能となる。

請求の範囲

[請求項1]
 カメラの画像に基づいて動作する作業機であって、
 複数のカメラと、
 前記複数のカメラの何れかの故障又は不具合を検出する検出手段と、
 前記検出手段により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御手段と、
 を備えることを特徴とする作業機。
[請求項2]
 前記複数のカメラにより撮影された視差のある画像に基づいて前記作業機と物体との距離情報を取得する距離取得手段と、
 前記複数のカメラの1つにより撮影された画像と、第1の解析モデルとに基づいて、前記物体を認識する物体認識手段と、をさらに備え、
 前記制御手段は、前記故障又は不具合が検出されていない場合には、前記距離取得手段により取得された前記距離情報と、前記物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御することを特徴とする請求項1に記載の作業機。
[請求項3]
 前記第1の解析モデルは、前記距離情報を取得不能なモデルであることを特徴とする請求項2に記載の作業機。
[請求項4]
 前記故障又は不具合が検出されていないカメラにより撮影された画像と、第2の解析モデルとに基づいて、前記物体を認識すると共に前記作業機と物体との距離情報を取得する第2の物体認識手段をさらに備え、
 前記制御手段は、前記故障又は不具合が検出された場合には、前記第2の物体認識手段により取得された前記距離情報と、前記第2の物体認識手段による物体認識結果とに基づいて、前記作業機の動作を制御することを特徴とする請求項2又は3に記載の作業機。
[請求項5]
 前記第2の解析モデルは、前記距離情報を取得可能なモデルであることを特徴とする請求項4に記載の作業機。
[請求項6]
 前記制御手段は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機のバッテリ負荷を低減させる負荷低減処理を実行することを特徴とする請求項1乃至5の何れか1項に記載の作業機。
[請求項7]
 前記負荷低減処理は、前記作業機の走行速度を低下させる処理を含むことを特徴とする請求項6に記載の作業機。
[請求項8]
 前記負荷低減処理は、前記作業機が備える作業部の作業速度を低下させる処理を含むことを特徴とする請求項6又は7に記載の作業機。
[請求項9]
 前記負荷低減処理は、前記作業機が作業を行う作業領域を低減させる処理を含むことを特徴とする請求項6乃至8の何れか1項に記載の作業機。
[請求項10]
 前記検出手段により前記故障又は不具合が検出された場合に前記故障又は不具合の発生を報知する報知手段をさらに備えることを特徴とする請求項1乃至9の何れか1項に記載の作業機。
[請求項11]
 前記制御手段は、前記検出手段により前記故障又は不具合が検出された場合、前記作業機をステーションに帰着させる制御を行うことを特徴とする請求項1乃至10の何れか1項に記載の作業機。
[請求項12]
 前記検出手段により前記故障又は不具合が検出された後、前記検出手段により前記故障又は不具合が検出されなくなった場合、
 前記制御手段は、前記第2の解析モデルから前記第1の解析モデルへと切り替えて、該第1の解析モデルを使用して前記作業機を制御することを特徴とする請求項4又は5に記載の作業機。
[請求項13]
 前記制御手段は、前記検出手段により前記複数のカメラの全てについて故障又は不具合が検出された場合、前記作業機の動作を停止させることを特徴とする請求項1乃至12の何れか1項に記載の作業機。
[請求項14]
 前記作業機と物体との距離情報を取得する距離取得手段をさらに備え、
 前記距離取得手段は、
  前記故障又は不具合が検出されていない場合、前記複数のカメラにより撮影された視差のある画像に基づいて、前記距離情報を取得し、
  前記故障又は不具合が検出された場合、故障及び不具合が検出されていない前記他のカメラにより撮影された画像と、解析モデルとに基づいて、前記距離情報を取得し、
 前記制御手段は、前記距離取得手段により取得された前記距離情報に基づいて前記作業機を制御することを特徴とする請求項1に記載の作業機。
[請求項15]
 カメラの画像に基づいて動作する作業機の制御方法であって、
 前記作業機が備える複数のカメラの何れかの故障又は不具合を検出する検出工程と、
 前記検出工程により前記故障又は不具合が検出された場合、故障及び不具合が検出されていない他のカメラにより撮影された画像に基づいて前記作業機を制御する制御工程と、
 を有することを特徴とする作業機の制御方法。
[請求項16]
 コンピュータを、請求項1乃至14の何れか1項に記載の作業機として機能させるためのプログラム。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]