処理中

しばらくお待ちください...

設定

設定

出願の表示

1. WO2020157799 - 開発支援装置、開発支援システム、及び、開発支援方法

Document

明 細 書

発明の名称 開発支援装置、開発支援システム、及び、開発支援方法

技術分野

0001  

背景技術

0002  

先行技術文献

特許文献

0003  

発明の概要

発明が解決しようとする課題

0004   0005  

課題を解決するための手段

0006  

発明の効果

0007  

図面の簡単な説明

0008  

発明を実施するための形態

0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073  

産業上の利用可能性

0074  

符号の説明

0075  

請求の範囲

1   2   3   4   5   6   7   8   9   10   11   12   13   14  

図面

1   2   3   4   5   6   7   8   9  

明 細 書

発明の名称 : 開発支援装置、開発支援システム、及び、開発支援方法

技術分野

[0001]
 この発明は、開発支援装置、開発支援システム、及び、開発支援方法に関するものである。

背景技術

[0002]
 GUI(Graphical User Interface)を用いてソフトウェアプログラムの開発又は設計を支援する統合開発環境がある。
 例えば、特許文献1には、関数ノード及び有向エッジで形成された有向グラフを表示部に表示し、GUIを通じて当該有向グラフを編集可能とする機械学習モデル設計支援装置が開示されている。

先行技術文献

特許文献

[0003]
特許文献1 : 特許第6007430号

発明の概要

発明が解決しようとする課題

[0004]
 機械学習モデル等の推論モデルに入力される情報は、信号値又はメタ情報である。通常、信号値及びメタ情報は、いずれも、予め準備されたデータ(以下「原データ」という。)に対し各種の変換処理を含む前処理を施すことにより得られる。信号値は、センサ等で検出された値を示す情報である。メタ情報は、ある情報に関する付帯的な情報である。
 どのような信号値又はメタ情報を推論モデルへ入力される情報とするかは、推論モデルの設計における重要な設計要素の一つである。しかしながら、例えば特許文献1に開示された機械学習モデル設計支援装置のような従来の設計支援装置は、推論モデルへ入力される情報の設計が考慮されたものではない。このため、従来の設計支援装置では、推論モデルへ入力される情報の設計までを含めた推論モデルの設計支援ができないとの問題があった。
[0005]
 この発明は、上述の問題点を解決するためのもので、原データに対する前処理の可視化ができる開発支援装置を提供することを目的としている。

課題を解決するための手段

[0006]
 この発明に係る開発支援装置は、それぞれが、入力された信号値を他の信号値若しくはメタ情報に変換するか、又は、入力されたメタ情報を信号値若しくは他のメタ情報に変換して、変換後の信号値又は変換後のメタ情報を出力情報として出力する複数の変換部と、複数の変換部の互いの接続関係を示すパイプライン情報に基づいて、複数の変換部に変換処理を順次実行させるパイプライン部と、パイプライン情報に基づいてパイプライン部が複数の変換部のうち最後に変換処理を実行させる変換部である1以上の最終変換部により出力された出力情報を用いて推論を行い、推論結果を示す推論情報を出力する推論部と、パイプライン情報が示す複数の変換部の接続関係、及び1以上の最終変換部と推論部との接続関係を可視化する画像情報を生成する画像生成部と、画像生成部が生成した画像情報を出力する出力制御部と、を備えた。

発明の効果

[0007]
 この発明によれば、原データに対する前処理の可視化ができる。このため、推論モデルへ入力される情報の設計までを含めた推論モデルの開発支援又は設計支援ができる。

図面の簡単な説明

[0008]
[図1] 図1は、実施の形態1に係る開発支援装置の構成の一例を示すブロック図である。
[図2] 図2A及び図2Bは、実施の形態1に係る画像生成部が生成する画像情報が示す画像の一例を示す図である。
[図3] 図3A及び図3Bは、実施の形態1に係る画像生成部が生成する画像情報が示す画像の一例を示す図である。
[図4] 図4は、実施の形態1に係る画像生成部が生成する画像情報が示す画像の一例を示す図である。
[図5] 図5A及び図5Bは、実施の形態1に係る画像生成部が生成する画像情報が示す画像の一例を示す図である。
[図6] 図6は、実施の形態1に係る画像生成部が生成する画像情報が示す画像において、複数の変換部のうちユーザに選択された変換部が出力する出力情報を分布又は波形等により可視化した画像の一例を示す図である。
[図7] 図7A及び図7Bは、実施の形態1に係る画像生成部が生成する画像情報が示す画像における複数の変換部画像をグループ化したグループ画像一例を示す図である。
[図8] 図8A及び図8Bは、実施の形態1に係る開発支援装置の要部のハードウェア構成の一例を示す図である。
[図9] 図9は、実施の形態1に係る開発支援装置の処理の一例を説明するフローチャートである。

発明を実施するための形態

[0009]
 以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
[0010]
実施の形態1.
 図1を参照して、実施の形態1に係る開発支援装置100の要部の構成について説明する。
 図1は、実施の形態1に係る開発支援装置100の構成の一例を示すブロック図である。
 図1に示すとおり、開発支援装置100は、開発支援システム10に適用される。
 開発支援システム10は、信号出力装置11、記憶装置12、入力装置13、表示装置14、及び開発支援装置100を備える。
[0011]
 信号出力装置11は、センサ(不図示)又はアンテナ(不図示)等から取得した、センサ信号、画像信号、電波信号、又は電波画像信号等の電気信号をデジタル変換し、変換したデジタル信号を外部に出力する装置である。
 実施の形態1では、開発支援装置100は、センサ又はアンテナ等から取得した電気信号に基づいて信号出力装置11が出力したデジタル信号を、信号値(以下「原信号値」という。)として取得するものとして説明する。
[0012]
 記憶装置12は、開発支援装置100を用いて開発者又は設計者等のユーザがソフトウェアプログラムを開発又は設計する際に、開発支援装置100が必要な各種の情報を記憶する装置である。記憶装置12は、例えば、ハードディスクドライブ又はSDカードメモリ等の不揮発性記憶媒体を有し、不揮発性記憶媒体に記憶された情報を読み出すことにより、情報を外部に出力する。
 実施の形態1では、開発支援装置100は、記憶装置12から必要に応じて必要な情報を読み出すことにより取得するものとして説明する。
 記憶装置12が記憶する情報については後述する。
[0013]
 入力装置13は、ユーザからの入力を受け付けて、受け付けた入力の内容を示す操作情報を出力する装置である。入力装置13は、キーボード、マウス、タッチパッド、又は表示装置14の表示画面上に配置されたタッチセンサ等により構成された装置である。
 開発支援装置100は、入力装置13がユーザから受け付けた入力の内容を示す操作情報を、入力装置13から取得する。
[0014]
 表示装置14は、取得した画像情報を表示する装置である。表示装置14は、液晶ディスプレイ等により構成される。
 開発支援装置100は、画像情報を表示装置14に出力し、出力した画像情報が示す画像を表示装置14に表示させる。
[0015]
 開発支援装置100は、操作取得部101、複数の変換部110-1,110-2,・・・,110-N(Nは2以上の自然数)、パイプライン部120、推論部130、ライブラリ取得部135、パラメータ設定部140、情報取得部150、情報整形部155、パイプライン変更部160、画像生成部190、及び出力制御部195を備える。
 開発支援装置100は、上述の構成に加えて、自動設計部165、学習部170、結果解釈部180、及び可視化加工部185を備えるものであっても良い。
[0016]
 操作取得部101は、入力装置13が出力する操作情報を取得する。
 複数の変換部110-1,110-2,・・・,110-Nは、それぞれが、入力された信号値を他の信号値若しくはメタ情報に変換するか、又は、入力されたメタ情報を信号値若しくは他のメタ情報に変換して、変換後の信号値又は変換後のメタ情報を出力情報として出力する。
 複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力される信号値、及び、複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力されるメタ情報を総称して、以下、「入力データ」という。
 信号値は、センサ等で検出された値を示す情報である。信号値は、信号値が時間変化する時系列信号によるものであっても良い。
 複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力される信号値には、原信号値、情報整形部155により原信号値が整形されて生成された信号値、又は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれにより入力データが変換された後の信号値が含まれる。
 具体的には、例えば、信号値は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力された時系列信号である信号値が、時刻毎の信号の差分値になるように変換された後の時系列信号である。
[0017]
 メタ情報は、ある情報に関する付帯的な情報である。メタ情報は、例えば、信号値における標準偏差、平均値、最大値、最小値、又は母数等の要約統計量である。メタ情報は、例えば、信号値における学習データ又は検証データ等であるか否かを示すフラグ情報である。メタ情報は、例えば、信号値が画像を示す場合において、当該画像に写った物体の分類を示す分類クラス情報である。メタ情報は、例えば、信号値が正常であるか異常であるかを示すフラグ情報である。メタ情報は、メタ情報が示す内容が時間変化する人口統計、世帯年収統計、住宅価格統計等の統計情報であっても良い。
 複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力されるメタ情報には、記憶装置12から取得されたメタ情報、情報整形部155により当該メタ情報が整形されて生成されたメタ情報、又は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれにより入力データが変換された後のメタ情報が含まれる。
 具体的には、例えば、メタ情報は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力されたメタ情報である平均値が、所定の値より大きいか否かにより区別されるように変換された後の分類を示す分類クラス情報である。
[0018]
 また、信号値は、具体的には、例えば、複数の変換部110-1,110-2,・・・,110-Nのそれぞれに入力されたメタ情報である学習データであるか否かを示すフラグ情報を時系列データに付加した後の時系列信号である。
 複数の変換部110-1,110-2,・・・,110-Nがそれぞれ実行する変換処理は、平滑化処理、標準化処理、移動平均算出処理、短時間フーリエ変換処理、平均値算出処理、最小値抽出処理、最大値抽出処理、標準偏差算出処理、又は母数算出処理等である。
[0019]
 パイプライン部120は、複数の変換部110-1,110-2,・・・,110-Nの互いの接続関係を示すパイプライン情報に基づいて、複数の変換部110-1,110-2,・・・,110-Nに変換処理を順次実行させる。
 例えば、開発支援装置100が変換部110-1と変換部110-2とを備え、変換部110-1による変換処理の次に変換部110-2による変換処理が実行されるように接続されている場合、変換部110-1が出力する出力情報は、変換部110-2の入力データとして入力される。
[0020]
 推論部130は、パイプライン情報に基づいてパイプライン部120が複数の変換部110-1,110-2,・・・,110-Nのうち最後に変換処理を実行させる1つ以上の変換部(以下「最終変換部110-L1,110-L2,・・・,110-Lm(L1,L2,・・・,Lmは、いずれも1以上且つN以下の自然数)」という。)により出力された出力情報を用いて推論処理を実行し、推論結果を示す推論情報を出力する。
 推論部130は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmが出力した出力情報に基づいて、Generalizer Linear Model、Random Forest、Gradient Boosted Decision Tree、又は、Generalized Additive Model等を用いて、機械学習又はデータマイニング等の推論処理を実行する。
[0021]
 ライブラリ取得部135は、記憶装置12に記憶されたソフトウェアライブラリから、複数の変換部110-1,110-2,・・・,110-Nのそれぞれが実行する変換処理に対応する平滑化処理等のソフトウェアプログラムを取得する。
 複数の変換部110-1,110-2,・・・,110-Nのそれぞれは、ライブラリ取得部135が取得したソフトウェアプログラムを実行することにより変換処理を実行する。
 また、ライブラリ取得部135は、記憶装置12に記憶されたソフトウェアライブラリから、推論部130が推論処理を実行する際に用いるGeneralizer Linear Model等のソフトウェアプログラムを取得する。
 推論部130は、ライブラリ取得部135が取得したソフトウェアプログラムを用いて推論処理を実行する。
[0022]
 パラメータ設定部140は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれが変換処理を実行する際に必要なパラメータを、複数の変換部110-1,110-2,・・・,110-Nそれぞれに設定する。
 また、パラメータ設定部140は、推論部130が推論処理を実行する際に必要なパラメータを、推論部130に設定する。
 パラメータ設定部140が設定するパラメータは、記憶装置12に記憶されているパラメータをパラメータ設定部140が記憶装置12から読み出すことにより取得する。なお、パラメータ設定部140が設定するパラメータは、パラメータ設定部140が予め保持しても良い。
 パラメータ設定部140は、複数の変換部110-1,110-2,・・・,110-N、又は推論部130が、機械学習モデルを用いて変換処理又は推論処理を実行するものである場合、パラメータとしてハイパーパラメータを設定するものであっても良い。
[0023]
 情報取得部150は、信号出力装置11が出力したデジタル信号を原信号値として取得する。情報取得部150は、上述のセンサ又はアンテナ等から電気信号を取得し、取得した電気信号をデジタル信号に変換し、原信号値を取得するものであっても良い。
 情報取得部150は、原信号値に加えて、記憶装置12からメタ情報を取得する。
[0024]
 情報整形部155は、情報取得部150が取得した信号値又はメタ情報を、パイプラインに情報に基づいて複数の変換部110-1,110-2,・・・,110-Nのうち最初に変換処理を実行させる1つ以上の変換部(以下「初期変換部110-S1,110-S2,・・・,110-Sn(S1、S2,・・・,Snは、いずれも1以上且つN以下の自然数)」という。)に入力データとして入力可能な形式に整形する。
[0025]
 画像生成部190は、パイプライン情報が示す複数の変換部110-1,110-2,・・・,110-Nの互いの接続関係(以下「変換部接続関係」という。)、及び1以上の最終変換部110-L1,110-L2,・・・,110-Lmと推論部130との接続関係(以下「推論部接続関係」という。)を可視化する画像情報を生成する。
[0026]
 変換部接続関係は、画像情報が示す画像において、例えば、それぞれ以下説明する、入力データ画像、変換部画像、出力情報画像、出力線画像、及び、入力線画像により示される。
 入力データ画像は、1以上の初期変換部110-S1,110-S2,・・・,110-Snそれぞれに入力される入力データを示す画像である。
 変換部画像は、複数の変換部110-1,110-2,・・・,110-Nのそれぞれを示す複数の画像111-1,111-2,・・・,111-Nである。
 出力情報画像は、複数の変換部画像111-1,111-2,・・・,111-Nのそれぞれにより示される複数の変換部110-1,110-2,・・・,110-Nがそれぞれ出力する出力情報を示す複数の画像112-1,112-2,・・・,112-Nである。
 出力線画像は、複数の変換部画像111-1,111-2,・・・,111-Nのそれぞれにより示される複数の変換部110-1,110-2,・・・,110-Nのそれぞれが複数の出力情報画像112-1,112-2,・・・,112-Nにより示される出力情報を出力することを示す、変換部画像111-1,111-2,・・・,111-Nのそれぞれと複数の出力情報画像112-1,112-2,・・・,112-Nとを結ぶ矢印線により示される画像である。
 入力線画像は、複数の出力情報画像112-1,112-2,・・・,112-Nのそれぞれにより示される出力情報が入力データとして変換部画像111-1,111-2,・・・,111-Nにより示される複数の変換部110-1,110-2,・・・,110-Nに入力されることを示す、出力情報画像112-1,112-2,・・・,112-Nと変換部画像111-1,111-2,・・・,111-Nとを結ぶ矢印線により示される画像である。
[0027]
 推論部接続関係は、画像情報が示す画像において、例えば、それぞれ以下説明する推論部画像及び推論部入力線画像により示される。
 推論部画像は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmを示す変換部画像111-L1,111-L2,・・・,111-Lm、推論部130を示す画像である。
 推論部入力線画像は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmが出力した出力情報をそれぞれ示す1以上の出力情報画像112-L1,112-L2,・・・,112-Lm、及び、当該1以上の出力情報画像112-L1,112-L2,・・・,112-Lmのそれぞれにより示される出力情報が推論部画像により示される推論部130に入力されることを示す、出力情報画像112-L1,112-L2,・・・,112-Lmと推論部画像とを結ぶ1以上の矢印線により示される画像である。
[0028]
 出力制御部195は、画像生成部190が生成した画像情報を出力する。
 具体的には、出力制御部195は、画像生成部190が生成した画像情報を表示装置14に出力し、出力した画像情報が示す画像を表示装置14に表示させる。
[0029]
 図2A及び図2Bは、実施の形態1に係る画像生成部190が生成する画像情報が示す画像の一例を示す図である。
 図2A及び図2Bは、一例として、観測対象である物体(以下「物体」という。)のX方向、Y方向、及びZ方向により示させる3次元の位置を示す時系列信号を信号出力装置11から取得した際の、ある変換部接続関係及びある推論部接続関係を示している。
 開発支援装置100は、ユーザが開発又は設計を行うソフトウェアプログラムに含まれる複数の変換部110-1,110-2,・・・,110-Nを画像情報が示す画像により可視化する。
 図2A及び図2Bにおいて、画像生成部190が生成する画像情報が示す画像における4つの変換部画像111-1,111-2,111-3,111-4は、それぞれ、ソフトウェアプログラムに含まれる4つの変換部110-1,110-2,110-3,110-4を示す画像である。
 また、図2A及び図2Bにおいて、画像生成部190が生成する画像情報が示す画像における4つの出力情報画像112-1,112-2,112-3,112-4は、それぞれ、ソフトウェアプログラムに含まれる4つの変換部110-1,110-2,110-3,110-4が出力した出力情報を示す画像である。
[0030]
 図2A及び図2Bから次のことが見て取れる。
 変換部110-1は、変換処理として時系列信号の最大値抽出処理を実行する。変換部110-1は、信号出力装置11から取得した物体のX方向の位置を示す時系列信号が原信号値として入力され、時系列信号における最大値を抽出してメタ情報として出力する。変換部110-2は、変換処理として時系列信号の差分算出処理を実行する。変換部110-2は、信号出力装置11から取得した物体のX方向の位置を示す時系列信号が原信号値として入力され、時系列信号における、ある時点と、当該ある時点と異なる時点とにおける物体のX方向の位置の差分を算出して、算出した差分を信号値として出力する。変換部110-3は、変換処理として速度算出処理を実行する。変換部110-3は、信号出力装置11から取得した物体のX方向、Y方向、及びZ方向の位置を示す時系列信号が原信号値として入力され、物体の速度を算出して、算出した速度を信号値として出力する。変換部110-4は、変換処理として時系列信号の差分算出処理を実行する。変換部110-2は、信号出力装置11から取得した物体のY方向の位置を示す時系列信号が原信号値として入力され、時系列信号における、ある時点と、当該ある時点と異なる時点とにおける物体のY方向の位置の差分を算出して、算出した差分を信号値としてとして出力する。
[0031]
 推論部130は、変換部110-1,110-2,110-3、及び変換部110-4が出力したメタ情報及び信号値が入力され、入力されたメタ情報及び信号値に基づいて推論処理を実行し、推論情報としてスコアを出力する。スコアは、例えば、推論部130が回帰問題を処理するものであれば処理結果を示す値,推論部130が識別問題を処理するものであれば各クラスの確からしさを示すSoftMax値等の数値,推論部130がクラスタリング処理を行うものであればクラスタを示す値,推論部130が行列分解を行うものであれば各基底ベクトル等による度合いを示す値,推論部130が異常検知を行うものであれば異常度合いを示す値である。
 画像生成部190は、操作取得部101が取得した操作情報に基づいて、図2A又は図2Bに例示した画像を示す複数の画像情報から、生成する画像情報を1つ選択して生成するものであっても良い。
 なお、図2A又は図2Bに示す、画像生成部190が生成する画像情報が示す画像は、一例であり、これらに限定されるものではない。
[0032]
 画像生成部190は、操作取得部101が取得した操作情報に基づいて、変換部接続関係又は推論部接続関係を、画像情報が示す画像において変更するように画像情報を生成する。
 具体的には、例えば、操作取得部101が取得する操作情報が示す操作は、ユーザが、表示装置14に表示された、変換部接続関係及び推論部接続関係を示す画像を参照しつつ、変換部接続関係又は推論部接続関係を変更する操作である。
[0033]
 より具体的には、例えば、ユーザは、マウス等の入力装置13により、表示装置14に表示された画像に重畳表示された矢印の形状をした画像(以下「ポインタ」という。)を移動させ、表示装置14に表示された画像における変換部画像111-1,111-2,・・・,111-N、出力情報画像112-1,112-2,・・・,112-N、推論部画像、出力線画像、入力線画像、又は推論部入力線画像等を選択し、選択した画像を表示装置14に表示された画像上において移動させる。画像生成部190は、ユーザによる上述の操作を示す操作情報に基づいて、変換部接続関係又は推論部接続関係を、画像情報が示す画像において変更するように画像情報を生成する。なお、操作情報が示す変換部接続関係又は推論部接続関係を、画像情報が示す画像において変更する操作には、変換部画像、入力線画像、又は推論部入力線画像等の追加又は削除を行うための操作も含まれる。
[0034]
 パイプライン変更部160は、操作取得部101が取得した操作情報に基づいて、変換部接続関係又は推論部接続関係を変更する。
 より具体的には、パイプライン変更部160は、操作取得部101が取得した操作情報に基づいて、変換部接続関係又は推論部接続関係を変更し、パイプライン部120が、変更後のパイプライン情報に基づいて、複数の変換部110-1,110-2,・・・,110-Nに変換処理を順次実行できるようにする。
[0035]
 学習部170は、推論部130が用いる機械学習モデル等の推論モデルを学習するものである。学習部170は、クラス分類若しくは回帰学習等の教師あり学習、又は、クラスタ分析若しくは強化学習等の教師なし学習等の機械学習における学習処理を実行し、機械学習モデル等の推論モデルを示すモデル情報を生成又は更新する。学習部170は、推論部130が機械学習モデル等の推論モデルを用いて処理を行う場合に学習を行う。
[0036]
 結果解釈部180は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して所定の形式の情報に加工し、加工後の情報を設計利用情報として出力する。具体的には、結果解釈部180は、推論部130が1つ以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を用いて推論処理を実行することにより、推論部130がなぜ推論情報が示す推論結果となるように推論したのかを、ユーザが推測できるようにするために、1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して、設計利用情報を出力する。より具体的には、結果解釈部180は、1つ以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報について、推論部130における推論に与える影響の度合いを可視化するための設計利用情報を、1つ以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈することにより出力する。
[0037]
 例えば、結果解釈部180は、推論部130が教師あり学習モデルを用いて推論するものである場合、推論部130に接続さる1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して、推論部130における推論に与える影響の度合いである特徴量の重要度を算出し、算出した特徴量の重要度を設計利用情報として出力する。
 また、例えば、結果解釈部180は、推論部130が確率モデルを用いて推論するものである場合、推論部130に接続さる1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して、確率モデルにおけるパラメータを算出し、算出した確率モデルにおけるパラメータを設計利用情報として出力する。
 また、例えば、結果解釈部180は、推論部130が行列分析モデルを用いて推論するものである場合、推論部130に接続さる1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して、基底ベクトルを算出し、算出した基底ベクトルを設計利用情報として出力する。
 画像生成部190は、変換部接続関係、及び推論部接続関係を可視化するのに加えて、結果解釈部180が出力した設計利用情報についても可視化する画像情報を生成する。
[0038]
 図3A及び図3Bは、実施の形態1に係る推論部130が教師あり学習モデルを用いて推論するものである場合における画像生成部190が生成する画像情報が示す画像の一例を示す図である。
 図4は、推論部130が確率モデルを用いて推論するものである場合における画像生成部190が生成する画像情報が示す画像の一例を示す図である。
 図5A及び図5Bは、推論部130が行列分析モデルを用いて推論するものである場合における画像生成部190が生成する画像情報が示す画像の一例を示す図である。
[0039]
 図3A及び図3Bにおいて、画像生成部190が生成する画像情報が示す画像における4つの変換部画像111-1,111-2,111-3,111-4は、それぞれ、ソフトウェアプログラムに含まれる4つの変換部110-1,110-2,110-3,110-4を示す画像である。
 また、図3A及び図3Bにおいて、画像生成部190が生成する画像情報が示す画像における4つの出力情報画像112-1,112-2,112-3,112-4は、それぞれ、ソフトウェアプログラムに含まれる4つの変換部110-1,110-2,110-3,110-4が出力した出力情報を示す画像である。
[0040]
 図3Aにおいて、結果解釈部180が出力した設計利用情報が示す特徴量の重要度は、推論部入力線画像に重畳した太線の長さにより示されている。
 図3Bにおいて、結果解釈部180が出力した設計利用情報が示す特徴量の重要度は、1以上の最終変換部110-1,110-2,110-3,110-4がそれぞれ出力した出力情報を示す出力情報画像112-1,112-2,112-3,112-4の右側に棒グラフ状に示されている。
 推論部130が教師あり学習モデルを用いて推論するものである場合、推論部130に入力される情報の特徴量の重要度は、推論結果に影響を及ぼす。ユーザは、表示装置14に表示される推論部130に入力される情報の特徴量の重要度を参照しつつ、変換部の追加若しくは削除、又は、変換部接続関係若しくは推論部接続関係の変更等を行うことより、ソフトウェアプログラムを再設計することができる。
 なお、図3A又は図3Bにおける結果解釈部180が出力した設計利用情報が示す特徴量の重要度の表現方法は、一例であり、これらに限定されるものではない。
[0041]
 図4は、推論部130が確率モデルとして混合ガウスモデルを用いて推論するものである場合における画像生成部190が生成する画像情報が示す画像の一例を示している。
 特に、図4は、一例として、推論部130が、混合ガウスモデルを用いて異常の有無を判定する異常検知を行うものである場合を示している。
 図4において、正常値との差分を示すガウス分布の平均値は、推論部入力線画像に重畳した太線の長さにより示されている。正常値との差分は、結果解釈部180が出力した設計利用情報が示す確率モデルにおけるパラメータにより与えられる。
[0042]
 推論部130が、混合ガウスモデルを用いて異常の有無を判定する異常検知を行うものである場合、ユーザは、推論部130が異常を検知した際に、表示装置14に表示される推論部130に入力されるガウス分布の平均値を参照することにより、1以上の最終変換部110-1,110-2,110-3,110-4がそれぞれ出力した出力情報のうち、どの出力情報が推論部130における推論に影響を与えたかを推測することができる。また、ユーザは、表示装置14に表示される推論部130に入力される情報のガウス分布の平均値を参照しつつ、変換部の追加若しくは削除、又は、変換部接続関係若しくは推論部接続関係の変更等を行うことより、ソフトウェアプログラムを再設計することができる。
 なお、図4における結果解釈部180が出力した設計利用情報が示す確率モデルにおけるパラメータの表現方法は、一例であり、これらに限定されるものではない。
[0043]
 図5A又は図5Bは、一例として、推論部130が、信号出力装置11から出力された複数の信号値が予め用意された第1クラスタ又は第2クラスタのうちのどちらのクラスタであるかを、行列分析モデルを用いて推論するものである場合を示している。
 図5A又は図5Bにおいて、推論部130は、1以上の最終変換部110-3,110-4,110-5が出力する基底ベクトルに基づいて、クラスタを推論する。
 図5A又は図5Bにおいて、結果解釈部180が出力した設計利用情報が示す基底ベクトルの長さは、推論部入力線画像に重畳した太線の長さにより示されている。
[0044]
 推論部130が、行列分析モデルを用いてクラスタを推論するものである場合、ユーザは、推論部130がクラスタを推論した際に、表示装置14に表示される推論部130に入力される基底ベクトルを参照することにより、どの基底ベクトルが推論部130における推論に影響を与えたかを推測することができる。また、ユーザは、表示装置14に表示される推論部130に入力される基底ベクトルを参照しつつ、変換部の追加若しくは削除、又は、変換部接続関係若しくは推論部接続関係の変更等を行うことより、ソフトウェアプログラムを再設計することができる。
 なお、図5A又は図5Bにおける結果解釈部180が出力した設計利用情報が示す基底ベクトルの表現方法は、一例であり、これらに限定されるものではない。
[0045]
 自動設計部165は、ユーザが開発又は設計するソフトウェアプログラムにおいて、変換部接続関係又は推論部接続関係により期待される性能を高めるように、ソフトウェアプログラムを自動で設計する。
 自動設計部165は、操作取得部101が取得した操作情報に基づいて、ソフトウェアプログラムを自動で設計する自動設計モードが選択されたか否かを判定する。自動設計部165が、自動設計モードが選択されたと判定した場合、自動設計部165は、変換部接続関係及び推論部接続関係を自動で設計する。
 具体的には、例えば、自動設計部165は、複数の変換部110-1,110-2,・・・,110-Nのうち1以上の変換部又は推論部130が用いるパラメータを自動で変更することにより、変換部接続関係又は推論部接続関係により期待される性能を高める。
 より具体的には、例えば、自動設計部165は、学習部170が学習処理を実行することにより出力した学習結果を用い、ランダムサーチ、グリッドサーチ、ベイズ最適化、又は遺伝的アルゴリズム等の最適化アルゴリズムを適用して、110-1,110-2,・・・,110-Nのうち1以上の変換部又は推論部130が用いるパラメータを自動で最適化するように変更する。
[0046]
 また、例えば、自動設計部165は、変換部接続関係又は推論部接続関係を自動で変更することにより、変換部接続関係又は推論部接続関係により期待される性能を高めても良い。
 より具体的には、例えば、自動設計部165は、学習部170が学習処理を実行することにより出力した学習結果を用い、遺伝的アルゴリズム、強化学習、組み合わせ最適化等の最適化アルゴリズムを適用して、変換部の追加若しくは削除、又は、変換部接続関係若しくは推論部接続関係の変更等を自動で行う。
 なお、自動設計部165が用いる最適化アルゴリズムは、例えば、記憶装置12に記憶されたソフトウェアライブラリから、自動設計部165が用いる最適化アルゴリズムに対応するソフトウェアプログラムを、ライブラリ取得部135を介して取得することできる。
[0047]
 可視化加工部185は、複数の変換部110-1,110-2,・・・,110-Nが出力する出力情報、又は、1以上の初期変換部110-S1,110-S2,・・・,110-Snに入力される入力データを、分布又は波形等として可視化するための可視化出力情報に加工し、加工した可視化出力情報を画像生成部190に出力する。
 画像生成部190は、変換部接続関係及び推論部接続関係を可視化するのに加えて、可視化加工部185が出力する可視化出力情報に基づいて複数の変換部110-1,110-2,・・・,110-Nが出力する出力情報、又は、1以上の初期変換部110-S1,110-S2,・・・,110-Snに入力される入力データを、分布又は波形等により可視化する画像情報を生成しても良い。
 図6は、画像生成部190が生成する画像情報が示す画像において、複数の変換部110-1,110-2,・・・,110-Nのうちユーザに選択された変換部が出力する出力情報、又は、1以上の初期変換部110-S1,110-S2,・・・,110-Snのうちにユーザに選択された初期変換部に入力される入力データを、分布又は波形等により可視化した画像の一例を示す図である。
 図6において、矢印の形状で示したものは、上述のポインタである。
[0048]
 ユーザは、マウス等の入力装置13に操作入力を行うことにより、表示装置14に表示された画像生成部190が生成した画像情報が示す画像に重畳表示されたポインタを、表示装置14に表示された画像における、出力情報画像112-1,112-2,・・・,112-Nのうち所望の出力情報画像、又は、1以上の初期変換部110-S1,110-S2,・・・,110-Snに入力される入力データを示す入力データ画像のうち所望の入力データ画像の位置又は領域に移動させる。
 画像生成部190は、図6に示すように、変換部接続関係及び推論部接続関係を可視化するのに加えて、ユーザによる上述の操作入力を示す操作情報に基づいて、表示装置14に表示された画像におけるポインタの位置に対応する、出力情報画像により示された出力情報、又は入力データ画像により示された入力データを、分布又は波形等によりポップアップ表示した画像情報を生成する。
 なお、図6に示す画像生成部190が生成する画像情報が示す画像は、一例であり、これらに限定されるものではない。
 画像生成部190が、変換部接続関係及び推論部接続関係を可視化するのに加えて、選択された変換部が出力する出力情報、又は選択された初期変換部に入力される入力データを、分布又は波形により可視化する画像情報を生成することにより、ユーザは、選択した変換部が出力する出力情報、及び選択した初期変換部に入力される入力データを簡単に把握することができる。
[0049]
 画像生成部190は、変換部接続関係及び推論部接続関係を可視化する際に、変換部画像111-1,111-2,・・・,111-Nのうち2つ以上の変換部画像をグループ化したグループ画像を用いて変換部接続関係を可視化して良い。
 グループ画像によりグループ化される変換部画像は、例えば、ユーザが、マウス等の入力装置13に操作入力を行うことにより、表示装置14に表示された画像生成部190が生成する画像情報が示す画像における変換部画像111-1,111-2,・・・,111-Nのうち2つ以上の変換部画像を選択することにより決定される。
 グループ画像によりグループ化される変換部画像は、例えば、自動設計部165が、複数の変換部110-1,110-2,・・・,110-Nのうち、同様の変換処理を実行する2つ以上の変換部を自動で決定することにより、決定されても良い。
[0050]
 図7A及び図7Bは、画像生成部190が生成する画像情報が示す画像における複数の変換部画像111-1,111-2,・・・,111-Nのうち5つの変換部画像111-1,111-2,111-3,111-4,111-5をグループ化したグループ画像一例を示す図である。
 図7Aは、5つの変換部画像111-1,111-2,111-3,111-4,111-5をグループ化したグループ画像を折り畳み表示した際の一例を示している。
 図7Bは、5つの変換部画像111-1,111-2,111-3,111-4,111-5をグループ化したグループ画像を展開表示した際の一例を示している。
 図7Aにおいて、矢印の形状で示したものは、上述のポインタである。
 例えば、図7Aに示すように、画像生成部190は、折り畳み表示されたグループ画像によりグループ化された5つの変換部画像111-1,111-2,111-3,111-4,111-5をポップアップ表示するように画像情報を生成しても良い。
[0051]
 具体的には、例えば、ユーザは、マウス等の入力装置13に操作入力を行うことにより、表示装置14に表示された画像生成部190が生成した画像情報が示す画像に重畳表示されたポインタを、表示装置14に表示された画像におけるグループ画像の位置又は領域に移動させる。
 画像生成部190は、図7に示すように、変換部接続関係及び推論部接続関係を可視化するのに加えて、ユーザによる上述の操作入力を示す操作情報に基づいて、表示装置14に表示された画像におけるポインタの位置に対応するグループ画像によりグループ化された5つの変換部画像111-1,111-2,111-3,111-4,111-5をポップアップ表示するように画像情報を生成する。
[0052]
 画像生成部190は、操作取得部101が取得した操作情報に基づいて、図7A又は図7Bに例示した画像を示す複数の画像情報から、生成する画像情報を1つ選択して生成するものであっても良い。
 なお、図7A又は図7Bに示す画像生成部190が生成する画像情報が示す画像は、一例であり、これらに限定されるものではない。
 画像生成部190が、変換部接続関係及び推論部接続関係を可視化する際に、グループ画像を用いて変換部接続関係を可視化することにより、ユーザは、変換部接続関係を簡潔に把握することができる。
[0053]
 図8A及び図8Bを参照して、実施の形態1に係る開発支援装置100の要部のハードウェア構成について説明する。
 図8A及び図8Bは、実施の形態1に係る開発支援装置100の要部のハードウェア構成の一例を示す図である。
[0054]
 図8Aに示す如く、開発支援装置100はコンピュータにより構成されており、当該コンピュータはプロセッサ201及びメモリ202を有している。メモリ202には、当該コンピュータを、操作取得部101、複数の変換部110-1,110-2,・・・,110-N、パイプライン部120、推論部130、ライブラリ取得部135、パラメータ設定部140、情報取得部150、情報整形部155、パイプライン変更部160、画像生成部190、及び出力制御部195、自動設計部165、学習部170、結果解釈部180、及び可視化加工部185として機能させるためのプログラムが記憶されている。メモリ202に記憶されているプログラムをプロセッサ201が読み出して実行することにより、操作取得部101、複数の変換部110-1,110-2,・・・,110-N、パイプライン部120、推論部130、ライブラリ取得部135、パラメータ設定部140、情報取得部150、情報整形部155、パイプライン変更部160、画像生成部190、及び出力制御部195、自動設計部165、学習部170、結果解釈部180、及び可視化加工部185が実現される。
[0055]
 また、図8Bに示す如く、開発支援装置100は処理回路203により構成されても良い。この場合、操作取得部101、複数の変換部110-1,110-2,・・・,110-N、パイプライン部120、推論部130、ライブラリ取得部135、パラメータ設定部140、情報取得部150、情報整形部155、パイプライン変更部160、画像生成部190、及び出力制御部195、自動設計部165、学習部170、結果解釈部180、及び可視化加工部185の機能が処理回路203により実現されても良い。
[0056]
 また、開発支援装置100はプロセッサ201、メモリ202及び処理回路203により構成されても良い(不図示)。この場合、操作取得部101、複数の変換部110-1,110-2,・・・,110-N、パイプライン部120、推論部130、ライブラリ取得部135、パラメータ設定部140、情報取得部150、情報整形部155、パイプライン変更部160、画像生成部190、及び出力制御部195、自動設計部165、学習部170、結果解釈部180、及び可視化加工部185の機能のうちの一部の機能がプロセッサ201及びメモリ202により実現されて、残余の機能が処理回路203により実現されるものであっても良い。
[0057]
 プロセッサ201は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、マイクロプロセッサ、マイクロコントローラ又はDSP(Digital Signal Processor)を用いたものである。
[0058]
 メモリ202は、例えば、半導体メモリ又は磁気ディスクを用いたものである。より具体的には、メモリ202は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、SSD(Solid State Drive)又はHDD(Hard Disk Drive)などを用いたものである。
[0059]
 処理回路203は、例えば、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)、SoC(System-on-a-Chip)又はシステムLSI(Large-Scale Integration)を用いたものである。
[0060]
 図9を参照して、実施の形態1に係る開発支援装置100の動作について説明する。
 図9は、実施の形態1に係る開発支援装置100の処理の一例を説明するフローチャートである。当該フローチャートは、ユーザがソフトウェアプログラムを設計又は再設計を開始するための操作入力を示す操作情報を、操作取得部101が取得することにより、繰り返し実行される。
[0061]
 まず、ステップST901にて、自動設計部165は、操作取得部101が取得した操作情報に基づいて、ソフトウェアプログラムを自動で設計する自動設計モードが選択されたか否かを判定する。
 ステップST901にて、自動設計部165が、自動設計モードが選択されたと判定した場合、ステップST902にて、自動設計部165は、変換部接続関係及び推論部接続関係を自動で設計する。
 ステップST902の後、ステップST903にて、画像生成部190は、変換部接続関係及び推論部接続関係を示す画像情報を生成する。
 ステップST903の後、ステップST904にて、画像生成部190は、生成した画像情報を出力制御部195に出力する。
 ステップST904の後、開発支援装置100は、ステップST921の処理を実行する。
[0062]
 ステップST901にて、自動設計部165が、自動設計モードが選択されてないと判定した場合、ステップST911にて、画像生成部190は、例えば、予め設計されたソフトウェアプログラムの変換部接続関係及び推論部接続関係を示す画像情報を生成する。
 ステップST911の後、ステップST912にて、画像生成部190は、生成した画像情報を出力制御部195に出力する。
[0063]
 ステップST912の後、ステップST913にて、画像生成部190は、操作取得部101が取得した操作情報に基づいて、変換部接続関係又は推論部接続関係を、画像情報が示す画像において変更するように画像情報を生成する。
 ステップST913の後、ステップST914にて、画像生成部190は、生成した画像情報を出力制御部195に出力する。
 ステップST914の後、ステップST915にて、パイプライン変更部160は、操作取得部101が取得した操作情報に基づいて、変換部接続関係又は推論部接続関係を変更する。
 ステップST915の後、ステップST916にて、パイプライン変更部160は、操作取得部101が取得した操作情報に基づき、手動によるソフトウェアプログラムの設計が完了したか否かを判定する。
[0064]
 ステップST916にて、パイプライン変更部160が、手動によるソフトウェアプログラムの設計が完了していないと判定した場合、開発支援装置100は、ステップST913の処理に戻る。
  ステップST916にて、パイプライン変更部160が、手動によるソフトウェアプログラムの設計が完了したと判定した場合、開発支援装置100は、ステップST921の処理を実行する。
[0065]
 ステップST921にて、情報取得部150は、信号値又はメタ情報を取得する。
 次に、ステップST922にて、情報整形部155は、情報取得部150が取得した信号値又はメタ情報を、1以上の初期変換部110-S1,110-S2,・・・,110-Snに入力データとして入力可能な形式に整形する。
 次に、ステップST923にて、パイプライン部120は、パイプライン情報に基づいて、複数の変換部110-1,110-2,・・・,110-Nに変換処理を順次実行させる。
 次に、ステップST924にて、推論部130は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmにより出力された出力情報を用いて推論処理を実行し、推論結果を示す推論情報を出力する。
[0066]
 次に、ステップST925にて、学習部170は、機械学習における学習処理を実行し、学習モデルを示すモデル情報を生成又は更新する。
 次に、ステップST926にて、結果解釈部180は、1以上の最終変換部110-L1,110-L2,・・・,110-Lmがそれぞれ出力する出力情報を解釈して所定の形式の情報に加工し、加工後の情報を設計利用情報として出力する。
 次に、ステップST927にて、画像生成部190は、変換部接続関係、及び推論部接続関係を可視化するのに加えて、結果解釈部180が出力した設計利用情報についても可視化する画像情報を生成する。
 次に、ステップST928にて、画像生成部190は、生成した画像情報を出力制御部195に出力する。
[0067]
 次に、ステップST929にて、可視化加工部185は、複数の変換部110-1,110-2,・・・,110-Nが出力する出力情報を分布又は波形等として可視化するための可視化出力情報に加工し、加工した可視化出力情報を画像生成部190に出力する。
 ステップST929の後、開発支援装置100は、当該フローチャートの処理を終了し、ユーザがソフトウェアプログラムの設計又は再設計を開始するための操作入力を示す操作情報を、操作取得部101が取得することにより、当該フローチャートの処理を繰り返し実行する。
[0068]
 なお、ステップST929の処理は、ステップST904又はステップST912の処理の後であれば、ユーザが適宜のタイミングで開発支援装置100に対して指示できるものであっても良い。ステップST929の処理の後、開発支援装置100は、画像生成部190が、変換部接続関係及び推論部接続関係を可視化するのに加えて、可視化加工部185が出力する可視化出力情報と操作取得部101が取得した操作情報とに基づいて、ユーザに選択された変換部が出力する出力情報を分布又は波形等により可視化する画像情報を生成する。
[0069]
 また、開発支援装置100が自動設計部165を備えていない場合、当該フローチャートにおいて、ステップST901からステップST904までの処理は、実行されない。
 また、開発支援装置100が学習部170を備えていない場合、当該フローチャートにおいて、ステップST925の処理は、実行されない。
 また、開発支援装置100が結果解釈部180を備えていない場合、当該フローチャートにおいて、ステップST926からステップST928までの処理は、実行されない。
 また、開発支援装置100が可視化加工部185を備えていない場合、当該フローチャートにおいて、ステップST929の処理は、実行されない。
 また、ステップST903にて、画像生成部190は、変換部接続関係及び推論部接続関係を可視化する際に、複数の変換部画像111-1,111-2,・・・,111-Nのうち2つ以上の変換部画像をグループ化したグループ画像を用いて変換部接続関係を可視化して良い。
[0070]
 また、ステップST911にて、画像生成部190が生成する画像情報は、変換部接続関係及び推論部接続関係を示す複数の変換部画像111-1,111-2,・・・,111-N、出力情報画像112-1,112-2,・・・,112-N、推論部画像、出力線画像、入力線画像、又は推論部入力線画像の一部を生成するものであっても良い。
 また、ステップST911にて、画像生成部190は、変換部接続関係及び推論部接続関係を可視化する際に、複数の変換部画像111-1,111-2,・・・,111-Nのうち2つ以上の変換部画像をグループ化したグループ画像を用いて変換部接続関係を可視化して良い。
 また、ステップST913にて、画像生成部190は、変換部接続関係及び推論部接続関係を可視化する際に、複数の変換部画像111-1,111-2,・・・,111-Nのうち2つ以上の変換部画像をグループ化したグループ画像を用いて変換部接続関係を可視化して良い。
[0071]
 以上のように、開発支援装置100は、それぞれが、入力された信号値を他の信号値若しくはメタ情報に変換するか、又は、入力されたメタ情報を信号値若しくは他のメタ情報に変換して、変換後の信号値又は変換後のメタ情報を出力情報として出力する複数の変換部110-1,110-2,・・・,110-Nと、複数の変換部110-1,110-2,・・・,110-Nの互いの接続関係を示すパイプライン情報に基づいて、複数の変換部110-1,110-2,・・・,110-Nに変換処理を順次実行させるパイプライン部120と、パイプライン情報に基づいてパイプライン部120が複数の変換部110-1,110-2,・・・,110-Nのうち最後に変換処理を実行させる変換部である1以上の最終変換部110-L1,110-L2,・・・,110-Lmにより出力された出力情報を用いて推論を行い、推論結果を示す推論情報を出力する推論部130と、パイプライン情報が示す複数の変換部110-1,110-2,・・・,110-Nの互いの接続関係、及び1以上の最終変換部110-L1,110-L2,・・・,110-Lmと推論部130との接続関係を可視化する画像情報を生成する画像生成部190と、画像生成部190が生成した画像情報を出力する出力制御部195と、を備えた。
[0072]
 このように構成することで、開発支援装置100は、原データに対する前処理の可視化ができる。このため、開発支援装置100は、推論モデルへ入力される情報の設計までを含めた推論モデルの開発支援又は設計支援ができる。
[0073]
 なお、この発明はその発明の範囲内において、実施の形態における任意の構成要素の変形、又は、実施の形態における任意の構成要素の省略が可能である。

産業上の利用可能性

[0074]
 この発明に係る開発支援装置は、ソフトウェアプログラムの開発支援システムに適用することができる。

符号の説明

[0075]
 10 開発支援システム、11 信号出力装置、12 記憶装置、13 入力装置、14 表示装置、100 開発支援装置、101 操作取得部、110-1,110-1,・・・,110-N 変換部、120 パイプライン部、130 推論部、135 ライブラリ取得部、140 パラメータ設定部、150 情報取得部、155 情報整形部、160 パイプライン変更部、165 自動設計部、170 学習部、180 結果解釈部、185 可視化加工部、190 画像生成部、195 出力制御部、111-1,111-1,・・・,111-N 変換部画像、112-1,112-2,・・・,112-4 出力情報画像、201 プロセッサ、202 メモリ、203 処理回路。

請求の範囲

[請求項1]
 それぞれが、入力された信号値を他の信号値若しくはメタ情報に変換するか、又は、入力されたメタ情報を信号値若しくは他のメタ情報に変換して、変換後の前記信号値又は変換後の前記メタ情報を出力情報として出力する複数の変換部と、
 前記複数の変換部の互いの接続関係を示すパイプライン情報に基づいて、前記複数の変換部に変換処理を順次実行させるパイプライン部と、
 前記パイプライン情報に基づいて前記パイプライン部が前記複数の変換部のうち最後に変換処理を実行させる変換部である1以上の最終変換部により出力された前記出力情報を用いて推論を行い、推論結果を示す推論情報を出力する推論部と、
 前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係を可視化する画像情報を生成する画像生成部と、
 前記画像生成部が生成した前記画像情報を出力する出力制御部と、
 を備えたこと
 を特徴とする開発支援装置。
[請求項2]
 入力装置が出力する操作情報を取得する操作取得部、
 を備え、
 前記画像生成部は、前記操作取得部が取得した操作情報に基づいて、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、又は前記1以上の最終変換部と前記推論部との接続関係を、前記画像情報が示す画像において変更するように前記画像情報を生成すること
 を特徴とする請求項1記載の開発支援装置。
[請求項3]
 前記操作取得部が取得した操作情報に基づいて、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、又は前記1以上の最終変換部と前記推論部との接続関係を変更するパイプライン変更部、
 を備えたこと
 を特徴とする請求項2記載の開発支援装置。
[請求項4]
 前記1以上の最終変換部が出力する前記出力情報を解釈して所定の形式の情報に加工し、加工後の情報を設計利用情報として出力する結果解釈部、
 を備え、
 前記画像生成部は、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係を可視化するのに加えて、前記設計利用情報についても可視化した前記画像情報を生成すること
 を特徴とする請求項1記載の開発支援装置。
[請求項5]
 前記結果解釈部は、前記推論部が教師あり学習モデルを用いて推論するものである場合、前記推論部に接続される前記1以上の最終変換部が出力する前記出力情報を解釈して、特徴量の重要度を算出し、算出した前記特徴量の重要度を前記設計利用情報として出力すること
 を特徴とする請求項4記載の開発支援装置。
[請求項6]
 前記結果解釈部は、前記推論部が確率モデルを用いて推論するものである場合、前記推論部に接続される前記1以上の最終変換部が出力する前記出力情報を解釈して、確率モデルにおけるパラメータを算出し、算出した確率モデルにおけるパラメータを前記設計利用情報として出力すること
 を特徴とする請求項4記載の開発支援装置。
[請求項7]
 前記結果解釈部は、前記推論部が行列分析モデルを用いて推論するものである場合、前記推論部に接続される前記1以上の最終変換部が出力する前記出力情報を解釈して、基底ベクトルを算出し、算出した前記基底ベクトルを前記設計利用情報として出力すること
 を特徴とする請求項4記載の開発支援装置。
[請求項8]
 前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係により期待される性能を高めるように自動で設計する自動設計部、
 を備えること
 を特徴とする請求項1記載の開発支援装置。
[請求項9]
 前記自動設計部は、前記複数の変換部のうち1以上の変換部又は前記推論部が用いるパラメータを自動で変更することにより、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係により期待される性能を高めること
 を特徴とする請求項8記載の開発支援装置。
[請求項10]
 前記自動設計部は、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、又は前記1以上の最終変換部と前記推論部との接続関係を自動で変更することにより、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係により期待される性能を高めること
 を特徴とする請求項8記載の開発支援装置。
[請求項11]
 前記複数の変換部が出力する前記出力情報、又は、前記複数の変換部のうち最初に変換処理を実行させる変換部である1以上の初期変換部に入力される入力データを、分布又は波形として可視化するための可視化出力情報に加工し、加工した前記可視化出力情報を出力する可視化加工部を備え、
 前記画像生成部は、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係を可視化するのに加えて、前記可視化加工部が出力する前記可視化出力情報に基づいて前記複数の変換部が出力する前記出力情報を分布又は波形により可視化した前記画像情報を生成すること
 を特徴とする請求項1記載の開発支援装置。
[請求項12]
 前記画像生成部は、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係を可視化する際に、前記複数の変換部のうち2以上の変換部をグループ化して前記複数の変換部の互いの接続関係を可視化すること
 を特徴とする請求項1記載の開発支援装置。
[請求項13]
 請求項1から請求項12のいずれか1項記載の開発支援装置と、
 ユーザからの入力を受け、受けた入力を示す操作情報を開発支援装置に出力する入力装置と、
 開発支援装置が出力した前記画像情報を表示する表示装置と、
 を備えた開発支援システム。
[請求項14]
 複数の変換部それぞれが、入力された信号値を他の信号値若しくはメタ情報に変換するか、又は、入力されたメタ情報を信号値若しくは他のメタ情報に変換して、変換後の前記信号値又は変換後の前記メタ情報を出力情報として出力し、
 パイプライン部が、前記複数の変換部の互いの接続関係を示すパイプライン情報に基づいて、前記複数の変換部に変換処理を順次実行させ、
 推論部が、前記パイプライン情報に基づいて前記パイプライン部が前記複数の変換部のうち最後に変換処理を実行させる変換部である1以上の最終変換部により出力された前記出力情報を用いて推論を行い、推論結果を示す推論情報を出力し、
 画像生成部が、前記パイプライン情報が示す前記複数の変換部の互いの接続関係、及び前記1以上の最終変換部と前記推論部との接続関係を可視化する画像情報を生成し、
 出力制御部が、前記画像生成部が生成した前記画像情報を出力すること
 を特徴とする開発支援方法。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]