Algum conteúdo deste aplicativo está indisponível no momento.
Se esta situação persistir, por favor entre em contato conoscoFale conosco & Contato
1. (WO2019043525) IMAGE PROCESSING METHOD, SEMICONDUCTOR DEVICE, AND ELECTRONIC APPARATUS
Document

明 細 書

発明の名称

技術分野

0001   0002   0003  

背景技術

0004   0005   0006  

先行技術文献

特許文献

0007  

非特許文献

0008  

発明の概要

発明が解決しようとする課題

0009   0010   0011   0012  

課題を解決するための手段

0013   0014   0015   0016   0017   0018   0019   0020   0021   0022  

発明の効果

0023   0024   0025  

図面の簡単な説明

0026  

発明を実施するための形態

0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165   0166   0167   0168   0169   0170   0171   0172   0173   0174   0175   0176   0177   0178   0179   0180   0181   0182   0183   0184   0185   0186   0187   0188   0189   0190   0191   0192   0193   0194   0195   0196   0197   0198   0199   0200   0201   0202   0203   0204   0205   0206   0207   0208   0209   0210   0211   0212   0213   0214   0215   0216   0217   0218   0219   0220   0221   0222   0223   0224   0225   0226   0227   0228   0229   0230   0231   0232   0233   0234   0235   0236   0237   0238   0239   0240   0241   0242   0243   0244   0245   0246   0247   0248   0249   0250   0251   0252   0253   0254   0255   0256   0257   0258   0259   0260   0261   0262   0263   0264   0265   0266   0267   0268   0269   0270   0271   0272   0273   0274   0275   0276   0277   0278   0279   0280   0281   0282   0283   0284   0285   0286   0287   0288   0289   0290   0291   0292   0293   0294   0295   0296   0297   0298   0299   0300   0301   0302   0303   0304   0305   0306   0307   0308   0309   0310   0311   0312   0313   0314   0315   0316   0317   0318   0319   0320   0321   0322   0323   0324   0325   0326   0327   0328   0329   0330   0331   0332   0333   0334   0335   0336   0337   0338   0339   0340   0341   0342   0343   0344   0345   0346   0347   0348   0349   0350   0351   0352   0353   0354   0355   0356   0357   0358   0359   0360   0361   0362   0363   0364   0365   0366   0367   0368   0369   0370   0371   0372   0373   0374   0375   0376   0377   0378   0379   0380   0381   0382   0383   0384   0385   0386   0387   0388   0389   0390   0391   0392   0393   0394   0395   0396   0397   0398   0399   0400   0401  

実施例 1

0402   0403   0404   0405  

符号の説明

0406  

請求の範囲

1   2   3   4   5   6   7   8   9   10  

図面

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16   17   18   19   20   21   22   23   24   25   26  

明 細 書

発明の名称 : 画像処理方法および半導体装置、ならびに電子機器

技術分野

[0001]
本発明の一態様は、画像処理方法、および当該画像処理方法により動作する半導体装置、ならびに当該半導体装置を有する電子機器に関する。
[0002]
なお、本明細書等において半導体装置とは、半導体特性を利用することで機能しうる装置全般を指す。表示装置、発光装置、記憶装置、電気光学装置、蓄電装置、半導体回路および電子機器は、半導体装置を有する場合がある。
[0003]
なお本発明の一態様は、上記の技術分野に限定されない。本明細書等で開示する発明の技術分野は、物、方法、または、製造方法に関するものである。または、本発明の一態様は、プロセス、マシン、マニュファクチャ、または、組成物(コンポジション・オブ・マター)に関するものである。そのため、より具体的に本明細書で開示する本発明の一態様の技術分野としては、半導体装置、表示装置、液晶表示装置、発光装置、蓄電装置、撮像装置、記憶装置、プロセッサ、電子機器、それらの駆動方法、それらの製造方法、それらの検査方法、またはそれらのシステムを一例として挙げることができる。

背景技術

[0004]
テレビジョン(TV)は、大画面化に伴い、高解像度の画像を視聴できることが望まれている。日本国では、2015年に通信衛星(CS)およびケーブルテレビ等による4K実用放送が開始され、2016年に放送衛星(BS)による4K・8K試験放送が開始されている。今後、8K実用放送の開始が予定されている。そのため、8K放送に対応するための各種の電子機器が開発されている(非特許文献1)。8Kの実用放送では、4K放送、2K放送(フルハイビジョン放送)も併用される予定である。
[0005]
8K放送の画像の解像度(水平・垂直の画素数)は7680×4320であり、4K放送(3840×2160)の4倍、2K放送(1920×1080)の16倍である。したがって、8K放送の画像を見る者は、2K放送の画像、または4K放送の画像等を見る者より高い臨場感を感じることができると期待される。
[0006]
また、アップコンバートを行うことにより、低解像度の画像から高解像度の画像を生成する技術が開示されている(特許文献1)。

先行技術文献

特許文献

[0007]
特許文献1 : 特開2011−180798号公報

非特許文献

[0008]
非特許文献1 : S.Kawashima,et al.,”13.3−In.8K X 4K 664−ppi OLED Display Using CAAC−OS FETs,”SID 2014 DIGEST,pp.627−630.

発明の概要

発明が解決しようとする課題

[0009]
アップコンバートは、例えばニューラルネットワークを用いて行うことができる。例えば、教師データを用意して、それを用いてニューラルネットワークが学習を行うことにより、ニューラルネットワークにアップコンバートを行う機能を持たせることができる。しかし、従来の技術では、大量の学習データを用意しなければ、アップコンバートにより生成された高解像度の画像の画質が高くならないという問題がある。
[0010]
そこで、本発明の一態様は、大量の学習データを用いずにアップコンバートを行う画像処理方法を提供することを課題の1つとする。または、本発明の一態様は、アップコンバートにより生成された高解像度の画像の画質が高くなる画像処理方法を提供することを課題の1つとする。または、本発明の一態様は、小規模な回路によりアップコンバートを行う画像処理方法を提供することを課題の1つとする。または、本発明の一態様は、高速で行うことができる画像処理方法を提供することを課題の1つとする。または、本発明の一態様は、新規な画像処理方法を提供することを課題の1つとする。
[0011]
または、本発明の一態様は、大量の学習データを用いずにアップコンバートを行うことができる半導体装置を提供することを課題の1つとする。または、本発明の一態様は、生成された高解像度の画像の画質が高くなるようにアップコンバートを行うことができる半導体装置を提供することを課題の1つとする。または、本発明の一態様は、小規模な回路によりアップコンバートを行うことができる半導体装置を提供することを課題の1つとする。または、本発明の一態様は、高速に動作する半導体装置を提供することを課題の1つとする。または、本発明の一態様は、新規な半導体装置を提供することを課題の1つとする。
[0012]
なお本発明の一態様の課題は、上記列挙した課題に限定されない。上記列挙した課題は、他の課題の存在を妨げるものではない。なお他の課題は、以下の記載で述べる、本項目で言及していない課題である。本項目で言及していない課題は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した記載、および他の課題のうち、少なくとも一つの課題を解決するものである。なお、本発明の一態様は、上記列挙した記載、および他の課題の全てを解決する必要はない。

課題を解決するための手段

[0013]
本発明の一態様は、第1の画像データの解像度を高めて、高解像度の画像データを生成する画像処理方法であって、第1の画像データの解像度を低下させることで、第2の画像データを生成する第1のステップと、ニューラルネットワークに第2の画像データを入力することにより、第2の画像データより解像度が高い第3の画像データを生成する第2のステップと、第1の画像データと、第3の画像データと、を比較することにより、第3の画像データの、第1の画像データに対する誤差を算出する第3のステップと、誤差を基にして、ニューラルネットワークの重み係数を修正する第4のステップと、を有し、第2乃至第4のステップを規定の回数行った後、ニューラルネットワークに第1の画像データを入力することにより、高解像度の画像データを生成する画像処理方法である。
[0014]
また、上記態様において、第3の画像データの解像度は、第1の画像データの解像度以下であってもよい。
[0015]
また、上記態様において、第2の画像データの解像度は、第1の画像データの解像度の1/m (mは2以上の整数)であり、高解像度の画像データの解像度は、第1の画像データの解像度のn 倍(nは2以上の整数)であってもよい。
[0016]
また、上記態様において、mの値と、nの値と、が等しくてもよい。
[0017]
また、本発明の一態様は、第1の画像データを受信して、第1の画像データの解像度を高めた、高解像度の画像データを生成する半導体装置であって、半導体装置は、第1の回路と、第2の回路と、第3の回路と、を有し、第1の回路は、第1の画像データを保持する機能を有し、第1の回路は、保持した第1の画像データを、第2の回路に出力する機能を有し、第2の回路は、第1の画像データの解像度を低下させることで、第2の画像データを生成した後、第2の画像データを第3の回路に入力する機能を有し、第3の回路は、第2の画像データの解像度を高めることにより、第3の画像データを生成する機能を有し、第2の回路は、第1の画像データと、第3の画像データと、を比較することにより、第3の画像データの、第1の画像データに対する誤差を算出する機能を有し、第3の回路は、誤差を基にして、第3の回路のパラメータを修正する機能を有し、第3の回路は、パラメータの修正を規定の回数行った後に、第1の画像データの解像度を高めることにより、高解像度の画像データを生成する機能を有する半導体装置である。
[0018]
また、上記態様において、第3の回路は、ニューラルネットワークを有し、パラメータは、ニューラルネットワークの重み係数であってもよい。
[0019]
また、上記態様において、第3の画像データの解像度は、第1の画像データの解像度以下であってもよい。
[0020]
また、上記態様において、第2の画像データの解像度は、第1の画像データの解像度の1/m (mは2以上の整数)であり、高解像度の画像データの解像度は、第1の画像データの解像度のn 倍(nは2以上の整数)であってもよい。
[0021]
また、上記態様において、mの値と、nの値と、が等しくてもよい。
[0022]
また、本発明の一態様の半導体装置と、表示部と、を有する電子機器も、本発明の一態様である。

発明の効果

[0023]
本発明の一態様により、大量の学習データを用いずにアップコンバートを行う画像処理方法を提供することができる。または、本発明の一態様により、アップコンバートにより生成された高解像度の画像の画質が高くなる画像処理方法を提供することができる。または、本発明の一態様により、小規模な回路によりアップコンバートを行う画像処理方法を提供することができる。または、本発明の一態様により、高速で行うことができる画像処理方法を提供することができる。または、本発明の一態様により、新規な画像処理方法を提供することができる。
[0024]
または、本発明の一態様により、大量の学習データを用いずにアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、生成された高解像度の画像の画質が高くなるようにアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、小規模な回路によりアップコンバートを行うことができる半導体装置を提供することができる。または、本発明の一態様により、高速に動作する半導体装置を提供することができる。または、本発明の一態様により、新規な半導体装置を提供することができる。
[0025]
なお本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば明細書または図面等の記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、および他の効果のうち、少なくとも一つの効果を有するものである。従って本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

図面の簡単な説明

[0026]
[図1] 画像処理方法の一例を示す図。
[図2] 画像処理方法の一例を示すフローチャート。
[図3] 階層型のニューラルネットワークの一例を示す図。
[図4] 階層型のニューラルネットワークの一例を示す図。
[図5] 階層型のニューラルネットワークの一例を示す図。
[図6] 画像処理方法の一例を示すフローチャート。
[図7] 画像処理方法の一例を示す図。
[図8] 画像処理方法の一例を示す図。
[図9] 画像処理方法の一例を示す図。
[図10] 送信装置および受信装置の構成例を示すブロック図。
[図11] 送信装置および受信装置の構成例を示すブロック図。
[図12] 半導体装置の構成例を示す図。
[図13] メモリセルの構成例を示す図。
[図14] オフセット回路の構成例を示す図。
[図15] 半導体装置の動作方法の一例を示すタイミングチャート。
[図16] 画素の構成例を説明する図。
[図17] 画素回路の構成例を説明する図。
[図18] 表示装置の構成例を説明する図。
[図19] 表示装置の構成例を説明する図。
[図20] 表示装置の構成例を説明する図。
[図21] 表示装置の構成例を説明する図。
[図22] トランジスタの構成例を説明する図。
[図23] トランジスタの構成例を説明する図。
[図24] トランジスタの構成例を説明する図。
[図25] 電子機器の一例を示す図。
[図26] 表示結果を示す図。

発明を実施するための形態

[0027]
本明細書等において、人工ニューラルネットワーク(ANN、以後、ニューラルネットワークと呼称する。)とは、生物の神経回路網を模したモデル全般を指す。一般的には、ニューラルネットワークは、ニューロンを模したユニットが、シナプスを模したユニットを介して、互いに結合された構成となっている。
[0028]
シナプスの結合(ニューロン同士の結合)の強度(重み係数ともいう。)は、ニューラルネットワークに既存の情報を与えることによって、変化させることができる。このように、ニューラルネットワークに既存の情報を与えて、結合強度を決める処理を「学習」と呼ぶ場合がある。
[0029]
また、「学習」を行った(結合強度を定めた)ニューラルネットワークに対して、何らかの情報を与えることにより、その結合強度に基づいて新たな情報を出力することができる。このように、ニューラルネットワークにおいて、与えられた情報と結合強度に基づいて新たな情報を出力する処理を「推論」または「認知」と呼ぶ場合がある。
[0030]
ニューラルネットワークのモデルとしては、例えば、ホップフィールド型、階層型等が挙げられる。特に、多層構造としたニューラルネットワークを「ディープニューラルネットワーク」(DNN)と呼称し、ディープニューラルネットワークによる機械学習を「ディープラーニング」と呼称する。なお、DNNには、全結合ニューラルネットワーク(FC−NN:Full Connected −Neural Network)、畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)、再帰ニューラルネットワーク(RNN:Recurrent Neural Network)等が含まれる。
[0031]
本明細書等において、金属酸化物(metal oxide)とは、広い意味での金属の酸化物である。金属酸化物は、酸化物絶縁体、酸化物導電体(透明酸化物導電体を含む)、酸化物半導体(Oxide Semiconductorまたは単にOSともいう)等に分類される。例えば、トランジスタの半導体層に金属酸化物を用いた場合、当該金属酸化物を酸化物半導体と呼称する場合がある。つまり、金属酸化物が増幅作用、整流作用、およびスイッチング作用の少なくとも1つを有するトランジスタのチャネル形成領域を構成し得る場合、当該金属酸化物を、金属酸化物半導体(metal oxide semiconductor)、略してOSと呼ぶことができる。また、OS FET(またはOSトランジスタ)と記載する場合においては、金属酸化物または酸化物半導体を有するトランジスタと換言することができる。
[0032]
半導体の不純物とは、例えば、半導体層を構成する主成分以外をいう。例えば、濃度が0.1原子%未満の元素は不純物である。不純物が含まれることにより、例えば、半導体にDOS(Density of States)が形成されることや、キャリア移動度が低下することや、結晶性が低下すること等が起こる場合がある。半導体が酸化物半導体である場合、半導体の特性を変化させる不純物としては、例えば、第1族元素、第2族元素、第13族元素、第14族元素、第15族元素、主成分以外の遷移金属等があり、特に、例えば、水素(水にも含まれる)、リチウム、ナトリウム、シリコン、ホウ素、リン、炭素、窒素等がある。酸化物半導体の場合、例えば水素等の不純物の混入によって酸素欠損を形成する場合がある。また、半導体がシリコンである場合、半導体の特性を変化させる不純物としては、例えば、酸素、水素を除く第1族元素、第2族元素、第13族元素、第15族元素等がある。
[0033]
本明細書等において、「第1」、「第2」、「第3」という序数詞は、構成要素の混同を避けるために付したものである。従って、構成要素の数を限定するものではない。また、構成要素の順序を限定するものではない。また例えば、本明細書等の実施の形態の一において「第1」に言及された構成要素が、他の実施の形態、あるいは特許請求の範囲において「第2」に言及された構成要素とすることもありうる。また例えば、本明細書等の実施の形態の一において「第1」に言及された構成要素を、他の実施の形態、あるいは特許請求の範囲において省略することもありうる。
[0034]
実施の形態について図面を参照しながら説明している。但し、実施の形態は多くの異なる態様で実施することが可能であり、趣旨およびその範囲から逸脱することなく、その形態および詳細を様々に変更し得ることは当業者であれば容易に理解される。従って、本発明は、実施の形態の記載内容に限定して解釈されるものではない。なお、実施の形態の発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。
[0035]
また、本明細書等において、「上に」、「下に」等の配置を示す語句は、構成同士の位置関係を、図面を参照して説明するために、便宜上用いている。構成同士の位置関係は、各構成を描写する方向に応じて適宜変化する。そのため、配置を示す語句は、明細書で説明した記載に限定されず、状況に応じて適切に言い換えることができる。
[0036]
また、「上」や「下」の用語は、構成要素の位置関係が直上または直下で、かつ、直接接していることを限定するものではない。例えば、「絶縁層A上の電極B」の表現であれば、絶縁層Aの上に電極Bが直接接して形成されている必要はなく、絶縁層Aと電極Bとの間に他の構成要素を含むものを除外しない。
[0037]
また、図面において、大きさ、層の厚さ、または領域は、説明の便宜上任意の大きさに示したものである。よって、必ずしもそのスケールに限定されない。なお図面は明確性を期すために模式的に示したものであり、図面に示す形状または値等に限定されない。例えば、ノイズによる信号、電圧、若しくは電流のばらつき、または、タイミングのずれによる信号、電圧、若しくは電流のばらつき等を含むことが可能である。
[0038]
また、図面において、図面の明確性を期すために、一部の構成要素の記載を省略している場合がある。
[0039]
また、図面において、同一の要素または同様な機能を有する要素、同一の材質の要素、あるいは同時に形成される要素等には同一の符号を付す場合があり、その繰り返しの説明は省略する場合がある。
[0040]
本明細書等において、トランジスタの接続関係を説明する際、「ソースまたはドレインの一方」(または第1電極、または第1の端子)、「ソースまたはドレインの他方」(または第2電極、または第2の端子)という表記を用いる。これは、トランジスタのソースとドレインは、トランジスタの構造または動作条件等によって変わるためである。なおトランジスタのソースとドレインの呼称については、ソース(ドレイン)端子や、ソース(ドレイン)電極等、状況に応じて適切に言い換えることができる。また、本明細書等では、ゲート以外の2つの端子を第1の端子、第2の端子と呼ぶ場合や、第3端子、第4端子と呼ぶ場合がある。また、本明細書等に記載するトランジスタが2つ以上のゲートを有するとき(この構成をデュアルゲート構造という場合がある)、それらのゲートを第1ゲート、第2ゲートと呼ぶ場合や、フロントゲート、バックゲートと呼ぶ場合がある。特に、「フロントゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。また、「バックゲート」という語句は、単に「ゲート」という語句に互いに言い換えることができる。なお、ボトムゲートとは、トランジスタの作製時において、チャネル形成領域よりも先に形成される端子のことをいい、「トップゲート」とは、トランジスタの作製時において、チャネル形成領域よりも後に形成される端子のことをいう。
[0041]
トランジスタは、ゲート、ソース、およびドレインと呼ばれる3つの端子を有する。ゲートは、トランジスタの導通状態を制御する制御端子として機能する端子である。ソースまたはドレインとして機能する2つの入出力端子は、トランジスタの型および各端子に与えられる電位の高低によって、一方がソースとなり他方がドレインとなる。このため、本明細書等においては、ソースやドレインの用語は、入れ替えて用いることができるものとする。
[0042]
また、本明細書等において「電極」や「配線」の用語は、これらの構成要素を機能的に限定するものではない。例えば、「電極」は「配線」の一部として用いられることがあり、その逆もまた同様である。さらに、「電極」や「配線」の用語は、複数の「電極」や「配線」が一体となって形成されている場合等も含む。
[0043]
また、本明細書等において、電圧と電位は、適宜言い換えることができる。電圧は、基準となる電位からの電位差のことであり、例えば基準となる電位をグラウンド電位(接地電位)とすると、電圧を電位に言い換えることができる。グラウンド電位は必ずしも0Vを意味するとは限らない。なお電位は相対的なものであり、基準となる電位によっては、配線等に与える電位を変化させる場合がある。
[0044]
なお本明細書等において、「膜」、「層」等の語句は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「導電層」という用語を、「導電膜」という用語に変更することが可能な場合がある。または、例えば、「絶縁膜」という用語を、「絶縁層」という用語に変更することが可能な場合がある。または、場合によっては、または、状況に応じて、「膜」、「層」等の語句を使わずに、別の用語に入れ替えることが可能である。例えば、「導電層」または「導電膜」という用語を、「導電体」という用語に変更することが可能な場合がある。または、例えば、「絶縁層」「絶縁膜」という用語を、「絶縁体」という用語に変更することが可能な場合がある。
[0045]
なお本明細書等において、「配線」、「信号線」、「電源線」等の用語は、場合によっては、または、状況に応じて、互いに入れ替えることが可能である。例えば、「配線」という用語を、「信号線」という用語に変更することが可能な場合がある。また、例えば、「配線」という用語を、「電源線」等の用語に変更することが可能な場合がある。また、その逆も同様で、「信号線」「電源線」等の用語を、「配線」という用語に変更することが可能な場合がある。「電源線」等の用語は、「信号線」等の用語に変更することが可能な場合がある。また、その逆も同様で「信号線」等の用語は、「電源線」等の用語に変更することが可能な場合がある。また、配線に印加されている「電位」という用語を、場合によっては、または、状況に応じて、「信号」等という用語に変更することが可能な場合がある。また、その逆も同様で、「信号」等の用語は、「電位」という用語に変更することが可能な場合がある。
[0046]
各実施の形態に示す構成は、他の実施の形態に示す構成と適宜組み合わせて、本発明の一態様とすることができる。また、1つの実施の形態の中に、複数の構成例が示される場合は、互いに構成例を適宜組み合わせることが可能である。
[0047]
なお、ある一つの実施の形態の中で述べる内容(一部の内容でもよい)は、その実施の形態で述べる別の内容(一部の内容でもよい)と、一つ若しくは複数の別の実施の形態で述べる内容(一部の内容でもよい)との少なくとも一つの内容に対して、適用、組み合わせ、または置き換え等を行うことができる。
[0048]
なお、実施の形態の中で述べる内容とは、各々の実施の形態において、様々な図を用いて述べる内容、または明細書に記載される文章を用いて述べる内容のことである。
[0049]
なお、ある一つの実施の形態において述べる図(一部でもよい)は、その図の別の部分、その実施の形態において述べる別の図(一部でもよい)と、一つ若しくは複数の別の実施の形態において述べる図(一部でもよい)との少なくとも一つの図に対して、組み合わせることにより、さらに多くの図を構成させることができる。
[0050]
(実施の形態1)
本実施の形態では、本発明の一態様の画像処理方法の一例について説明する。
[0051]
<画像処理方法の一例>
本発明の一態様は、第1の画像データの解像度を高めて、つまり第1の画像データをアップコンバートして、高解像度の画像データを生成する画像処理方法に関する。当該画像処理は、解像度拡張回路を用いて行われ、解像度拡張回路が学習を行った後、第1の画像データをアップコンバートする。
[0052]
学習動作を行う場合は、まず、第1の画像データの解像度を低下させることにより、第2の画像データを生成する。次に、第2の画像データを解像度拡張回路に入力して、解像度を例えば第1の画像データと同程度まで高めた画像データを生成する。その後、第1の画像データと、解像度拡張回路が生成した画像データとを比較することにより、解像度拡張回路が生成した画像データの、第1の画像データに対する誤差を算出する。次に、当該誤差を基にして、解像度拡張回路のパラメータを修正する。以上が学習動作である。
[0053]
解像度を例えば第1の画像データと同程度まで高めた画像データの、解像度拡張回路による生成から、解像度拡張回路のパラメータの修正までの動作を規定の回数行った後、解像度拡張回路に第1の画像データを入力することにより第1の画像データをアップコンバートして、高解像度の画像データを生成する。アップコンバートの完了後、再び上記学習動作を行う。
[0054]
なお、解像度拡張回路は、例えばニューラルネットワークを有する構成とすることができる。この場合、解像度拡張回路のパラメータは、ニューラルネットワークの重み係数とすることができる。
[0055]
また、解像度を例えば第1の画像データと同程度まで高めた画像データの、解像度拡張回路による生成から、解像度拡張回路のパラメータの修正までの動作を、例えば解像度拡張回路が生成した画像データの、第1の画像データに対する誤差が一定値未満となるまで行ってもよい。
[0056]
上記画像処理方法では、アップコンバートされる画像データである、第1の画像データを学習データとして用いるので、大量の学習データを用意しなくても、解像度拡張回路が高解像度かつ高画質の画像を生成することができる。また、例えば過学習が発生しても、過学習が発生していない場合よりアップコンバート後の画像の画質が低下することを抑制することができる。さらに、解像度拡張回路を小規模とすることができる。
[0057]
図1(A)、(B)および図2を用いて、本発明の一態様の画像処理方法である、画像データの解像度を高める方法の一例を説明する。図1(A)、(B)は、4K(3840×2160)に対応する解像度の画像データIMGをアップコンバートして、8K(7680×4320)に対応する解像度の画像データUCIMGを生成する方法を示す図である。図2は、画像データの解像度を高める方法の一例を示すフローチャートである。
[0058]
本発明の一態様の画像処理方法では、まず、画像データIMGの解像度を低下させることにより、画像データDCIMGを生成する(ステップS01)。図1(A)では、画像データDCIMGの解像度を、1920×1080とする場合を示している。
[0059]
次に、変数iを用意し、変数iを1とする(ステップS02)。その後、画像データDCIMGを、入力された画像データに対してアップコンバートを行う機能を有する解像度拡張回路DEに入力する。これにより、解像度拡張回路DEが、画像データDCIMGの解像度を高めて、画像データOIMG[i]を生成する(ステップS03)。ここでは変数iは1であるので、解像度拡張回路DEが、画像データDCIMGの解像度を高めて、画像データOIMG[1]を生成する。ここで、解像度拡張回路DEは、入力された画像データに対して本来存在しないデータを補間することにより、アップコンバートを行うことができる。なお、画像データOIMG[i]の解像度は、画像データIMGの解像度と等しいことが好ましいが、等しくなくてもよい。例えば、画像データOIMG[i]の解像度が、画像データIMGの解像度未満であってもよい。図1(A)では、画像データOIMG[i]の解像度を、画像データIMGの解像度と同じく3840×2160とする場合を示している。
[0060]
解像度拡張回路DEは、例えばニューラルネットワークを有する回路とすることができる。当該ニューラルネットワークとして、例えば階層型のニューラルネットワークを適用することができる。
[0061]
図3は、階層型のニューラルネットワークの一例を示した図である。第(k−1)層(ここでのkは2以上の整数である。)は、ニューロンをP個(ここでのPは1以上の整数である。)有し、第k層は、ニューロンをQ個(ここでのQは1以上の整数である。)有し、第(k+1)層は、ニューロンをR個(ここでのRは1以上の整数である。)有する。
[0062]
第(k−1)層の第pニューロン(ここでのpは1以上P以下の整数である。)の出力信号z (k−1)と重み係数w qp (k)と、の積が第k層の第qニューロン(ここでのqは1以上Q以下の整数である。)に入力されるものとし、第k層の第qニューロンの出力信号z (k)と重み係数w rq (k+1)と、の積が第(k+1)層の第rニューロン(ここでのrは1以上R以下の整数である。)に入力されるものとし、第(k+1)層の第rニューロンの出力信号をz (k+1)とする。
[0063]
このとき、第k層の第qニューロンへ入力される信号の総和u (k)は、次の式で表される。
[0064]
[数1]


[0065]
また、第k層の第qニューロンからの出力信号z (k)を次の式で定義する。
[0066]
[数2]


[0067]
関数f(u (k))は、活性化関数であり、ステップ関数、線形ランプ関数、またはシグモイド関数等を用いることができる。なお、活性化関数は、全てのニューロンにおいて同一でもよいし、または異なっていてもよい。加えて、活性化関数は、層毎において、同一でもよいし、異なっていてもよい。
[0068]
ここで、図4に示す、全L層(ここでのLは3以上の整数とする。)からなる階層型のニューラルネットワークを考える。つまり、ここでのkは2以上(L−1)以下の整数とする。第1層は、階層型のニューラルネットワークの入力層となり、第L層は、階層型のニューラルネットワークの出力層となり、第2層乃至第(L−1)層は、階層型のニューラルネットワークの隠れ層となる。
[0069]
第1層(入力層)は、ニューロンをP個有し、第k層(隠れ層)は、ニューロンをQ[k]個(Q[k]は1以上の整数である。)有し、第L層(出力層)は、ニューロンをR個有する。
[0070]
ところで、第1層に入力データが入力されることにより、第1層は当該入力データをそのまま出力することができる。つまり、第1層はバッファ回路として機能してもよい。
[0071]
第1層の第s[1]ニューロン(s[1]は1以上P以下の整数である。)の出力信号をz s[1] (1)とし、第k層の第s[k]ニューロン(s[k]は1以上Q[k]以下の整数である。)の出力信号をz s[k] (k)とし、第L層の第s[L]ニューロン(s[L]は1以上R以下の整数である。)の出力信号をz s[L] (L)とする。
[0072]
また、第(k−1)層の第s[k−1]ニューロン(s[k−1]は1以上Q[k−1]以下の整数である。)の出力信号z s[k−1] (k−1)と重み係数w s[k]s[k−1] (k)と、の積u s[k] (k)が第k層の第s[k]ニューロンに入力されるものとし、第(L−1)層の第s[L−1]ニューロン(s[L−1]は1以上Q[L−1]以下の整数である。)の出力信号z s[L−1] (L−1)と重み係数w s[L]s[L−1] (L)と、の積u s[L] (L)が第L層の第s[L]ニューロンに入力されるものとする。
[0073]
次に学習について説明する。上述の階層型のニューラルネットワークの機能において、出力した結果と、所望の結果(学習データという場合がある。)と、が異なったときに、階層型のニューラルネットワークの全ての重み係数を、出力した結果と所望の結果とに基づいて更新する動作を学習という。ここで、学習データを、画像データIMGとすることができる。
[0074]
上記学習の具体例として、誤差逆伝播方式について説明する。図5は、誤差逆伝播方式による学習方法を説明する図である。誤差逆伝播方式は、階層型のニューラルネットワークの出力と学習データとの誤差が小さくなるように、重み係数を修正する方式である。
[0075]
例えば、第1層の第s[1]ニューロンに入力データを入力し、第L層の第s[L]ニューロンから出力データz s[L] (L)を出力したとする。ここで、出力データz s[L] (L)に対する学習データをt s[L] (L)としたとき、誤差エネルギーEは、出力データz s[L] (L)および学習データt s[L] (L)によって表すことができる。
[0076]
誤差エネルギーEに対して、第k層の第s[k]ニューロンの重み係数w s[k]s[k−1] (k)の更新量を∂E/∂w s[k]s[k−1] (k)とすることで、新たに重み係数を変更することができる。ここで、第k層の第s[k]ニューロンの出力値z s[k] (k)の誤差δ s[k] (k)を∂E/∂u s[k] (k)と定義すると、δ s[k] (k)および∂E/∂w s[k]s[k−1] (k)は、それぞれ次の式で表すことができる。なお、f’(u s[k] (k))は、活性化関数の導関数である。
[0077]
[数3]


[0078]
[数4]


[0079]
ここで、第(k+1)層が出力層のとき、すなわち、第(k+1)層が第L層であるとき、δ s[L] (L)および∂E/∂w s[L]s[L−1] (L)は、それぞれ次の式で表すことができる。
[0080]
[数5]


[0081]
[数6]


[0082]
つまり、式(1)乃至式(6)により、全てのニューロンの誤差δ s[k] (k)およびδ s[L] (L)を求めることができる。なお、重み係数の更新量は、誤差δ s[k] (k)、δ s[L] (L)および所望のパラメータ等に基づいて、設定される。
[0083]
図1(A)および図2に示すステップS03の終了後、画像データIMGと、解像度拡張回路DEが生成した画像データOIMG[i]とを比較することにより、画像データOIMG[i]の、画像データIMGに対する誤差を算出する(ステップS04)。ここでは変数iは1であるので、画像データIMGと、解像度拡張回路DEが生成した画像データOIMG[1]とを比較することにより、画像データOIMG[1]の、画像データIMGに対する誤差を算出する。算出した誤差が小さくなるように、解像度拡張回路DEのパラメータを修正する(ステップS05)。当該パラメータとして、例えば重み係数を用いることができる。例えば、解像度拡張回路DEがニューラルネットワークを有し、誤差逆伝播方式により学習を行う場合、解像度拡張回路DEから出力される画像データOIMG[i]と、学習データである画像データIMGとの誤差が小さくなるように、重み係数を修正する。
[0084]
次に、学習回数、つまりステップS03乃至ステップS05を行った回数が規定値に達したか否かを判定する(ステップS06)。規定値に達していない場合は、変数iを1増加させた後(ステップS07)、ステップS03に戻る。規定値に達した場合は、画像データIMGを解像度拡張回路DEに入力する。これにより、画像データIMGをアップコンバートした画像データUCIMGを生成する(ステップS08)。その後、ステップS01に戻る。以上が本発明の一態様の画像処理方法である。
[0085]
本発明の一態様の画像処理方法では、画像データIMGを学習データとして用いて、図1(A)、および図2のステップS01乃至ステップS07に示す手順で解像度拡張回路DEが学習を行う。学習完了後、つまり学習回数が規定値に達したら、図1(B)、および図2のステップS08に示す手順で、解像度拡張回路DEが画像データIMGをアップコンバートする。アップコンバートの完了後、再び図1(A)、および図2のステップS01乃至ステップS07に示す手順で解像度拡張回路DEが学習を行う。
[0086]
本発明の一態様の学習方法では、アップコンバートされる画像データである、画像データIMGを学習データとして用いるので、大量の学習データを用意しなくても、アップコンバート後の画像データである画像データUCIMGに対応する画像を高画質とすることができる。また、例えば過学習が発生しても、過学習が発生していない場合より画像データUCIMGに対応する画像の画質が低下することを抑制することができる。さらに、解像度拡張回路DEを小規模とすることができる。例えば、解像度拡張回路DEがニューラルネットワークを有する場合、ニューロンの数、および隠れ層の数を減らすことができる。
[0087]
なお、図1(A)では、画像データDCIMGの解像度を画像データIMGの解像度の1/4としているが、本発明の一態様の画像処理方法ではこれに限らない。例えば、画像データDCIMGの解像度を画像データIMGの解像度の1/16としてもよいし、1/64としてもよい。または、画像データDCIMGの解像度を画像データIMGの解像度の1/m (mは2以上の整数)としてもよい。
[0088]
また、図1(B)では、画像データUCIMGの解像度を画像データIMGの解像度の4倍としているが、本発明の一態様の画像処理方法ではこれに限らない。例えば、画像データUCIMGの解像度を画像データIMGの解像度の16倍としてもよいし、64倍としてもよい。または、画像データUCIMGの解像度を画像データIMGの解像度のn (nは2以上の整数)としてもよい。ここで、nの値がmの値と等しいと、画像データIMGを学習結果に基づいて正確にアップコンバートすることができるため、画像データUCIMGに対応する画像を高画質とすることができ好ましい。
[0089]
図2では、学習回数が規定値に達した後に、画像データIMGをアップコンバートして画像データUCIMGを生成する場合を示したが、本発明の一態様はこれに限らない。図6は、ステップS06において、学習回数が規定値に達したか否かを判定する代わりに、画像データOIMG[i]の、画像データIMGに対する誤差が一定値未満となったか否かを判定する場合を示している(ステップS06´)。誤差が一定値以上である場合は、ステップS07を行い、誤差が一定値未満である場合は、ステップS08を行う。図6に示す方法では、誤差が大きい状態で画像データIMGをアップコンバートすることを抑制することができる。
[0090]
ステップS06´において、誤差とは、例えば図5に示す第k層(ここでのkは2以上L−1以下の整数である。)に設けられたすべてのニューロンの誤差δ s[k] (k)の合計と、図5に示す第L層に設けられたすべてのニューロンの誤差δ s[L] (L)の合計と、の和とすることができる。または、誤差とは、図5に示す第L層に設けられたすべてのニューロンの誤差δ s[L] (L)の合計とすることができる。
[0091]
図7(A)は、解像度拡張回路DEの学習の方法について説明する図であり、図1(A)の変形例である。図7(B)は、画像データIMGのアップコンバートの方法について説明する図であり、図1(B)の変形例である。
[0092]
図1(A)、(B)では、1枚分の画像に対応する画像データIMGを学習データとして学習を行った後、1枚分の画像に対応する画像データIMGをアップコンバートして、1枚分の画像に対応する画像データUCIMGを生成する場合を示している。一方、図7(A)、(B)では、2枚分の画像に対応する画像データIMGを学習データとして学習を行った後、2枚分の画像に対応する画像データIMGをアップコンバートして、2枚分の画像に対応する画像データUCIMGを生成する場合を示している。なお、3枚分以上の画像に対応する画像データIMGを学習データとして学習を行った後、3枚分以上の画像に対応する画像データIMGをアップコンバートして、3枚分以上の画像に対応する画像データUCIMGを生成してもよい。
[0093]
本明細書等において、1枚分の画像、2枚分の画像等と言う場合において、「枚」という言葉は「フレーム」と言い換えることができる場合がある。また、「画像」という言葉は「静止画」と言い換えることができる場合がある。
[0094]
図7(A)、(B)に示す画像処理方法では、解像度拡張回路DEが学習を行う頻度を減らすことができる。これにより、特に動画をアップコンバートする場合等、大量の画像をアップコンバートする場合において、本発明の一態様の画像処理方法を高速で行うことができる。
[0095]
図8(A)は、解像度拡張回路DEの学習の方法について説明する図であり、図8(B)は、画像データIMGのアップコンバートの方法について説明する図である。図8(A)、(B)は、図1(A)、(B)の変形例である。
[0096]
図8(A)では、図1(A)と同様に、1枚分の画像に対応する画像データIMGを学習データとして学習を行う場合を示している。図8(B)では、学習データとして用いた画像データIMGの他、学習データとしていない画像データIMGaをアップコンバートする場合を示している。ここで、画像データIMGをアップコンバートして生成された画像データを画像データUCIMGとし、画像データIMGaをアップコンバートして生成された画像データを画像データUCIMGaとする。
[0097]
なお、図8(A)、(B)では、学習データとして用いる画像データIMG、および学習データとしていない画像データIMGaのいずれも1枚分の画像に対応する画像データとしているが、本発明の一態様の画像処理方法ではこれに限らない。学習データとして用いる画像データIMGを2枚分以上の画像に対応する画像データとしてもよいし、学習データとしていない画像データIMGaを2枚分以上の画像に対応する画像データとしてもよい。
[0098]
図8(A)、(B)に示す画像処理方法では、学習データの数を増やすことなく、解像度拡張回路DEが学習を行う頻度を減らすことができる。これにより、大量の画像をアップコンバートする場合において、本発明の一態様の画像処理方法を高速で行うことができる。
[0099]
ここで、画像データIMGと画像データIMGaは、できる限り差分が小さい、つまり似た画像データであることが好ましい。したがって、図8(A)、(B)に示す画像処理方法は、例えば動画をアップコンバートする際に適用することが好ましい。動画をアップコンバートする場合、画像データIMGaは、例えば画像データIMGの次のフレームの画像データとすることができる。
[0100]
また、画像データIMGaをアップコンバートした後、画像データIMGと、アップコンバートの対象となった画像データIMGaと、を比較して、両者の差分を検出してもよい。例えば、両者の差分が一定値未満である場合は、再度の学習を行わずに引き続きアップコンバートを行い、両者の差分が一定値以上である場合は、再度の学習を行うとすることができる。これにより、例えば動画をアップコンバートする場合、場面が大きく変わった場合にのみ再度の学習を行うとすることができる。したがって、アップコンバートされて生成された画像の劣化を抑制しつつ、本発明の一態様の画像処理方法を高速で行うことができる。
[0101]
図9(A)は、解像度拡張回路DEの学習の方法について説明する図であり、図1(A)の変形例である。図9(B)は、画像データIMGのアップコンバートの方法について説明する図であり、図1(B)の変形例である。
[0102]
図9(A)、(B)は、1枚分の画像を分割し、分割した画像に対応する画像データを画像データIMGとする場合を示している。つまり、分割した画像に対応する画像データを学習データとして解像度拡張回路DEが学習を行った後、当該分割した画像に対応する画像データをアップコンバートする。
[0103]
図9(A)、(B)に示す画像処理方法では、画像データIMG、およびアップコンバート後の画像データである画像データUCIMGの解像度を小さくすることができる。これにより、学習およびアップコンバートを行う際に要する計算量を少なくすることができる。これにより、本発明の一態様の画像処理方法を高速で行うことができる。
[0104]
なお、図9(A)、(B)に示す画像処理方法では、画像データIMGを2×2の画像データに分割しているが、本発明の一態様はこれに限らない。例えば、画像データIMGを3×3の画像データに分割してもよいし、4×4の画像データに分割してもよいし、10×10の画像データに分割してもよいし、10×10より多くの画像データに分割してもよい。また、水平方向の分割数と、垂直方向の分割数とが異なってもよい。例えば、画像データIMGを4×3の画像データ、つまり水平方向に4つの画像データ、かつ垂直方向に3つの画像データに分割してもよい。
[0105]
<送信装置および受信装置の構成例>
本発明の一態様の画像処理方法は、送信装置と、受信装置と、を有するシステムである、表示システムに適用することができる。図10は、当該表示システムが有する送信装置TDおよび受信装置DDの構成例を示すブロック図である。
[0106]
本明細書等において、送信装置または受信装置を、半導体装置と呼ぶ場合がある。
[0107]
送信装置TDは、記憶回路MEM1、画像処理回路IP1、解像度拡張回路DE、およびエンコーダENCを有する。受信装置DDは、デコーダDEC、記憶回路MEM2、画像処理回路IP2、ゲートドライバGD、ソースドライバSD、および表示パネルDPを有する。表示パネルDPには、画素PIXがマトリクス状に配列されている。画素PIXは、ソース線によりソースドライバSDと電気的に接続され、ゲート線によりゲートドライバGDと電気的に接続されている。
[0108]
つまり、図10に示す構成の表示システムは、図1(A)(B)等に示した解像度拡張回路DEを、送信装置TDに設けた構成である。
[0109]
記憶回路MEM1は、画像データを保持する機能を有する。例えば、画像データIMG、およびアップコンバート後の画像データである画像データUCIMGを保持する機能を有する。また、記憶回路MEM1は、保持した画像データを、画像処理回路IP1、又はエンコーダENC等に出力する機能を有する。
[0110]
記憶回路MEM1として、例えば書き換え可能な不揮発性の記憶素子が適用された記憶装置を用いることができる。例えば、フラッシュメモリや、ReRAM(Resistive Random Access Memory)、MRAM(Magnetoresistive Random Access Memory)、PRAM(Phase change RAM)、FeRAM(Ferroelectric RAM)、NOSRAM(登録商標)等を用いることができる。
[0111]
なお、NOSRAMとは「Nonvolatile Oxide Semiconductor RAM」の略称であり、ゲインセル型(2T型、3T型)のメモリセルを有するRAMを指す。NOSRAMは、オフ電流が低いという特徴を有するOSトランジスタを利用したメモリの一種である。NOSRAMは、フラッシュメモリと異なり、書き換え可能回数に制限が無く、データを書き込む際の消費電力が小さい。そのため、信頼性が高く消費電力の小さい不揮発性メモリを提供することができる。
[0112]
また、記憶回路MEM1として、ROM(Read Only Memory)を用いることができる。ROMとしては、マスクROMや、OTPROM(One Time Programmable Read Only Memory)、EPROM(Erasable Programmable Read Only Memory)等を用いることができる。EPROMとしては、紫外線照射により記憶データの消去を可能とするUV−EPROM(Ultra−Violet Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、フラッシュメモリ等が挙げられる。
[0113]
また、記憶回路MEM1として、取り外し可能な記憶装置を用いることができる。例えばストレージデバイスとして機能するハードディスクドライブ(Hard Disk Drive:HDD)やソリッドステートドライブ(Solid State Drive:SSD)等の記録メディアドライブ、フラッシュメモリ、ブルーレイディスク、DVD等を用いることができる。
[0114]
画像処理回路IP1は、画像データに対して、画像処理を行う機能を有する。例えば、放送局等から供給された画像データIMG、または記憶回路MEM1に保持された画像データIMGに対して、画像処理を行う機能を有する。また、画像処理回路IP1は、画像データUCIMG等、解像度拡張回路DEから出力された画像データに対して画像処理を行う機能を有する。
[0115]
画像処理としては、例えばノイズ除去処理を行うことができる。例えば、文字等の輪郭の周辺に生じるモスキートノイズ、高速の動画で生じるブロックノイズ、ちらつきを生じるランダムノイズ、解像度のアップコンバートにより生じるドットノイズ等のさまざまなノイズを除去することができる。
[0116]
また、画像処理回路IP1は、画像データの解像度を低下させる機能を有する。例えば、画像データIMGの解像度を低下させることにより、画像データDCIMGを生成することができる。つまり、図1(A)および図2等に示す、ステップS01を行うことができる。
[0117]
また、画像処理回路IP1は、画像データ同士を比較して、誤差を算出する機能を有する。例えば、画像データIMGと画像データOIMG[i]を比較して両者の誤差を算出する機能を有する。つまり、図1(A)および図2等に示す、ステップS04を行うことができる。
[0118]
さらに、画像処理回路IP1は、学習回数が規定値に達したか否かを判定する機能を有することができる。つまり、図2に示すステップS06を行うことができる。なお、学習回数が規定値に達したか否かの判定は、画像処理回路IP1にカウンタ回路を設け、当該カウント回路により行うことができる。
[0119]
また、画像処理回路IP1は、誤差が一定値未満となったか否かを判定する機能を有することができる。例えば、画像データOIMG[i]の、画像データIMGに対する誤差が一定値未満となったか否かを判定する機能を有することができる。つまり、図6に示すステップS06´を行うことができる。
[0120]
エンコーダENCは、画像データを符号化する機能を有する。例えば、画像データUCIMGを符号化する機能を有する。符号化のための処理には、離散コサイン変換(DCT:Discrete Cosine Transform)および離散サイン変換(DST:Discrete Sine Transform)等の直交変換、フレーム間予測処理、動き補償予測処理等がある。また、エンコーダENCは、符号化前の画像データに放送制御用データ(例えば認証用のデータ)を付加する処理、暗号化処理、スクランブル処理(スペクトラム拡散のためのデータ並び替え処理)等を行う機能を有してもよい。
[0121]
デコーダDECは、符号化された画像データを復号化する機能を有する。復号化のための処理には、符号化のための処理と同様に、DCTおよびDST等の直交変換、フレーム間予測処理、動き補償予測処理等がある。また、デコーダDECは、復号化後の画像データにフレーム分離、LDPC(Low Density Parity Check)符号の復号、放送制御用データの分離、デスクランブル処理等を行う機能を有してもよい。
[0122]
記憶回路MEM2は、画像データを保持する機能を有する。例えば、デコーダDECにより復号化された画像データを保持する機能を有する。また、記憶回路MEM2は、保持した画像データを、画像処理回路IP2等に出力する機能を有する。記憶回路MEM2として、記憶回路MEM1に用いることができる記憶装置と同様の記憶装置を用いることができる。
[0123]
画像処理回路IP2は、画像データに対して、画像処理を行う機能を有する。例えば、記憶回路MEM2に保持された画像データ、またはデコーダDECから出力された画像データに対して、画像処理を行う機能を有する。
[0124]
画像処理としては、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理等を行うことができる。色調補正処理や輝度補正処理としては、例えばガンマ補正等がある。ノイズ除去処理としては、前述の画像処理回路IP1が行うことができる処理と同様の処理を行うことができる。
[0125]
階調変換処理は、画像の階調を表示パネルDPの出力特性に対応した階調へ変換する処理である。例えば、画像処理回路IP2に入力された画像データが表現している階調数より多くの階調数を表現する画像データを生成することができる。この場合、画像処理回路IP2に入力された画像データに対して、各画素に対応する階調値を補間して割り当てることで、ヒストグラムを平滑化する処理を行うことができる。また、ダイナミックレンジを広げる、ハイダイナミックレンジ(HDR)処理も、階調変換処理に含まれる。
[0126]
また、色調補正処理は、画像の色調を補正する処理である。また輝度補正処理は、画像の明るさ(輝度コントラスト)を補正する処理である。例えば、受信装置DDが設けられる空間に配置された照明の種類や輝度、または色純度等を検知し、それに応じて表示パネルDPに表示する画像の輝度や色調が最適となるように補正する。または、表示する画像と、あらかじめ保存してある画像リスト内の様々な場面の画像と、を照合し、最も近い場面の画像に適した輝度や色調に表示する画像を補正する機能を有していてもよい。
[0127]
ゲートドライバGDは、画素PIXを選択する機能を有する。ソースドライバSDは、画像データを基にして、画素PIXを駆動する機能を有する。例えば、画像処理回路IP2が出力した画像データを基にして、画素PIXを駆動する機能を有する。ソースドライバSDが画素PIXを駆動することにより、画像データUCIMGに対応する画像が表示パネルDPに表示される。また、ソースドライバSDは、画像データに対してD/A変換を行う機能を有してもよい。
[0128]
図11は、送信装置TDおよび受信装置DDの構成例を示すブロック図であり、図10に示すブロック図の変形例である。送信装置TDは、記憶回路MEM1、画像処理回路IP3、およびエンコーダENCを有する。受信装置DDは、デコーダDEC、記憶回路MEM2、画像処理回路IP4、解像度拡張回路DE、画像処理回路IP5、ソースドライバSD、ゲートドライバGD、および表示パネルDPを有する。図10に示す構成の受信装置DDと同様に、表示パネルDPには、画素PIXがマトリクス状に配列されている。画素PIXは、ソース線によりソースドライバSDと電気的に接続されており、ゲート線によりゲートドライバGDと電気的に接続されている。
[0129]
つまり、図11に示す構成の表示システムは、図1(A)、(B)等に示した解像度拡張回路DEを受信装置DDに設けた点が、図10に示す表示システムの構成と異なる。
[0130]
図11に示す構成の表示システムでは、記憶回路MEM1は、画像データIMGを保持することができる。また、記憶回路MEM1は、保持した画像データを、画像処理回路IP3等に出力することができる。
[0131]
画像処理回路IP3は、図10に示す画像処理回路IP1と同様に、例えば放送局等から供給された画像データIMG、または記憶回路MEM1に保持された画像データIMGに対して、ノイズ除去処理等の画像処理を行う機能を有する。なお、送信装置TDは画像処理回路IP3を有していなくてもよい。
[0132]
また、エンコーダENCは、画像処理回路IP3から出力された画像データを符号化することができる。デコーダDECは、エンコーダENCにより符号化された画像データを復号化することができる。記憶回路MEM2は、デコーダDECにより復号化された画像データIMG、およびアップコンバート後の画像データである画像データUCIMGを保持することができる。また、記憶回路MEM2は、保持した画像データを画像処理回路IP4、又は画像処理回路IP5等に出力することができる。
[0133]
画像処理回路IP4は、画像処理回路IP1と同様に、画像データの解像度を低下させる機能、および画像データ同士を比較して誤差を算出する機能を有する。また、画像処理回路IP4は、画像処理回路IP1と同様に、学習回数が規定値に達したか否かを判定する機能、および/または誤差が一定値未満となったか否かを判定する機能を有してもよい。さらに、画像処理回路IP4は、図10に示す画像処理回路IP2が行うことができる画像処理と同様の画像処理を行う機能を有していてもよい。
[0134]
画像処理回路IP5は、画像データに対して、画像処理を行う機能を有する。例えば、記憶回路MEM2に保持された画像データUCIMGに対して、画像処理を行う機能を有する。画像処理としては、図10に示す画像処理回路IP2と同様に、例えばノイズ除去処理、階調変換処理、色調補正処理、輝度補正処理等を行うことができる。
[0135]
なお、図10および図11に示す表示システムには、レジスタ、キャッシュメモリ、およびメインメモリ等の記憶装置を設けてもよい。当該記憶装置は、DRAM(Dynamic RAM)またはSRAM(Static RAM)を有する構成とすることができる。当該記憶装置は、例えば送信装置TDが有する各種回路、および受信装置DDが有する各種回路に設けることができる。また、当該記憶装置は、送信装置TDおよび受信装置DDが有する各種回路とは別の回路として、送信装置TDおよび受信装置DDに設けることができる。
[0136]
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
[0137]
(実施の形態2)
本実施の形態では、ニューラルネットワークに用いることが可能な半導体装置の構成例について説明する。
[0138]
<半導体装置の構成例>
図12に、ニューラルネットワークの演算を行う機能を有する半導体装置MACの構成例を示す。解像度拡張回路DEは、半導体装置MACを有する構成とすることができる。半導体装置MACは、ニューロンの重み係数に対応する第1のデータと、入力データに対応する第2のデータの積和演算を行う機能を有する。なお、第1のデータおよび第2のデータはそれぞれ、アナログデータまたは多値のデータ(離散的なデータ)とすることができる。また、半導体装置MACは、積和演算によって得られたデータを活性化関数によって変換する機能を有する。
[0139]
半導体装置MACは、セルアレイCA、電流源回路CS、カレントミラー回路CM、回路WDD、回路WLD、回路CLD、オフセット回路OFST、および活性化関数回路ACTVを有する。
[0140]
セルアレイCAは、複数のメモリセルMCおよび複数のメモリセルMCrefを有する。図12には、セルアレイCAがm行n列(m,nは1以上の整数)のメモリセルMC(MC[1,1]乃至MC[m,n])と、m個のメモリセルMCref(MCref[1]乃至MCref[m])を有する構成例を示している。メモリセルMCは、第1のデータを格納する機能を有する。また、メモリセルMCrefは、積和演算に用いられる参照データを格納する機能を有する。なお、参照データはアナログデータまたは多値のデジタルデータとすることができる。
[0141]
メモリセルMC[i,j](iは1以上m以下の整数、jは1以上n以下の整数)は、配線WL[i]、配線RW[i]、配線WD[j]、および配線BL[j]と接続されている。また、メモリセルMCref[i]は、配線WL[i]、配線RW[i]、配線WDref、配線BLrefと接続されている。ここで、メモリセルMC[i,j]と配線BL[j]間を流れる電流をI MC[i,j]と表記し、メモリセルMCref[i]と配線BLref間を流れる電流をI MCref[i]と表記する。
[0142]
メモリセルMCおよびメモリセルMCrefの具体的な構成例を、図13に示す。図13には代表例としてメモリセルMC[1,1]、MC[2,1]およびメモリセルMCref[1]、MCref[2]を示しているが、他のメモリセルMCおよびメモリセルMCrefにも同様の構成を用いることができる。メモリセルMCおよびメモリセルMCrefはそれぞれ、トランジスタTr11、Tr12、容量素子C11を有する。ここでは、トランジスタTr11およびトランジスタTr12がnチャネル型のトランジスタである場合について説明する。
[0143]
メモリセルMCにおいて、トランジスタTr11のゲートは配線WLと接続され、トランジスタTr11のソースまたはドレインの一方はトランジスタTr12のゲート、および容量素子C11の第1の電極と接続され、トランジスタTr11のソースまたはドレインの他方は配線WDと接続されている。トランジスタTr12のソースまたはドレインの一方は配線BLと接続され、トランジスタTr12のソースまたはドレインの他方は配線VRと接続されている。容量素子C11の第2の電極は、配線RWと接続されている。配線VRは、所定の電位を供給する機能を有する配線である。ここでは一例として、配線VRから低電源電位(接地電位等)が供給される場合について説明する。
[0144]
トランジスタTr11のソースまたはドレインの一方、トランジスタTr12のゲート、および容量素子C11の第1の電極と接続されたノードを、ノードNMとする。また、メモリセルMC[1,1]、MC[2,1]のノードNMを、それぞれノードNM[1,1]、NM[2,1]と表記する。
[0145]
メモリセルMCrefも、メモリセルMCと同様の構成を有する。ただし、メモリセルMCrefは配線WDの代わりに配線WDrefと接続され、配線BLの代わりに配線BLrefと接続されている。また、メモリセルMCref[1]、MCref[2]において、トランジスタTr11のソースまたはドレインの一方、トランジスタTr12のゲート、および容量素子C11の第1の電極と接続されたノードを、それぞれノードNMref[1]、NMref[2]と表記する。
[0146]
ノードNMとノードNMrefはそれぞれ、メモリセルMCとメモリセルMCrefの保持ノードとして機能する。ノードNMには第1のデータが保持され、ノードNMrefには参照データが保持される。また、配線BL[1]からメモリセルMC[1,1]、MC[2,1]のトランジスタTr12には、それぞれ電流I MC[1,1]、I MC[2,1]が流れる。また、配線BLrefからメモリセルMCref[1]、MCref[2]のトランジスタTr12には、それぞれ電流I MCref[1]、I MCref[2]が流れる。
[0147]
トランジスタTr11は、ノードNMまたはノードNMrefの電位を保持する機能を有するため、トランジスタTr11のオフ電流は小さいことが好ましい。そのため、トランジスタTr11としてオフ電流が極めて小さいOSトランジスタを用いることが好ましい。これにより、ノードNMまたはノードNMrefの電位の変動を抑えることができ、演算精度の向上を図ることができる。また、ノードNMまたはノードNMrefの電位をリフレッシュする動作の頻度を低く抑えることが可能となり、消費電力を削減することができる。
[0148]
トランジスタTr12は特に限定されず、例えばチャネル形成領域にシリコンを有するトランジスタ(以下、Siトランジスタという)またはOSトランジスタ等を用いることができる。トランジスタTr12にOSトランジスタを用いる場合、トランジスタTr11と同じ製造装置を用いて、トランジスタTr12を作製することが可能となり、製造コストを抑制することができる。なお、トランジスタTr12はnチャネル型であってもpチャネル型であってもよい。
[0149]
電流源回路CSは、配線BL[1]乃至BL[n]および配線BLrefと接続されている。電流源回路CSは、配線BL[1]乃至BL[n]および配線BLrefに電流を供給する機能を有する。なお、配線BL[1]乃至BL[n]に供給される電流値と配線BLrefに供給される電流値は異なっていてもよい。ここでは、電流源回路CSから配線BL[1]乃至BL[n]に供給される電流をI 、電流源回路CSから配線BLrefに供給される電流をI Crefと表記する。
[0150]
カレントミラー回路CMは、配線IL[1]乃至IL[n]および配線ILrefを有する。配線IL[1]乃至IL[n]はそれぞれ配線BL[1]乃至BL[n]と接続され、配線ILrefは、配線BLrefと接続されている。ここでは、配線IL[1]乃至IL[n]と配線BL[1]乃至BL[n]の接続箇所をノードNP[1]乃至NP[n]と表記する。また、配線ILrefと配線BLrefの接続箇所をノードNPrefと表記する。
[0151]
カレントミラー回路CMは、ノードNPrefの電位に応じた電流I CMを配線ILrefに流す機能と、この電流I CMを配線IL[1]乃至IL[n]にも流す機能を有する。図12には、配線BLrefから配線ILrefに電流I CMが排出され、配線BL[1]乃至BL[n]から配線IL[1]乃至IL[n]に電流I CMが排出される例を示している。また、カレントミラー回路CMから配線BL[1]乃至BL[n]を介してセルアレイCAに流れる電流を、I [1]乃至I [n]と表記する。また、カレントミラー回路CMから配線BLrefを介してセルアレイCAに流れる電流を、I Brefと表記する。
[0152]
回路WDDは、配線WD[1]乃至WD[n]および配線WDrefと接続されている。回路WDDは、メモリセルMCに格納される第1のデータに対応する電位を、配線WD[1]乃至WD[n]に供給する機能を有する。また、回路WDDは、メモリセルMCrefに格納される参照データに対応する電位を、配線WDrefに供給する機能を有する。回路WLDは、配線WL[1]乃至WL[m]と接続されている。回路WLDは、データの書き込みを行うメモリセルMCまたはメモリセルMCrefを選択するための信号を、配線WL[1]乃至WL[m]に供給する機能を有する。回路CLDは、配線RW[1]乃至RW[m]と接続されている。回路CLDは、第2のデータに対応する電位を、配線RW[1]乃至RW[m]に供給する機能を有する。
[0153]
オフセット回路OFSTは、配線BL[1]乃至BL[n]および配線OL[1]乃至OL[n]と接続されている。オフセット回路OFSTは、配線BL[1]乃至BL[n]からオフセット回路OFSTに流れる電流量、および/または、配線BL[1]乃至BL[n]からオフセット回路OFSTに流れる電流の変化量を検出する機能を有する。また、オフセット回路OFSTは、検出結果を配線OL[1]乃至OL[n]に出力する機能を有する。なお、オフセット回路OFSTは、検出結果に対応する電流を配線OLに出力してもよいし、検出結果に対応する電流を電圧に変換して配線OLに出力してもよい。セルアレイCAとオフセット回路OFSTの間を流れる電流を、I α[1]乃至I α[n]と表記する。
[0154]
オフセット回路OFSTの構成例を図14に示す。図14に示すオフセット回路OFSTは、回路OC[1]乃至OC[n]を有する。また、回路OC[1]乃至OC[n]はそれぞれ、トランジスタTr21、トランジスタTr22、トランジスタTr23、容量素子C21、および抵抗素子R1を有する。各素子の接続関係は図14に示す通りである。なお、容量素子C21の第1の電極および抵抗素子R1の第1の端子と接続されたノードを、ノードNaとする。また、容量素子C21の第2の電極、トランジスタTr21のソースまたはドレインの一方、およびトランジスタTr22のゲートと接続されたノードを、ノードNbとする。
[0155]
配線VrefLは電位Vrefを供給する機能を有し、配線VaLは電位Vaを供給する機能を有し、配線VbLは電位Vbを供給する機能を有する。また、配線VDDLは電位VDDを供給する機能を有し、配線VSSLは電位VSSを供給する機能を有する。ここでは、電位VDDが高電源電位であり、電位VSSが低電源電位である場合について説明する。また、配線RSTは、トランジスタTr21の導通状態を制御するための電位を供給する機能を有する。トランジスタTr22、トランジスタTr23、配線VDDL、配線VSSL、および配線VbLによって、ソースフォロワ回路が構成される。
[0156]
次に、回路OC[1]乃至OC[n]の動作例を説明する。なお、ここでは代表例として回路OC[1]の動作例を説明するが、回路OC[2]乃至OC[n]も同様に動作させることができる。まず、配線BL[1]に第1の電流が流れると、ノードNaの電位は、第1の電流と抵抗素子R1の抵抗値に応じた電位となる。また、このときトランジスタTr21はオン状態であり、ノードNbに電位Vaが供給される。その後、トランジスタTr21はオフ状態となる。
[0157]
次に、配線BL[1]に第2の電流が流れると、ノードNaの電位は、第2の電流と抵抗素子R1の抵抗値に応じた電位に変化する。このときトランジスタTr21はオフ状態であり、ノードNbはフローティング状態となっているため、ノードNaの電位の変化に伴い、ノードNbの電位は容量結合により変化する。ここで、ノードNaの電位の変化量をΔV Naとし、容量結合係数を1とすると、ノードNbの電位はVa+ΔV Naとなる。そして、トランジスタTr22のしきい値電圧をV thとすると、配線OL[1]から電位Va+ΔV Na−V thが出力される。ここで、Va=V thとすることにより、配線OL[1]から電位ΔV Naを出力することができる。
[0158]
電位ΔV Naは、第1の電流から第2の電流への変化量、抵抗素子R1の抵抗値、および電位Vrefに応じて定まる。ここで、抵抗素子R1の抵抗値と電位Vrefは既知であるため、電位ΔV Naから配線BLに流れる電流の変化量を求めることができる。
[0159]
上記のようにオフセット回路OFSTによって検出された電流量、および/または電流の変化量に対応する信号は、配線OL[1]乃至OL[n]を介して活性化関数回路ACTVに入力される。
[0160]
活性化関数回路ACTVは、配線OL[1]乃至OL[n]、および、配線NIL[1]乃至NIL[n]と接続されている。活性化関数回路ACTVは、オフセット回路OFSTから入力された信号を、あらかじめ定義された活性化関数に従って変換するための演算を行う機能を有する。活性化関数としては、例えば、シグモイド関数、tanh関数、softmax関数、ReLU関数、しきい値関数等を用いることができる。活性化関数回路ACTVによって変換された信号は、出力データとして配線NIL[1]乃至NIL[n]に出力される。
[0161]
<半導体装置の動作例>
上記の半導体装置MACを用いて、第1のデータと第2のデータの積和演算を行うことができる。以下、積和演算を行う際の半導体装置MACの動作例を説明する。
[0162]
図15に半導体装置MACの動作例のタイミングチャートを示す。図15には、図13における配線WL[1]、配線WL[2]、配線WD[1]、配線WDref、ノードNM[1,1]、ノードNM[2,1]、ノードNMref[1]、ノードNMref[2]、配線RW[1]、および配線RW[2]の電位の推移と、電流I [1]−I α[1]、および電流I Brefの値の推移を示している。電流I [1]−I α[1]は、配線BL[1]からメモリセルMC[1,1]、MC[2,1]に流れる電流の総和に相当する。
[0163]
なお、ここでは代表例として図13に示すメモリセルMC[1,1]、MC[2,1]およびメモリセルMCref[1]、MCref[2]に着目して動作を説明するが、他のメモリセルMCおよびメモリセルMCrefも同様に動作させることができる。
[0164]
[第1のデータの格納]
まず、時刻T01−T02の期間において、配線WL[1]の電位がハイレベルとなり、配線WD[1]の電位が接地電位(GND)よりもV PR−V W[1,1]大きい電位となり、配線WDrefの電位が接地電位よりもV PR大きい電位となる。また、配線RW[1]、および配線RW[2]の電位が基準電位(REFP)となる。なお、電位V W[1,1]はメモリセルMC[1,1]に格納される第1のデータに対応する電位である。また、電位V PRは参照データに対応する電位である。これにより、メモリセルMC[1,1]およびメモリセルMCref[1]が有するトランジスタTr11がオン状態となり、ノードNM[1,1]の電位がV PR−V W[1,1]、ノードNMref[1]の電位がV PRとなる。
[0165]
このとき、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流I MC[1,1],0は、次の式で表すことができる。ここで、kはトランジスタTr12のチャネル長、チャネル幅、移動度、およびゲート絶縁膜の容量等で決まる定数である。また、V thはトランジスタTr12のしきい値電圧である。
[0166]
[数7]


[0167]
また、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流I MCref[1],0は、次の式で表すことができる。
[0168]
[数8]


[0169]
次に、時刻T02−T03の期間において、配線WL[1]の電位がローレベルとなる。これにより、メモリセルMC[1,1]およびメモリセルMCref[1]が有するトランジスタTr11がオフ状態となり、ノードNM[1,1]およびノードNMref[1]の電位が保持される。
[0170]
なお、前述の通り、トランジスタTr11としてOSトランジスタを用いることが好ましい。これにより、トランジスタTr11のリーク電流を抑えることができ、ノードNM[1,1]およびノードNMref[1]の電位を正確に保持することができる。
[0171]
次に、時刻T03−T04の期間において、配線WL[2]の電位がハイレベルとなり、配線WD[1]の電位が接地電位よりもV PR−V W[2,1]大きい電位となり、配線WDrefの電位が接地電位よりもV PR大きい電位となる。なお、電位V W[2,1]はメモリセルMC[2,1]に格納される第1のデータに対応する電位である。これにより、メモリセルMC[2,1]およびメモリセルMCref[2]が有するトランジスタTr11がオン状態となり、ノードNM[2,1]の電位がV PR−V W[2,1]、ノードNMref[2]の電位がV PRとなる。
[0172]
このとき、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流I MC[2,1],0は、次の式で表すことができる。
[0173]
[数9]


[0174]
また、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流I MCref[2],0は、次の式で表すことができる。
[0175]
[数10]


[0176]
次に、時刻T04−T05の期間において、配線WL[2]の電位がローレベルとなる。これにより、メモリセルMC[2,1]およびメモリセルMCref[2]が有するトランジスタTr11がオフ状態となり、ノードNM[2,1]およびノードNMref[2]の電位が保持される。
[0177]
以上の動作により、メモリセルMC[1,1]、MC[2,1]に第1のデータが格納され、メモリセルMCref[1]、MCref[2]に参照データが格納される。
[0178]
ここで、時刻T04−T05の期間において、配線BL[1]および配線BLrefに流れる電流を考える。配線BLrefには、電流源回路CSから電流が供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。電流源回路CSから配線BLrefに供給される電流をI Cref、配線BLrefからカレントミラー回路CMによって配線ILrefへ排出される電流をI CM,0とすると、次の式が成り立つ。
[0179]
[数11]


[0180]
配線BL[1]には、電流源回路CSからの電流が供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。また、配線BL[1]からオフセット回路OFSTに電流が流れる。電流源回路CSから配線BL[1]に供給される電流をI C,0、配線BL[1]からオフセット回路OFSTに流れる電流をI α,0とすると、次の式が成り立つ。
[0181]
[数12]


[0182]
[第1のデータと第2のデータの積和演算]
次に、時刻T05−T06の期間において、配線RW[1]の電位が基準電位よりもV X[1]大きい電位となる。このとき、メモリセルMC[1,1]、およびメモリセルMCref[1]のそれぞれの容量素子C11には電位V X[1]が供給され、容量結合によりトランジスタTr12のゲートの電位が上昇する。なお、電位V X[1]はメモリセルMC[1,1]およびメモリセルMCref[1]に供給される第2のデータに対応する電位である。
[0183]
トランジスタTr12のゲートの電位の変化量は、配線RWの電位の変化量に、メモリセルの構成によって決まる容量結合係数を乗じた値となる。容量結合係数は、容量素子C11の容量、トランジスタTr12のゲート容量、および寄生容量等によって算出される。以下では便宜上、配線RWの電位の変化量とトランジスタTr12のゲートの電位の変化量が同じ、すなわち容量結合係数が1であるとして説明する。実際には、容量結合係数を考慮して電位V を決定すればよい。
[0184]
メモリセルMC[1,1]およびメモリセルMCref[1]の容量素子C11に電位V X[1]が供給されると、ノードNM[1,1]およびノードNMref[1]の電位がそれぞれV X[1]上昇する。
[0185]
ここで、時刻T05−T06の期間において、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流I MC[1,1],1は、次の式で表すことができる。
[0186]
[数13]


[0187]
すなわち、配線RW[1]に電位V X[1]を供給することにより、配線BL[1]からメモリセルMC[1,1]のトランジスタTr12に流れる電流は、ΔI MC[1,1]=I MC[1,1],1−I MC[1,1],0増加する。
[0188]
また、時刻T05−T06の期間において、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流I MCref[1],1は、次の式で表すことができる。
[0189]
[数14]


[0190]
すなわち、配線RW[1]に電位V X[1]を供給することにより、配線BLrefからメモリセルMCref[1]のトランジスタTr12に流れる電流は、ΔI MCref[1]=I MCref[1],1−I MCref[1],0増加する。
[0191]
また、配線BL[1]および配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流I Crefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をI CM,1とすると、次の式が成り立つ。
[0192]
[数15]


[0193]
配線BL[1]には、電流源回路CSから電流I が供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をI α,1とすると、次の式が成り立つ。
[0194]
[数16]


[0195]
そして、式(7)乃至式(16)から、電流I α,0と電流I α,1の差(差分電流ΔI α)は次の式で表すことができる。
[0196]
[数17]


[0197]
このように、差分電流ΔI αは、電位V W[1,1]とV X[1]の積に応じた値となる。
[0198]
その後、時刻T06−T07の期間において、配線RW[1]の電位は基準電位となり、ノードNM[1,1]およびノードNMref[1]の電位は時刻T04−T05の期間における電位と同様になる。
[0199]
次に、時刻T07−T08の期間において、配線RW[1]の電位が基準電位よりもV X[1]大きい電位となり、配線RW[2]の電位が基準電位よりもV X[2]大きい電位となる。これにより、メモリセルMC[1,1]、およびメモリセルMCref[1]のそれぞれの容量素子C11に電位V X[1]が供給され、容量結合によりノードNM[1,1]およびノードNMref[1]の電位がそれぞれV X[1]上昇する。また、メモリセルMC[2,1]、およびメモリセルMCref[2]のそれぞれの容量素子C11に電位V X[2]が供給され、容量結合によりノードNM[2,1]およびノードNMref[2]の電位がそれぞれV X[2]上昇する。
[0200]
ここで、時刻T07−T08の期間において、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流I MC[2,1],1は、次の式で表すことができる。
[0201]
[数18]


[0202]
すなわち、配線RW[2]に電位V X[2]を供給することにより、配線BL[1]からメモリセルMC[2,1]のトランジスタTr12に流れる電流は、ΔI MC[2,1]=I MC[2,1],1−I MC[2,1],0増加する。
[0203]
また、時刻T07−T08の期間において、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流I MCref[2],1は、次の式で表すことができる。
[0204]
[数19]


[0205]
すなわち、配線RW[2]に電位V X[2]を供給することにより、配線BLrefからメモリセルMCref[2]のトランジスタTr12に流れる電流は、ΔI MCref[2]=I MCref[2],1−I MCref[2],0増加する。
[0206]
また、配線BL[1]および配線BLrefに流れる電流について考える。配線BLrefには、電流源回路CSから電流I Crefが供給される。また、配線BLrefを流れる電流は、カレントミラー回路CM、メモリセルMCref[1]、MCref[2]へ排出される。配線BLrefからカレントミラー回路CMへ排出される電流をI CM,2とすると、次の式が成り立つ。
[0207]
[数20]


[0208]
配線BL[1]には、電流源回路CSから電流I が供給される。また、配線BL[1]を流れる電流は、カレントミラー回路CM、メモリセルMC[1,1]、MC[2,1]へ排出される。さらに、配線BL[1]からオフセット回路OFSTにも電流が流れる。配線BL[1]からオフセット回路OFSTに流れる電流をI α,2とすると、次の式が成り立つ。
[0209]
[数21]


[0210]
そして、式(7)乃至式(14)、および、式(18)乃至式(21)から、電流I α,0と電流I α,2の差(差分電流ΔI α)は次の式で表すことができる。
[0211]
[数22]


[0212]
このように、差分電流ΔI αは、電位V W[1,1]と電位V X[1]の積と、電位V W[2,1]と電位V X[2]の積と、を足し合わせた結果に応じた値となる。
[0213]
その後、時刻T08−T09の期間において、配線RW[1]、RW[2]の電位は基準電位となり、ノードNM[1,1]、NM[2,1]およびノードNMref[1]、NMref[2]の電位は時刻T04−T05の期間における電位と同様になる。
[0214]
式(17)および式(22)に示されるように、オフセット回路OFSTに入力される差分電流ΔI αは、第1のデータ(重み)に対応する電位V と、第2のデータ(入力データ)に対応する電位V の積の項を有する式から算出することができる。すなわち、差分電流ΔI αをオフセット回路OFSTで計測することにより、第1のデータと第2のデータの積和演算の結果を得ることができる。
[0215]
なお、上記では特にメモリセルMC[1,1]、MC[2,1]およびメモリセルMCref[1]、MCref[2]に着目したが、メモリセルMCおよびメモリセルMCrefの数は任意に設定することができる。メモリセルMCおよびメモリセルMCrefの行数mを任意の数iとした場合の差分電流ΔI αは、次の式で表すことができる。
[0216]
[数23]


[0217]
また、メモリセルMCおよびメモリセルMCrefの列数nを増やすことにより、並列して実行される積和演算の数を増やすことができる。
[0218]
以上のように、半導体装置MACを用いることにより、第1のデータと第2のデータの積和演算を行うことができる。なお、メモリセルMCおよびメモリセルMCrefとして図13に示す構成を用いることにより、少ないトランジスタ数で積和演算回路を構成することができる。そのため、半導体装置MACの回路規模の縮小を図ることができる。
[0219]
半導体装置MACをニューラルネットワークにおける演算に用いる場合、メモリセルMCの行数mは一のニューロンに供給される入力データの数に対応させ、メモリセルMCの列数nはニューロンの数に対応させることができる。
[0220]
なお、半導体装置MACを適用するニューラルネットワークの構造は特に限定されない。例えば半導体装置MACは、畳み込みニューラルネットワーク(CNN)、再帰型ニューラルネットワーク(RNN)、オートエンコーダ、ボルツマンマシン(制限ボルツマンマシンを含む)等に用いることもできる。
[0221]
以上のように、半導体装置MACを用いることにより、ニューラルネットワークの積和演算を行うことができる。さらに、セルアレイCAに図13に示すメモリセルMCおよびメモリセルMCrefを用いることにより、演算精度の向上、消費電力の削減、または回路規模の縮小を図ることが可能な集積回路を提供することができる。
[0222]
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
[0223]
(実施の形態3)
本実施の形態では、本発明の一態様の画像処理方法により動作する半導体装置に用いることができる表示パネルについて説明する。
[0224]
<画素の構成例>
まず、図16(A)乃至(E)を用いて、画素PIXの構成例を説明する。
[0225]
画素PIXは、複数の画素115を有する。複数の画素115は、それぞれ、副画素として機能する。それぞれ異なる色を呈する複数の画素115によって1つの画素PIXが構成されることで、表示部では、フルカラーの表示を行うことができる。
[0226]
図16(A)、(B)に示す画素PIXは、それぞれ、3つの副画素を有する。図16(A)に示す画素PIXが有する画素115の組み合わせは、赤(R)、緑(G)、および青(B)である。図16(B)に示す画素PIXが有する画素115の組み合わせは、シアン(C)、マゼンタ(M)、黄色(Y)である。
[0227]
図16(C)乃至(E)に示す画素PIXは、それぞれ、4つの副画素を有する。図16(C)に示す画素PIXが有する画素115の組み合わせは、赤(R)、緑(G)、青(B)、白(W)である。白色を呈する副画素を用いることで、表示部の輝度を高めることができる。図16(D)に示す画素PIXが有する画素115の組み合わせは、赤(R)、緑(G)、青(B)、黄(Y)である。図16(E)に示す画素PIXが有する画素115の組み合わせは、シアン(C)、マゼンタ(M)、黄色(Y)、白(W)である。
[0228]
1つの画素として機能させる副画素の数を増やし、赤、緑、青、シアン、マゼンタ、および黄等の色を呈する副画素を適宜組み合わせることにより、中間調の再現性を高めることができる。よって、表示品位を高めることができる。
[0229]
また、本発明の一態様の表示装置は、さまざまな規格の色域を再現することができる。例えば、テレビ放送で使われるPAL(Phase Alternating Line)規格およびNTSC(National Television System Committee)規格、パーソナルコンピュータ、デジタルカメラ、プリンタ等の電子機器に用いる表示装置で広く使われているsRGB(standard RGB)規格およびAdobe RGB規格、HDTV(High Definition Television、ハイビジョンともいう)で使われるITU−R BT.709(International Telecommunication Union Radiocommunication Sector Broadcasting Service(Television) 709)規格、デジタルシネマ映写で使われるDCI−P3(Digital Cinema Initiatives P3)規格、UHDTV(Ultra High Definition Television、スーパーハイビジョンともいう)で使われるITU−R BT.2020(REC.2020(Recommendation 2020))規格等の色域を再現することができる。
[0230]
また、画素PIXを1920×1080のマトリクス状に配置すると、2Kの解像度でフルカラー表示可能な表示装置を実現することができる。また、例えば、画素PIXを3840×2160のマトリクス状に配置すると、4Kの解像度でフルカラー表示可能な表示装置を実現することができる。また、例えば、画素PIXを7680×4320のマトリクス状に配置すると、8Kの解像度でフルカラー表示可能な表示装置を実現することができる。画素PIXを増やすことで、16Kや32Kの解像度でフルカラー表示可能な表示装置を実現することも可能である。
[0231]
<画素回路の構成例>
本発明の一態様の表示装置が有する表示素子としては、無機EL素子、有機EL素子、LED等の発光素子、液晶素子、電気泳動素子、MEMS(マイクロ・エレクトロ・メカニカル・システム)を用いた表示素子等が挙げられる。
[0232]
以下では、図17(A)を用いて、発光素子を有する画素回路の構成例を説明する。また、図17(B)を用いて、液晶素子を有する画素回路の構成例を説明する。
[0233]
図17(A)に示す画素回路438は、トランジスタ446と、容量素子433と、トランジスタ251と、トランジスタ444と、を有する。また、画素回路438は、表示素子442として機能する発光素子170と電気的に接続されている。
[0234]
トランジスタ446のソース電極およびドレイン電極の一方は、画像信号が与えられる信号線SL_jに電気的に接続される。さらに、トランジスタ446のゲート電極は、選択信号が与えられる走査線GL_iに電気的に接続される。
[0235]
トランジスタ446は、画像信号のノード445への書き込みを制御する機能を有する。
[0236]
容量素子433の一対の電極の一方は、ノード445に電気的に接続され、他方は、ノード447に電気的に接続される。また、トランジスタ446のソース電極およびドレイン電極の他方は、ノード445に電気的に接続される。
[0237]
容量素子433は、ノード445に書き込まれたデータを保持する保持容量としての機能を有する。
[0238]
トランジスタ251のソース電極およびドレイン電極の一方は、電位供給線VL_aに電気的に接続され、他方はノード447に電気的に接続される。さらに、トランジスタ251のゲート電極は、ノード445に電気的に接続される。
[0239]
トランジスタ444のソース電極およびドレイン電極の一方は、電位供給線V0に電気的に接続され、他方はノード447に電気的に接続される。さらに、トランジスタ444のゲート電極は、走査線GL_iに電気的に接続される。
[0240]
発光素子170のアノードまたはカソードの一方は、電位供給線VL_bに電気的に接続され、他方は、ノード447に電気的に接続される。
[0241]
なお、電源電位としては、例えば相対的に高電位側の電位または低電位側の電位を用いることができる。高電位側の電源電位を高電源電位(「VDD」ともいう)といい、低電位側の電源電位を低電源電位(「VSS」ともいう)という。また、接地電位を高電源電位または低電源電位として用いることもできる。例えば高電源電位が接地電位の場合には、低電源電位は接地電位より低い電位であり、低電源電位が接地電位の場合には、高電源電位は接地電位より高い電位である。
[0242]
例えば、電位供給線VL_aおよび電位供給線VL_bの一方には高電源電位VDDが与えられ、他方には低電源電位VSSが与えられる。
[0243]
図17(A)の画素回路438を有する表示装置では、走査線駆動回路によって各行の画素回路438を順次選択し、トランジスタ446およびトランジスタ444をオン状態にして画像信号をノード445に書き込む。
[0244]
ノード445にデータが書き込まれた画素回路438は、トランジスタ446およびトランジスタ444がオフ状態になることで保持状態になる。さらに、ノード445に書き込まれたデータの電位に応じてトランジスタ251のソース電極とドレイン電極の間に流れる電流量が制御され、発光素子170は、流れる電流量に応じた輝度で発光する。これを行毎に順次行うことにより、画像を表示できる。
[0245]
図17(B)に示す画素回路438は、トランジスタ446と、容量素子433と、を有する。また、画素回路438は、表示素子442として機能する液晶素子180と電気的に接続されている。
[0246]
液晶素子180の一対の電極の一方の電位は、画素回路438の仕様に応じて適宜設定される。液晶素子180は、ノード445に書き込まれるデータにより配向状態が設定される。なお、複数の画素回路438のそれぞれが有する液晶素子180の一対の電極の一方に、共通の電位(コモン電位)を与えてもよい。また、画素回路438に接続される液晶素子180の一対の電極の一方に与えられる電位は、行毎に異なっていてもよい。。
[0247]
i行j列目の画素回路438において、トランジスタ446のソース電極およびドレイン電極の一方は、信号線SL_jに電気的に接続され、他方はノード445に電気的に接続される。トランジスタ446のゲート電極は、走査線GL_iに電気的に接続される。トランジスタ446は、ノード445への画像信号の書き込みを制御する機能を有する。
[0248]
容量素子433の一対の電極の一方は、特定の電位が供給される配線(以下、容量線CL)に電気的に接続され、他方は、ノード445に電気的に接続される。また、液晶素子180の一対の電極の他方はノード445に電気的に接続される。なお、容量線CLの電位の値は、画素回路438の仕様に応じて適宜設定される。容量素子433は、ノード445に書き込まれたデータを保持する保持容量としての機能を有する。
[0249]
図17(B)の画素回路438を有する表示装置では、走査線駆動回路によって各行の画素回路438を順次選択し、トランジスタ446をオン状態にしてノード445に画像信号を書き込む。
[0250]
ノード445に画像信号が書き込まれた画素回路438は、トランジスタ446がオフ状態になることで保持状態になる。これを行毎に順次行うことにより、表示領域235に画像を表示できる。
[0251]
<表示装置の構成例>
次に、図18乃至図21を用いて、表示装置の構成例について説明する。
[0252]
図18に、カラーフィルタ方式が適用されたトップエミッション構造の発光表示装置の断面図を示す。
[0253]
図18に示す表示装置は、表示部562および走査線駆動回路564を有する。
[0254]
表示部562において、基板111上には、トランジスタ251a、トランジスタ446a、および発光素子170等が設けられている。走査線駆動回路564において、基板111上には、トランジスタ201a等が設けられている。
[0255]
トランジスタ251aは、第1のゲート電極として機能する導電層221と、第1のゲート絶縁層として機能する絶縁層211と、半導体層231と、ソース電極およびドレイン電極として機能する導電層222aおよび導電層222bと、第2のゲート電極として機能する導電層223と、第2のゲート絶縁層として機能する絶縁層225と、を有する。半導体層231は、チャネル形成領域と低抵抗領域とを有する。チャネル形成領域は、絶縁層225を介して導電層223と重なる。低抵抗領域は、導電層222aと接続される部分、および、導電層222bと接続される部分を有する。
[0256]
トランジスタ251aは、チャネルの上下にゲートを有する。2つのゲートは、電気的に接続されていることが好ましい。2つのゲートが電気的に接続されている構成のトランジスタは、他のトランジスタと比較して電界効果移動度を高めることが可能であり、オン電流を増大させることができる。その結果、高速動作が可能な回路を作製することができる。さらには回路部の占有面積を縮小することが可能となる。オン電流の大きなトランジスタを適用することで、表示装置を大型化、または高精細化して配線数が増大したとしても、各配線における信号遅延を低減することが可能であり、表示ムラを抑制することが可能である。また、回路部の占有面積を縮小できるため、表示装置の狭額縁化が可能である。また、このような構成を適用することで、信頼性の高いトランジスタを実現することができる。
[0257]
導電層223上には絶縁層212および絶縁層213が設けられており、その上に、導電層222aおよび導電層222bが設けられている。トランジスタ251aの構造は、導電層221と導電層222aまたは導電層222bとの物理的な距離を離すことが容易なため、これらの間の寄生容量を低減することが可能である。
[0258]
表示装置が有するトランジスタの構造は特に限定されない。例えば、プレーナ型のトランジスタとしてもよいし、スタガ型のトランジスタとしてもよいし、逆スタガ型のトランジスタとしてもよい。また、トップゲート構造またはボトムゲート構造のいずれのトランジスタ構造としてもよい。または、チャネルの上下にゲート電極が設けられていてもよい。
[0259]
トランジスタ251aは、半導体層231に、金属酸化物を有する。金属酸化物は、酸化物半導体として機能することができる。
[0260]
トランジスタ446aおよびトランジスタ201aは、トランジスタ251aと同様の構成を有する。本発明の一態様において、これらのトランジスタの構成が異なっていてもよい。走査線駆動回路564が有するトランジスタと表示部562が有するトランジスタは、同じ構造であってもよく、異なる構造であってもよい。走査線駆動回路564が有するトランジスタは、全て同じ構造であってもよく、2種類以上の構造が組み合わせて用いられていてもよい。同様に、表示部562が有するトランジスタは、全て同じ構造であってもよく、2種類以上の構造が組み合わせて用いられていてもよい。
[0261]
トランジスタ446aは、絶縁層215を介して、発光素子170と重なる。トランジスタ、容量素子、および配線等を、発光素子170の発光領域と重ねて配置することで、表示部562の開口率を高めることができる。
[0262]
発光素子170は、画素電極171、EL層172、および共通電極173を有する。発光素子170は、着色層131側に光を射出する。
[0263]
画素電極171および共通電極173のうち、一方は、陽極として機能し、他方は、陰極として機能する。画素電極171および共通電極173の間に、発光素子170の閾値電圧より高い電圧を印加すると、EL層172に陽極側から正孔が注入され、陰極側から電子が注入される。注入された電子と正孔はEL層172において再結合し、EL層172に含まれる発光物質が発光する。
[0264]
画素電極171は、トランジスタ251aが有する導電層222bと電気的に接続される。これらは、直接接続されてもよいし、他の導電層を介して接続されてもよい。画素電極171は、画素電極として機能し、発光素子170ごとに設けられている。隣り合う2つの画素電極171は、絶縁層216によって電気的に絶縁されている。
[0265]
EL層172は、発光性の物質を含む層である。
[0266]
共通電極173は、共通電極として機能し、複数の発光素子170にわたって設けられている。共通電極173には、定電位が供給される。
[0267]
発光素子170は、接着層174を介して着色層131と重なる。絶縁層216は、接着層174を介して遮光層132と重なる。
[0268]
発光素子170には、マイクロキャビティ構造を採用してもよい。カラーフィルタ(着色層131)とマイクロキャビティ構造との組み合わせにより、表示装置からは、色純度の高い光を取り出すことができる。
[0269]
着色層131は特定の波長域の光を透過する有色層である。例えば、赤色、緑色、青色、または黄色の波長域の光を透過するカラーフィルタ等を用いることができる。着色層131に用いることのできる材料としては、金属材料、樹脂材料、顔料または染料が含まれた樹脂材料等が挙げられる。
[0270]
なお、本発明の一態様は、カラーフィルタ方式に限られず、塗り分け方式、色変換方式、または量子ドット方式等を適用してもよい。
[0271]
遮光層132は、隣接する着色層131の間に設けられている。遮光層132は隣接する発光素子170からの光を遮光し、隣接する発光素子170間における混色を抑制する。ここで、着色層131の端部を、遮光層132と重なるように設けることにより、光漏れを抑制することができる。遮光層132としては、発光素子170からの発光を遮る材料を用いることができ、例えば、金属材料、または、顔料もしくは染料を含む樹脂材料等を用いてブラックマトリクスを形成することができる。なお、遮光層132は、走査線駆動回路564等の表示部562以外の領域に設けると、導波光等による意図しない光漏れを抑制できるため好ましい。
[0272]
基板111と基板113は、接着層174によって貼り合わされている。
[0273]
導電層565は、導電層255および接続体242を介して、FPC162と電気的に接続される。導電層565は、トランジスタが有する導電層と同一の材料および同一の工程で形成されることが好ましい。本実施の形態では、導電層565が、ソースおよびドレインとして機能する導電層と同一の材料および同一の工程で形成される例を示す。
[0274]
接続体242としては、様々な異方性導電フィルム(ACF:Anisotropic Conductive Film)および異方性導電ペースト(ACP:Anisotropic Conductive Paste)等を用いることができる。
[0275]
図19に、塗り分け方式が適用されたボトムエミッション構造の発光表示装置の断面図を示す。
[0276]
図19に示す表示装置は、表示部562および走査線駆動回路564を有する。
[0277]
表示部562において、基板111上には、トランジスタ251b、および発光素子170等が設けられている。走査線駆動回路564において、基板111上には、トランジスタ201b等が設けられている。
[0278]
トランジスタ251bは、ゲート電極として機能する導電層221と、ゲート絶縁層として機能する絶縁層211と、半導体層231と、ソース電極およびドレイン電極として機能する導電層222aおよび導電層222bと、を有する。絶縁層216は、下地膜として機能する。
[0279]
トランジスタ251bは、半導体層231に、低温ポリシリコン(LTPS(Low Temperature Poly−Silicon))を有する。
[0280]
発光素子170は、画素電極171、EL層172、および共通電極173を有する。発光素子170は、基板111側に光を射出する。画素電極171は、絶縁層215に設けられた開口を介して、トランジスタ251bが有する導電層222bと電気的に接続される。EL層172は、発光素子170ごとに分離して設けられている。共通電極173は、複数の発光素子170にわたって設けられている。
[0281]
発光素子170は、絶縁層175によって封止されている。絶縁層175は、発光素子170に水等の不純物が拡散することを抑制する保護層として機能する。
[0282]
基板111と基板113は、接着層174によって貼り合わされている。
[0283]
導電層565は、導電層255および接続体242を介して、FPC162と電気的に接続される。
[0284]
図20に、横電界方式が適用された透過型液晶表示装置の断面図を示す。
[0285]
図20に示す表示装置は、表示部562および走査線駆動回路564を有する。
[0286]
表示部562において、基板111上には、トランジスタ446c、および液晶素子180等が設けられている。走査線駆動回路564において、基板111上には、トランジスタ201c等が設けられている。
[0287]
トランジスタ446cは、ゲート電極として機能する導電層221と、ゲート絶縁層として機能する絶縁層211と、半導体層231と、不純物半導体層232と、ソース電極およびドレイン電極として機能する導電層222aおよび導電層222bと、を有する。トランジスタ446cは、絶縁層212に覆われている。
[0288]
トランジスタ446cは、半導体層231に、アモルファスシリコンを有する。
[0289]
液晶素子180は、FFS(Fringe Field Switching)モードが適用された液晶素子である。液晶素子180は、画素電極181、共通電極182、および液晶層183を有する。画素電極181と共通電極182との間に生じる電界により、液晶層183の配向を制御することができる。液晶層183は、配向膜133aと配向膜133bの間に位置する。画素電極181は、絶縁層215に設けられた開口を介して、トランジスタ446cが有する導電層222bと電気的に接続される。共通電極182は、櫛歯状の上面形状(平面形状ともいう)、またはスリットが設けられた上面形状を有していてもよい。共通電極182には、1つまたは複数の開口を設けることができる。
[0290]
画素電極181と共通電極182の間には、絶縁層220が設けられている。画素電極181は、絶縁層220を介して共通電極182と重なる部分を有する。また、画素電極181と着色層131とが重なる領域において、画素電極181上に共通電極182が配置されていない部分を有する。
[0291]
液晶層183と接する配向膜を設けることが好ましい。配向膜は、液晶層183の配向を制御することができる。
[0292]
バックライトユニット552からの光は、基板111、画素電極181、共通電極182、液晶層183、着色層131、および基板113を介して、表示装置の外部に射出される。バックライトユニット552の光が透過するこれらの層の材料には、可視光を透過する材料を用いる。
[0293]
着色層131および遮光層132と、液晶層183と、の間には、オーバーコート121を設けることが好ましい。オーバーコート121は、着色層131および遮光層132等に含まれる不純物が液晶層183に拡散することを抑制できる。
[0294]
基板111と基板113は、接着層141によって貼り合わされている。基板111、基板113、接着層141に囲まれた領域に、液晶層183が封止されている。
[0295]
表示装置の表示部562を挟むように、偏光板125aおよび偏光板125bが配置されている。偏光板125aよりも外側に配置されたバックライトユニット552からの光は偏光板125aを介して表示装置に入射する。このとき、画素電極181と共通電極182の間に与える電圧によって液晶層183の配向を制御し、光の光学変調を制御することができる。すなわち、偏光板125bを介して射出される光の強度を制御することができる。また、入射光は着色層131によって特定の波長領域以外の光が吸収されるため、射出される光は例えば赤色、青色、または緑色を呈する光となる。
[0296]
導電層565は、導電層255および接続体242を介して、FPC162と電気的に接続される。
[0297]
図21に、縦電界方式が適用された透過型液晶表示装置の断面図を示す。
[0298]
図21に示す表示装置は、表示部562および走査線駆動回路564を有する。
[0299]
表示部562において、基板111上には、トランジスタ446d、および液晶素子180等が設けられている。走査線駆動回路564において、基板111上には、トランジスタ201d等が設けられている。図21に示す表示装置では、着色層131が基板111側に設けられている。これにより、基板113側の構成を簡略化できる。
[0300]
トランジスタ446dは、ゲート電極として機能する導電層221と、ゲート絶縁層として機能する絶縁層211と、半導体層231と、ソース電極およびドレイン電極として機能する導電層222aおよび導電層222bと、を有する。トランジスタ446dは、絶縁層217および絶縁層218に覆われている。
[0301]
トランジスタ446dは、半導体層231に、金属酸化物を有する。
[0302]
液晶素子180は、画素電極181、共通電極182、および液晶層183を有する。液晶層183は、画素電極181と共通電極182との間に位置する。配向膜133aは画素電極181に接して設けられている。配向膜133bは共通電極182に接して設けられている。画素電極181は、絶縁層215に設けられた開口を介して、トランジスタ446dが有する導電層222bと電気的に接続される。
[0303]
バックライトユニット552からの光は、基板111、着色層131、画素電極181、液晶層183、共通電極182、および基板113を介して、表示装置の外部に射出される。バックライトユニット552の光が透過するこれらの層の材料には、可視光を透過する材料を用いる。
[0304]
遮光層132と、共通電極182と、の間には、オーバーコート121が設けられている。
[0305]
基板111と基板113は、接着層141によって貼り合わされている。基板111、基板113、接着層141に囲まれた領域に、液晶層183が封止されている。
[0306]
表示装置の表示部562を挟むように、偏光板125aおよび偏光板125bが配置されている。
[0307]
導電層565は、導電層255および接続体242を介して、FPC162と電気的に接続される。
[0308]
<トランジスタの構成例>
次に、図22乃至図24を用いて、図18乃至図21に示した構成とは異なるトランジスタの構成例について説明する。
[0309]
図22(A)乃至(C)および図23(A)乃至(D)に、半導体層432に金属酸化物を有するトランジスタを示す。半導体層432に金属酸化物を用いることにより、画像に変化がない期間、または変化が一定以下である期間において、画像信号の更新の頻度を極めて低く設定することができ、消費電力の削減を図ることができる。
[0310]
各トランジスタは、絶縁表面411上に設けられている。各トランジスタは、ゲート電極として機能する導電層431と、ゲート絶縁層として機能する絶縁層434と、半導体層432と、ソース電極およびドレイン電極として機能する一対の導電層433aおよび導電層433bと、を有する。半導体層432の、導電層431と重畳する部分は、チャネル形成領域として機能する。半導体層432と導電層433aまたは導電層433bとは接して設けられる。
[0311]
図22(A)に示すトランジスタは、半導体層432のチャネル形成領域上に、絶縁層484を有する。絶縁層484は、導電層433aおよび導電層433bのエッチングの際のエッチングストッパーとして機能する。
[0312]
図22(B)に示すトランジスタは、絶縁層484が、半導体層432を覆って絶縁層434上に延在している構成を有する。この場合、導電層433aおよび導電層433bは、絶縁層484に設けられた開口を介して、半導体層432と接続される。
[0313]
図22(C)に示すトランジスタは、絶縁層485および導電層486を有する。絶縁層485は、半導体層432、導電層433a、導電層433bを覆って設けられている。また、導電層486は絶縁層485上に設けられ、半導体層432と重なる領域を有する。
[0314]
導電層486は、半導体層432を挟んで導電層431とは反対側に位置している。導電層431を第1のゲート電極とした場合、導電層486は、第2のゲート電極として機能することができる。導電層431と導電層486に同じ電位を与えることで、トランジスタのオン電流を高めることができる。また、導電層431と導電層486の一方にしきい値電圧を制御するための電位を与え、他方に駆動のための電位を与えることで、トランジスタのしきい値電圧を制御することができる。
[0315]
図23(A)はトランジスタ200aのチャネル長方向の断面図であり、図23(B)はトランジスタ200aのチャネル幅方向の断面図である。
[0316]
トランジスタ200aは、図21に示すトランジスタ201dの変形例である。
[0317]
トランジスタ200aは、トランジスタ201dと比較して、半導体層432が異なる。
[0318]
トランジスタ200aにおいて、半導体層432は、絶縁層434上の半導体層432_1と、半導体層432_1上の半導体層432_2と、を有する。
[0319]
半導体層432_1および半導体層432_2は同じ元素を有することが好ましい。半導体層432_1および半導体層432_2はそれぞれInと、M(MはGa、Al、Y、またはSn)と、Znと、を有すると好ましい。
[0320]
半導体層432_1および半導体層432_2は、それぞれ、Inの原子数比がMの原子数比より多い領域を有すると好ましい。一例としては、半導体層432_1および半導体層432_2のIn、M、およびZnの原子数の比を、In:M:Zn=4:2:3またはその近傍とすると好ましい。ここで、近傍とは、Inが4の場合、Mが1.5以上2.5以下であり、かつZnが2以上4以下を含む。または、半導体層432_1および半導体層432_2のIn、M、およびZnの原子数の比を、In:M:Zn=5:1:6またはその近傍とすると好ましい。このように、半導体層432_1および半導体層432_2を概略同じ組成とすることで、同じスパッタリングターゲットを用いて形成できるため、製造コストを抑制することが可能である。また、同じスパッタリングターゲットを用いる場合、同一チャンバーにて真空中で連続して半導体層432_1および半導体層432_2を成膜することができるため、半導体層432_1と半導体層432_2との界面に不純物が取り込まれるのを抑制することができる。
[0321]
半導体層432_1は、半導体層432_2よりも結晶性が低い領域を有していてもよい。なお、半導体層432_1および半導体層432_2の結晶性は、例えば、X線回折(XRD:X−Ray Diffraction)を用いて分析する、あるいは、透過型電子顕微鏡(TEM:Transmission Electron Microscope)を用いて分析することで解析できる。
[0322]
半導体層432_1の結晶性が低い領域が過剰酸素の拡散経路となり、半導体層432_1よりも結晶性の高い半導体層432_2にも過剰酸素を拡散させることができる。このように、結晶構造が異なる半導体層の積層構造とし、結晶性の低い領域を過剰酸素の拡散経路とすることで、信頼性の高いトランジスタを提供することができる。
[0323]
また、半導体層432_2が、半導体層432_1より結晶性が高い領域を有することにより、半導体層432に混入しうる不純物を抑制することができる。特に、半導体層432_2の結晶性を高めることで、導電層433aおよび導電層433bを形成する際のダメージを抑制することができる。半導体層432の表面、すなわち半導体層432_2の表面は、導電層433aおよび導電層433bをエッチングにより形成する際に、エッチャントまたはエッチングガスに曝される。しかしながら、半導体層432_2は、結晶性が高い領域を有する場合、結晶性が低い半導体層432_1と比較してエッチング耐性に優れる。したがって、半導体層432_2は、エッチングストッパーとしての機能を有する。
[0324]
半導体層432_1は、半導体層432_2よりも結晶性が低い領域を有することで、キャリア密度が高くなる場合がある。
[0325]
半導体層432_1のキャリア密度が高くなると、半導体層432_1の伝導帯に対してフェルミ準位が相対的に高くなる場合がある。これにより、半導体層432_1の伝導帯の下端が低くなり、半導体層432_1の伝導帯下端と、ゲート絶縁層(ここでは、絶縁層434)中に形成されうるトラップ準位とのエネルギー差が大きくなる場合がある。該エネルギー差が大きくなることにより、ゲート絶縁層中にトラップされる電荷が少なくなり、トランジスタのしきい値電圧の変動を小さくできる場合がある。また、半導体層432_1のキャリア密度が高くなると、半導体層432の電界効果移動度を高めることができる。
[0326]
なお、トランジスタ200aにおいては、半導体層432を2層の積層構造にする例を示したが、これに限定されず、3層以上積層する構成にしてもよい。
[0327]
また、導電層433aおよび導電層433b上に設けられた絶縁層436の構成について説明する。
[0328]
トランジスタ200aにおいて、絶縁層436は、絶縁層436aと、絶縁層436a上の絶縁層436bとを有する。絶縁層436aは、半導体層432に酸素を供給する機能と、不純物(代表的には、水、水素等)の入り込みを抑制する機能と、を有する。絶縁層436aとしては、酸化アルミニウム膜、酸化窒化アルミニウム膜、または窒化酸化アルミニウム膜を用いることができる。特に、絶縁層436aは、反応性スパッタリング法によって形成される酸化アルミニウム膜であることが好ましい。なお、反応性スパッタリング法で酸化アルミニウム膜を形成する方法の一例としては、以下に示す方法が挙げられる。
[0329]
まず、スパッタリングチャンバー内に、不活性ガス(代表的にはArガス)と、酸素ガスと、を混合したガスを導入する。続けて、スパッタリングチャンバーに配置されたアルミニウムターゲットに電圧を印加することで、酸化アルミニウム膜を成膜することができる。なお、アルミニウムターゲットに電圧を印加する電源としては、DC電源、AC電源、またはRF電源が挙げられる。特に、DC電源を用いると生産性が向上するため好ましい。
[0330]
絶縁層436bは、不純物(代表的には水、水素等)の入り込みを抑制する機能を有する。絶縁層436bとしては、窒化シリコン膜、窒化酸化シリコン膜、酸化窒化シリコン膜を用いることができる。特に、絶縁層436bとしては、PECVD法によって形成される窒化シリコン膜が好ましい。PECVD法によって形成される窒化シリコン膜は、高い膜密度を得られやすいため好ましい。なお、PECVD法によって形成される窒化シリコン膜は、膜中の水素濃度が高い場合がある。
[0331]
トランジスタ200aにおいては、絶縁層436bの下層には絶縁層436aが配置されているため、絶縁層436bに含まれる水素は、半導体層432側に拡散しない、または拡散し難い。
[0332]
なお、トランジスタ200aは、シングルゲートのトランジスタである。シングルゲートのトランジスタとすることで、マスク枚数を低減できるため、生産性を高めることができる。
[0333]
図23(C)はトランジスタ200bのチャネル長方向の断面図であり、図23(D)はトランジスタ200bのチャネル幅方向の断面図である。
[0334]
トランジスタ200bは、図22(B)に示すトランジスタの変形例である。
[0335]
トランジスタ200bは、図22(B)に示すトランジスタと比較し、半導体層432および絶縁層484の構成が異なる。具体的には、トランジスタ200bは、半導体層432が2層構造であり、絶縁層484の代わりに絶縁層484aを有する。さらに、トランジスタ200bは、絶縁層436bおよび導電層486を有する。
[0336]
絶縁層484aは、上記絶縁層436aと同様の機能を有する。
[0337]
開口部453では、絶縁層434、絶縁層484a、および絶縁層436bに開口が設けられている。導電層486は、開口部453を介して、導電層431と電気的に接続される。
[0338]
トランジスタ200aおよびトランジスタ200bを図23に示す構造とすることで、大きな設備投資を行わずに、既存の生産ラインを用いて製造することができる。例えば、水素化アモルファスシリコンの製造工場を、酸化物半導体の製造工場に簡易的に置き換えることが可能となる。
[0339]
図24(A)乃至(F)に、半導体層にシリコンを有するトランジスタを示す。
[0340]
各トランジスタは、絶縁表面411上に設けられている。各トランジスタは、ゲート電極として機能する導電層431と、ゲート絶縁層として機能する絶縁層434と、半導体層432および半導体層432pの一方または双方と、ソース電極およびドレイン電極として機能する一対の導電層433aおよび導電層433bと、不純物半導体層435と、を有する。半導体層の、導電層431と重畳する部分は、チャネル形成領域として機能する。半導体層と導電層433aまたは導電層433bとは接して設けられる。
[0341]
図24(A)に示すトランジスタは、ボトムゲート・チャネルエッチ構造のトランジスタである。半導体層432と導電層433aおよび導電層433bとの間に、不純物半導体層435を有する。
[0342]
図24(A)に示すトランジスタは、半導体層432と不純物半導体層435の間に、半導体層437を有する。
[0343]
半導体層437は、半導体層432と同様の半導体膜により形成されていてもよい。半導体層437は、不純物半導体層435のエッチングの際に、半導体層432がエッチングにより消失することを防ぐためのエッチングストッパーとして機能させることができる。なお、図24(A)において、半導体層437が左右に分離している例を示しているが、半導体層437の一部が半導体層432のチャネル形成領域を覆っていてもよい。
[0344]
また、半導体層437は、不純物半導体層435よりも低濃度の不純物が含まれていてもよい。これにより、半導体層437をLDD(Lightly Doped Drain)領域として機能させることができ、トランジスタを駆動させたときのホットキャリア劣化を抑制することができる。
[0345]
図24(B)に示すトランジスタは、半導体層432のチャネル形成領域上に、絶縁層484が設けられている。絶縁層484は、不純物半導体層435のエッチングの際のエッチングストッパーとして機能する。
[0346]
図24(C)に示すトランジスタは、半導体層432に代えて、半導体層432pを有する。半導体層432pは、結晶性の高い半導体膜を含む。例えば半導体層432pは、多結晶半導体または単結晶半導体を含む。これにより、電界効果移動度の高いトランジスタとすることができる。
[0347]
図24(D)に示すトランジスタは、半導体層432のチャネル形成領域に半導体層432pを有する。例えば図24(D)に示すトランジスタは、半導体層432となる半導体膜に対してレーザ光等を照射し、当該半導体膜を局所的に結晶化することにより形成することができる。これにより、電界効果移動度の高いトランジスタを実現できる。
[0348]
図24(E)に示すトランジスタは、図24(A)で示したトランジスタの半導体層432のチャネル形成領域に、結晶性の半導体層432pを有する。
[0349]
図24(F)に示すトランジスタは、図24(B)で示したトランジスタの半導体層432のチャネル形成領域に、結晶性の半導体層432pを有する。
[0350]
[半導体層について]
本発明の一態様で開示されるトランジスタに用いる半導体材料の結晶性は特に限定されず、非晶質半導体、結晶性を有する半導体(微結晶半導体、多結晶半導体、単結晶半導体、または一部に結晶領域を有する半導体)のいずれを用いてもよい。結晶性を有する半導体を用いると、トランジスタ特性の劣化を抑制できるため好ましい。
[0351]
トランジスタに用いる半導体材料としては、エネルギーギャップが2eV以上、好ましくは2.5eV以上、より好ましくは3eV以上である金属酸化物を用いることができる。代表的には、インジウムを含む金属酸化物等であり、例えば、後述するCAC−OS等を用いることができる。
[0352]
シリコンよりもバンドギャップが広く、且つキャリア密度の小さい金属酸化物を用いたトランジスタは、その低いオフ電流により、トランジスタと直列に接続された容量素子に蓄積した電荷を長期間に亘って保持することが可能である。
[0353]
半導体層は、例えばインジウム、亜鉛、およびM(アルミニウム、チタン、ガリウム、ゲルマニウム、イットリウム、ジルコニウム、ランタン、セリウム、スズ、ネオジムまたはハフニウム等の金属)を含むIn−M−Zn系酸化物で表記される膜とすることができる。
[0354]
半導体層を構成する金属酸化物がIn−M−Zn系酸化物の場合、In−M−Zn酸化物を成膜するために用いるスパッタリングターゲットの金属元素の原子数比は、In≧M、Zn≧Mを満たすことが好ましい。このようなスパッタリングターゲットの金属元素の原子数比として、In:M:Zn=1:1:1、In:M:Zn=1:1:1.2、In:M:Zn=3:1:2、In:M:Zn=4:2:3、In:M:Zn=4:2:4.1、In:M:Zn=5:1:6、In:M:Zn=5:1:7、In:M:Zn=5:1:8等が好ましい。なお、成膜される半導体層の金属元素の原子数比はそれぞれ、上記のスパッタリングターゲットに含まれる金属元素の原子数比のプラスマイナス40%の変動を含む。
[0355]
また、トランジスタに用いる半導体材料としては、例えばシリコンを用いることができる。シリコンとして、特にアモルファスシリコンを用いることが好ましい。アモルファスシリコンを用いることで、大型の基板上に歩留り良くトランジスタを形成でき、量産性を高めることができる。
[0356]
また、微結晶シリコン、多結晶シリコン、単結晶シリコン等の結晶性を有するシリコンを用いることもできる。特に、多結晶シリコンは、単結晶シリコンに比べて低温で形成でき、且つアモルファスシリコンに比べて高い電界効果移動度と高い信頼性を備える。
[0357]
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
[0358]
(実施の形態4)
<CAC−OSの構成>
以下では、本発明の一態様で開示されるトランジスタに用いることができるCAC(Cloud−Aligned Composite)−OSの構成について説明する。
[0359]
CAC−OSとは、例えば、酸化物半導体を構成する元素が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで偏在した材料の一構成である。なお、以下では、酸化物半導体において、一つあるいはそれ以上の金属元素が偏在し、該金属元素を有する領域が、0.5nm以上10nm以下、好ましくは、1nm以上2nm以下、またはその近傍のサイズで混合した状態をモザイク状、またはパッチ状ともいう。
[0360]
なお、酸化物半導体は、少なくともインジウムを含むことが好ましい。特にインジウムおよび亜鉛を含むことが好ましい。また、それらに加えて、アルミニウム、ガリウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種の元素が含まれていてもよい。
[0361]
例えば、In−Ga−Zn酸化物におけるCAC−OS(CAC−OSの中でもIn−Ga−Zn酸化物を、特にCAC−IGZOと呼称してもよい。)とは、インジウム酸化物(以下、InO X1(X1は0よりも大きい実数)とする。)、またはインジウム亜鉛酸化物(以下、In X2Zn Y2Z2(X2、Y2、およびZ2は0よりも大きい実数)とする。)などと、ガリウム酸化物(以下、GaO X3(X3は0よりも大きい実数)とする。)、またはガリウム亜鉛酸化物(以下、Ga X4Zn Y4Z4(X4、Y4、およびZ4は0よりも大きい実数)とする。)などと、に材料が分離することでモザイク状となり、モザイク状のInO X1、またはIn X2Zn Y2Z2が、膜中に均一に分布した構成(以下、クラウド状ともいう。)である。
[0362]
つまり、CAC−OSは、GaO X3が主成分である領域と、In X2Zn Y2Z2、またはInO X1が主成分である領域とが、混合している構成を有する複合酸化物半導体である。なお、本明細書において、例えば、第1の領域の元素Mに対するInの原子数比が、第2の領域の元素Mに対するInの原子数比よりも大きいことを、第1の領域は、第2の領域と比較して、Inの濃度が高いとする。
[0363]
なお、IGZOは通称であり、In、Ga、Zn、およびOによる1つの化合物をいう場合がある。代表例として、InGaO (ZnO) m1(m1は自然数)で表される結晶性の化合物、またはIn (1+x0)Ga (1−x0)(ZnO) m0(−1≦x0≦1、m0は任意数)で表される結晶性の化合物が挙げられる。
[0364]
上記結晶性の化合物は、単結晶構造、多結晶構造、またはCAAC(C Axis Aligned Crystalline)構造を有する。なお、CAAC構造とは、複数のIGZOのナノ結晶がc軸配向を有し、かつa−b面においては配向せずに連結した結晶構造である。
[0365]
一方、CAC−OSは、酸化物半導体の材料構成に関する。CAC−OSとは、In、Ga、Zn、およびOを含む材料構成において、一部にGaを主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。従って、CAC−OSにおいて、結晶構造は副次的な要素である。
[0366]
なお、CAC−OSは、組成の異なる二種類以上の膜の積層構造は含まないものとする。例えば、Inを主成分とする膜と、Gaを主成分とする膜との2層からなる構造は、含まない。
[0367]
なお、GaO X3が主成分である領域と、In X2Zn Y2Z2、またはInO X1が主成分である領域とは、明確な境界が観察できない場合がある。
[0368]
なお、ガリウムの代わりに、アルミニウム、イットリウム、銅、バナジウム、ベリリウム、ホウ素、シリコン、チタン、鉄、ニッケル、ゲルマニウム、ジルコニウム、モリブデン、ランタン、セリウム、ネオジム、ハフニウム、タンタル、タングステン、またはマグネシウムなどから選ばれた一種、または複数種が含まれている場合、CAC−OSは、一部に該金属元素を主成分とするナノ粒子状に観察される領域と、一部にInを主成分とするナノ粒子状に観察される領域とが、それぞれモザイク状にランダムに分散している構成をいう。
[0369]
CAC−OSは、例えば基板を意図的に加熱しない条件で、スパッタリング法により形成することができる。また、CAC−OSをスパッタリング法で形成する場合、成膜ガスとして、不活性ガス(代表的にはアルゴン)、酸素ガス、及び窒素ガスの中から選ばれたいずれか一つまたは複数を用いればよい。また、成膜時の成膜ガスの総流量に対する酸素ガスの流量比は低いほど好ましく、例えば酸素ガスの流量比を0%以上30%未満、好ましくは0%以上10%以下とすることが好ましい。
[0370]
CAC−OSは、X線回折(XRD:X−ray diffraction)測定法のひとつであるOut−of−plane法によるθ/2θスキャンを用いて測定したときに、明確なピークが観察されないという特徴を有する。すなわち、X線回折から、測定領域のa−b面方向、およびc軸方向の配向は見られないことが分かる。
[0371]
またCAC−OSは、プローブ径が1nmの電子線(ナノビーム電子線ともいう。)を照射することで得られる電子線回折パターンにおいて、リング状に輝度の高い領域と、該リング領域に複数の輝点が観測される。従って、電子線回折パターンから、CAC−OSの結晶構造が、平面方向、および断面方向において、配向性を有さないnc(nano−crystal)構造を有することがわかる。
[0372]
また例えば、In−Ga−Zn酸化物におけるCAC−OSでは、エネルギー分散型X線分光法(EDX:Energy Dispersive X−ray spectroscopy)を用いて取得したEDXマッピングにより、GaO X3が主成分である領域と、In X2Zn Y2Z2、またはInO X1が主成分である領域とが、偏在し、混合している構造を有することが確認できる。
[0373]
CAC−OSは、金属元素が均一に分布したIGZO化合物とは異なる構造であり、IGZO化合物と異なる性質を有する。つまり、CAC−OSは、GaO X3などが主成分である領域と、In X2Zn Y2Z2、またはInO X1が主成分である領域と、に互いに相分離し、各元素を主成分とする領域がモザイク状である構造を有する。
[0374]
ここで、In X2Zn Y2Z2、またはInO X1が主成分である領域は、GaO X3などが主成分である領域と比較して、導電性が高い領域である。つまり、In X2Zn Y2Z2、またはInO X1が主成分である領域を、キャリアが流れることにより、酸化物半導体としての導電性が発現する。従って、In X2Zn Y2Z2、またはInO X1が主成分である領域が、酸化物半導体中にクラウド状に分布することで、高い電界効果移動度(μ)が実現できる。
[0375]
一方、GaO X3などが主成分である領域は、In X2Zn Y2Z2、またはInO X1が主成分である領域と比較して、絶縁性が高い領域である。つまり、GaO X3などが主成分である領域が、酸化物半導体中に分布することで、リーク電流を抑制し、良好なスイッチング動作を実現できる。
[0376]
従って、CAC−OSを半導体素子に用いた場合、GaO X3などに起因する絶縁性と、In X2Zn Y2Z2、またはInO X1に起因する導電性とが、相補的に作用することにより、高いオン電流(I on)、および高い電界効果移動度(μ)を実現することができる。
[0377]
また、CAC−OSを用いた半導体素子は、信頼性が高い。従って、CAC−OSは、ディスプレイをはじめとするさまざまな半導体装置に最適である。
[0378]
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
[0379]
(実施の形態5)
本実施の形態では、本発明の一態様の電子機器について図25を用いて説明する。
[0380]
本実施の形態の電子機器は、本発明の一態様の画像処理方法により動作する半導体装置を有する。これにより、電子機器の表示部は、高画質な画像を表示することができる。
[0381]
本実施の形態の電子機器の表示部には、例えばフルハイビジョン、2K、4K、8K、16K、またはそれ以上の解像度を有する画像を表示させることができる。また、表示部の画面サイズは、対角20インチ以上、対角30インチ以上、対角50インチ以上、対角60インチ以上、または対角70インチ以上とすることができる。
[0382]
電子機器としては、例えば、テレビジョン装置、デスクトップ型もしくはノート型のパーソナルコンピュータ、コンピュータ用等のモニタ、デジタルサイネージ(Digital Signage:電子看板)、パチンコ機等の大型ゲーム機等の比較的大きな画面を備える電子機器の他、デジタルカメラ、デジタルビデオカメラ、デジタルフォトフレーム、携帯電話機、携帯型ゲーム機、携帯情報端末、音響再生装置、等が挙げられる。
[0383]
本発明の一態様の電子機器は、アンテナを有していてもよい。アンテナで信号を受信することで、表示部で画像や情報等の表示を行うことができる。また、電子機器がアンテナおよび二次電池を有する場合、アンテナを、非接触電力伝送に用いてもよい。
[0384]
本発明の一態様の電子機器は、センサ(力、変位、位置、速度、加速度、角速度、回転数、距離、光、液、磁気、温度、化学物質、音声、時間、硬度、電場、電流、電圧、電力、放射線、流量、湿度、傾度、振動、においまたは赤外線を測定する機能を含むもの)を有していてもよい。
[0385]
本発明の一態様の電子機器は、様々な機能を有することができる。例えば、様々な情報(静止画、動画、テキスト画像等)を表示部に表示する機能、タッチパネル機能、カレンダー、日付または時刻等を表示する機能、様々なソフトウェア(プログラム)を実行する機能、無線通信機能、記録媒体に記録されているプログラムまたはデータを読み出す機能等を有することができる。
[0386]
図25(A)にテレビジョン装置の一例を示す。テレビジョン装置7100は、筐体7101に表示部7000が組み込まれている。ここでは、スタンド7103により筐体7101を支持した構成を示している。
[0387]
テレビジョン装置7100に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部7000は、高画質な画像を表示することができる。
[0388]
図25(A)に示すテレビジョン装置7100の操作は、筐体7101が備える操作スイッチや、別体のリモコン操作機7111により行うことができる。または、表示部7000にタッチセンサを備えていてもよく、指等で表示部7000に触れることで操作してもよい。リモコン操作機7111は、当該リモコン操作機7111から出力する情報を表示する表示部を有していてもよい。リモコン操作機7111が備える操作キーまたはタッチパネルにより、チャンネルおよび音量の操作を行うことができ、表示部7000に表示される画像を操作することができる。
[0389]
なお、テレビジョン装置7100は、受信機およびモデム等を備えた構成とする。受信機により一般のテレビ放送の受信を行うことができる。また、モデムを介して有線または無線による通信ネットワークに接続することにより、一方向(送信者から受信者)または双方向(送信者と受信者間、あるいは受信者間同士等)の情報通信を行うことも可能である。
[0390]
また、テレビジョン装置7100は、ブルーレイプレーヤーまたはDVDプレーヤー等のプレーヤー7120を備えた構成としてもよい。プレーヤー7120は、トレイ7121および操作スイッチ7122を有する。トレイ7121には、ブルーレイディスクまたはDVDディスク等のディスク7123を格納することができる。トレイ7121にディスク7123を格納することで、ディスク7123に記憶された画像を表示部7000に表示することができる。また、テレビジョン装置7100に内蔵された記憶装置に記憶された画像データを本発明の一態様の画像処理方法により動作する半導体装置によりアップコンバートし、アップコンバートされた画像データをディスク7123に書き込むことができる。
[0391]
図25(B)に、ノート型パーソナルコンピュータの一例を示す。ノート型パーソナルコンピュータ7200は、筐体7211、キーボード7212、ポインティングデバイス7213、外部接続ポート7214等を有する。筐体7211に、表示部7000が組み込まれている。
[0392]
ノート型パーソナルコンピュータ7200に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部7000は、高画質な画像を表示することができる。
[0393]
図25(C)に、デジタルサイネージの一例を示す。
[0394]
図25(C)に示すデジタルサイネージ7300は、筐体7301、表示部7000、およびスピーカ7303等を有する。さらに、LEDランプ、操作キー(電源スイッチ、または操作スイッチを含む)、接続端子、各種センサ、マイクロフォン等を有することができる。
[0395]
デジタルサイネージ7300に、本発明の一態様の画像処理方法により動作する半導体装置を適用することにより、表示部7000は、高画質な画像を表示することができる。
[0396]
表示部7000が広いほど、一度に提供できる情報量を増やすことができる。また、表示部7000が広いほど、人の目につきやすく、例えば、広告の宣伝効果を高めることができる。
[0397]
表示部7000にタッチパネルを適用することで、表示部7000に静止画または動画を表示するだけでなく、使用者が直感的に操作することができ、好ましい。また、路線情報もしくは交通情報等の情報を提供するための用途に用いる場合には、直感的な操作によりユーザビリティを高めることができる。
[0398]
また、図25(C)に示すように、デジタルサイネージ7300は、ユーザーが所持するスマートフォン等の情報端末機7311と無線通信により連携可能であることが好ましい。例えば、表示部7000に表示される広告の情報を、情報端末機7311の画面に表示させることができる。また、情報端末機7311を操作することで、表示部7000の表示を切り替えることができる。
[0399]
また、デジタルサイネージ7300に、情報端末機7311の画面を操作手段(コントローラ)としたゲームを実行させることもできる。これにより、不特定多数のユーザーが同時にゲームに参加し、楽しむことができる。
[0400]
本発明の一態様の表示システムは、家屋もしくはビルの内壁もしくは外壁、または、車両の内装もしくは外装の曲面に沿って組み込むことができる。
[0401]
本実施の形態は、他の実施の形態の記載と適宜組み合わせることができる。
実施例 1
[0402]
本実施例では、実施の形態1で示す方法でアップコンバートを行い、当該アップコンバートを行った画像データに対応する画像を表示した場合の表示結果について説明する。
[0403]
本実施例では、図1および図2に示す手順で画像データのアップコンバートを行った。学習回数は、2000回とした。つまり、図2に示すiが2000となるまで学習を行った。画像データIMGの解像度は96×96、画像データDCIMGの解像度は48×48とした。また、画像データUCIMGの解像度は192×192とした。
[0404]
図26(A1)は、アップコンバート後の画像データUCIMGに対応する画像の表示結果であり、図26(B1)は、アップコンバート前の画像データIMGに対応する画像の表示結果である。また、図26(A2)は、図26(A1)において実線で囲った部分の拡大図であり、図26(B2)は、図26(B1)において実線で囲った部分の拡大図である。
[0405]
図26(A1)、(A2)に示す画像は、図26(B1)、(B2)に示す画像より高画質の画像である。例えば、図26(A2)示すように、アップコンバート後の画像は、図26(B2)に示すアップコンバート前の画像より、鹿の顔の輪郭等がぼやけずはっきりと表現できていることが確認された。また、アップコンバート後の画像は、アップコンバート前の画像より、鹿の鼻の形等が精緻に表現できていることが確認された。以上より、図1および図2に示す手順で画像データのアップコンバートを行うことができることが確認された。

符号の説明

[0406]
111:基板、113:基板、115:画素、121:オーバーコート、125a:偏光板、125b:偏光板、131:着色層、132:遮光層、133a:配向膜、133b:配向膜、141:接着層、162:FPC、170:発光素子、171:画素電極、172:EL層、173:共通電極、174:接着層、175:絶縁層、180:液晶素子、181:画素電極、182:共通電極、183:液晶層、200a:トランジスタ、200b:トランジスタ、201a:トランジスタ、201b:トランジスタ、201c:トランジスタ、201d:トランジスタ、211:絶縁層、212:絶縁層、213:絶縁層、215:絶縁層、216:絶縁層、217:絶縁層、218:絶縁層、220:絶縁層、221:導電層、222a:導電層、222b:導電層、223:導電層、225:絶縁層、231:半導体層、232:不純物半導体層、235:表示領域、242:接続体、251:トランジスタ、251a:トランジスタ、251b:トランジスタ、255:導電層、411:絶縁表面、431:導電層、432:半導体層、432_1:半導体層、432_2:半導体層、432p:半導体層、433:容量素子、433a:導電層、433b:導電層、434:絶縁層、435:不純物半導体層、436:絶縁層、436a:絶縁層、436b:絶縁層、437:半導体層、438:画素回路、442:表示素子、444:トランジスタ、445:ノード、446:トランジスタ、446a:トランジスタ、446c:トランジスタ、446d:トランジスタ、447:ノード、453:開口部、484:絶縁層、484a:絶縁層、485:絶縁層、486:導電層、552:バックライトユニット、562:表示部、564:走査線駆動回路、565:導電層、7000:表示部、7100:テレビジョン装置、7101:筐体、7103:スタンド、7111:リモコン操作機、7120:プレーヤー、7121:トレイ、7122:操作スイッチ、7123:ディスク、7200:ノート型パーソナルコンピュータ、7211:筐体、7212:キーボード、7213:ポインティングデバイス、7214:外部接続ポート、7300:デジタルサイネージ、7301:筐体、7303:スピーカ、7311:情報端末機

請求の範囲

[請求項1]
 第1の画像データの解像度を高めて、高解像度の画像データを生成する画像処理方法であって、
 前記第1の画像データの解像度を低下させることで、第2の画像データを生成する第1のステップと、
 ニューラルネットワークに前記第2の画像データを入力することにより、前記第2の画像データより解像度が高い第3の画像データを生成する第2のステップと、
 前記第1の画像データと、前記第3の画像データと、を比較することにより、前記第3の画像データの、前記第1の画像データに対する誤差を算出する第3のステップと、
 前記誤差を基にして、前記ニューラルネットワークの重み係数を修正する第4のステップと、を有し、
 前記第2乃至第4のステップを規定の回数行った後、前記ニューラルネットワークに前記第1の画像データを入力することにより、前記高解像度の画像データを生成することを特徴とする画像処理方法。
[請求項2]
 請求項1において、
 前記第3の画像データの解像度は、前記第1の画像データの解像度以下であることを特徴とする画像処理方法。
[請求項3]
 請求項1または2において、
 前記第2の画像データの解像度は、前記第1の画像データの解像度の1/m (mは2以上の整数)であり、
 前記高解像度の画像データの解像度は、前記第1の画像データの解像度のn 倍(nは2以上の整数)であることを特徴とする画像処理方法。
[請求項4]
 請求項3において、
 mの値と、nの値と、が等しいことを特徴とする画像処理方法。
[請求項5]
 第1の画像データを受信して、前記第1の画像データの解像度を高めた、高解像度の画像データを生成する半導体装置であって、
 前記半導体装置は、第1の回路と、第2の回路と、第3の回路と、を有し、
 前記第1の回路は、前記第1の画像データを保持する機能を有し、
 前記第1の回路は、保持した前記第1の画像データを、前記第2の回路に出力する機能を有し、
 前記第2の回路は、前記第1の画像データの解像度を低下させることで、第2の画像データを生成した後、前記第2の画像データを前記第3の回路に入力する機能を有し、
 前記第3の回路は、前記第2の画像データの解像度を高めることにより、第3の画像データを生成する機能を有し、
 前記第2の回路は、前記第1の画像データと、前記第3の画像データと、を比較することにより、前記第3の画像データの、前記第1の画像データに対する誤差を算出する機能を有し、
 前記第3の回路は、前記誤差を基にして、前記第3の回路のパラメータを修正する機能を有し、
 前記第3の回路は、前記パラメータの修正を規定の回数行った後に、前記第1の画像データの解像度を高めることにより、前記高解像度の画像データを生成する機能を有することを特徴とする半導体装置。
[請求項6]
 請求項5において、
 前記第3の回路は、ニューラルネットワークを有し、
 前記パラメータは、前記ニューラルネットワークの重み係数であることを特徴とする半導体装置。
[請求項7]
 請求項5または6において、
 前記第3の画像データの解像度は、前記第1の画像データの解像度以下であることを特徴とする半導体装置。
[請求項8]
 請求項5乃至7のいずれか一項において、
 前記第2の画像データの解像度は、前記第1の画像データの解像度の1/m (mは2以上の整数)であり、
 前記高解像度の画像データの解像度は、前記第1の画像データの解像度のn 倍(nは2以上の整数)であることを特徴とする半導体装置。
[請求項9]
 請求項8において、
 mの値と、nの値と、が等しいことを特徴とする半導体装置。
[請求項10]
 請求項5乃至9のいずれか一項に記載の半導体装置と、
 表示部と、を有することを特徴とする電子機器。

図面

[ 図 1]

[ 図 2]

[ 図 3]

[ 図 4]

[ 図 5]

[ 図 6]

[ 図 7]

[ 図 8]

[ 図 9]

[ 図 10]

[ 図 11]

[ 図 12]

[ 図 13]

[ 図 14]

[ 図 15]

[ 図 16]

[ 図 17]

[ 図 18]

[ 図 19]

[ 図 20]

[ 図 21]

[ 図 22]

[ 図 23]

[ 図 24]

[ 図 25]

[ 図 26]