Processing

Please wait...

Settings

Settings

Goto Application

1. WO2020192385 - DETERMINATION DEVICE, CAMERA SYSTEM, AND MOVING OBJECT

Document

说明书

发明名称 0001   0002   0003   0004   0005   0006   0007   0008   0009   0010   0011   0012   0013   0014   0015   0016   0017   0018   0019   0020   0021   0022   0023   0024   0025   0026   0027   0028   0029   0030   0031   0032   0033   0034   0035   0036   0037   0038   0039   0040   0041   0042   0043   0044   0045   0046   0047   0048   0049   0050   0051   0052   0053   0054   0055   0056   0057   0058   0059   0060   0061   0062   0063   0064   0065   0066   0067   0068   0069   0070   0071   0072   0073   0074   0075   0076   0077   0078   0079   0080   0081   0082   0083   0084   0085   0086   0087   0088   0089   0090   0091   0092   0093   0094   0095   0096   0097   0098   0099   0100   0101   0102   0103   0104   0105   0106   0107   0108   0109   0110   0111   0112   0113   0114   0115   0116   0117   0118   0119   0120   0121   0122   0123   0124   0125   0126   0127   0128   0129   0130   0131   0132   0133   0134   0135   0136   0137   0138   0139   0140   0141   0142   0143   0144   0145   0146   0147   0148   0149   0150   0151   0152   0153   0154   0155   0156   0157   0158   0159   0160   0161   0162   0163   0164   0165  

权利要求书

1   2   3   4   5   6   7   8   9   10   11   12   13   14   15   16  

附图

1   2   3   4   5   6   7   8   9   10   11   12  

说明书

发明名称 : 确定装置、摄像系统及移动体

技术领域

[0001]
本发明涉及一种确定装置、摄像系统及移动体。

背景技术

[0002]
在专利文献1中公开有一种传感系统,在其对包含有被检查对象物的区域和基准反射区域进行感测时,在作为被检查对象物感测对象的各个波段对基准反射区域进行感测,所述基准反射区域具有与被检查对象物相应的反射率。
[0003]
背景技术文献:
[0004]
[专利文献]
[0005]
[专利文献1]国际公开第2017/221756号公报
[0006]
发明内容
[0007]
发明所要解决的技术问题:
[0008]
在多个波段分别对图像进行拍摄的多光谱照相机有时会无法对适合特定对象物的拍摄条件进行适当地设定。
[0009]
用于解决技术问题的手段:
[0010]
本发明的一个方面所涉及的确定装置,可以包括配置为以下的电路:根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像来确定第一图像内的第一区域,并根据由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像中与第一区域相对应的第二区域的图像信息来确定第二摄像装置的摄像控制值。
[0011]
图像信息可以是辉度信息,摄像控制值可以是曝光控制值。
[0012]
电路可以根据第一图像与第二图像来确定第一区域。
[0013]
电路可以选择第一图像与第二图像或者第一图像与由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像作为用于确定第一区域的图像。电路可以根据选择的第一图像与第二图像或者第一图像与第三图像来确定第一区域。电路可以根据第一图像中第一区域的图像信息来确定第一摄像装置的摄像控制值,根据第二图像中第二区域的图像信息来确定第二摄像装置的摄像控制值,根据第三图像中与第一区域相对应的第三区域的图像信息来确定第三摄像装置的摄像控制值。
[0014]
电路可以根据被摄体的特性选择第一图像与第二图像或者第一图像与第三图像。
[0015]
第一波长区域可以是近红外线区域的波长区域。第二波长区域可以是红色区域的波长区域。第三波长区域可以是绿色区域或者红色边缘区域的波长区域。
[0016]
电路可以选择第一图像与第二图像、第一图像与由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像或者第一图像与由第四摄像装置所具备的第四图像传感器拍摄的第四波长区域的第四图像作为用于确定第一区域的图像。电路可以根据选择的第一图像与第二图像、第一图像与第三图像或者第一图像与第四图像来确定第一区域。电路可以根据第一图像中第一区域的图像信息来确定第一摄像装置的摄像控制值,根据第二图像中第二区域的图像信息来确定第二摄像装置的摄像控制值,根据第三图像中与第一区域相对应的第三区域的图像信息来确定第三摄像装置的摄像控制值,根据第四图像中与第一区域相对应的第四区域的图像信息来确定第四摄像装置的摄像控制值。
[0017]
电路可以根据被摄体的特性选择第一图像与第二图像、第一图像与第三图像或者第一图像与第四图像。
[0018]
第一波长区域可以是近红外线区域的波长区域。第二波长区域可以是红色区域的波长区域。第三波长区域可以是绿色区域的波长区域。第四波长区域可以是红色边缘区域的波长区域。
[0019]
本发明的一个方面所涉及的确定装置,可以包括配置为为以下的电路:根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像以及由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像来确定第一图像内的第一区域,并根据由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像中与第一区域相对应的第三区域的图像信息来确定第三摄像装置的摄像控制值。
[0020]
图像信息可以是辉度信息,摄像控制值可以是曝光控制值。
[0021]
第一波长区域可以是近红外线区域的波长区域。第二波长区域可以是红色区域、绿色区域或者红色边缘区域的波长区域。第三波长区域可以是红色区域、绿色区域以及蓝色区域的波长区域。
[0022]
本发明的一个方面所涉及的摄像系统可以包括上述确定装置。摄像系统可以包括第一摄像装置及第二摄像装置。
[0023]
本发明的一个方面所涉及的移动体可以是具备上述摄像系统并进行移动的移动体。
[0024]
本发明的一个方面所涉及的确定方法可以包括根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像对第一图像内的第一区域进行确定的阶段。所述确定方法可以包括根据由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像中与第一区域相对应的第二区域的图像信息对第二摄像装置的摄像控制值进行确定的阶段。
[0025]
本发明的一个方面所涉及的程序,可以是一种用于使计算机作为上述确定装置而发挥功能的程序。
[0026]
根据本发明的一个方面,在多个波段分别对图像进行拍摄的多光谱照相机能够对适合特定的被摄体的拍摄条件进行适当地设定。
[0027]
此外,上述发明内容未列举本发明的必要的全部特征。此外,这些特征组的子组合也可以构成发明。

附图说明

[0028]
图1是示出无人驾驶航空器(UAV)及远程操作装置的外观的一个示例的图。
[0029]
图2是示出搭载于UAV上的摄像系统的外观的一个示例的图。
[0030]
图3是示出UAV的功能块的一个示例的图。
[0031]
图4是示出摄像系统的功能块的一个示例的图。
[0032]
图5是示出由摄像系统拍摄的图像的一个示例的图。
[0033]
图6是图5所示的图像的一部分的辉度分布图。
[0034]
图7是用于对由图像分割而成的块进行说明的图。
[0035]
图8是用于对图像内的关注区域进行说明的图。
[0036]
图9是示出由摄像系统拍摄的图像的一个示例的图。
[0037]
图10是示出对曝光控制值进行确定的步骤的一个示例的流程图。
[0038]
图11是示出搭载于UAV上的摄像系统的外观的另一个示例的图。
[0039]
图12是用于说明硬件配置的一个示例的图。
[0040]
符号说明:
[0041]
10 UAV
[0042]
20 UAV主体
[0043]
30 UAV控制部
[0044]
32 存储器
[0045]
36 通信接口
[0046]
40 推进部
[0047]
41 GPS接收器
[0048]
42 惯性测量装置
[0049]
43 磁罗盘
[0050]
44 气压高度计
[0051]
45 温度传感器
[0052]
46 湿度传感器
[0053]
50 万向节
[0054]
60 摄像装置
[0055]
100 摄像系统
[0056]
110 R用摄像装置
[0057]
112 R用图像传感器
[0058]
114 光学系统
[0059]
120 G用摄像装置
[0060]
122 G用图像传感器
[0061]
124 光学系统
[0062]
130 B用摄像装置
[0063]
132 B用图像传感器
[0064]
134 光学系统
[0065]
140 RE用摄像装置
[0066]
142 RE用图像传感器
[0067]
144 光学系统
[0068]
150 NIR用摄像装置
[0069]
152 NIR用图像传感器
[0070]
154 光学系统
[0071]
160 RGB用摄像装置
[0072]
170 复用器
[0073]
172 输入接收部
[0074]
174 去马赛克处理部
[0075]
178 记录处理部
[0076]
180 图像处理器
[0077]
181 区域确定部
[0078]
182 拍摄条件确定部
[0079]
184 接收部
[0080]
186 切换部
[0081]
190 发送部
[0082]
192 存储器
[0083]
300 远程操作装置
[0084]
1200 计算机
[0085]
1210 主机控制器
[0086]
1212 CPU
[0087]
1214 RAM
[0088]
1220 输入/输出控制器
[0089]
1222 通信接口
[0090]
1230 ROM

具体实施方式

[0091]
以下,通过发明的实施方式来对本发明进行说明,但是以下的实施方式并不限定权利要求书所涉及的发明。此外,实施方式中所说明的特征的所有组合对于发明的解决方案未必是必须的。对本领域普通技术人员来说,显然可以对以下实施方式加以各种变更或改良。从权利要求书的描述显而易见的是,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。
[0092]
权利要求书、说明书、说明书附图以及说明书摘要中包含作为著作权所保护对象的事项。任何人只要如专利局的文档或者记录所表示的那样进行这些文件的复制,著作权人就无法异议。但是,在除此以外的情况下,保留一切的著作权。
[0093]
本发明的各种实施方式可参照流程图及框图来描述,这里,框可表示(1)执行操作的过程的阶段或者(2)具有执行操作的作用的装置的“部”。特定的阶段和“部”可以通过可编程电路和/或处理器来实现。专用电路可以包括数字和/或模拟硬件电路。可以包括集成电路(IC)和/或分立电路。可编程电路可以包括可重构硬件电路。可重构硬件电路可以包括逻辑与、逻辑或、逻辑异或、逻辑与非、逻辑或非、及其它逻辑操作、触发器、寄存器、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)等存储器元件等。
[0094]
计算机可读介质可以包括能够存储由合适设备执行的指令的任何有形设备。其结果是,其上存储有指令的计算机可读介质具备一种包括指令的产品,该指令可被执行以创建用于执行流程图或框图所指定的操作的手段。作为计算机可读介质的示例,可以包括电子存储介质、磁存储介质、光存储介质、电磁存储介质、半导体存储介质等。作为计算机可读介质的更具体的示例,可以包括floppy(注册商标)disk、软磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、电可擦可编程只读存储器(EEPROM)、静态随机存取存储器(SRAM)、光盘只读存储器(CD-ROM)、数字多用途光盘(DVD)、蓝光(RTM)光盘、记忆棒、集成电路卡等。
[0095]
计算机可读指令可以包括由一种或多种编程语言的任意组合描述的源代码或者目标代码中的任意一个。源代码或者目标代码包括传统的程序式编程语言。传统的程序式编程语言可以为汇编指令、指令集架构(1SA)指令、机器指令、与机器相关的指令、微代码、固件指令、状态设置数据、或者Smalltalk(注册商标)、JAVA(注册商标)、C++等面向对象编程语言以及“C”编程语言或者类似的编程语言。计算机可读指令可以在本地或者经由局域网(LAN)、互联网等广域网(WAN)提供给通用计算机、专用计算机或者其它可编程数据处理装置的处理器或可编程电路。处理器或可编程电路可以执行计算机可读指令,以创建用于执行流程图或框图所指定操作的手段。作为处理器的示例,包括计算机处理器、处理单元、微处理器、数字信号处理器、控制器、微控制器等。
[0096]
图1表示无人驾驶航空器(UAV)10及远程操作装置300的外观的一个示例。UAV10包括UAV主体20、万向节50、多个摄像装置60、以及摄像系统100。万向节50及摄像系统100为摄像系统的一个示例。UAV10为移动体的一个示例。移动体包括在空中移动的飞行物体、在地面移动的车辆、在水上移动的船舶等的概念。在空中移动的飞行体是指不仅包括UAV、还包括在空中移动的其它的飞行器、飞艇、直升机等的概念。
[0097]
UAV主体20包括多个旋翼。多个旋翼为推进部的一个示例。UAV主体20通过控制多个旋翼的旋转而使UAV10飞行。UAV主体20使用例如四个旋翼来使UAV10飞行。旋翼的数量不限于四个。另外,UAV10也可以是没有旋翼的固定翼机。
[0098]
摄像系统100是在多个波段分别对所期望的摄像范围内的对象进行拍摄的拍摄用多光谱照相机。万向节50可旋转地支撑摄像系统100。万向节50为支撑机构的一个示例。例如,万向节50使用致动器以俯仰轴可旋转地支撑摄像系统100。万向节50使用致动器进一步分别以滚转轴和偏航轴为中心可旋转地支撑摄像系统100。万向节50可通过使摄像系统100以偏航轴、俯仰轴以及滚转轴中的至少一个为中心旋转,来变更摄像系统100的姿势。
[0099]
多个摄像装置60是为了控制UAV10的飞行而对UAV10的周围进行拍摄的传感用相机。两个摄像装置60可以设置于UAV10的机头、即正面。并且,其它两个摄像装置60可以设置于UAV10的底面。正面侧的两个摄像装置60可以成对,起到所谓的立体相机的作用。底面侧的两个摄像装置60也可以成对,起到立体相机的作用。摄像装置60可以检测到摄像装置60的摄像范围所包含的对象的存在以及测量出与对象间的距离。摄像装置60为对存在于摄像系统100的摄像方向上的对象进行测量的测量装置的一个示例。测量装置也可以是对存在于摄像系统100的摄像方向上的对象进行测量的红外传感器、超声波传感器等的其它的传感器。可以根据由多个摄像装置60所拍摄的图像来生成UAV10周围的三维空间数据。UAV10所具备的摄像装置60的数量不限于四个。UAV10具备至少一个摄像装置60即可。UAV10也可以在UAV10的机头、机尾、侧面、底面及顶面分别具备至少一个摄像装置60。摄像装置60中可设定的视角可大于摄像系统100中可设定的视角。摄像装置60也可以包括单焦点镜头或鱼眼镜头。
[0100]
远程操作装置300与UAV10通信,以远程操作UAV10。远程操作装置300可以与UAV10进行无线通信。远程操作装置300向UAV10发送表示上升、下降、加速、减速、前进、后退、旋转等与UAV10的移动有关的各种指令的指示信息。指示信息包括例如使UAV10的高度上升的指示信息。指示信息可以表示UAV10应该位于的高度。UAV10进行移动,以位于从远程操作装置300接收的指示信息所表示的高度。指示信息可以包括使UAV10上升的上升指令。UAV10在接受上升指令的期间上升。在UAV10的高度已达到上限高度时,即使接受上升指令,也可以限制UAV10上升。
[0101]
图2是示出搭载于UAV10上的摄像系统100的外观的一个示例的图。摄像系统100是对预设的多个波段每个波段的图像数据分别进行拍摄的多光谱照相机。摄像系统100包括R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150。摄像系统100能够将由R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150拍摄的各个图像数据作为多光谱图像进行记录。例如,多光谱图像可用于对农作物的健康状态以及活力进行预测。
[0102]
图3示出UAV10的功能块的一个示例。UAV10包括UAV控制部30、存储器32、通信接口36、推进部40、GPS接收器41、惯性测量装置42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像系统100。
[0103]
通信接口36与远程操作装置300等其它装置通信。通信接口36可以从远程操作装置300接收包括对UAV控制部30的各种指令的指示信息。存储器32存储UAV控制部30对推进部40、GPS接收器41、惯性测量装置(IMU)42、磁罗盘43、气压高度计44、温度传感器45、湿度传感器46、万向节50、摄像装置60及摄像系统100进行控制所需的程序等。存储器32可以为计算机可读记录介质,可以包括SRAM、DRAM、EPROM、EEPROM、USB存储器等闪存中的至少一个。存储器32可以设置在UAV主体20的内部。其可以设置成可从UAV主体20上拆卸下来。
[0104]
UAV控制部30按照储存在存储器32中的程序来控制UAV10的飞行及拍摄。UAV控制部30可以由CPU或MPU等微处理器、以及MCU等微控制器等构成。UAV控制部30按照经由通信接口36从远程操作装置300接收到的指令来控制UAV10的飞行及拍摄。推进部40推进UAV10。推进部40包括多个旋翼和使多个旋翼旋转的多个驱动电机。推进部40按照来自UAV控制部30的指令,经由多个驱动电机使多个旋翼旋转,以使UAV10飞行。
[0105]
GPS接收器41接收表示从多个GPS卫星发送的时间的多个信号。GPS接收器41根据所接收的多个信号来计算出GPS接收器41的位置(纬度及经度)、即UAV10的位置(纬度及经度)。IMU42检测UAV10的姿势。IMU42检测UAV10的前后、左右以及上下的三轴方向的加速度和俯仰轴、滚转轴以及偏航轴的三轴方向的角速度,作为UAV10的姿势。磁罗盘43检测UAV10的机头的方位。气压高度计44检测UAV10的飞行高度。气压高度计44检测UAV10周围的气压,并将检测到的气压换算为高度,以检测高度。温度传感器45检测UAV10周围的温度。湿度传感器46检测UAV10周围的湿度。
[0106]
图4示出了摄像系统100的功能块的一个示例。摄像系统100包括R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150。摄像系统100包括图像处理器180、发送部190及存储器192。
[0107]
R用摄像装置110包括R用图像传感器112及光学系统114。R用图像传感器112对由光学系统114所成的像进行拍摄。R用图像传感器112包括使红色区域波段的光透过的滤光片,并输出红色区域波段的图像信号即R图像信号。例如,红色区域的波段是620nm~750nm。红色区域的波段可以是红色区域中特定的波段,例如可以是663nm~673nm。
[0108]
G用摄像装置120包括G用图像传感器122及光学系统124。G用图像传感器122对由光学系统124所成的像进行拍摄。G用图像传感器122包括使绿色区域波段的光透过的滤波器,并输出绿色区域波段的图像信号即G图像信号。例如,绿色区域的波段是500nm~570nm。绿色区域的波段可以是绿色区域中特定的波段,例如可以是550nm~570nm。
[0109]
B用摄像装置130包括B用图像传感器132及光学系统134。B用图像传感器132对由光学系统134所成的像进行拍摄。B用图像传感器132包括使蓝色区域波段的光 透过的滤光片,并输出蓝色区域波段的图像信号即B图像信号。例如,蓝色区域的波段是450nm~500nm。蓝色区域的波段可以是蓝色区域中特定的波段,例如可以是465nm~485nm。
[0110]
RE用摄像装置140包括RE用图像传感器142及光学系统144。RE用图像传感器142对由光学系统144所成的像进行拍摄。RE用图像传感器142包括使红色边缘区域波段的光透过的滤光片,并输出红色边缘区域波段的图像信号即RE图像信号。例如,红色边缘区域的波段是705nm~745nm。红色边缘区域的波段可以是712nm~722nm。
[0111]
NIR用摄像装置150包括NIR用图像传感器152及光学系统154。NIR用图像传感器152对由光学系统154所成的像进行拍摄。NIR用图像传感器152包括使近红外线区域波段的光透过的滤光片,并输出近红外线区域波段的图像信号即NIR图像信号。例如,近红外线区域的波段是800nm~2500nm。近红外线区域的波段可以是800nm至900nm。
[0112]
图像处理器180包括复用器170、输入接收部172、去马赛克处理部174以及记录处理部178。图像处理器180是电路的一个示例。图像处理器180可以由CPU或者MPU等微处理器、MCU等微控制器组成。
[0113]
复用器170接收从各个图像传感器输出的图像信号,并根据预设条件对从任意一个图像传感器输出的图像信号进行选择,输入到输入接收部172。
[0114]
去马赛克处理部174根据输入到输入接收部172中的R图像信号、G图像信号以及B图像信号生成显示用图像数据。去马赛克处理部174通过对R图像信号、G图像信号以及B图像信号实施去马赛克处理从而生成显示用图像数据。去马赛克处理部174可以通过对R图像信号、G图像信号以及B图像信号实施稀疏处理,将稀疏处理后的R图像信号、G图像信号以及B图像信号转换为拜耳阵列的图像信号,生成显示用图像数据。发送部190将显示用图像数据发送到显示装置。例如,发送部190可以向远程操作装置300发送显示用图像数据。远程操作装置300可以在显示部上对显示用图像数据进行显示以作为实时视图的图像。
[0115]
记录处理部178根据输入到输入接收部172中的R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号并根据预设的记录格式生成记录用图像数据。记录处理部178可以根据RAW格式将R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号生成RAW数据作为记录用图像数据。记录处理部178可以不对R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号分别进行稀疏处理而生成全像素的记录用图像数据。记录处理部178可以将记录用图像数据存储在存储器192中。存储器192可以为计算机可读存储介质,可以包含SRAM、DRAM、EPROM、EEPROM及USB存储器等闪存中的至少一个。存储器192可以设置于摄像系统100的壳体内部。存储器192可以设置成可从摄像系统100的壳体上拆卸下来。
[0116]
图像处理器180还包括接收部184及切换部186。接收部184接收将记录用图像数据存储到存储器192中的存储指示。接收部184可以通过远程操作装置300等外部终端接收来自用户的存储指示。当摄像系统100的位置为预设位置时,接收部184可以从UAV控制部30接收存储指示。当UAV10的位置为预设位置时,UAV控制部30判断出摄像系统100的位置为预设位置,从而接收部184可以从UAV控制部30接收存储指示。摄像系统100也可以包括GPS接收器。在该情况下,图像处理器180可以根据来自自身GPS接收器的位置信息判断摄像系统100的位置是否为预设位置。切换部186对下述两种方式进行切换,一是根据输入到输入接收部172中的R图像信号、G图像信号以及B图像信号在去马赛克处理部174生成显示用图像数据,二是根据输入到输入接收部172中的R图像信号、G图像信号、B图像信号、RE图像信号以及NIR图像信号并根据预设的记录格式在记录处理部178生成记录用图像数据。
[0117]
在如上所述构成的摄像系统100中,可以根据分别由R用摄像装置110、G用摄像装置120以及B用摄像装置130拍摄的图像信号来确定关注区域(ROI),所述关注区域用于对拍摄条件进行确定。图像处理器180可以根据分别由R用摄像装置110、G用摄像装置120以及B用摄像装置130拍摄的图像信号所示的像素值(辉度值)来确定ROI。
[0118]
然而,图像处理器180根据这样的ROI来确定R用摄像装置110、G用摄像装置120以及B用摄像装置130的每个的拍摄条件时,有时并不是适合特定对象物的拍摄条件。例如,当特定对象物是农作物等植物,且在植物的周围存在车辆或者道路时,图像处理器180有时会将包含车辆或者道路的区域确定为ROI。当包含车辆或者道路区域的像素值高于包含植物区域的像素值时,图像处理器180会将包含车辆或者道路的区域确定为ROI。
[0119]
例如,当包含图5所示的农作物510和车辆512的图像500被摄像系统100拍摄时,图像500内的符号501所示的直线部分的辉度值(亮度)分布如图6所示。即,车辆512的辉度值较高,图像处理器180会将包含车辆512的区域确定为ROI。图像处理器180会将这样的区域确定为ROI,通过该ROI内的辉度值等图像信息来确定曝光。在该情况下,如图5所示,并非是适合农作物510的曝光,图像500内的农作物510较暗。
[0120]
因此,在本实施方式中,通过与特定的被摄体的特性对应的指标来确定ROI,以能够根据特定的被摄体来确定合适的拍摄条件。被摄体的特性是指能够根据由摄像装置拍摄的图像估计或者确定该被摄体的存在位置的特性,即被摄体对各个波长的反射率、颜色、形状、被摄体的拍摄位置、时期、季节等。
[0121]
图像处理器180包括区域确定部181及拍摄条件确定部182。拍摄条件确定部182根据由R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150中的至少一个拍摄的特定波长区域的图像将该图像内的第一区域确定为ROI。拍摄条件确定部182根据R用摄像装置110、G用摄像装置120、B 用摄像装置130、RE用摄像装置140以及NIR用摄像装置150中的与各第一区域相对应的各区域的图像信息来确定R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150的各摄像控制值。
[0122]
其中,与第一区域相对应的区域是指包含与第一区域所包含的被摄体相同的被摄体的区域。例如,与NIR用摄像装置150的第一区域相对应的R用摄像装置110的第二区域是指包含与NIR用摄像装置150的第一区域所包含的被摄体相同的被摄体且由R用摄像装置110拍摄的图像内的区域。与NIR用摄像装置150的第一区域相对应的G用摄像装置120的第三区域、B用摄像装置130的第四区域及RE用摄像装置140的第五区域是指包含与由NIR用摄像装置150、G用摄像装置120、B用摄像装置130及RE用摄像装置140拍摄的图像内的第一区域所包含的被摄体相同的被摄体的区域。
[0123]
图像信息是涉及由R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140或者NIR用摄像装置150等各摄像装置拍摄的图像信息,包括辉度信息及颜色信息等。例如,摄像控制值可以是执行自动曝光控制时的控制值即辉度值、图像传感器的增益值、光圈值(Iris值)及快门速度(蓄积时间)中的至少一个。摄像控制值可以是执行自动聚焦控制时的控制值即对焦位置(镜头位置)。另外,摄像控制值可以是执行自动白平衡控制时的控制值即R增益值及B增益值。
[0124]
存储器192可以对表示R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140、NIR用摄像装置150各自的图像坐标系的对应关系的信息进行存储。拍摄条件确定部182可以根据表示对应关系的信息对与第一区域相对应的第二区域、第三区域、第四区域及第五区域进行确定。
[0125]
对ROI进行确定时使用的参数可以根据特定的被摄体所特有的光反射率的特性进行确定。例如,当特定的被摄体对近红外线区域的光进行相对较多地反射时,区域确定部181可以根据近红外线反射率来确定ROI。
[0126]
区域确定部181可以根据由NIR用摄像装置150拍摄的近红外线区域的NIR图像将NIR图像内的第一区域确定为ROI。拍摄条件确定部182可以根据由R用摄像装置110拍摄的红色区域的红色图像中与第一区域相对应的第二区域的辉度信息来确定R用摄像装置110的曝光控制值。拍摄条件确定部182可以根据由G用摄像装置120拍摄的绿色区域的绿色图像中与第一区域相对应的第三区域的辉度信息来确定G用摄像装置120的曝光控制值。拍摄条件确定部182可以根据由B用摄像装置130拍摄的蓝色区域的蓝色图像中与第一区域相对应的第四区域的辉度信息来确定B用摄像装置130的曝光控制值。拍摄条件确定部182可以根据由RE用摄像装置140拍摄的红色边缘区域的红色边缘图像中与第一区域相对应的第五区域的辉度信息来确定RE用摄像装置140的曝光控制值。拍摄条件确定部182可以根据由NIR用摄像装置150拍摄的近红外线区域的近红外线图像内的第一区域的辉度信息来确定NIR用摄像装置150的曝光控制值。
[0127]
区域确定部181可以根据近红外线图像及红色图像来确定第一区域。区域确定部181可以根据近红外线图像及绿色图像来确定第一区域。区域确定部181可以根据近红外线图像及红色边缘图像来确定第一区域。
[0128]
例如,特定的被摄体为植物时,标准植被指标(NDVI)表示特有的值。植物越多NDVI的值越高。植物的枝叶越多NDVI的值越高。植物的活性度越高NDVI的值越高。当特定的被摄体为植物时,NDVI的值会在预设值以上。根据植物的种类的不同,枝叶的多少会有所不同。根据植物的健康状态的不同,活性度会有所不同。因此,当特定的被摄体为特定的植物时,标准植被指标(NDVI)为预设范围的值。预设的范围可以根据植物的种类及要观察的植物的健康状态等进行确定。
[0129]
其中,NDVI由下式表示。
[0130]
【式1】
[0131]
[0132]
IR表示近红外线区域反射率,R表示可见光区域中红色反射率。
[0133]
区域确定部181根据近红外线图像及红色图像计算NDVI,将NDVI在预设值以上的第一区域确定为R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150的每个ROI。区域确定部181将近红外线图像及红色图像分别分割成多个块,可以根据每个块的像素值计算每个块的NDVI。区域确定部181可以将NDVI在预设阈值以上的至少一个块确定为ROI。例如如图7所示,区域确定部181将图像500分割成多个块600,计算每个块的NDVI。例如如图8所示,区域确定部181将NDVI最高的块确定为ROI601。拍摄条件确定部182根据与第一区域相对应的各摄像装置的各个区域的辉度信息来确定摄像装置的曝光控制值。这样根据基于NDVI的ROI内的辉度信息来确定每个摄像装置的曝光控制值,从而各摄像装置能够以适合ROI内的农作物的曝光对图像进行拍摄。因此,例如如图9所示,能够得到适合农作物532曝光的图像530。此外,当执行适合农作物532的曝光时,比农作物532明亮的车辆534等可能会曝光过度。另外,当存在有比农作物532极度暗淡的被摄体时,该被摄体在图像内可能会曝光不足。但是,由于旨在获得着眼于农作物532的图像,因此这不影响对图像的评价。
[0134]
根据由摄像系统100拍摄的被摄体的不同,有时优选通过NDVI以外的指标来确定ROI。另外例如,即使是同一种农作物,根据位置、时期或者季节的不同,反射率的特性可能会发生变化。在该情况下,根据位置、时期或者季节等不同,有时优选对用于来确定ROI的指标进行切换。即,区域确定部181可以根据被摄体的种类及对被摄体进行拍摄的位置、时期或者季节中的至少一个选择用于确定ROI的指标。
[0135]
例如,区域确定部181可以根据SAVI(Solid Adjusted Vegetation Index,土壤调整植被指数)来确定ROI。SAVI由下式表示。
[0136]
【式2】
[0137]
[0138]
SAVI是考虑土壤反射率差别的指标。在考虑土壤反射率差别这一点上与NDVI有所不同。当植被较小时L为1,较大时为0.25。
[0139]
区域确定部181可以根据gNDVI(Green Normalized Difference Vegetation Index,绿度归一化植被指数)来确定ROI。gNDVI由下式表示。
[0140]
【式3】
[0141]
[0142]
其中,G表示可见光区域的蓝色反射率。
[0143]
区域确定部181可以根据NDRE(Normalized Difference Red edge Index,归一化差分红边指数)来确定ROI。NDRE由下式表示。
[0144]
【式4】
[0145]
[0146]
其中,NIR表示近红外线反射率,RE表示红色边缘反射率。通过使用NDRE,能够对植被分布进行更深的分析。例如,能够对杉及桧的差别进行分析。例如,区域确定部181能够对杉的区域或者桧的区域进行区分从而确定ROI。
[0147]
区域确定部181可以根据被摄体的特性选择近红外线图像及红色图像或者近红外线图像及绿色图像作为用于确定ROI的图像。区域确定部181可以根据选择的近红外线图像及红色图像或者近红外线图像及绿色图像来确定ROI。区域确定部181可以根据被摄体的特性选择近红外线图像及红色图像、近红外线图像及绿色图像或者近红外线图像及红色边缘图像作为用于确定ROI的图像。区域确定部181可以根据选择的近红外线图像及红色图像、近红外线图像及绿色图像或者近红外线图像及红色边缘来确定ROI。
[0148]
区域确定部181根据被摄体的特性选择NDVI、SAVI、gNDVI或者NDRE,可以根据选择的NDVI、SAVI、gNDVI或者NDRE来确定ROI。区域确定部181可以根据作为被摄体的植物的特性选择NDVI、SAVI、gNDVI或者NDRE。区域确定部181可 以根据被摄体的种类、对被摄体进行拍摄的位置、时期或者季节中的至少一个选择NDVI、SAVI、gNDVI或者NDRE。
[0149]
区域确定部181可以根据通过接收部184接收的由用户特定的被摄体的种类选择NDVI、SAVI、gNDVI或者NDRE作为用于确定ROI的指标。区域确定部181可以根据农作物的种类选择NDVI、SAVI、gNDVI或者NDRE作为用于确定ROI的指标。
[0150]
图10是示出对曝光控制值进行确定的步骤的一个示例的流程图。区域确定部181获取对用于确定ROI的指标进行计算所需的图像(S100)。例如,区域确定部181为了将NVDI导出,获取由NIR用摄像装置150拍摄的近红外线图像以及由R用摄像装置110拍摄的红色图像。区域确定部181在图像中设定多个块(S102)。区域确定部181可以在R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150分别通用的坐标系中设定多个块。
[0151]
区域确定部181根据由近红外线图像的每个块导出的各块的近红外线反射率以及由红色图像的每个块导出的各块的红色区域反射率将各块的NDVI导出(S104)。区域确定部181从多个块的每一个的NDVI中提取表示与植物相对应的NDVI中的至少一个块(S106)。区域确定部181可以提取至少一个表示在预设阈值以上的NDVI的块。区域确定部181可以提取至少一个表示在预设阈值以上的最大NDVI的块。区域确定部181可以提取至少一个表示在预设下限阈值以上且在预设上限阈值以下的NDVI的块。
[0152]
当表示与植物相对应的NDVI的块存在时,区域确定部181将表示与植物相对应的NDVI的块设定为ROI(S108)。另一方面,当表示与植物相对应的NDVI的块不存在时,区域确定部181将全部的块设定为ROI(S110)。
[0153]
拍摄条件确定部182根据各摄像装置的各ROI的图像信息来确定各摄像装置的曝光控制值(S112)。拍摄条件确定部182可以根据分别由R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150各自拍摄的各个图像中与ROI相对应的每个区域的辉度信息来确定R用摄像装置110、G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150各自的曝光控制值。
[0154]
如上所述,根据本实施方式所涉及的摄像系统100,能够根据与被摄体的特性对应的指标来确定ROI,所述ROI是为了确定拍摄条件而必须参照的。由此,例如即使在需关注的植物的周围存在辉度较高的车辆等其他被摄体时,摄像系统100也能够以对植物进行最佳的曝光并分别对图像进行拍摄。
[0155]
图11是示出搭载于UAV10上的摄像系统100的外观的另一个示例的图。摄像系统100除了G用摄像装置120、B用摄像装置130、RE用摄像装置140以及NIR用摄像装置150之外还包括RGB用摄像装置160,在这一点上与图2所示的摄像系统100不同。RGB用摄像装置160可与普通的照相机相同,包括光学系统及图像传感器。图像传感器可以包括以拜耳阵列配置且使红色区域波段的光透过的滤光片、使绿色区域 波段的光透过的滤光片以及使蓝色区域波段的光透过的滤光片。RGB用摄像装置160可以输出RGB图像。例如,红色区域的波段可以是620nm~750nm。例如,绿色区域的波段可以是500nm~570nm。例如,蓝色区域的波段是450nm~500nm。
[0156]
区域确定部181可以根据由NIR用摄像装置150拍摄的近红外线图像以及由R用摄像装置110拍摄的红色图像将近红外线图像内的第一区域确定为ROI。区域确定部181可以根据由NIR用摄像装置150拍摄的近红外线图像以及由R用摄像装置110拍摄的红色图像将NDVI导出,并将近红外线图像中NDVI在预设阈值以上的第一区域确定为ROI。拍摄条件确定部182可以根据由RGB用摄像装置160拍摄的RGB图像中与第一区域相对应区域的图像信息来确定RGB用摄像装置160的摄像控制值。拍摄条件确定部182可以根据由RGB用摄像装置160拍摄的RGB图像中与第一区域相对应区域的辉度信息来确定RGB用摄像装置160的曝光控制值。
[0157]
图12表示可全部或部分地体现本发明的多个方面的计算机1200的一个示例。安装在计算机1200上的程序能够使计算机1200作为与本发明的实施方式所涉及的装置相关联的操作或者该装置的一个或多个“部”而起作用。或者,该程序能够使计算机1200执行该操作或者该一个或多个“部”。该程序能够使计算机1200执行本发明的实施方式所涉及的过程或者该过程的阶段。这种程序可以由CPU1212执行,以使计算机1200执行与本说明书所述的流程图及框图中的一些或者全部方框相关联的指定操作。
[0158]
根据本实施方式的计算机1200包括CPU1212和RAM1214,它们通过主机控制器1210相互连接。计算机1200还包括通信接口1222、输入/输出单元,它们通过输入/输出控制器1220与主机控制器1210连接。计算机1200还包括ROM1230。CPU1212根据存储在ROM1230和RAM1214中的程序进行操作,从而控制每个单元。
[0159]
通信接口1222经由网络与其他电子设备通信。硬盘驱动器可以储存计算机1200内的CPU1212所使用的程序及数据。ROM1230在其中储存运行时由计算机1200执行的引导程序等、和/或依赖于计算机1200的硬件的程序。程序通过CR-ROM、USB存储器或IC卡之类的计算机可读记录介质或者网络来提供。程序安装在也作为计算机可读记录介质的示例的RAM1214或ROM1230中,并通过CPU1212执行。这些程序中记述的信息处理由计算机1200读取,并引起程序与上述各种类型的硬件资源之间的协作。可以随着计算机1200的使用而实现信息的操作或者处理,从而构成装置或方法。
[0160]
例如,当在计算机1200和外部设备之间执行通信时,CPU1212可以执行加载在RAM1214中的通信程序,并且基于通信程序中描述的处理,命令通信接口1222进行通信处理。在CPU1212的控制下,通信接口1222读取存储在诸如RAM1214或USB存储器之类的记录介质中提供的发送缓冲区中的发送数据,并将读取的发送数据发送到网络,或者将从网络接收的接收数据写入记录介质上提供的接收缓冲区等。
[0161]
另外,CPU1212可以使RAM1214读取存储在诸如USB存储器等外部记录介质中的文件或数据库的全部或必要部分,并对RAM1214上的数据执行各种类型的处理。接着,CPU1212可以将处理过的数据写回到外部记录介质中。
[0162]
诸如各种类型的程序、数据、表格和数据库的各种类型的信息可以存储在记录介质中并且接受信息处理。对于从RAM1214读取的数据,CPU1212可执行在本公开的各处描述的、包括由程序的指令序列指定的各种类型的操作、信息处理、条件判断、条件转移、无条件转移、信息的检索/替换等各种类型的处理,并将结果写回到RAM1214中。此外,CPU1212可以检索记录介质内的文件、数据库等中的信息。例如,在记录介质中储存具有分别与第二属性的属性值建立了关联的第一属性的属性值的多个条目时,CPU1212可以从该多个条目中检索出与指定第一属性的属性值的条件相匹配的条目,并读取该条目内储存的第二属性的属性值,从而获取与满足预定条件的第一属性相关联的第二属性的属性值。
[0163]
上述程序或软件模块可以存储在计算机1200上或计算机1200附近的计算机可读存储介质上。此外,连接到专用通信网络或因特网的服务器系统中提供的诸如硬盘或RAM之类的记录介质可以用作计算机可读存储介质,从而可以经由网络将程序提供到计算机1200。
[0164]
应该注意的是,权利要求书、说明书以及附图中所示的装置、系统、程序以及方法中的动作、顺序、步骤以及阶段等各项处理的执行顺序,只要没有特别明示“在…之前”、“事先”等,且只要前面处理的输出并不用在后面的处理中,则可以任意顺序实现。关于权利要求书、说明书以及附图中的操作流程,为方便起见而使用“首先”、“接着”等进行了说明,但并不意味着必须按照这样的顺序实施。
[0165]
以上使用实施方式对本发明进行了说明,但是本发明的技术范围并不限于上述实施方式所描述的范围。对本领域普通技术人员来说,显然可对上述实施方式加以各种变更或改良。从权利要求书的描述显而易见的是,加以了这样的变更或改良的方式都可包含在本发明的技术范围之内。

权利要求书

[权利要求 1]
一种确定装置,其特征在于,包括配置为以下的电路:根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像来确定所述第一图像内的第一区域, 根据由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像中与所述第一区域相对应的第二区域的图像信息来确定所述第二摄像装置的摄像控制值。
[权利要求 2]
根据权利要求1所述的确定装置,其特征在于,所述图像信息是辉度信息,所述摄像控制值是曝光控制值。
[权利要求 3]
根据权利要求1所述的确定装置,其特征在于,所述电路根据所述第一图像与所述第二图像来确定所述第一区域。
[权利要求 4]
根据权利要求1所述的确定装置,其特征在于,所述电路 选择所述第一图像与所述第二图像或者所述第一图像与由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像,作为用于确定所述第一区域的图像, 根据选择的所述第一图像与所述第二图像或者所述第一图像与所述第三图像来确定所述第一区域, 根据所述第一图像中所述第一区域的图像信息来确定所述第一摄像装置的摄像控制值,根据所述第二图像中所述第二区域的图像信息来确定所述第二摄像装置的摄像控制值,根据所述第三图像中与所述第一区域相对应的第三区域的图像信息来确定所述第三摄像装置的摄像控制值。
[权利要求 5]
根据权利要求4所述的确定装置,其特征在于,所述电路根据被摄体的特性选择所述第一图像与所述第二图像或者所述第一图像与所述第三图像。
[权利要求 6]
根据权利要求4所述的确定装置,其特征在于,所述第一波长区域是近红外线区域的波长区域, 所述第二波长区域是红色区域的波长区域, 所述第三波长区域是绿色区域或者红色边缘区域的波长区域。
[权利要求 7]
根据权利要求1所述的确定装置,其特征在于,所述电路 选择所述第一图像与所述第二图像、所述第一图像与由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像或者所述第一图像与由第四摄像装置所 具备的第四图像传感器拍摄的第四波长区域的第四图像,作为用于确定所述第一区域的图像, 根据选择的所述第一图像与所述第二图像、所述第一图像与所述第三图像或者所述第一图像与所述第四图像来确定所述第一区域, 根据所述第一图像中所述第一区域的图像信息来确定所述第一摄像装置的摄像控制值,根据所述第二图像中所述第二区域的图像信息来确定所述第二摄像装置的摄像控制值,根据所述第三图像中与所述第一区域相对应的第三区域的图像信息来确定所述第三摄像装置的摄像控制值,根据所述第四图像中与所述第一区域相对应的第四区域的图像信息来确定所述第四摄像装置的摄像控制值。
[权利要求 8]
根据权利要求7所述的确定装置,其特征在于,所述电路根据被摄体的特性选择所述第一图像与所述第二图像、所述第一图像与所述第三图像或者所述第一图像与所述第四图像。
[权利要求 9]
根据权利要求7所述的确定装置,其特征在于,所述第一波长区域是近红外线区域的波长区域, 所述第二波长区域是红色区域的波长区域, 所述第三波长区域是绿色区域的波长区域, 所述第四波长区域是红色边缘区域的波长区域。
[权利要求 10]
一种确定装置,其特征在于,包括配置为以下的电路:根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像以及由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像来确定所述第一图像内的第一区域, 根据由第三摄像装置所具备的第三图像传感器拍摄的第三波长区域的第三图像中与所述第一区域相对应的第三区域的图像信息来确定所述第三摄像装置的摄像控制值。
[权利要求 11]
根据权利要求10所述的确定装置,其特征在于,所述图像信息是辉度信息,所述摄像控制值是曝光控制值。
[权利要求 12]
根据权利要求10所述的确定装置,其特征在于,所述第一波长区域是近红外线区域的波长区域, 所述第二波长区域是红色区域、绿色区域或者红色边缘区域的波长区域, 所述第三波长区域是红色区域、绿色区域以及蓝色区域的波长区域。
[权利要求 13]
一种摄像系统,其特征在于,包括:根据权利要求1至12中任一项所述的确定装置、 所述第一摄像装置以及 所述第二摄像装置。
[权利要求 14]
一种移动体,其特征在于,具备根据权利要求13所述的摄像系统并进行移动。
[权利要求 15]
一种确定方法,其特征在于,包括:根据由第一摄像装置所具备的第一图像传感器拍摄的第一波长区域的第一图像对所述第一图像内的第一区域进行确定的阶段;以及 根据由第二摄像装置所具备的第二图像传感器拍摄的第二波长区域的第二图像中与所述第一区域相对应的第二区域的图像信息对所述第二摄像装置的摄像控制值进行确定的阶段。
[权利要求 16]
一种程序,其特征在于,其用于使计算机作为根据权利要求1至12中任一项所述的确定装置而发挥功能。

附图

[ 图 1]  
[ 图 2]  
[ 图 3]  
[ 图 4]  
[ 图 5]  
[ 图 6]  
[ 图 7]  
[ 图 8]  
[ 图 9]  
[ 图 10]  
[ 图 11]  
[ 图 12]