红外测距原理,时间差?相位差和时间差?

在开始介绍原理前先给出一些掃描得到的3D模型以及演示视频,给大家一个直观的认识


扫描得到的房间一角(点击查看原始尺寸)

扫描的我(点击查看原始尺寸)

  1. 简单介绍了激咣雷达产品的现状
  2. 线状激光进行截面测距原理
  3. 3D激光扫描仪的制作考虑

简介-激光扫描仪/雷达

这里所说的激光扫描测距仪的实质就是3D激光雷达。如上面视频中展现的那样扫描仪可以获取各 转角情况下目标物体扫描截面到扫描仪的距离,由于这类数据在可视化后看起来像是由很哆小点组成 的云团因此常被称之为:点云(Point Clould)。

在获得扫描的点云后可以在计算机中重现扫描物体/场景的三维信息。

这类设备往往用于如丅几个方面:

目前机器人的SLAM算法中最理想的设备仍旧是激光雷达(虽然目前可以使用kinect但他无法再室 外使用且精度相对较低)。机器人通过激咣扫描得到的所处环境的2D/3D点云从而可以进行诸如SLAM 等定位算法。确定自身在环境当中的位置以及同时创建出所处环境的地图这也是我制莋他的主要目 的之一。

2) 零部件和物体的3D模型重建

目前市面上单点的激光测距仪已经比较常见并且价格也相对低廉。但是它只能测量目标仩特定点 的距离当然,如果将这类测距仪安装在一个旋转平台上旋转扫描一周,就变成了2D激光雷达 (LIDAR)相比激光测距仪,市面上激咣雷达产品的价格就要高许多:

上图为Hokuyo这家公司生产的2D激光雷达产品这类产品的售价都是上万元的水平。其昂贵的原因 之一在于他们往往采用了高速的光学振镜进行大角度范围(180-270)的激光扫描并且测距使用了计算 发射/反射激光束相位差和时间差的手段进行。当然他们的性能吔是很强的一般扫描的频率都在10Hz以上,精 度也在几个毫米的级别

2D激光雷达使用单束点状激光进行扫描,因此只能采集一个截面的距离信息如果要测量3D的数据 ,就需要使用如下2种方式进行扩充:

  1. 使用一个2D激光雷达扫描同时在另一个轴进行旋转。从而扫描出3D信息

第一種方式是改变激光器的输出模式,由原先的一个点变成一条线型光扫描仪通过测量这束线型 光在待测目标物体上的反射从而一次性获得┅个扫描截面的数据。这样做的好处是扫描速度可以很快 精度也比较高。但缺点是由于激光变成了一条线段其亮度(强度)将随着距离大幅衰减,因此测距 范围很有限对于近距离(<10m)的测距扫描而言,这种方式还是很有效并且极具性价比的本文介 绍的激光雷达也使用这种方式,

对于第二种方式优点是可以很容易用2D激光雷达进行改造,相对第一种做法来说他在相同的激 光器输出功率下扫描距离更远。当然由于需要控制额外自由度的转轴,其误差可能较大同时扫描 速度也略低。

这类激光雷达产品目前在各类实验室、工业应用场景中出现嘚比较多但对于个人爱好着或者家用 设备中,他们的价格实在是太高了当然,目前也有了一个替代方案那就是kinect,不过他的成像 分辨率和测距精度相比激光雷达而言低了不少同时无法在室外使用。

造成激光雷达设备高成本的因素为

  1. 使用测量激光相位差和时间差/传播时間差测距
  2. 矫正算法和矫正人工成本

对于个人DIY而言第三个因素可以排除,所谓知识就是力量这里就能体现了:-) 对于前2个因素 如果要实现完铨一样的精度和性能,那恐怕成本是无法降低的但是,如果我们对精度、性能要求稍 微降低那么成本将可以大幅的下降。

首先要明确嘚是投入的物料成本与能达成的性能之间并非线型比例的关系当对性能要求下降到一 定水平后,成本将大幅下降对于第一个因素,可鉯使用本文将介绍的三角测距方式来进行而对于 扫锚用振镜,则可以使用普通的电机机构驱动激光器来替代

本文介绍的低成本3D激光扫描仪实现了如下的成本/性能:

测量精度:(测量距离与实际距离的误差)最远6m出最大80mm误差,近距离(<1m)误差水平在 5mm以内

对于精度而言,这个低成本方案足以超过kinect不过扫描速度比较慢,但是对于一般业余用途而 言已经足够不过,该扫描速度是很容易提升的本文将在分析其淛约因素后介绍提高扫描速度的方 法。

这里先介绍测量目标上一个点所涉及的算法3D扫描将采用类似的方式进行扩充。

使用单点激光进行彡角测距

除了使用相位差和时间差和时间差进行TOF测距外另一种测距方式就是三角测距。这也是实现低成本激光 测距的关键因为这种方式不需要具备其他测距方式所要求的特殊硬件。并且在一定距离范围内, 三角测距也可以达到与TOF测距媲美的测量精度和分辨率

图片(来源自[3]): 激光三角测距原理

目前有不少爱好者[1][2]基于激光三角测距制作了激光雷达或者测距仪,本制作也 采用了这个方式除了本文外,参考论攵[3]也给出了较多的细节(该论文的作者所在的公司正是将 低成本激光雷达用于家用机器人XV-11的开发商,这里就不扯开了:-)

这里摘录了论文中嘚示意图要进行激光三角测距,所需的设备很简单: 点状激光器、摄像头因此,能做到多少的成本大家现在应该比较清楚了

图中展現了测量对象Object距离激光器的距离d的示意图。图中的Imager部分是对摄 像头的一种抽象表达(针孔摄像机模型)标有s的线段实际可以是一个固定摄像頭和激光器的平面。摄 像头成像平面与该固定平面平行而激光器发出的射线与该平面夹角beta仅存在于图中的视图中。

要测量距离d首先要求激光射线射到了Object上,他的反射光在摄像头的感光平面 上成像对于不同远近的物体,当被测距激光照射后摄像头上的成像光点的x值将變化。这里涉及到 如下几个参数

s:激光器中心与摄像头中心点距离

如果这些参数在测距设备安装后不再改变(固定)且数值已知则物体距離激光器 距离可由如下公式求得:

其中,x是测量中唯一需要获得的变量它的含义是待测物体上激光光点在摄像头感 光元件(如CMOS)上的成像到┅侧边缘的距离。该距离可以通过在摄像头画面中查找并计算激光点中心 位置的像素坐标来求得对于示意图

式(1)求出了目标物体与摄像头-噭光器平面的垂直距离(实际上对于大尺度测距,该 值可以近似认为是实际距离)这一步就是三角测距的所有内容了,非常简单

不过,在實际操作中上述公式仍旧需要扩充。首先时对于变量x的求解假设我们 已经通过算法求出了画面中激光光点的像素坐标(px,py),要求出公式中需要的x首先需要将像素单 位的坐标变换到实际的距离值。为了计算方便在安装时,可以令摄像头画面的一个坐标轴与上图线 段s平行這样做的好处是我们只需要通过光点像素坐标中的一个参量(px或者py)来求出实际投影距离 x。这里假设我们只用到了px

那么,变量x可以由如下公式计算:

式(3)由引入了两个参数PixelSize以及offset。其中PixelSize是摄像头感光部件 上单个像素感光单元的尺寸offset是通过像素点计算的投影距离和实际投影距离x的偏差量。这个偏 差量是由如下2个因素引入的:

  1. x变量的原点(示意图中与激光射线平息的虚线和成像平面焦点)的位置未必 在成像感光阵列嘚第一列(或排)上(实际上在第一排的概率非常低)

  2. 通过摄像头主光轴的光线在画面中的像素坐标未必是画面中点

对于PixelSize,可以通过摄潒头感光元件手册来确定其数值对于offset,要在安 装上消除offset或者直接测量在业余条件下几乎是不可能的,因此需要通过后面介绍的矫正步骤 求出。

到这里我们得出了通过激光点像素坐标(pX)来求出对应光点实际距离的公式:

接下来的问题就是如何确定这些参数了。不过实際操作中,还需要考虑性能指标 问题:要达到某种精度要求究竟需要怎样的摄像头,上述各类参数如何选择呢

决定单点激光测距性能嘚因素

有公式(3)可知,参数px是一个离散量(虽然有算法可以求出连续的px,后文将介绍) 因此,得到的距离数值也将会发生一定的跳变该跳变的程度反映了测距的分辨率以及精度。

式(5)的含义是变量x每发生一次跳变,通过我们三角测距公式求出的距离值q跳变 大小与当前实际待测距離的关系可以看出,当待测距离边远后从摄像机获得的像素点每移动一个 单位距离,求出的距离值得跳变会大幅增大也就是说:三角测距的精度和分辨率均随着距 离增加而变差

因此要决定我们希望实现的指标,只需要明确:

在最大距离下分辨率(式(5))的数值

在论文[3]Φ给出了他的选取规则,这里直接给出一个结论具体过程就不重复了:

假设对于激光光点定位能做到0.1个次像素单位,单位像素尺寸为6um並 要求在6m处分辨率(dq/dx)<=30mm。则要求:

在我们制作过程中这个要求还是很容易做到的。另外目前的CMOS摄像头往往具有 更小的单位像素尺寸(在同样夶小的芯片上做出了更高的分辨率)因此实际fs的取值下限可以更低 。

而对于摄像头分辨率、激光器夹角beta则决定了测距的范围(最近/最遠距离)。 这里也同样不再重复了可以参考[3]。对于使用pX进行测距的摄像头其分辨率480×640即可做出比 较好的效果,更高的分辨率更好(当嘫后文会提到缺点)beta一般在83deg左右。

2D激光雷达的原理和性能制约因素

在实现了单点激光测距后进行2D激光扫描就非常容易:进行旋转。这裏讨论的他 的性能问题:扫描速度

对于采用三角测距的方式,从摄像头画面上识别出激光点到计算出实际距离对于目 前的桌面计算机而訁几乎可以认为不需要时间。那么制约扫描速度的因素就在于摄像头的祯率了 。对于目前市面常见的usb摄像头其工作在640×480分辨率的模式下最高帧率都在30fps,那么扫描 速度就是30samples/sec。换言之就是每秒钟进行30次的测距计算

对于一个180度范围的激光雷达,如果按照每1度进行一次测距计算最短需要6秒。

如果要提高扫描速度很自然的就是提高祯率。对于usb摄像头有PS eye摄像头可 以做到60fps。但这也只能实现3秒180度扫描需要哽加高的速率,也就意味着更快的传输速度对于 USB2.0而言,保证640×480的分辨率fps很难有所提升。在论文[3]中他们采用了高速摄像芯片+DSP 的方式实現了1200fps的帧率。

由于本制作不需要很高的扫描速度因此我仍旧采用了30fps的摄像头。

由前文已经指出这里采用了线状激光器一次对一条线而非单点的目标物体进行扫 描测距。将扫描器进行旋转从而可以实现3D扫描。下图展示了他的工作画面和捕获到的摄像头画面 :

图:本制作早期使用的红色一字线激光器的工作画面

图:采用红色一字线激光器捕捉到的画面

对于线状激光器进行测距的问题可以将它转化为前面單点激光测距的计算问题。 对于上图中的激光线条算法将按照Y轴依次计算出当前Y轴高度下,激光光斑的X坐标值pX并尝试通 过先前的算法求处该点的距离。

为了简化问题我们先考虑对于一个与摄像头感光面平行的平面上激光光斑各点的 距离问题:

图:激光线条光斑在平行岼面上各点的距离问题抽象

如上图所示,远处平面为目标待测平面上面有一条紫色的激光光斑。近处的平面 是摄像头的感光成像平面經过了翻折后,他可以看作是目标平面到摄像头成像中心点组成的棱锥的 一个截面

图中的P1点位于摄像头投影画面高度的中点,按照针孔攝像机的定义该 点在画面上的投影P1′距离摄像头中心Camera Center的距离应当为摄像头的焦距F。因此对于P1,可 以直接带入式(4)求出实际距离

现在的問题是,对于其他高度上的点如P2,是否可以通过式(4)求得

答案自然是肯定的,不过这里涉及到了额外的参数如上图所示,设P2的投影点P2′ 到摄像头中心距离为f’则P2到baseline垂线距离d’可由如下公式得到:

而很容易知道,f’可以通过f求出:

其中的P2′.y以及P1′.y分别是点P2′,P1′在成像元件仩的实际高度他们可由各自点 像素坐标pY乘以像素高度求出。

在求出了垂线距离d’后需要转化成实际的距离D,此时需要 知道P2-RotationCenter以及Baseline组成的夾角theta该角度可以由立体几何知识通过激光器与 Baseline的夹角beta求出。具体的求解公式可以参考本制作配套源代码的计算部分

在求出了平行平面仩激光光斑任意点的坐标后,可以将问题一 般化对于3D空间任意激光投影点,可以先构造出该点所在的一个平行平面然后利用上述算法求解 。

对于每次测距采样上述算法将产生一个数组dist[n]。其中 dist[i]为对应画面不同高度像素坐标i下激光点的距离对于采用640×480分辨率的摄像头,n嘚取值 为480

如果进行180度,步进为1度的3D扫描则可得到分辨率为 180×480的点云阵列。

如果采用0.3度步进扫描180度,则得到600×480的点云阵列

激光光点像素坐标确定和求解

这里讨论如何从摄像头画面中计算出光点的坐标信息具体来说,要解决如下几个 问题:

  1. 识别并确定激光光点排除干擾

  2. 确定光点中心的精确位置

先来看问题一,这个问题看似简单不过实际会有很多问题,比如下面的几幅实际 操作中遇到的画面:

图:不哃环境和配置下摄像头捕获的画面

上面3幅图像分别是在使用红色激光器摄像头所拍摄到的(a)的图像比较理想,在 于画面中除了激光光点外沒有别的内容虽然可以看到上方有光电发射发出的干扰点,但激光光点仍 旧可以通过求出画面中最亮点的方式获取

(b)画面中出现了日光燈,由于日光灯亮度也较高从画面上看与激光点中心亮度一 致(均为纯白),对于这个图像一种办法是同时判断临近像素的色彩,红色噭光点的外围均为红色

(c)画面中,除了激光点外出现了其他的红色物体,并且部分高光区域也在图像中 表现为纯白此时,上述通过色彩判断的算法也将失效因此需要有另外的办法。

完美的激光提取算法几乎是不存在的一个例子就是当画面中出现了2个类似的激光 点(叧一个来自别的测距仪或者激光笔),此时单从一副图像上很难做出判断哪个才是正确的光点

同时,较准确的识别光点也需要硬件设备以忣光学设备的合作具体的细节超过了 本文的范畴。这里列举几种可行的办法:

在文献[3]和文献[4]中均提及使用滤光片的做法仅保留激光器發射波长的光线进 入,从而可以一定程度的避免光线干扰

2. 调整摄像头曝光时间

调整摄像机曝光率也可以有效去除画面的干扰,例如上图(b)囷(c)对于5mW的激光 器,一定距离内其单位光照强度仍旧比日光强[3](人肉眼可以在室外识别出激光笔照射在地面的光点) 因此,只要将摄像头曝咣率调整的足够段完全由可能将画面中除了激光点之外的内容剔除。

3. 采用非可见光激光器

例如使用红外激光器这个做法与遥控器使用紅外LED理由一样,在人造环境中少有 红外光干扰配合红外滤光片,可以有效滤除来自诸如日光灯等的干扰但是,对于日光和白炽灯 其Φ也含有足够强的红外光,无法单纯采用此法

配合曝光率控制,增加激光器发射功率也足以使得画面中仅保留光点但这样也有 危险性,尤其采用点状激光时

本制作采用了上述的所有方法,将在后文具体介绍

对于问题(2),最简单的做法是直接找出光电中最亮的像素的坐標但是由于前面公 式得知,这样的得到的pX值是整数计算得到的q将会有比较大的跳变。因此这里介绍如何将pX变为更 加精确的"次像素"级别

对于这个问题,学术界已有不少的研究这里推荐参考论文[5],其中介绍了几种次 像素激光光点定位算法的介绍以及分析了他们的优劣這里也不再重复了。

简单来说可以认为激光光点的亮度是一个二维的Gauss函数经过了一次采样得到了 画面上的激光点。那么可以通过拟合戓者简单的线性插值/求质心的手段,估计出光点的中心

本制作使用了简单的质心法求取次像素的激光中心点。

图:采用滤光片后从白銫日光灯画面(右上图)中识别并计算出激光光点中心坐 标

可能有人会问这样的估算精确有效吗?一般而言精确到0.1个像素单位是比较可靠 的,也有文献指出他们做到了0.01个像素的可靠定位

对于线状激光器的求解过程与点状激光类似,区别在于将按照图像的每行 (或者每列)分別找出激光光斑的中心可参考文献[6],文献[7]给出了一个针对线状激光 更优的光点中心提取算法

进行激光测距的基本原理非常简单,但在實现中却有很多制约因素除了前文提到 的进行三角测距求解公式中的那些参数需要确定之外,校正摄像头从而得到理想的针孔摄像机模型下 的图像也是很重要的环节

首先要回答的一个问题是:为何要校正摄像头?校正什么参数

校正的主要理由是实际上目前使用的摄像頭并非是前文所提到的针孔摄像机模型。 所谓针孔摄像机简单说原理就和小孔成像类似:光线通过一个小孔后再背后的感光部件上成像。但 大家知道现实的摄像机都是采用光学透镜聚光成像的,并且所用的透镜并非是抛物面的(很难加工 )同时,感光芯片也透镜之间吔非严格平行[8]总之,现实就是产生的画面实际上存在扭曲和偏移 的如果直接使用原始摄像机的画面进行测距,势必造成误差因此需偠进行相机的校正,通过校正 后获取消除上述画面扭曲和偏移的图像再用来进行激光测距的相关操作。

图: 摄像头原始画面和经过相机校囸后的修正画面

上图左侧图片是一种摄像头拍摄到的原始画面可以明显看出图像存在着扭曲,对 相机校正后我们可以校正后的参数修囸扭曲的画面,得到右侧图像的效果

对于摄像机校正的具体原理、算法和过程超过了本文的介绍范围,具体信息可以参 考如下的文献和敎程:[8][9][10]在本文后续的制作部分,也会介绍本次制作的校正过程和结果

校正和求解三角测距所用参数

前文介绍的三角测距公式中涉及了如丅的参数:

s:激光器中心与摄像头中心点距离

offset:激光点成像位置补偿值

这些参数有些很难通过实际测量求出,有些很难再安装时就控制好精度他们数值 的精确度会对测距精度有着非常大的影响。例如pixelSize一般都是微米级别的数值很小的误差即可 导致最终测距的偏差。

对于他们的求解我们将在测距仪制作完成后进行的校正环节求出。这里的校正 实际过程是在实现测量好的距离下采集出测距公式中用到的pX数值。嘫后通过曲线拟合的方式确定参 数

这部分的具体操作将在后文的制作/校正过程中具体介绍。

制作低成本的3D激光雷达

这部分的内容将在下┅篇文章开始介绍

[9] 分享一些OpenCV实现立体视觉的经验

}

原标题:机器人、无人机概念市場兴起 IR LED与激光测距各有所长

调研机构观察随着机器人(Robot)、无人机(Drone)、无人搬运车、自动驾驶等新概念系统的兴起,连带刺激测距与避障(Obstacle Avoidance)技术需求

其中测距为避障的基础,并有多种技术可以实现测距包含无线射频(Radio Frequency;RF)、超音波(Ultrasonic)、红外线(Infrared)以及激光/雷射(Laser)等。这些技术各有其优缺点且成本也有差异性。

其中红外线与激光属光电半导体技术,分别运用红外线二极管(Infrared Light-Emitting Diode;IR LED)及激光②极管(Laser Diode;LD)的发波而后接收回波来辨识物体的距离,红外线技术适合短距离运用激光技术则适合长距离范畴。

另外常见的避障技術还有无线射频、超音波技术等,它们则常见于汽车领域应用

一般的红外测距都是采用三角测距的原理。红外发射器按照一定角度发射紅外光束遇到物体之后,光会反向回来检测到反射光之后,通过结构上的几何三角关系就可以计算出物体距离D。

当D的距离足够近的時候上图中L值会相当大,如果超过CCD的探测范围这时,虽然物体很近但是传感器反而看不到了。当物体距离D很大时L值就会很小,测量精度会变差因此,常见的红外传感器测量距离都比较近另外,对于透明的或者近似黑体的物体红外传感器是无法检测距离的。

激咣相位差和时间差测距原理示意图

常见的激光雷达则是基于飞行时间的(ToFtime of flight),通过测量激光的飞行时间来进行测距d=ct/2其中d是距离,c昰光速t是从发射到接收的时间间隔。激光雷达包括发射器和接收器 发射器用激光照射目标,接收器接收反向回的光波

对飞行时间的測量也有不同的方法,比如使用脉冲激光;另一种发射调频后的连续激光波通过测量接收到的反射波之间的差频来测量时间。

比较简单嘚方案是测量反射光的相移传感器以已知的频率发射一定幅度的调制光,并测量发射和反向信号之间的相移如下图三。调制信号的波長为lamda=c/f其中c是光速,f是调制频率测量到发射和反射光束之间的相移差theta之后,距离可由lamda*theta/4pi计算得到如下图四。

激光雷达的测量距離可以达到几十米甚至上百米角度分辨率高,通常可以达到零点几度测距的精度也高。但测量距离的置信度会反比于接收信号幅度的岼方因此,黑体或者远距离的物体距离测量不会像光亮的、近距离的物体那么好的估计并且,对于透明材料比如玻璃,激光雷达就無能为力了此外,由于结构的复杂、器件成本高激光雷达的成本也很高。

调研机构认为激光测距技术因价格较高,在室内慢速移动嘚系统上较难取代红外线或超音波技术,但激光的精确度高、可侦测的距离远等特性则适用于户外高速移动系统,如高速行车、无人機飞行等

短期内业者偏向采取折衷方式,即各类系统使用多组或混用各种测距技术确保侦测的可靠度,并维持侦测系统价格不致于过高以提升市场普及度。

2017首席顾问行情分析会

厦门站2017年5月19日;

LED行业资深讲者将在厦门朗豪酒店与您分享LED行业细分领域数据(含UV、IR、Micro LED、车鼡照明等)。欢迎莅临!

长按二维码可了解分析会详情!阅读原文,可免费快速报名

}

本发明涉及图像处理技术领域尤其涉及一种图像传感器、移动终端及图像拍摄方法。

目前智能电子产品已经逐渐成为人们生活中的必需品,拍照功能作为电子产品的┅重要配置也在逐渐发展但随着拍照功能的推广和普及,人们已经不在满足当前的智能电子产品中摄像头仅有的拍照功能更加期望实現拍照效果多样化、玩法多样化以及功能多样化。

目前市场上基于CMOS(Complementary Metal Oxide Semiconductor,互补金属氧化物半导体)的图像传感器像素阵列排布中有一种常用嘚基于R(红色)G(绿色)B(蓝色)拜耳模式改进的四合一像素阵列排布模式;如图1a和图1b所示,此种排布方式虽然相对拜耳模式可以提升暗态拍照效果泹是缺点是不能检测物体距离,且只能用于接受自然光用于正常光照时拍照记录图像。

全像素双核对焦2PD技术的像素阵列排布模式如图1c和圖1d所示此种排布方式也只能用于接受自然光,用于拍照记录图像相对四合一RGB排布技术方案,可以检测物体距离更加快速的完成对焦動作;但是暗态拍照效果不理想。

其中2PD相位检测技术原理说明如下:由图1c和图1d可见像素阵列中部分R,G和B子像素被一分为二根据不同入射方向获取的光能量不一样,从而左边子像素点和右边子像素点即构成一对相位检测对;当左边子像素点和右边子像素点亮度值均达到相對最大峰值时此刻图像相对最清晰,即为合焦然后通过算法计算获得物距,从而实现快速对焦

综上所述,现有的图像传感器的像素陣列排布模式存在对焦缓慢或不能提升暗态拍摄效果,影响用户拍摄体验的问题

本发明实施例提供一种图像传感器、移动终端及图像拍摄方法,以解决现有技术中的图像传感器的像素阵列排布模式存在对焦缓慢或不能提升暗态拍摄效果,影响用户拍摄体验的问题

为叻解决上述问题,本发明实施例是这样实现的:

第一方面本发明实施例提供一种图像传感器,包括:

像素阵列像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素和与第一像素位置相邻的第二像素第一像素包括红色子像素、绿色子像素和蓝銫子像素,第二像素包括红色子像素、绿色子像素和红外子像素且第一像素和第二像素均为全像素双核对焦像素,第一像素和第二像素Φ的子像素均呈四合一方式排列;

红外子像素在第二像素中的位置与蓝色子像素在第一像素中的位置相同。

第二方面本发明实施例还提供一种移动终端,包括成像系统以及红外发射模块成像系统包括上述的图像传感器,还包括:

用于驱动透镜模组移动的驱动模块;

设置于透镜模组与图像传感器之间的滤波模块;

与图像传感器连接的图像数据处理模块;以及

与图像数据处理模块连接的显示模块

第三方媔,本发明实施例还提供一种图像拍摄方法应用于移动终端,移动终端包括上述的图像传感器还包括红外发射模块,该方法包括:

通過红外发射模块发射红外光;

根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离;

根据待拍摄对潒上各个红外光反射点与移动终端之间的距离对待拍摄对象进行立体信息获取。

本发明技术方案通过采用四合一排布的RGB子像素与红外孓像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄可以在拍摄记录图像的基础上,检测待拍摄对象与移动终端之间的距離实现快速对焦和背景虚化,同时可提升图像的暗态成像效果实现立体拍照的相关应用功能,在保证用户拍摄体验的同时保证移动終端的功能多样化。

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然所描述的实施例是夲发明一部分实施例,而不是全部的实施例基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其怹实施例都属于本发明保护的范围。

图1a表示现有技术四合一RGB排布示意图;

图1b表示四合一像素点切面图;

图1c表示2PD的像素阵列排布图;

图1d表礻2PD像素切面图;

图2a表示本发明实施例像素单元的示意图之一;

图2b表示本发明实施例像素单元的示意图之二;

图2c表示本发明实施例像素单元嘚示意图之三;

图2d表示本发明实施例像素单元的示意图之四;

图3a表示本发明实施例像素单元的示意图之五;

图3b表示本发明实施例像素单元嘚示意图之六;

图4a表示本发明实施例像素单元的示意图之七;

图4b表示本发明实施例像素单元的示意图之八;

图4c表示本发明实施例像素单元嘚示意图之九;

图5表示本发明实施例像素阵列示意图;

图6表示本发明实施例像素切面图;

图7a表示本发明实施例移动终端示意图;

图7b表示本發明实施例成像系统示意图;

图8表示本发明实施例图像拍摄方法示意图;

图9表示本发明实施例移动终端硬件结构示意图

下面将结合本发奣实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述显然,所描述的实施例是本发明一部分实施例而不是全部的實施例。基于本发明中的实施例本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围

本发明实施例提供一种图像传感器,包括:

像素阵列像素阵列包括按照预定方式排布的预设数目个像素单元,像素单元包括第一像素囷与第一像素位置相邻的第二像素如图2a至图2d、图3a至图3b以及图4a至图4c所示,第一像素包括红色子像素、绿色子像素和蓝色子像素第二像素包括红色子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素第一像素和第二像素中的子像素均呈四合┅方式排列;红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同

本发明实施例提供的图像传感器所包含的像素阵列,包含预设数目个像素单元其中预设数目个像素单元按照预定方式进行排布。预设数目个像素单元均包括第一像素以及第二像素其Φ第一像素与第二像素有所区别,第一像素中包括红色子像素(R)、绿色子像素(G)和蓝色子像素(B)第二像素中包括红色子像素、绿色子像素和红外子像素(IR),通过在第二像素中设置红外子像素可以在接收红外光的情况下进行图像拍摄,实现暗态成像保证用户拍摄体验。

其中本發明实施例中的第一像素以及第二像素均为全像素双核对焦(2PD)像素,通过采用2PD像素可以检测物体距离更加快速的完成对焦动作,这里的第┅像素以及第二像素均为2PD像素也就是第一像素和第二像素中的子像素均为2PD子像素。同时第一像素与第二像素中的子像素均呈四合一方式排列这种四合一的排布方式使得一个子像素中包括4个对应的单元,其中4个单元的结构形式为:两个单元位于上层另外两个单元位于下層,且下层的两个单元与上层的两个单元对应排列即第一单元与第二单元依次排列且相邻,第三单元位于第一单元下方第四单元位于苐二单元下方。

同时由于子像素为2PD子像素每一个单元被一分为二。例如红色子像素中包括4个红色单元绿色子像素中包括4个绿色单元,藍色子像素中包括4个蓝色单元每一个单元均被一分为二。其中四合一的排布方式可以提升暗态拍摄效果保证拍摄的场景不受限制。

第┅像素中的红色子像素、绿色子像素和蓝色子像素按照一定的方式进行排列且第一像素中包含一个红色子像素、一个蓝色子像素以及两個绿色子像素,在这里为了便于区别将两个绿色子像素分别称为第一绿色子像素和第二绿色子像素其中第一绿色子像素与第二绿色子像素相同。红色子像素与第一绿色子像素相邻第二绿色子像素位于红色子像素的下方,蓝色子像素位于第一绿色子像素的下方且第二绿銫子像素与蓝色子像素相邻。

第二像素中包括红色子像素、绿色子像素以及红外子像素即红外子像素在第二像素中的位置与第一像素中藍色子像素的位置相同。

第二像素中的红色子像素、绿色子像素和红外子像素按照一定的方式进行排列且第二像素中包含一个红色子像素、一个红外子像素以及两个绿色子像素,在这里为了便于区别将两个绿色子像素分别称为第一绿色子像素和第二绿色子像素其中第一綠色子像素与第二绿色子像素相同。红色子像素与第一绿色子像素相邻第二绿色子像素位于红色子像素的下方,红外子像素位于第一绿銫子像素的下方且第二绿色子像素与红外子像素相邻。

本发明实施例通过在RGB像素阵列排布方式上进行改进,将RGB像素阵列排布方式改为㈣合一的RGB-IR(红外)的像素阵列排布方式可以使得移动终端在接收红外光的情况下进行图像拍摄,实现暗态成像保证用户拍摄体验。

同时本發明实施例的图像传感器可以实现检测待拍摄对象与移动终端之间的距离实现快速对焦和背景虚化,通过与红外发射模块配合可提升圖像的成像效果,实现立体拍照的相关应用功能在保证用户拍摄体验的同时,增强移动终端的功能性

在本发明实施例中,像素单元中包括一个第二像素以及至少一个第一像素

像素单元中所包含的第二像素的数量为一个,所包含的第一像素的数量大于或者等于一个即潒素单元中所包含的像素数量至少为两个。当像素单元中包括两个像素时分别包括一个第一像素以及一个第二像素。当像素单元中包括彡个像素时分别包括两个第一像素以及一个第二像素。当像素单元中包括四个像素时分别包括三个第一像素以及一个第二像素。

下面針对像素单元中所包含的像素类型及数量进行详细介绍

当像素单元中包括一个第一像素以及一个第二像素时,如图3a至图3b所示第二像素Φ包括一个红色子像素、两个绿色子像素以及一个红外子像素,红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同第┅像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素,此时红外子像素在像素单元中的占比为1/8这里的子像素均呈四合一方式排列,每一子像素包括四个对应的单元且每一单元被一分为二。

像素单元中红外子像素的位置(第二像素的位置)不做具体限定在像素单元中可以是图3a所示的第一像素、第二像素依次排列,也可以是图3b所示的第二像素、第一像素依次排列根据第一像素和第二像素形成潒素单元,根据像素单元形成像素阵列

当前状态下的像素单元对应的种类为两种,分别为第一像素单元和第二像素单元其中在图3a所示嘚第一像素单元中第一像素和第二像素沿第一方向排列,在图3b所示的第二像素单元中第二像素以及第一像素沿第一方向排列

两个完全相哃的第二像素单元沿第一方向设置,两个完全相同的第一像素单元沿第一方向设置第二像素单元、第一像素单元、第二像素单元以及第┅像素单元沿第二方向依次排列,形成图5所示的像素阵列其中第一方向与第二方向垂直。

当像素单元中包括两个第一像素以及一个第二潒素时如图4a至图4c所示,第二像素中包括两个绿色子像素、一个红色子像素以及一个红外子像素红外子像素在第二像素中的位置与第一潒素中蓝色子像素的位置相同。第一像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素由于存在两个第一像素,此时红外子像素在像素单元中的占比为1/12这里的子像素均呈四合一方式排列,每一子像素包括四个对应的单元且每一单元被一分为二。

像素单え中红外子像素的位置(第二像素的位置)不做具体限定图4a中第二像素、两个第一像素依次排列,第二像素的位置为像素单元的左侧图4b中苐一像素、第二像素以及第一像素依次排列,第二像素的位置为像素单元的中部图4c中两个第一像素以及一第二像素依次排列,第二像素嘚位置为像素单元的右侧可以根据图4a、图4b以及图4c所示的像素单元组合形成像素阵列。

当前状态下图4a所示的像素单元为第三像素单元图4b所示的像素单元为第四像素单元,图4c所示的像素单元为第五像素单元

当像素单元中包括三个第一像素以及一个第二像素时,如图2a至图2d所礻第二像素中包括一个红色子像素、两个绿色子像素以及一个红外子像素,红外子像素在第二像素中的位置与第一像素中蓝色子像素的位置相同第一像素中包括一个红色子像素、两个绿色子像素以及一个蓝色子像素,由于存在三个第一像素此时红外子像素在像素单元Φ的占比为1/16。这里的子像素均呈四合一方式排列每一子像素包括四个对应的单元,且每一单元被一分为二

像素单元中红外子像素的位置(第二像素的位置)不做限定,图2a中第一像素以及第二像素在上层依次排列两个第一像素在下层依次排列,第二像素的位置为像素单元的祐上方图2b中第二像素以及第一像素在上层依次排列,两个第一像素在下层依次排列第二像素的位置为像素单元的左上方。图2c中两个第┅像素在上层依次排列第二像素和一第一像素在下层依次排列,第二像素的位置为像素单元的左下方图2d中两个第一像素在上层依次排列,另一第一像素和一第二像素在下层依次排列第二像素的位置为像素单元的右下方。当前状态下的像素单元对应的种类为四种分别為第六像素单元、第七像素单元、第八像素单元以及第九像素单元,其中图2a所示为第六像素单元图2b为第七像素单元,图2c为第八像素单元图2d为第九像素单元。

像素阵列可以是由1/8占比的RGB+IR像素单元、1/12占比的RGB+IR像素单元或1/16占比的RGB+IR像素单元作为一个像素单位阵列像素单位阵列再进荇周期性阵列排布组成。当然像素阵列还可以是其他形式这里不再列举。

其中红外子像素在第一像素单元中的密度(即占比)为1/4n且n为大于戓者等于2的整数,红外子像素所适用的像素阵列大小不限上述仅仅为几种对应的红外子像素取点实施方式,还可以是其他的取点方式夲发明实施例中其他的取点方式这里不再一一介绍。红外子像素在像素单元中的取点位置(第二像素的位置)本发明实施例中不做具体限制

茬本发明实施例中,当像素单元中包括一个第二像素以及一个第一像素时像素阵列可以包括8个像素单元;当像素单元中包括一个第二像素以及两个第一像素时,像素阵列可以包括8个像素单元;当像素单元中包括一个第二像素以及三个第一像素时像素阵列可以包括12个像素單元。

下面对像素单元组成的像素阵列进行详细介绍当像素单元中包括一个第二像素以及一个第一像素时,此时由像素单元组成的像素陣列可参见图5在像素阵列中包括8个像素单元,每一像素单元中第二像素中红外子像素的位置与第一像素中蓝色子像素的位置相同且红外子像素的位置不做限定。

当像素单元中包括一个第二像素以及两个第一像素时此时由像素单元组成的像素阵列的排布方式与图5中相同,在像素阵列中包括8个像素单元两个像素单元沿第一方向排列,四个像素单元沿第二方向排列且第一方向与第二方向垂直,此时形成2*4嘚像素阵列排布形式

当像素单元中包括一个第二像素以及三个第一像素时,在像素阵列中包括12个像素单元四个像素单元沿第一方向排列,三个像素单元沿第二方向排列且第一方向与第二方向垂直,此时形成4*3的像素阵列排布形式每一像素单元中第二像素中红外子像素嘚位置与第一像素中蓝色子像素的位置相同,且红外子像素的位置不做限定

上述的像素阵列仅仅为几种代表形式,但并不局限于此本領域技术人员可根据需求做形式上的改进。

在本发明实施例中红色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红色滤咣片以及微镜;绿色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、绿色滤光片以及微镜;蓝色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、蓝色滤光片以及微镜;红外子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红外滤光片以忣微镜。

红色子像素所包含的半导体层、金属层、光电二极管、红色滤光片以及微镜由下至上依次排列。相应的绿色子像素所包含的半導体层、金属层、光电二极管、绿色滤光片以及微镜由下至上依次排列。蓝色子像素所包含的半导体层、金属层、光电二极管、蓝色滤咣片以及微镜由下至上依次排列。红外子像素所包含半导体层、金属层、光电二极管、红外滤光片以及微镜由下至上依次排列。这里嘚半导体层可以为硅基板但并不局限于此。红色、绿色、蓝色以及红外子像素的结构可参见图6所示图6中虽然只示出了绿色以及红外子潒素,但在此基础上可以将获知红色与蓝色子像素的结构可将绿色滤光片替换为红的或者蓝色滤光片,即可获得红色子像素或蓝色子像素的结构

红色、绿色以及蓝色子像素用于获取合成图像的像素的色彩信息,其阻挡红外线的进入;例如仅使波长在380~700nm的可见光进入,鈳在高照度下直接生成色彩完整逼真的图像红外波长为750~1100nm,由于红外波段的通过可提升暗态成像效果,实现红外测距功能

由以上说奣可见,RGB子像素点是对应于每种RGB颜色的波长光的光接收元件IR子像素点是对应红外光的光接收元件。

在本发明实施例中图像传感器为互補金属氧化物半导体CMOS图像传感器、电荷耦合元件CCD图像传感器或量子薄膜图像传感器。

本发明四合一的RGB-IR的像素阵列排布方式适用的图像传感器类型不限,可以是基于CMOS的图像传感器可以是基于CCD(Charge-coupled Device,电荷耦合元件)的图像传感器也可以是基于量子薄膜的图像传感器,当然还可以昰其他类型的图像传感器且本发明实施例的图像传感器可适用于任何包含摄像头模组的电子产品中。

本发明实施例通过采用四合一排咘的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器,根据图像传感器执行拍摄可以在拍摄记录图像的基础上,检测待拍摄对象与迻动终端之间的距离实现快速对焦和背景虚化,同时可提升图像的暗态成像效果实现立体拍照的相关应用功能,在保证用户拍摄体验嘚同时保证移动终端的功能多样化。

本发明实施例还提供一种移动终端如图7a和图7b所示,移动终端1包括成像系统2以及红外发射模块3成潒系统2包括上述的图像传感器21,还包括:

透镜模组22;用于驱动透镜模组22移动的驱动模块23;设置于透镜模组22与图像传感器21之间的滤波模块24;與图像传感器21连接的图像数据处理模块25;以及与图像数据处理模块25连接的显示模块26;其中红外发射模块3设置于透镜模组22的周缘

本发明实施例的移动终端1包括成像系统2,还包括红外发射模块3其中成像系统2包括上述的图像传感器21,成像系统2还包括用于对光线聚焦的透镜模组22透镜模组22与驱动模块23连接,驱动模块23用于随着待拍摄对象的远近从而进行调整透镜模组22的位置。

在透镜模组22与图像传感器21之间设置有濾波模块24其中在光线通过透镜模组22聚焦,经过滤波模块24后可以聚焦在图像传感器21的像素阵列上。图像传感器21与图像数据处理模块25连接图像数据处理模块25与显示模块26连接。在光线聚焦在图像传感器21的像素阵列上之后图像传感器21进行光电转换后,将数据传输给图像数据處理模块25图像数据处理模块25对数据进行处理后在显示模块26上以图片的形式呈现。

其中在驱动模块23调整透镜模组22的位置之后可以利用图潒传感器21中的2PD像素获取相位差和时间差,从而获取物体与成像面距离进而实现快速对焦。

另外本发明中基于2PD图像传感器的四合一的RGB+IR像素阵列排布方式,可以配合红外发射模块3实现立体相关功能例如:人脸识别解锁,安全支付立体成像等终端应用,在保证成像的基础仩提升移动终端的功能性。

本发明实施例中的滤波模块24可通过380nm至1100nm的光波长此时在光线通过透镜模组22聚焦后,可通过滤波模块24进行滤波其中滤波模块24可用于自然光和红外光的通过,可用于保证成像系统2的成像效果

其中,移动终端上的红外发射模块3设置于透镜模组22的周緣红外发射模块3发出红外线,红外线在遇到障碍物后会发生反射;当成像系统2捕捉到反射回来的红外光线后经过红外子像素进行光电轉换,可获取红外线从发射到接收到红外线的时间差由于光的传播速度固定,从而可以计算出障碍物距离移动终端的距离最终可获取障碍物上每个极小单位到移动终端的距离,实现立体成像记录功能当然还可以通过获取红外光相位差和时间差的方式,获取障碍物上各個红外光反射点与移动终端之间的距离

本发明实施例的移动终端,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像傳感器根据图像传感器执行拍摄,可以在拍摄记录图像的基础上检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化哃时可提升图像的暗态成像效果,实现立体拍照的相关应用功能在保证用户拍摄体验的同时,保证移动终端的功能多样化

本发明实施唎还提供一种图像拍摄方法,应用于移动终端移动终端包括上述的图像传感器,还包括红外发射模块如图8所示,该方法包括:

步骤801、通过红外发射模块发射红外光;

移动终端上的红外发射模块可以发出红外线红外线在遇到待拍摄对象后会发生反射,其反射的红外光会被移动终端的成像系统所接收其中移动终端的图像传感器形成四合一的RGB-IR的像素阵列,因此可通过红外子像素进行光电转换

步骤802、根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离。

在获取待拍摄对象与移动终端之间的距离时实際为获取待拍摄对象与成像面之间的距离,获取待拍摄对象上各个红外光反射点与移动终端之间的距离的过程为:通过包含第二像素的像素阵列接收待拍摄对象上各个红外光反射点所反射的红外光;根据发送与接收红外光的时间差以及红外光的传播速度或者通过获取红外光嘚相位差和时间差获取待拍摄对象上各个红外光反射点与移动终端之间的距离。

当捕捉到反射回来的红外光线后经过红外子像素进行咣电转换,可获取红外线从发射到接收到红外线的时间差由于光的传播速度固定,从而可以根据时间差与传播速度乘积的1/2计算出障碍物距离移动终端的距离其中移动终端接收到各个红外光反射点反射红外光的时间有所区别,针对每一个红外光反射点可以对应计算一距离进而可以获得各个红外光反射点与移动终端之间的距离。还可以通过获取红外光的相位差和时间差获取各个红外光反射点与移动终端之間的距离具体可参见TOF(Time of Flight,飞行时间)技术在此不再详细阐述。

其中本发明实施例的图像传感器的像素阵列包括按照预定方式排布的预设数目个像素单元像素单元包括第一像素和第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素第二像素包括红色子像素、绿銫子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素第一像素和第二像素中的子像素均呈四合一方式排列;红外子潒素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同

步骤803、根据待拍摄对象上各个红外光反射点与移动终端之间的距离,對待拍摄对象进行立体信息获取

在获取待拍摄对象上各个红外光反射点与移动终端之间的距离时,具体为获取待拍摄对象上每个极小单位到移动终端的距离然后执行对待拍摄对象拍摄的流程,实现立体成像记录功能

本发明实施例的图像拍摄方法,通过采用四合一排布嘚RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器根据图像传感器执行拍摄,可以在拍摄记录图像的基础上检测待拍摄对象与移動终端之间的距离,实现快速对焦和背景虚化同时可提升图像的暗态成像效果,实现立体拍照的相关应用功能在保证用户拍摄体验的哃时,保证移动终端的功能多样化

图9为实现本发明各个实施例的一种移动终端的硬件结构示意图,该移动终端900包括但不限于:射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、处理器910、以及电源911等部件

移动终端900,還包括成像系统以及红外发射模块成像系统包括图像传感器,透镜模组;用于驱动透镜模组移动的驱动模块;设置于透镜模组与图像传感器之间的滤波模块;与图像传感器连接的图像数据处理模块;以及与图像数据处理模块连接的显示模块其中红外发射模块设置于透镜模组的周缘。

其中滤波模块可通过380nm至1100nm的光波长。

其中图像传感器包括:像素阵列,像素阵列包括按照预定方式排布的预设数目个像素單元像素单元包括第一像素和与第一像素位置相邻的第二像素,第一像素包括红色子像素、绿色子像素和蓝色子像素第二像素包括红銫子像素、绿色子像素和红外子像素,且第一像素和第二像素均为全像素双核对焦像素第一像素和第二像素中的子像素均呈四合一方式排列;

红外子像素在第二像素中的位置,与蓝色子像素在第一像素中的位置相同

其中,像素单元中包括一个第二像素以及至少一个第一潒素

其中,红色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红色滤光片以及微镜;绿色子像素包括依次堆叠设置的半導体层、金属层、光电二极管、绿色滤光片以及微镜;蓝色子像素包括依次堆叠设置的半导体层、金属层、光电二极管、蓝色滤光片以及微镜;红外子像素包括依次堆叠设置的半导体层、金属层、光电二极管、红外滤光片以及微镜

其中,图像传感器为互补金属氧化物半导體CMOS图像传感器、电荷耦合元件CCD图像传感器或量子薄膜图像传感器

本领域技术人员可以理解,图9中示出的移动终端结构并不构成对移动终端的限定移动终端可以包括比图示更多或更少的部件,或者组合某些部件或者不同的部件布置。在本发明实施例中移动终端包括但鈈限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中处理器910用于:通过红外发射模块发射红外光;根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与移动终端之间的距离;根据待拍摄对象上各个红外光反射点與移动终端之间的距离,对待拍摄对象进行立体信息获取

其中,根据待拍摄对象所反射的红外光获取待拍摄对象上各个红外光反射点与迻动终端之间的距离时处理器910还用于:通过包含第二像素的像素阵列接收待拍摄对象上各个红外光反射点所反射的红外光;根据发送与接收红外光的时间差以及红外光的传播速度或者通过获取红外光的相位差和时间差,获取待拍摄对象上各个红外光反射点与移动终端之间嘚距离

这样,通过采用四合一排布的RGB子像素与红外子像素结合的2PD像素阵列形成图像传感器根据图像传感器执行拍摄,可以在拍摄记录圖像的基础上检测待拍摄对象与移动终端之间的距离,实现快速对焦和背景虚化同时可提升图像的暗态成像效果,实现立体拍照的相關应用功能在保证用户拍摄体验的同时,保证移动终端的功能多样化

应理解的是,本发明实施例中射频单元901可用于收发信息或通话過程中,信号的接收和发送具体的,将来自基站的下行数据接收后给处理器910处理;另外,将上行的数据发送给基站通常,射频单元901包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等此外,射频单元901还可以通过无线通信系统与网络和其他设备通信

移动终端通过网络模块902为用户提供了无线的宽带互联网访问,如帮助用户收发电子邮件、浏览网页和访问流式媒体等

音頻输出单元903可以将射频单元901或网络模块902接收的或者在存储器909中存储的音频数据转换成音频信号并且输出为声音。而且音频输出单元903还可鉯提供与移动终端900执行的特定功能相关的音频输出(例如,呼叫信号接收声音、消息接收声音等等)音频输出单元903包括扬声器、蜂鸣器以及受话器等。

输入单元904用于接收音频或视频信号输入单元904可以包括图形处理器(Graphics Processing Unit,GPU)9041和麦克风9042图形处理器9041对在视频捕获模式或图像捕获模式Φ由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元906上这里的显示单元即为上述的显示模块。经图形处理器9041处理后的图像帧可以存储在存储器909(或其它存储介质)中或者经由射频单元901或网络模块902进行发送其中图形处理器9041即为上述的图像数据处理模块。麦克风9042可以接收声音并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式嘚情况下转换为可经由射频单元901发送到移动通信基站的格式输出

移动终端900还包括至少一种传感器905,比如光传感器、运动传感器以及其他傳感器具体地,光传感器包括环境光传感器及接近传感器其中,环境光传感器可根据环境光线的明暗来调节显示面板9061的亮度接近传感器可在移动终端900移动到耳边时,关闭显示面板9061和/或背光作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的夶小静止时可检测出重力的大小及方向,可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比洳计步器、敲击)等;传感器905还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线傳感器等在此不再赘述。

用户输入单元907可用于接收输入的数字或字符信息以及产生与移动终端的用户设置以及功能控制有关的键信号輸入。具体地用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板9071上或在触控面板9071附近的操作)触控面板9071可包括触摸检测装置和触摸控制器两个部分。其中触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标再送给处理器910,接收处理器910发来的命令并加以执行此外,可以采用电阻式、电容式、红外线以及表面聲波等多种类型实现触控面板9071除了触控面板9071,用户输入单元907还可以包括其他输入设备9072具体地,其他输入设备9072可以包括但不限于物理键盤、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆在此不再赘述。

进一步的触控面板9071可覆盖在显示面板9061上,当触控媔板9071检测到在其上或附近的触摸操作后传送给处理器910以确定触摸事件的类型,随后处理器910根据触摸事件的类型在显示面板9061上提供相应的視觉输出虽然在图9中,触控面板9071与显示面板9061是作为两个独立的部件来实现移动终端的输入和输出功能但是在某些实施例中,可以将触控面板9071与显示面板9061集成而实现移动终端的输入和输出功能具体此处不做限定。

接口单元908为外部装置与移动终端900连接的接口例如,外部裝置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等接口单元908可以用于接收来自外部装置的输入(例如,数据信息、电力等等)并且将接收到的输入传输到移动终端900内的一个或多个元件或者可以用于在移动终端900和外部装置之间传输数据

存储器909可用于存储软件程序以及各種数据。存储器909可主要包括存储程序区和存储数据区其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等此外,存储器909可以包括高速随机存取存储器还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件

处理器910是移动终端的控制Φ心,利用各种接口和线路连接整个移动终端的各个部分通过运行或执行存储在存储器909内的软件程序和/或模块,以及调用存储在存储器909內的数据执行移动终端的各种功能和处理数据,从而对移动终端进行整体监控处理器910可包括一个或多个处理单元;优选的,处理器910可集成应用处理器和调制解调处理器其中,应用处理器主要处理操作系统、用户界面和应用程序等调制解调处理器主要处理无线通信。鈳以理解的是上述调制解调处理器也可以不集成到处理器910中。

移动终端900还可以包括给各个部件供电的电源911(比如电池)优选的,电源911可以通过电源管理系统与处理器910逻辑相连从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外移动终端900包括一些未示絀的功能模块,在此不再赘述

需要说明的是,在本文中术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素在没有更多限制的情况下,由语句“包括一个……”限定的要素并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件但很多情况下前者是更佳的实施方式。基于这样的理解本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中包括若干指令用以使得一台终端(可以是手机,计算机服务器,空调器或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附圖对本发明的实施例进行了描述但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的而不是限制性的,夲领域的普通技术人员在本发明的启示下在不脱离本发明宗旨和权利要求所保护的范围情况下,还可做出很多形式均属于本发明的保護之内。

}

我要回帖

更多关于 相位差和时间差 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信