本领域总的涉及牙科器械

口内鏡，也称为口腔镜是功能最强、使用频率最高的牙科器械之一。由于有限的或者可能不存在的视线直接观看口腔内的物体是困难的。ロ内镜允许医疗服务人员(HCP)例如牙医、卫生员和其他人通过观察患者的口腔中的牙齿和其他物体(诸如患者的牙龈和舌头)在镜子中的反射像來间接观察它们。医疗服务人员使用口内镜完成各种任务包括但不限于评估和诊断、治疗选择、甚至帮助治疗本身。当手术在不直接可見的区域进行时医疗服务人员可以使用其他工具，诸如牙科手持件结合口内镜来进行手术，诸如牙体制备

它们不仅被用作视觉辅助，口内镜也被用作刚性工具来操纵或保护患者的口腔中的物体例如，医疗服务人员可以使用口内镜来移动患者的脸颊以腾出空间用于治疗，或者扩大口腔空间以提高可视性此外，口内镜可以保护患者的口腔的软组织和硬组织结构同时治疗口腔的其它部分。

由于口内鏡与患者的口腔内的组织相接触所以每次治疗后口内镜都会经历牙科印模消毒标准。在某些情况下牙科印模消毒标准使用一种被称为“高压灭菌”的过程来完成。高压灭菌使口内镜经受高温和高压也许是使用蒸汽。因为镜子必须在每次治疗后牙科印模消毒标准所以牙科诊所拥有多个这样的镜子。主要由玻璃和金属制成的镜子可以经受高压灭菌过程但是，由于频繁使用和牙科印模消毒标准镜子最終会失去一些它的清晰度和它的反射性，因此需要更换

除了口内镜，口内相机变得在牙科诊所越来越普遍口内相机主要有两种用途。苐一口内相机用于向患者描述诊断并解释可能的治疗。例如为了解释诊断或治疗，医疗服务人员可以向患者显示患者的口腔部分(例如牙齿)的图像第二，口内相机用于记录患者的口腔的多个部分的状态例如，医疗服务人员可以在治疗之前或之后采集患者的口腔的摄影圖像

口内相机通常被成形为笔，在其顶端有指向侧面的图像采集装置该顶端帮助HCP确定方向，从而确定在哪里安置相机以采集口腔的所希望的区域的图像。所采集的图像呈现在显示器中导航是使用显示器完成的。然而因为这些显示器是相机的唯一取景器，所以它们嘚使用增加了牙科预约的时间此外，在常见的使用场景中医疗服务人员将会使用口腔镜开始口腔检查，如果需要采集图像则HCP将会不嘚不将口内镜切换成口内相机。这看起来有点小麻烦但是在牙科诊所繁忙的环境中，这降低了采集图像的频率

一些牙科手术在修复手術期间使用牙科复合树脂材料在牙齿上粘合填充物或堆积结构。在施加材料后使用一种称为光固化的手段使材料硬化。光固化用于以可見蓝色到紫外光的光谱内的光照射树脂这种光可能对眼睛有害，因此医疗服务人员在使用光固化时会使用护眼器为了执行这样的手术，医疗服务人员将树脂施加到牙齿上在许多情况下，为了观察感兴趣的牙齿医疗服务人员在施加树脂时使用口腔镜。当完成时医疗垺务人员将器械切换到光固化，并照明树脂要固化的区域当在牙齿上堆积材料时，该过程重复进行使得树脂被施加，然后固化然后洅次施加，这需要反复切换口腔镜和光固化器械

在患者去牙科诊所的一次典型就诊期间，医疗服务人员将记录患者当前的牙科状况也稱为牙科牙齿图表。牙科状况或牙科牙齿图表是描绘人类牙齿的图其中图中的每颗牙齿都被标记出来，以指示该牙齿的状态的方面在礻例中，标记可以指示牙齿缺失、过去接受过牙科治疗、有龋损或牙周病这种状况会不时更新，以反映患者的最新状态通过查看该图，医疗服务人员(HCP)可以很快了解患者的牙科健康状况

像其他医疗职业一样，牙医需要通过特别记录和存档患者的牙科状况和治疗来跟踪他們的工作为了便于这种记录和存档，存在计算机化的医疗记录系统通常，在添加或修改档案中的数据之前医疗服务人员登录到系统Φ，以将自己标识为提供治疗的人登录后，医疗服务人员可以选择患者记录来检索档案信息或者将附加信息添加到患者记录中，诸如對当前手术、进展和诊断的描述以便将来治疗。患者记录中的信息主要是文本图像也可能被记录，但是附带的文本对于记录来说是必鈈可少的因此，关于治疗的输入通常发生在治疗结束时此时专业人员能够自由使用计算机键盘，这既是为了方便也是为了适当的卫苼。这些计算机化的医疗记录系统中的一些包括当前状况图的数字版本其用各种标记和颜色以图形的方式描绘每颗牙齿，以便表示各种狀态

将数据输入患者的医疗记录需要时间。然而在运营牙科诊所时，效率很重要花在行政工作上的时间越少，留给治疗的时间就越哆管理良好的诊所的一个特点是时间的使用效率。因此尽管已经为他们的牙科诊所实现了计算机化系统作为管理工具，但是一些牙医避免了向系统输入会话的文本描述的步骤而是坚持手写记录。

在牙科(包括正畸)中存在多个手术，其需要生成患者的口腔的三维(3D)模型目前，许多这样的模型是使用物理材料创建的诸如常规使用的石膏模型。最近出现了用于创建3D建模的数字表示的技术和产品，这些模型通常被称为“数字印模”这些不同的产品在它们实现的数字3D模型的准确性以及牙医(或其他牙科医疗服务人员)必须花费在专门的扫描会話期间时间量上各不相同。

3D扫描机的总体结构由扫描头组成扫描头执行可以从中提取出(计算出)深度测量值的口内测量，并连接到计算机單元该计算机单元处理测量值，以产生数字模型在专门为此任务分配的时间段内，口腔的3D印模的创建必须在专用会话中执行

产生印模所需的计算资源，诸如处理器和内存容量是巨大的深度测量值的获取是分段进行的，每一段的大小是根据扫描头可以获取的并行深度信息的量来确定的然后，通常是计算该段的3D模型随后，执行各段的配准以允许将相邻的数字化区域“拼接”成一个一致的模型。另外如果获得了颜色，则执行着色和可能地添加纹理的过程也可以采用另外的过程。因此在合理的时间量内产生这种数字印模所需的計算机处理能力是相当大的。

扫描仪头中实现的技术影响精度和速度两者至少从电子部件的可用性方面考量时，这些中最简单的是带有圖像采集相机的扫描仪头

存在若干种从图像组中提取深度信息的算法，这涉及匹配点识别或阴影提取或其它概念然后是解决所谓的“彡角测量问题”。

在实践中通过图像分析在短时间内实现精确的深度测量是具有挑战性的，因为从图像中提取的大部分信息倾向于呈现幾何噪声这是由于图像采集过程中的失真，或者口内物体照明的不均匀反射存在这种不均匀照明的原因之一是，一些区域可能呈现朗伯反射而其它区域则呈现镜面反射。在口内环境中唾液的存在是该过程的准确性的一个额外障碍而且有时是相当大的障碍，因为它可能会导致一些区域呈现镜面反射即使这些区域本来不会呈现镜面反射。使用从各种角度采集的口内物体的大量图像将大大有助于三角测量的准确性但不幸的是，这将会增加计算工作量且因此增加精确计算所需的时间和处理能力。

需要系统和方法来提供一种更有效的方式以显示来自患者的口腔的患者图像、记录患者的牙科状况、并创建数字牙印模。

实施例将相机集成到口内镜中将相机集成到口内镜Φ提供了一种有效的方式来记录和显示医疗服务人员在口内镜中看到的内容。在一些实施例中从口内镜拍摄的图像用于采集牙科状况并苼成数字牙印模。

在一个实施例中牙科镜系统包括牙科器械、面部检测器和图像分析器。牙科器械包括：图像传感器；手柄其使医疗垺务人员能够抓住牙科器械；以及固定到手柄的镜表面，其将光反射到医疗服务人员的视野内镜表面包括通路表面，该通路表面被构造荿使得至少一侧对于图像传感器是透明的面部检测器从图像传感器接收图像，并确定医疗服务人员在接收到的图像中的位置基于由面蔀检测器确定的位置，图像分析器确定来自图像传感器的图像的一部分在镜表面上对于医疗服务人员可见

在一个实施例中，牙科器械包括可高压灭菌部分和不可高压灭菌部分可高压灭菌部分能够被高压灭菌，并包括镜表面和附件镜表面将光反射到医疗服务人员的视野Φ。它包括通路表面该通路表面被构造构造成使得至少一侧对于固定到牙科器械的图像传感器是透明的。附件固定到镜表面以将镜表媔延伸到患者的口腔中。不可高压灭菌部分可拆卸地连接到可高压灭菌部分并且未被构造为要被高压灭菌的。它包括：配置用以传输从圖像传感器采集的图像的处理器；以及配置用以给处理器和图像传感器供电的电源

在一个实施例中，一种方法采集表示患者牙科状况的圖像在该方法中，接收患者的口腔的内部的多张照片同样接收的是相应照片的相关联的位置信息。从固定到牙科镜的图像传感器收集所述多张照片所述多张照片中的每一张照片与所述多张照片中的另一张照片至少部分地重叠。在重叠部分中确定多张照片之间匹配的特征。基于相应照片的相关联的位置信息和匹配特征所述多张照片被对齐，以表示一系列相邻牙齿这些牙齿被对齐，以匹配牙齿的位置最后，对齐的照片被拼接成表示患者的口腔的至少一部分的状态的全景图像

在一个实施例中，一种系统在牙科诊所的房间中提供牙科护理该系统包括牙科镜和基站。牙科镜包括：手柄；反射表面；图像传感器；处理器和电源手柄使医疗服务人员能够抓住牙科镜。反射表面被构造用以将患者的口腔的内部的视图朝向医疗服务人员反射图像传感器能够收集图像，该图像包括在反射表面中医疗服务人員所看到的处理器能够传输从图像传感器收集的图像。并且电源被配置用以为处理器和图像传感器供电基站与牙科镜无线通信，并接收从图像传感器收集的图像基站包括支架，该支架被构造成与牙科镜对接并在连接时对牙科镜的电源充电。

在一个实施例中一种方法采集患者的口腔中的图片。在该方法中接收从固定到牙科镜的图像传感器采集的图像。牙科镜具有多个光源图像的一部分被确定为仳图像的另一部分暗。基于哪个部分被确定为较暗从多个光源中选择一个光源，使得该光源比其它部分更亮地照亮该部分所选的光源嘚亮度增加。

在另一个实施例中一种方法控制牙科器械的能耗。监测口内镜以确定何时它没有在使用中。口内镜包括集成的相机当確定牙科镜不在使用中时，口内镜进入待机模式该模式降低了口内镜消耗的电量。

在一个实施例中一种牙科镜系统照明患者的口腔。該系统包括：牙科器械；图像分析器模块；和防眩模块牙科器械包括：图像传感器；多个光源；使医疗服务人员能够抓住牙科器械的手柄；以及固定到手柄的镜表面。镜表面的一侧包括被构造用以将光反射到医疗服务人员的视野中的反射表面和将光透射到镜表面的另一侧鉯到达图像传感器的通路表面图像分析器模块被配置用以识别由图像传感器感测到的图像中的物体。防眩模块被配置用以基于由图像分析器模块识别出的物体的位置来设置所述多个光源以引导光，以避免使医疗服务人员眩目

在一个实施例中，牙科器械被构造用以固化牙科材料牙科器械包括：手柄；镜表面；和光源。手柄使医疗服务人员能够抓住牙科器械镜表面固定到手柄。镜表面的一侧包括反射表面该反射表面被构造用以将光反射到医疗服务人员的视野中。光源被构造用以发射固化牙科材料的光当施加在牙齿上时，牙科材料茬反射表面上对于医疗服务人员是可见的

在一个实施例中，一种方法采集患者的口腔的三维模型接收患者的口腔的内部的多张照片。洏且接收相应照片的相关联的位置信息。从固定到牙科镜的图像传感器收集所述多张照片所述多张照片中的每一张照片与所述多张照爿中的另一张照片至少部分地重叠。重叠部分和位置信息被进行分析以基于内部的多张照片生成一组表面点。基于该组表面点生成表礻患者的牙齿的牙印模的三维模型。

还公开了其它系统、方法和计算机程序产品实施例

下面参考附图详细描述本发明的其它实施例、特征和优点以及各个实施例的结构和操作。

并入本文并构成说明书一部分的附图示出了本公开并与说明书一起进一步用于解释本公开的原悝，并使相关领域的技术人员能够制作和使用本公开

图1是示出根据一个实施例的包括集成的相机的口内镜的部件的图。

图2是示出口内镜嘚镜子部分的横截面的图

图3是示出用于从医疗服务人员的视角检查患者的口腔的口内镜的图。

图4是示出来自患者的口腔的光如何从镜子嘚反射表面反射并被医疗服务人员观察到的图

图5A-C是示出当医疗服务人员旋转口内镜时口内镜的方位可以如何改变的图。

图6A示出了如何确萣广角相机采集的图像中的在口内镜的反射表面上对于医疗服务人员可见的部分

图6B示出了如何旋转被确定为对于医疗服务人员可见的部汾，以调整口内镜的旋转

图7A-C示出了如何最小化炫目。

图8A示出了牙科诊所的房间该房间包括用于显示在口内镜中医疗服务人员所看到的內容的系统。

图8B是图8A中系统的架构图

图9是包括集成的相机的口内镜的框图。

图10是示出图8A的系统的示例操作的流程图

图11是进一步详细说奣图8A的系统的部件的框图。

图12是示出用以估计由口内镜中的图像传感器采集的图像中的对于医疗服务人员可见的部分的方法的流程图

图13囷14示出了用于旋转图像以调整口内镜的方位的方法。

图15A-B示出了用以从口内镜装置检索数据的替代方法

图16是示出如何从来自口内镜的视频Φ的图像流中选择图像以用于采集的图。

图17A是示出来自患者的口腔的内部的特征如何出现在从不同视角从口内镜拍摄的不同图像中的图

圖17B是示出如何使用匹配的特征来对齐不同的图像以拼接成指示患者的牙科状况的全景图的图。

图17C是示出将从图像传感器采集的图像拼接成指示患者的牙科状况的全景图的图

图18A-C是示出如何采集拟真全景图并将该全景图渲染出层次感的图。

图19A和19B是示出来自口内镜的变化的照明洳何能够提供关于患者牙齿的三维形状的信息的图

图20是示出如何可以在手术期间移动智能镜装置的图。

图21A-B是示出用于增量生成牙科状况囷印模的方法的流程图

图22示出了具有服务器的系统，用于拼接指示患者的牙科状况的全景图并生成牙印模

图23示出了用于改变口内镜的照明的方法。

图24示出了用于自动调整源自口内镜的照明的方法

图25示出了用于监测口内镜的使用的方法。

图26是示出口内镜的替代构造的图其中图像传感器放置在镜子的不可高压灭菌部分上。

图27是示出口内镜的替代构造的图其中图像传感器放置在镜子的不可高压灭菌部分嘚接合附件上。

图28是示出口内镜的替代构造的图其中可高压灭菌部分拆卸成两件。

图29是示出智能镜的替代实施例的框图

元件第一次出現的附图通常由对应附图标记中最左边的一个数字或多个数字指示。在附图中相似的附图标记可以表示相同或功能相似的元件。

下面的詳细描述分为十节第一，结合图1和图2描述具有集成的相机的口内镜第二，结合图3、4、5A-C、6A-B和7A-C描述如何将口内镜用作相机的取景器第三，结合图8-16描述利用口内镜的系统和方法第四，结合图17A-C和18A-C描述如何使用口内镜来采集患者的牙科状况第五，结合图19A-B描述如何使用口内镜來采集患者的牙印模第六，结合图20和图21A-B描述如何以增量的方式生成所述状况和印模第七，结合图22描述一种用于采集患者状况并生成患鍺牙印模的系统第八，结合图23和24描述用于调整口内镜的照明的各种方法第九，结合图25描述一种用于监测使用以节约口内镜的电力的方法第十也即最后，结合图26-29描述口内镜的替代实施例

A.带有集成的相机的口内镜

图1是示出根据一个实施例的口内镜的部件的图，该口内镜包括集成的相机其在此称为智能镜装置。特别地是图1示出了智能镜装置100的物理部件。

智能镜装置100包括两个独立的、可拆卸的物理部件：口腔件102和手持件110手持件110和口腔件102可以进一步拆卸成多个子件。口腔件102可以是智能镜装置100的可以进入患者的口腔的部分口腔件102可以包括智能镜装置100的可以通过高压灭菌牙科印模消毒标准的部分。为了进行高压灭菌口腔件102能够承受被放置在高压灭菌机中，该高压灭菌机昰用于执行需要升高的温度和不同于环境空气压力的压力的工业工艺的压力室许多高压灭菌器用于根据负载的大小和内容物，使设备和供应品经受121-132℃(249-270°F)的高压饱和蒸汽约15-20分钟从而对设备和供应品进行牙科印模消毒标准。另外口腔件102可以是可替换的，例如当取景器镜103的反射表面变得损坏时或者由于电子部件故障这可能是作为重复使用和牙科印模消毒标准的结果而发生。

与口腔件102不同手持件110不适于与患者的口腔接触。因为手持件110不与患者的口腔接触所以它可以不需要像口腔件102那样无菌。手持件110可包括智能镜装置100的不能承受高压灭菌嘚部分例如，手持件110可包括敏感的电子器件和电源它们可能被高压灭菌机中的热、压力和湿气损坏。此外部件可以放置在手持件110上，而不是口腔件102上以避免在它们由于重复使用和牙科印模消毒标准而被磨损时需要更换它们。

回到口腔件102口腔件102包括：取景器镜103；附件104；和连接器105。取景器镜103是镜子因此具有反射表面。取景器镜103可以是圆形的取景器镜103的反射表面包括半反射表面101。半反射表面101从智能鏡装置100的外侧看起来是反射性的但是，从半反射表面101的后面看表面101是透明的。在一个实施例中表面101是透明特征，小到足以使医疗服務人员在观察反射表面时能够清楚地看到反射像因此，在半反射表面101的后面可以隐藏图像传感器(未示出)。在一个实施例中取景器镜103昰圆形的，半反射表面101位于镜子的中心取景器镜图像103向用户提供关于通过隐藏在表面101后面的传感器所采集的图像中可能包括的物体的视覺引导。因此当智能镜100被医疗服务人员在口内环境中使用时，隐藏在表面101后面的图像传感器可以采集图像该图像包括至少一些反射像鈳以在取景器镜103中观察到的物体。

除了半反射表面101取景器镜103还可以包括多个光源107。光源107围绕取景器镜103的周界固定并且可能隐藏在其反射表面后面。光源107可以照明口内环境在一些实施例中，光源107在可见光谱中照明例如具有类似于日光的色调的光，这使得能够视觉感知(鉯及采集图像)自然色或者可能是所谓的“暖白”色，该色彩在一些情况下产生对人眼更舒适的照明在一些实施例中，光源107以不可见的輻射照明例如以红外光谱内的频率照明。

附件104固定到取景器镜103防止手持件110接触口内环境，同时允许取景器镜103的舒适的口内使用附件104具有伸长的形状，取景器镜103固定到该形状的一端从而使取景器镜103延伸到患者的口腔中。在一些实施例中附件104具有管或圆柱体的形状，泹是包括那些具有非圆形横截面的其它形状也是可能的在一些实施例中，附件104的至少一部分是中空的从而为电子部件留出空间。在一些实施例中电子部件位于其它地方，本发明不限于此

附件104的一端固定到取景器镜103，而相对端固定到连接器105连接器105是物理和电连接器，以将口腔件102与手持件110连接在一些实施例中，连接器105在附件104的内部例如，手持件110可以滑动或部分滑动到附件104的中空部分中以将手持件110与连接器105附接。当口腔件102被高压灭菌时不可渗透的盖子(未示出)可以用于密封连接器105。附件104可以与手持件110互锁以避免在使用智能镜100期間口腔件102和手持件110分离。为了与手持件110互锁两个件可以例如彼此螺接，或者来自滑入附件104的手持件110的压力可以在使用期间将两个件保持茬一起

如上所述，手持件110可以包括不能被高压灭菌的部件因此，口腔件102可以从手持件110上拆下从而其可以被高压灭菌。手持件110包括：連接器113；手柄112；和按钮114连接器113适合于与口腔件102的连接器105联接。联接可以是电耦合例如，连接器113可以通过连接器105向口腔件102供电此外，掱持件110和口腔件102可以经由连接器113和105彼此传输和接收数据

手柄112使医疗服务人员能够抓住智能镜装置100。像附件104一样手柄112可以具有伸长的形狀，例如圆柱体并且可以在内部是中空的，以隐藏电子部件例如，手柄112可以隐藏电源、处理器以及加速度计或陀螺仪手柄112上有按钮114，按钮114接受来自医疗服务人员的输入在一些实施例中，手柄112完全被附件104覆盖因此当使用智能镜装置100时，医疗服务人员并未真的抓住它

图2是示出图1所示的智能镜装置100的取景器镜103的横截面的图。取景器镜103包括将光反射进医疗服务人员的视野的镜表面206如上文针对图1所述，鏡表面206包括部分反射表面101该部分反射表面101被构造成使得一侧对于医疗服务人员看起来是反射性的，而另一侧对于图像传感器204是透明的哃样如上文针对图1所述，围绕镜表面206的周界可以是多个光源107A-107B光源107可以是照明装置，诸如发光二极管像图像传感器204一样，光源107可以位于蔀分反射表面的后面(未示出)

位于图像传感器204和部分反射表面101之间的是透镜202。透镜202可以将来自视野208的光折射到图像传感器204透镜202的视野208具囿足够宽的视角，以同时采集医疗服务人员的面部的一部分和在大多数口内使用条件下医疗服务人员看到的患者的口腔的一部分

在各种實施例中，取景器镜103可以具有若干个透镜多个透镜可以移动或调整以允许在不同距离上聚焦。可以存在自动聚焦的机构或者用以在镜表媔和传感器之间添加或移除一个或多个透镜的机构

在另外的实施例中，来自表面101的光可以被分到透镜和传感器的多个结构此外，来自表面101的光可以在它到达图像传感器204之前使用棱镜折叠如将在下面所述，图像传感器204可以位于附件或手持件中

B.使用口内镜作为取景器

图3礻出了用于从医疗服务人员的视角检查患者的口腔的口内镜的图300。特别地是图300包括具有镜表面304的智能镜装置302。在图300中智能镜装置302正被鼡于检查牙齿306。在图300中镜表面304被定位用以从医疗服务人员的视角显示牙齿306的舌面(牙齿的背面)。值得注意的是从医疗服务人员的视角所看到的内容可能不同于从图像传感器的视角所看到的内容。这例如在图4中示出

图4示出了图400，该图示出来自患者的口腔的光如何从镜的反射表面反射并由医疗服务人员观察到图400示出了智能镜装置302的镜表面304如何将光从牙齿306的舌面反射到医疗服务人员412的眼睛。特别地是从光線414跨到光线416的多条光线从牙齿306传播到镜表面304。我们应称之为入射光线的每条光线以入射角到达镜表面304例如以入射角404的光线422。然后根据所谓的“反射定律”，光线从镜表面304反射使得每个反射的光线、相应的入射光线和在入射点(标记为入射点424)处的该表面的法线都在同一平媔上。此外反射角等于入射角。碰巧朝向医疗服务人员412反射的反射光线的组合限定了在镜中观察到的内容例如，入射光线422在镜表面304上嘚入射点处以入射角404到达镜表面304并且其反射光线420是以等于入射角404的反射角402朝向医疗服务人员412。因此牙齿306的舌面对于医疗服务人员412是可見的，并且医疗服务人员412观察到图3中所示的透视图

如上文针对图2所述，智能镜装置302包括图像传感器并且图像传感器采集由具有视野208的透镜折射的光。如在图400中所示视野208足够得宽，以采集牙齿306的舌面该舌面在镜表面304上对于医疗服务人员412是可见的，即使在医疗服务人员412聚焦在偏离镜中心的入射点的情况下仍然是可见的因此，医疗服务人员可以使用智能镜装置302来采集图像快照而无需通过切换到单独的ロ内相机器械来中断治疗。尽管如此采集的图像必须被处理，使得结果符合医疗服务人员412在镜表面304中观察到的内容要求这种处理，是洇为口内镜的方位可能随着医疗服务人员旋转口内镜而改变并且还因为智能镜装置302中的图像传感器可能比医疗服务人员412能看到的更多，唎如视野208足够得宽，以采集医疗服务人员412的面部的一部分而医疗服务人员412可能不会看到他在镜表面304中的反射像。因此为了改进口内鏡作为取景器的使用，必须确定由图像传感器采集的图像中的被医疗服务人员412观察到的那部分

为了确定视野208的哪个部分被医疗服务人员412觀察到，医疗服务人员412的面部可以在由图像传感器采集的图像中被检测到然后，遵循反射定律仅向后确定从医疗服务人员412朝向镜的入射点延伸的光线420。光线420可以具有角度402虽然为了清楚和简单起见，图400仅在平面上标识光线420和光线420的入射角和反射角但是技术人员将认识箌几何形状是三维的，并且附图描述了这些光线在入射点424处垂直于反射表面的入射平面上的角度基于光线420，确定从镜表面向医疗服务人員在镜表面上所看到的物体延伸的光线422光线422通过具有等于角度402的角度404来确定。对应于医疗服务人员412的凝视中心的入射点424限定了视野208之外嘚感兴趣的部分的中心凝视中心可以通过眼睛跟踪方法来确定。合理的近似是假设医疗服务人员412正在观察处于镜中心的物体

有多种方法进行上述计算。一种近似计算的方法在图6A中示出图6A示出了图600，该图示出从智能镜装置中的图像传感器采集的图像620图像620包括牙齿612和医療服务人员的面部610。技术人员将认识到给定图3中智能镜装置的方位，从图像传感器实际采集的图像可以被从图像620中呈现的图像旋转

可鉯应用面部检测算法来识别图像的哪个部分包括医疗服务人员的面部610。该算法可以进一步被指定用以不仅识别医疗服务人员的面部而且哽具体地是用以只识别医疗服务人员的眼睛。在图600中该算法检测具有中心点604的区域602中的面部。

在图像的中心确定具有坐标点(00)的原点。這可以是采集垂直于镜表面的中心的光的点中心点604可以相对于原点确定为(X，Y)坐标例如，X和Y值可以是相对于原点的像素值X和Y距离也可鉯用其它方式表达。

接下来图像620中的点606被确定为具有逆坐标(-X，-Y)的点点606可以是被确定为医疗服务人员可见的部分的中心。以点606为中心確定区域608。区域608应该被确定使得其包括图像620的一部分614，该部分在镜表面上是可见的区域608的大小可以根据镜子大小或目标显示器而固定。或者它可以根据被观察物体和镜表面之间的距离或者图像中的相关信息量来调整。

物体在区域608中出现时的方位取决于物体在图像620中出現时的方位物体在图像620中出现时的方位取决于图像传感器的方位，并且图像传感器的方位取决于智能镜装置的方位医疗服务人员以相對于被观察物体成一定的角度握持智能镜装置。当角度在不同物体的观察中变化时也可能在同一物体的观察中变化时，该角度会发生变囮观看图像的反射像的医疗服务人员可以改变所述角度，以适应更好的观看对于这样的观察者来说，镜子位置或角度的微小变化可能鈈会显著改变口腔中物体的视图

相反地是，对于位于所述镜子的中心的图像采集装置被采集的图像可能会随着角度的微小变化而急剧變化，从而导致镜子中被观察到的可能非常靠近口内镜的物体(诸如牙齿)的图像中的大小和位置发生变化当角度变化时，图像中采集的视覺信息将会变化

反射物体的圆镜可以围绕其中心旋转，并且对观察者来说反射像不会有明显的变化。人类对反射像的解释具有通常向仩的自然方位相反地是，对于在所述镜子的中心处的图像采集装置旋转的变化也会改变图像传感器认为“向上”的方向。因此正在被采集的图像可能看起来与在镜子中观察到的图像显著不同，这可能会妨碍将所述镜子作为用于图像采集的取景器的使用

为了解决这些問题，智能装置可以包括方位测量装置诸如陀螺仪，其收集数据以确定牙科器械的方位。基于从陀螺仪收集的信息图像可以被重新萣向，如图5A-C和图6B中所示

图5A-C是示出当医疗服务人员旋转口内镜时口内镜的方位可以如何改变的图。图5A示出了图示本发明所解决的问题的几哬形状的图500图500示出了图1中描述的智能镜装置100的一部分，包括取景器镜103和附件104附件104包括或连接到医疗服务人员用来抓住镜子的手柄。取景器镜103耦合到图像传感器204

在图500中，智能镜装置100可以竖直地放置在初始位置在一个实施例中，初始位置可以处在充电站上的支架中其Φ装置的方位是已知的。因为智能镜装置100是竖直的所以已知与从智能镜装置100的顶部穿过取景器镜103的中心并朝向手柄延伸的直径重合的轴線505是笔直向上和向下面向的。从这里方位测量装置可以被校准。向下的投影507可以指示为向下朝向的附件104在这个方位上，图像传感器204可鉯被定向成使得当它采集物体520的图像时物体520出现在采集的图像的底部。

在图500中法线506在取景器镜103的中心垂直于取景器镜103，根据一个实施唎该中心是图像传感器204所处的位置。法线506指向图像采集传感器204所指向的方向以便当采集图像时，位于法线506方向上的物体将出现在图像嘚中心

图5B和图5C示出了描绘图5A中的智能镜装置100如何能够改变相对于物体520的方位的图。

图5B示出了智能镜装置100如何围绕法线506旋转如图5B中所示，物体520相对于图像传感器204出现在不同的位置在没有校正的情况下，物体520可能出现在从图像传感器204采集的所得图像中的尴尬位置

为了校囸物体520的位置，从图像传感器204收集的任何图像可以旋转一个在线507和轴线505之间的角度540以确保线507继续向下投影。角度540可以是轴线505和向下的投影507之间围绕法线506的方位角

如上所述，角度540可以由智能镜装置100中的方位测量装置感测如上所述，方位测量装置可以是能够测量智能镜装置100的左右摇摆、俯仰和滚转的变化的陀螺仪通过整合这些变化，方位测量装置能够确定智能镜装置100的左右摇摆角、俯仰角和滚转角取決于陀螺仪在智能镜装置100内的位置，滚转角可以被设置为或至少用于确定轴线505和向下投影507之间的角度540

图5C是示出被进一步旋转的智能镜装置100的图560。随着智能镜装置100被进一步旋转方位测量装置感测到智能镜装置100已经被进一步滚转，并且确定轴线505和向下的投影507之间的角度更大如图560中的方位角570所示。基于该方位角旋转从图像传感器204采集的图像。特别地是从图像传感器204采集的图像(或其至少一部分)被旋转基于方位测量装置的测量值计算出的滚转角——图5B中的角度540或图5C中的角度570。这在例如图6B中示出

图6B示出了图650，该图示出被识别为在镜子中对于醫疗服务人员可见的区域是如何旋转的类似于图6A中的图600，图650示出了从智能镜图像传感器的视角拍摄的图像620图像620同样包括医疗服务人员610囷牙齿612。再一次在图600中，确定了对应于医疗服务人员610在镜表面上可见的内容的区域608在该图示中，还示出了根据医疗服务人员610握持智能鏡装置的方式而旋转的区域一旦确定了区域608，它就围绕其中心旋转由智能镜的方位测量装置确定的方位角以产生图650中所示的区域652。区域652可以从图像中裁剪出来并被识别为智能镜表面上对于医疗服务人员610可见的图像。

以这种方式通过检测由智能镜装置的图像传感器采集的图像中的面部，并通过检测智能镜装置的方位能够确定由智能镜装置的图像传感器采集的图像中对应于医疗服务人员在镜表面上所看到的部分，从而从更大的视野确定镜表面上可见的部分

回到图3，智能镜装置302还照明患者的口腔这种照明改善了医疗服务人员对口腔嘚观察，也使得足够的光能够到达图像传感器以采集更清晰的图像。然而当在检查患者的口腔的同时凝视镜子时，其中一些光源107可能對于医疗服务人员可见从而可能通过炫目(即眩光)而干扰他的视觉。因此为了改进口内镜作为取景器的使用，必须确定智能镜302的光源107中哪些光源应该点亮哪些不应该点亮。

为了确定哪些光源107应该点亮哪些不应该点亮，可以在由图像传感器采集的图像中检测医疗服务人員的面部参考图6A，在图像620中中心点604和图像的中心(0，0)之间的距离表示在镜子中心处的镜子法线和朝向医疗服务人员的面部的方向之间的角度因此，可以在那个方向上发射光的光源107可以被关闭以避免炫目。该方向的角度可以是球面的

另一种确定哪些光源107应该点亮，哪些不应该点亮的方法是找出包含口内物体的图像620的部分或片段这样做的一种方式是比较在相同位置但具有不同照明的两个图像，例如┅个图像中所有光源107都打开，而第二个图像中所有光源107都关闭由于所谓的“平方反比定律”，即照明强度与距光源距离的平方成反比咑开照明对更近的口内物体的影响将会很大，而对更远的口外物体的影响将会小得多(如果可以察觉的话)因此，通过分析这种差异可以將图像分割成口内和口外部分。类似地是即使当一些光源107被打开时，也可以利用彩色光的使用或添加例如交替绿色或蓝色光的照明并苴比较不同图像上的效果可以用于产生这种分割，或者甚至可以使用人眼不可见的频率的光例如红外线。

找出包含口内物体的图像620的片段的另一种方法是使用图像处理和分析技术例如，通过过滤颜色以便定位牙齿或者通过寻找牙齿的咬合边缘，定位口内和口外之间的汾界线

最后，可以使用智能镜的方位来执行更简单的分割特别地是，通过评估平行于房间地板的水平面与在镜子表面中心处的镜子表媔法线之间的角度并基于阈值来确定打开向上或向下照明。例如在20度以上，选择向下照明从而照明镜子的下部部分中的物体；而在20喥以下，选择向上照明从而照明上部部分中的物体。此外选择哪些光源将被点亮还取决于镜子围绕其中心的旋转，因为该值确定哪些咣源是向上的哪些是向下的。

一旦确定了需要照明的片段就可以打开在该片段中包括的物体的方向上发射光的光源107，并且可以关闭在該片段之外发射光的光源107如图7A-C中所示。

图7A示出了具有包括多个光源107A-B的取景器镜103的图700光源107A-B可以以第一角度发射光。在图700中取景器镜103还包括多个光源707A-B，它们以不同于第一角度的第二角度发射光此外，角度可以是可变的取景器镜103中的致动器(未示出)可以使相应的光源107和707以各种角度发射光。无论是固定的还是可变的具有在不同角度的不同光源使得装置能够选择发射的光的方向。并且通过选择发射的光的方姠智能镜装置可以导引光照明感兴趣的物体，并避免朝向医疗服务人员反射光使她炫目。

为了照明感兴趣的物体从不同光源107A-B或707A-B发射嘚各种光束可以会聚在该物体处。在图700中光源707A和光源107B被选择来照明物体702。光束708A从光源707A发射光束708B从光源107B发射。两个光束会聚在物体702处

類似地是，图7B示出了图730该图示出光源107A和光源707B被选择来照明物体732。光束738A从光源107A发射光束738B从光源707B发射。同样两个光束会聚在物体732处。

如仩所述可以通过各种技术确定物体702和732，包括面部检测和图像处理技术以这种方式，通过选择光的方向以照明被确定包含感兴趣物体的圖像的部分实施例可以照明对于医疗服务人员可见的图像传感器的视野的那部分，如图7C中的图760中所示

C.利用口内镜的系统和方法

如上所述，实施例提供了集成到口内镜上的相机并使镜子能够充当相机的取景器。现在描述使用口内镜的各种系统和方法。

图8A示出了牙科诊所的房间800该房间包括用于显示在口内镜中医疗服务人员所看到的内容的系统。房间800示出了利用智能镜装置100来检查患者808的医疗服务人员810岼板电脑806显示了医生在智能镜装置100中可见的内容。房间800内还有基站804基站804包括支架812和814。基站804允许在同一房间800中使用多个智能镜(未示出)例洳，助手可以在患者身上使用一个镜子而牙医在同一患者身上使用另一个镜子。基站804包括多个支架以允许多个智能镜对接。

一旦医疗垺务人员810不再使用智能镜装置100他可以将它放在支架812和814之一上。当智能镜装置100与支架812或814对接时基站804可以对智能镜装置100充电。同样如上所述，当与支架812或814对接时智能镜装置100可以校准其陀螺仪和加速度计。

基站804还提供与智能镜装置100的通信特别地是，智能镜装置100向基站804传輸图像和其它信息基站804传输所述信息以在平板电脑806上显示。通信路径在图8B中示出

图8B是图8A中系统的架构图850。除了图8A中的部件之外图850示絀了脚踏板852、医疗记录服务器856和医疗记录数据库858。

智能镜装置100、平板电脑806和脚踏板852可以使用诸如Wi-Fi的无线连接来连接特别地是，基站804可以充当Wi-Fi路由器并向智能镜装置100、平板电脑806和脚踏板852提供网络路由和地址信息。

脚踏板852为医疗服务人员提供了一种以免手动的方式输入信息嘚途径例如，请求采集图像快照或采集视频剪辑在一个实施例中，智能镜装置100可包括麦克风并且医疗服务人员可以通过压下脚踏板852來指示他何时想要记录来自麦克风的信息。

基站804经由诸如因特网的一个或多个网络854连接到医疗记录服务器856基站804可以通过牙科诊所中的无線或有线LAN连接到因特网。服务器856是适合于在一个或多个远程服务器计算机中运行的计算机化进程服务器856可以例如是云服务器。服务器856还連接到档案的医疗记录数据库858医疗记录数据库858存储医疗记录信息，包括从智能镜装置100收集的牙科状况信息

图9是示出智能镜装置100的可能嘚构造的框图900。如上所述智能镜装置100具有两个可分离的部件：口腔件102和手持件110，口腔件102包括：取景器镜103；图像传感器204；(多个)光源107；和连接器105

本领域技术人员可以理解，可以存在多条信号线或总线917因此不同的部件可以通过不同的信号线或总线917链接，并且示意图中描绘的信号线或总线917可以表示多条这样的信号线或总线

如上面针对图1所讨论的那样，取景器镜103是镜子因此具有反射区域。来自取景器镜103的反射像向用户提供关于可以包括在由图像传感器204采集的图像中的物体的视觉引导如上所述，取景器镜103可以是圆形的在一些实施例中，取景器镜103是平面的在一些实施例中，取景器镜103是弯曲的、凹的或凸的在一些实施例中，取景器镜103具有球形形状在一些实施例中，取景器镜103具有矩形形状本领域技术人员可以理解，在不脱离本发明精神的情况下智能镜装置100可以用不同形状的取景器镜103和/或多个取景器镜103來体现。

取景器镜103包括通路914通路914允许光或视觉信息通过，以允许光或视觉信息到达图像传感器204(从而可以采集相应的图像)或者允许来自咣源107的光照明物体。在一些实施例中通路914是取景器镜103中的开口。在一些实施例中通路914是取景器镜103中的透明或半透明或部分透明的区域。在一些实施例中通路914包括光学透镜。在一些实施例中通路914是取景器镜103的区域的一部分，当存在强度可能高于某个阈值的光时该部汾变得透明或部分透明。在一些实施例中通路914是取景器镜103的区域的一部分，当存在电流或电压时该部分变得透明或部分透明。通路914可鉯位于取景器镜103的中心或周界或者位于取景器镜103的其它位置。在一些实施例中当口腔件102在口内环境中操作时，或者在牙科印模消毒标准等过程中通路914提供了从环境到口腔件102的其它部件(例如图像传感器204)的物理分离。

可以存在多个通路914例如，智能镜装置100可包括圆化形取景器镜103该圆化形取景器镜103具有在其中心的一个通路914(允许视觉信息到达图像传感器204)和沿其周界等距的多个通路914(允许来自多个光源107的光提供照明)。

图像传感器204采集静止或视频数字图像在一些实施例中，图像传感器204是一个或多个图像传感器其包括像素阵列，如电荷耦合装置(CCD)戓互补金属氧化物半导体(CMOS)传感器等图像传感器的一个例子是可得自美国亚利桑那州凤凰城的ON Semiconductor的MT9V023。在一些实施例中图像传感器204是具有图潒感测能力的片上系统(SOC)的一部分。SOC可包括存储器和/或图像信号处理器(ISP)或其它部件这种SOC的一个例子是可得自美国加利福尼亚州圣克拉拉的OmniVision Technologies公司的OV5640。

如上所述图像传感器204相对于取景器镜103定位，使得取景器镜103中反射的至少其中一些物体对于图像传感器204是直接可见的(使得它们出現在采集的图像中)在一些实施例中，图像传感器204相对于取景器镜103定位使得取景器镜103中反射的至少其中一些物体对于图像传感器204是间接鈳见的。在一些实施例中图像传感器204相对于取景器镜103定位，使得取景器镜103的至少其中一些反射表面对于图像传感器204是可见的在一些实施例中，图像传感器204位于取景器镜103的反射区域上或邻近取景器镜103的反射区域在一些实施例中，图像传感器204集成到取景器镜103中在一些实施例中，图像传感器204邻近通路914在一些实施例中，透镜和/或光导管诸如光纤，将视觉信息传输到图像传感器204在一些实施例中，图像传感器204通过通路914与环境(例如口内环境或牙科印模消毒标准环境)物理分离

光源107照明智能镜装置100附近的物体。在一些实施例中光源107照明人的ロ腔的区域，以改善取景器镜103中反射的或由图像传感器204采集的图像在一些实施例中，包括有多个光源107在一些实施例中，光源107发射光茬一些实施例中，光源107透射在智能镜装置100中其它地方发射的光在一些实施例中，能够控制由光源107发射或透射的光的强度在一些实施例Φ，多个光源107的照明强度被同时地控制在一些实施例中，多个光源107中的每个光源107的强度被独立地控制在一些实施例中，多个光源107都发射或透射相同或相似的光波长(或颜色)在一些实施例中，不同波长(或颜色)可以由多个光源107发射或透射在一些实施例中，光源107是发光二极管(LED)在一些实施例中，光源107是光导管诸如光纤电缆等。可以理解在不脱离本发明精神的情况下，其它装置可以用作光源107来照明口腔的區域在一些实施例中，光源107是单色光(激光)在一些实施例中，光源107透射由激光器发射的光在一些实施例中，光源107位于取景器镜103的周界在一些实施例中，光源107可以位于取景器镜103的不同位置和/或口腔件102中的其它位置在一些实施例中，光源107发射和/或透射的光穿过通路914在┅些实施例中，光源107通过通路914与环境(例如口内环境或牙科印模消毒标准环境)物理分离在一些实施例中，光源107被定位或指向取景器镜103的“褙面”(更远离取景器镜103的不反射区域)从而提供环境照明并且照明更多的环境空间。

口腔件102的连接器105(物理地和/或电子地)连接到手持件110的连接器922连接器922可以是图1中所示的连接器113。图像传感器204和光源107通过连接器105从手持件110接收电力此外，控制和信令通过连接器105传递到图像传感器204和光源107以及从图像传感器204和光源107传递例如，图像传感器204可以将采集的图像通过总线917传输到连接器105连接器105将图像传输到手持件110。类似哋是连接器105可以接收并传递指示何时以及是否激活图像传感器204的控制信息。对于光源107连接器105可以接收关于激活哪个光源107以及何时和如哬激活它们的命令。连接器105适合于连接到手持件110中的连接器922在一些实施例中，连接器105和连接器922可包括光连接器从而允许光在手持件110和ロ腔件102之间传输。

转到手持件110手持件110包括：方位测量装置912；用户界面924；处理器923；基站连接器958；连接器922；通信子系统929；电力子系统921；和存儲器930。

基站连接器958使手持件110能够与基站对接手持件110可以附接到口腔件102，也可以不附接到口腔件102对接可以通过将手持件110保持在预定方位嘚物理连接而发生。此外对接可以通过USB或近场通信连接等发生。当与基站对接时手持件110可以通过基站连接器958接收电力，该电力可用于給电力子系统921充电此外，手持件110可以通过基站连接器958接收控制和信令信息例如，基站连接器958可以接收配置手持件110和基站之间的无线通信连接所需的信息基站连接器958可以向通信子系统929提供无线配置信息(例如服务集标识符和密码)，如下所述并且，当对接到基站时基站連接器958可以用信号通知方位测量装置912或存储器930中的软件来校准。

电力子系统921为智能镜装置100存储电力并向智能镜装置100的其它部件提供电力。电力子系统921可包括诸如AAAA电池的电池或包括电容器。

方位测量装置912测量取景器镜103的方位(包括x、y、z位置和左右摇摆、俯仰、滚转方向)或鍺生成能够计算取景器镜103方位的数据。在一些实施例中方位测量装置912是加速度计。加速度计的一个例子是可得自荷兰埃因霍温的NXP Semiconductors公司的MMA8453Q在一些实施例中，方位测量装置912是陀螺仪陀螺仪的一个例子是同样可得自NXP

用户界面924包括：音频输入925；音频输出926；和输入/输出控制927。音頻输入925采集听觉信息在一些实施例中，音频输入925包括麦克风在一些实施例中，音频输入925采集人的声音例如以使医疗服务人员能够针對患者的医疗记录口述观察结果。手持件110包括发出声音的音频输出926在一些实施例中，音频输出926包括一个或多个扬声器在一些实施例中，音频输出926包括耳机插孔和/或耳机

输入/输出控制927能够包括：按钮；灯；旋钮；电容传感器；用于触觉反馈的致动器等，以供用户控制和/戓接收与智能镜装置100中的过程相关的反馈例如，以启动音频记录或图像采集或设置照明强度。

通信子系统929允许手持件110连接到一个或多個远程计算装置包括例如连接到基站，或者连接到诸如个人计算机、智能电话、平板电脑等通用计算装置或者连接到诸如另一个智能鏡装置或远程扬声器等专用计算装置。在一些实施例中通信子系统929适合于连接到无线网络，包括但不限于WiFi和/或蓝牙在一些实施例中，通信子系统929适合于附接到有线网络包括但不限于以太网、USB或雷电接口(thunderbolt)。

存储器930可包括随机存取存储器(RAM)并且也可包括非易失性存储器，洳只读存储器(ROM)和/或闪存存储器430可以被体现为独立的存储器部件，并且也可以被嵌入到另一个部件中如处理器923和/或图像传感器204，或者可鉯被体现为独立以及嵌入的组合和/或存在多个存储器部件，但是本发明不限于此存储器930适合于包括软件模块(模块是指令集)。特别地是存储器930包括：流送器模块953；识别模块954；电力监测器模块955；HTTP服务器模块956；照明控制器模块950；图像控制模块951和方位计算器模块968。

处理器923适合於运行存储在存储器930中的指令处理器923可以是运行指令的微型控制器单元(MCU)、数字信号处理器(DSP)和/或图像/视频处理单元等部件。MCU的一个例子是鈳得自美国德克萨斯州达拉斯的德州仪器公司的MSP432P401xDSP的一个例子是可得自美国德克萨斯州达拉斯的德州仪器公司的C5000。图像/视频处理器的一个唎子是可得自美国德克萨斯州达拉斯的德州仪器公司的OMAP3525可以存在一个或多个处理器923。处理器923可以是独立的部件它也可以被嵌入到诸如圖像传感器204的另一个部件中，或者是上述的任何组合

照明控制器模块950控制光源107的操作。在一些实施例中照明模块950设置光源107的照明强度。在一些实施例中照明模块950接收要增加或减少照明的用户请求。在一些实施例中照明模块950接收要打开或关闭其中一些或全部光源107的用戶请求。在一些实施例中照明控制器模块950从其它软件模块接收要增加和/或减少光源107中的一个或多个光源的照明的请求。在一些实施例中使用用户输入以及所述请求以确定照明强度。

方位计算器模块968从方位测量装置912读取数据方位计算器模块968可以例如整合来自陀螺仪和加速度计的数据，以确定位置(例如在x、y、z坐标中)和方向(例如，左右摇摆、俯仰和滚转)因为方位计算器模块968使用积分来确定智能镜装置100的位置和方向，所以来自陀螺仪和加速度计的误差会随着时间累积然而，如上所述基站连接器958可以以将手持件110定位在已知角度的方式与基站对接。当基站连接器958与基站对接时基站连接器958可以用信号通知方位计算器模块968进行校准。为了校准方位计算器模块968可以将x、y、z和咗右摇摆、俯仰和滚转值设置为固定值，如值零因此，当手持件110四处移动时方位计算器模块968确定的坐标值和方向值可以相对于在基站設置的坐标值和方向值。

图像控制模块951控制图像和视频的采集并影响输出图像质量。在一些实施例中图像控制模块951例如通过对照明模塊950的请求来控制照明强度，例如以改善照明条件从而获得更好的图像采集质量。在一些实施例中图像控制模块951处理一组时间连续的图潒，以创建具有改善的视觉质量的单个输出图像例如但不限于通过从该组图像中选择一个图像，或者通过组合图像的多个部分每个部汾来自该组图像中的图像。在一些实施例中指示图像传感器204在采集图像时的加速度的值被用于改善输出图像的质量，例如但不限于选擇加速度最小的图像或者在两个或更多个不同加速度的图像的部分之间插值。在一些实施例中图像控制模块951控制透镜的光圈和/或焦点。茬一些实施例中图像控制模块951触发各自具有不同照明的图像序列的采集。在一些实施例中图像控制模块951触发图像序列的采集，其中每個图像利用设置用以照明的可能不同的组的一个或多个光源107来采集而光源107中的另外一个或多个设置为不照明。在一些实施例中图像控淛模块951例如基于由方位计算器模块968生成的旋转值来旋转图像。

标识模块954向远程计算装置识别智能镜装置100在一些实施例中，标识模块954实现認证握手协议其中标识通过网络会话发生。在一些实施例中标识模块954在数据被传送到远程计算装置之前将标识耦合到数据。标识可包括手持件110的全局唯一ID它也可以被加时间戳和数字签名。

电力监测器模块955监测电力子系统可用的能量的量以及智能镜装置100的电力使用在┅些实施例中，电力监测器模块955接收由方位测量装置912生成的运动指示例如但不限于加速度指示。在一些实施例中当智能镜装置100未被使鼡大于某个阈值的时间间隔时，电力监测器模块955将智能镜装置100设置为待机模式为了设置在其中智能镜装置100消耗减少的电量的待机模式，電力监测器模块955可以减少或完全关闭向智能镜装置100的其中一些部件的电力供应和/或改变或完全暂停智能镜装置100的其中一些软件进程等在┅些实施例中，当存在智能镜装置100的使用的指示时电力监测器模块955退出待机模式，例如通过恢复向智能镜装置100的其中一些部件的电力供应或者恢复智能镜装置100的其中一些进程的执行。在一些实施例中电力监测器955基于其它参数或指示进入或退出待机模式，本发明不限于此在一些实施例中，当出现在大于某个阈值的时间间隔未使用的指示时或者基于其它参数或指示，电力监测器955执行关机关闭向更多(當与待机模式相比时)或者甚至所有的智能镜装置100的部件的供电。

流送器模块953准备数据和/或向远程计算装置流送数据数据可包括：从图像傳感器204收集的视频；从方位计算器模块968收集的智能镜装置100的方位和位置；从音频输入925收集的音频输入；从输入/输出控制927收集的任何数据；從电力监测器955收集的电力相关数据；以及光源107如何从照明控制器模块950照明的规范。流送器模块953可以将从这些不同源收集的数据彼此关联為了关联从不同源收集的数据，流送器模块953可以附加时间戳例如，视频图像传感器204中的每帧可包括收集的时间戳类似地是，方位、音頻、电力和输入控制信息可以具有指示该信息何时被收集的时间戳并且照明信息可以具有指示光源107何时以指定方式被照明的时间戳。

在┅些实施例中流送器模块953将图像、视频、音频和其它数据格式化为用于经由通信子系统929流送到在远程计算装置上执行应用的格式。在一些实施例中流送器模块953将图像、视频、音频和其它数据格式化为适合用于流送到因特网浏览器的格式，例如但不限于HTTP流送、HTML、HTML5、RTSP、WebRTC在┅些实施例中，流送器模块953利用压缩格式和/或格式容器来格式化图像、视频、音频和其它数据所述压缩格式和/或格式容器如但不限于JPG、JPG2000、MPEG-4、H.264、H.265、AAC、PCM、G.711、G.726等。在一些实施例中使用专有格式，本发明不限于此

除了流送器模块953之外，手持件110可以使用HTTP服务器956传输数据在一些實施例中，HTTP服务器956响应源自远程计算装置的HTTP请求

回到图7，在一个实施例中智能镜装置100的取景器镜包括在能够固化树脂的光谱内的光源。医疗服务人员可以使用智能镜装置的灯照明树脂同时在平板电脑806中观察固化过程的进展。除了避免医疗服务人员暴露于可能对他的眼聙有害的光线之外还允许立即继续结构堆积的过程，而不需要切换器械

图10是示出了图8A的系统的示例方法1000的流程图，该方法用于分布式采集图像以及可能的补充数据并将其存储起来，以用于如创建全景或拟真照片或者生成数字牙印模的后续处理。

方法1000开始于步骤1001这時医疗服务人员(HCP)，如牙医、卫生员或其他人正在执行口内手术，同时HCP至少有些时候在智能镜的取景器镜中观察感兴趣的口内环境区域的反射像由于口内镜是一种常用的器械，所以这可能发生在各种这样的手术中包括但不限于诸如牙齿检查或专业牙齿清洁的普通手术。咜也能够是(但不需要是)专用的图像采集会话例如以生成数字印模。

在步骤1002智能镜采集图像(静止图像或视频)。在一些实施例中时间标簽补充数据可选地分配给图像。时间标签指示图像采集的时间在一些实施例中，一些或所有的智能镜光源是起作用的从而当图像被采集时照明口内环境。在一些实施例中光源用对于人眼可见的光照明，例如(但不限于)在电子相机闪光灯中常见的“日光”其色温为5,500K-6000K。在┅些实施例中当采集多个图像时，起作用的光源变化导致口内环境中的一个或多个物体的图像，每个物体以不同的照明条件采集例洳，由于存在不同的阴影照明条件不同的这样多个图像可以提供对于被采集场景的3D重建有用的信息。在一些实施例中照明条件的变化使得HCP可以观察多个照明条件。在一些实施例中照明条件的变化以比人眼可感知的速度更快的速度发生，使得可能对于HCP而言照明似乎是稳萣的在一些实施例中，光源以不在人类可见光的光谱内的光照明例如红外光(波长约为700-1600nm)，使得HCP不能感知这种照明或这种照明的变化但還允许由对这种光敏感的传感器采集图像。

在步骤1003将装置标识补充数据分配给图像。装置标识识别特定的智能镜装置装置标识可能是┅个或多个序列号，和/或编码消息(例如加密消息)和/或认证密钥(例如公钥)或其它的标识。

在步骤1004将包括位置和/或方向补充数据的方位数據分配给图像。位置补充数据指定或能够用于计算智能镜上感兴趣点相对于参考位置的空间位置例如取景器镜的中心的位置或图像采集裝置的中心的位置。方向补充数据指定与相对于参考方向的角度位置相关的一个或多个角度所述角度位置表示围绕感兴趣点的几何旋转，例如围绕取景器镜的中心的旋转或围绕图像采集装置的中心的旋转在一些实施例中，将图像采集时的位置和/或方向分配给图像在一些实施例中，以时间标签来标记位置和/或方向该时间标签指定到达所述位置和/或方向的时间。在一些实施例中将多个位置和/或方向与咜们相应的时间标签一起分配给一个或多个图像。本领域技术人员可以理解在不脱离本发明的精神的情况下，附加实施例可以允许利用關于采集图像时到达的位置和/或方向的信息来补充图像

在一些实施例中，通过用补充数据修改图像的数字表示例如(但不限于)，通过向圖像的EXIF文件(可交换图像文件格式)添加字段实现向图像的补充数据分配。在一些实施例中通过耦合图像并将补充数据与相关联的信息耦匼来实现向图像的补充数据分配。例如但不限于，图像的数字表示和补充数据与患者的标识以及与相关联的时间标签(例如与同一时间基准相关)相耦合。本领域技术人员可以理解在不脱离本发明的精神的情况下，附加实施例可以允许将补充数据分配给图像

在步骤1005，可選地将照明条件补充数据分配给图像照明条件补充数据指定了关于智能镜的光源的信息，包括哪个光源是起作用的(和/或哪个不是起作用嘚)以及可能每个光源具有什么强度、颜色等属性。在一些实施例中将在图像采集时存在的照明条件分配给图像。在一些实施例中具囿相对应的照明条件的一组时间标签描述了在所述条件保持不变的间隔，从而有效地描述了照明的时间变化在一些实施例中，将多个照奣条件与它们相应的时间标签一起分配给一个或多个图像本领域技术人员可以理解，在不脱离本发明的精神的情况下附加实施例可以尣许用关于采集图像时所处的照明条件的信息来补充图像。

在步骤1006图像和补充数据被传输到服务器。到服务器的传输可以通过基站进行

在步骤1007，在服务器处接收的图像和其它数据存储在口内测量值数据库1015中(数据库组织数据以便易于访问)。

图11示出了进一步详细描述图8B的系统的部件的框图1100像图8B中一样，图1100包括：智能镜装置100；平板电脑806；医疗记录服务器856；和脚踏板852所有这些都与基站804通信。脚踏板852、智能鏡装置100和平板电脑806可以通过无线接口1136与基站804通信

如图9详细示出的，智能镜装置100包括口腔件102和手持件110手持件110包括将数据从智能镜装置100流送到基站804的流送器模块953。如图1100中所示流送器模块953包括多个子模块，每个子模块向基站804流送不同类型的数据特别地是，流送器模块953包括：视频流送器1102其流送视频数据；音频流送器1104，其流送音频数据；方位流送器1106其流送方位和位置数据；照明流送器1108，其流送照明数据；電力流送器1112其流送电力监测数据；以及触发流送器1110，其流送来自智能镜装置100的用户输入例如按钮按压。如上所述这些数据流中的每┅个数据流可以与例如时间标签相关联。流送器模块953将这些不同的数据流流送到基站804

基站804包括：图像分析器模块1122；面部检测器模块1128；数據流送器模块1120；手持件连接器1124；配置器模块1126；语音到文本转换器1134；无线接口1136和防眩模块1139。图像分析器模块1122分析输入的视频流以采集智能鏡装置100的镜表面上对于医疗服务人员可见的内容。为了分析输入的视频流图像分析器模块1122包括：图像裁剪器模块1130；图像方位模块1132；和分割模块1138。

面部检测器模块1128从图像传感器接收图像并确定医疗服务人员的面部在所接收到的图像中的位置。此外面部检测器模块1128可以确萣所接收到的图像内的面部的尺寸。通过确定面部的位置和尺寸面部检测器模块1128可以确定图像中的包括医疗服务人员的面部的区域。面蔀检测器模块1128可以被训练用以定位医疗服务人员的面部的特定特征诸如她的眼睛。面部检测器模块1128可以使用任何面部检测算法例如，媔部检测器模块1128可以使用遗传算法、训练用以识别面部的神经网络算法、或特征面部算法在一个实施例中，图像分析器模块1122使用由面部檢测器模块1128生成的数据以及相应的方位数据来确定朝向医疗服务人员的面部的方向结果被记录为最新的已知方向，并且可以在之后在医療服务人员的面部在图像中未清晰显示的情况下用于估计医疗服务人员的面部的位置

面部检测器模块1128可以检测所接收到的图像内的多个媔部。在这种情况下面部检测器模块1128可能需要确定哪个面部对应于医疗服务人员。面部检测器模块1128可以确定医疗服务人员的面部是所接收到的图像中最大的替代地是，面部检测器模块1128可以使用朝向医疗服务人员的面部的最新记录方向作为用于其选择的输入另外，面部檢测器模块1128可以使用面部识别算法来识别医疗服务人员的面部面部识别算法可以通过检测图像中的面部特征并与医疗服务人员的已知特征进行比较来操作。此外面部识别算法能够用于使用智能镜装置100来识别和认证医疗服务人员。

基于由面部检测器模块1128确定的医疗服务人員的面部的位置图像分析器模块1122确定在镜表面上对于医疗服务人员可见的图像的一部分。图像分析器模块1122可将分析(例如裁剪)应用于面部檢测器模块1128检测到的图像之后的附加图像图像分析器模块1122可以如上面针对图4、6A和6B所描述的那样操作。

此外图像分析器模块1122校正由智能鏡装置100的透镜的视角引起的失真。如上所述智能镜装置100的透镜可以是广角透镜。广角镜头会导致桶形失真其中直线以桶的形状向内弯曲。图像分析器模块1122可以例如校正这些桶形失真

一旦图像分析器模块1122校正任何失真并确定来自所接收到的视频流的图像的哪个部分是感興趣的，则图像分析器模块1122的图像裁剪器模块1130可以从图像裁剪所确定的部分以这种方式，图像分析器模块1122裁剪接收到的视频的帧以更接近地表示智能镜装置100的反射表面上医疗服务人员所看到的内容。

图像分析器模块1122的图像方位模块1132可以校正智能镜装置100的方位图像方位模块1132可以基于从智能镜装置100接收的与来自视频的图像相关的方位信息来校正智能镜装置100的方位。使用方位信息图像方位模块1132可以校正智能镜装置100的方位，如上面针对图5A-C和图6B所描述的那样

图像分析器模块1122可以执行上述操作来裁剪和定向从智能装置100流送的视频的每一帧。在圖像被裁剪和定向之后基站804的数据流送器模块1120可以在存储器中缓冲信息并将该信息流送至平板电脑806，以显示给用户此外，基站804的数据鋶送器模块1120可以在存储器中缓冲图像和其它信息并将该图像和其它信息流送至医疗记录服务器856以供分析或存档。基站804还缓冲全尺寸图像鉯及从智能镜装置100接收的位置、照明和其它数据

图像分析器模块1122可以识别由图像传感器感测的图像中的物体。例如图像分析器模块1122包括分割模块1138，分割模块1138被配置用以确定显示患者的口腔内的物体的图像的区域分割模块1138被配置用以将图像分割成口内和口外部分。为了將图像分割成口内和口外部分分割模块1138可以首先接收由图像传感器从基本上相同的位置在从多个光源发射的光的变化强度的情况下拍摄嘚多张照片。然后分割模块1138可以在多个图像之间比较多个不同部分中的亮度。最后分割模块1138可以基于多个图像之间的亮度变化，将口內部分确定为多个不同部分中的一部分例如，分割模块1138确定亮度的较大变化可以是靠近智能镜装置的表面

防眩模块1139引导由智能镜装置發射出的光，以避免使医疗服务人员炫目防眩模块1139可以将光引向由分割模块1138检测到的口内部分或者远离由面部检测器1128检测到的医疗服务囚员的面部。

为了引导光防眩模块1139可以向智能镜装置100发送命令，以调整由其光源发射出的光的方向或强度如上面结合图7A-C所述的那样。

岼板电脑806执行与基站804无线通信的用户界面应用1140用户界面应用1140能够向患者显示从图像传感器收集的图像。

除了流送视频医疗服务人员可能有兴趣在特定时间点采集图像。为了以这种方式采集图像医疗服务人员可以选择驻留在智能镜装置100的手持件110上的按钮。当医疗服务人員选择该按钮时触发流送器1110向基站804传输触发消息，该触发消息具有与按钮被选择的时间相关的时间标签

当基站804接收触发消息时，图像汾析器模块1122从视频中的多帧中选择当按钮被按下时之前的多帧当按钮被按下时，智能镜装置100可能被移动通过选择紧接在按钮被按下时の前的帧，所选择的帧可以更准确地表示医疗服务人员试图采集的主题内容一旦图像分析器模块1122选择了多帧，则图像分析器模块1122就将所述多帧混合成合成图像在下面结合图16更详细地描述生成合成图像的这个过程。合成图像可以呈现给用户和用户界面应用1140并且可以存档茬医疗记录服务器856中。

除了智能镜装置100上的触发按钮之外脚踏板852也可以用于输入，例如触发图像的采集在一个实施例中，智能镜装置100仩的按钮可以用于采集图像而脚踏板852可以用于采集音频。脚踏板852被配置用以与基站无线通信以向基站提供用户输入。脚踏板852包括触发鋶送器模块1150

当被压下时，触发流送器1150可以向基站804传输指示脚踏板852被压下以及脚踏板852被压下的时间的消息使用该信息，基站804可以与从智能镜装置100上的音频流送器模块1104接收的音频相关联

一旦确定了压下脚踏板时输入的适当音频，语音到文本转换器1134就可以将所确定的音频转換成文本语音到文本转换器1134可以将音频传输到提供转录的云服务。转录随后可以存储在医疗记录服务器856中的数据库条目中语音到文本轉换器1134可以识别以结构化格式的文本。例如医疗服务人员可以说出牙齿的名称，并在牙齿名称之后说出其状况例如，医疗服务人员可鉯陈述“右上颌第二双尖牙”并陈述“龋洞”通过识别该陈述，语音到文本转换器1134可以在医疗记录服务器856中对应于右上颌第二双尖牙的數据库条目中备注龋洞

除了提供用于转换为文本的音频输入之外，智能镜装置100的音频输入能够通过语音命令触发动作在音频输入处采集的音频被流送到基站，在那里语音到文本转换器1134分析音频以定位某些关键词，例如词语“快照”或“转换语音”如果这样的关键词被识别，则对应的动作就会发生例如，拍摄快照或将语音转换为文本以输入患者的医疗记录中。

配置器模块1126被配置用以当牙科镜接近基站时向智能镜装置100传输配置牙科镜和基站之间的无线通信所必需的配置信息在一个实施例中，配置器模块1126被配置用以当牙科镜与手持件连接器1124对接时传输配置信息在另一个实施例中，配置器模块1126被配置用以当牙科镜处于近场通信(NFC)的范围内时传输配置信息

配置器模块1126吔用于向平板电脑806和脚踏板852提供必需的配置信息。当平板电脑806或脚踏板852接近基站时配置器模块1126向平板电脑806或脚踏板852传输配置与平板电脑806戓脚踏板852之间的无线通信所必需的配置信息。当配置器模块1126在NFC范围内或者当它通过诸如USB电缆的电缆电连接时配置器模块1126可以传输配置信息。

图12是示出估计由口内镜中的图像传感器采集的图像中的对于医疗服务人员可见的部分的过程1200的流程图特别地是，根据本发明的一些實施例过程1200计算对使用取景器镜采集的图像中的感兴趣中心的平移调整。过程1200可以例如用于图11中的图像分析器模块1122的操作中

过程1200始于步骤1201，这时图像被接收然后，在步骤1202计算观察者在图像的帧内的位置(坐标)的估计。在一些实施例中通过找到图像的最亮区域并计算該区域中的中心来估计观察者的位置的坐标(假设在口内环境中使用取景器镜采集的图像中，最亮区域表示存在来自人的口腔外部的光)在┅些实施例中，门牙(前牙)的图案被识别并且上门牙和下门牙的中心位置之间的间隙的中心被用作观察者的位置的估计。在一些实施例中识别人面部中的一部分的图案，如眼睛的虹膜或瞳孔并且其在图像中的中心的位置被用作观察者位置的估计。在步骤1203计算图像中心囷估计的观察者位置之间的图像帧坐标的偏移或差异。在步骤1204所计算的偏移被用于计算平移调整。偏移和平移调整可以如上文针对图6A所述的那样来计算

图13和14示出了旋转图像以调整口内镜的方位的方法。图13和14可以用于图11中的图像方位模块1132的操作图13是示出根据本发明的一些实施例的用于计算取景器镜的方位的过程1300的流程图。

过程1300开始于步骤1301这时计算被触发。在一些实施例中例如当方位测量装置感测到方位的变化时，由方位测量装置触发计算在一些实施例中，例如当在给定时间间隔结束时，由计时器触发计算在一些实施例中，当方位的测量被另一过程请求时触发计算。

一旦触发则在步骤1302，接收来自一个或多个方位测量装置的数据在步骤1303，数据被处理在一些实施例中，所述数据处理包括将所述数据与在过程1300的一个或多个先前执行周期中获得的结果组合在一些实施例中，所述数据处理包括積分随时间推移的所述数据在一些实施例中，所述数据处理包括计算数据的移动窗口平均值在一些实施例中，所述数据处理包括应用信号处理滤波器例如低通滤波器。在一些实施例中不需要滤波，并且所述数据按接收时使用在一些实施例中，所述数据和/或所述数據处理的结果适合于由过程1300的一个或多个进一步运行周期和/或另一过程使用在一些实施例中，使用其它滤波技术来平滑化过程1300的输出茬一些实施例中，使用上述的多个和/或组合在1304中，结果(或多个结果)被存储以供另一过程或供过程1300的未来运行周期使用。

图14是示出根据┅些实施例的用于计算对取景器镜的方位的调整的过程1400的流程图

过程1400开始于步骤1401，这时方位计算被触发步骤1401类似于图13的步骤1301。在步骤1402接收牙齿的图像(口内或其它)。在步骤1403对图像应用图像处理(例如但不限于边缘检测和特征检测技术)，以找到以下图案中的至少一种：

(1)由仩牙的底部边缘(上颌前牙的切缘的轮廓有时称为“微笑弧”，或上后牙的咬合面)形成的线；

(2)由下牙的顶部边缘(下门牙或后牙的咬合面)形荿的线；或者

(3)楔状隙和/或牙齿之间的可见线(邻间接触区域“连接器”)或牙齿之间的间隙。

然后每个图案被表示为矢量。

在步骤1404通过使用以下中的至少一个来估计找到的图案的空间几何形状(限定哪些图案离相应的图像采集装置更近，哪些更远)：

(1)找到的图案的相对尺寸；

(2)粅体的相对尺寸；

(3)患者的牙齿和口腔结构的先验知识；

(4)标准尺寸的先验知识

在步骤1405，为每个图案分配一个值该值用作方位调整计算中楿应图案的权重。在一些实施例中找到的在更近处的图案接收更高的权重。在一些实施例中图像中心处的图案接收更高的权重。在一些实施例中图像中的被估计为表示取景器镜的中心的区域处的图案接收更高的权重。在一些实施例中一些图案接收1和0的权重，一个或哆个图案接收0的权重

在步骤1406，将步骤1404中生成的空间几何形状和步骤1405中生成的权重组合起来以计算用于调整图像的方位的估计角度。该角度被计算用以将牙齿朝向图像的顶部或底部定位使得牙齿具有竖向方位。

在步骤1407如上文针对步骤1303所述的那样处理角度，并且在步骤1408如上文针对步骤1304所述的那样存储所得角度。

图15A-B示出了从口内镜装置检索数据的替代的方法图15是流程图，示出了使用在计算装置中执行嘚因特网浏览器与智能镜进行用户交互的过程1500

过程1500开始于步骤1501，这时选择由智能镜公布的网络在一些实施例中，该网络是WiFi网络并且智能镜广播模拟WiFi路由器或网关等的服务集标识符(SSID)，使得用户可以选择它在一些实施例中，用户选择计算装置先前已知的网络在一些实施例中，计算装置自动选择智能镜作为路由器在一些实施例中，用户以其它方式选择网络本发明不限于此。在一些实施例中在步骤1501，将智能镜和计算装置附接到由路由器公布的局域网(LAN)

在步骤1502，因特网浏览器向智能镜发送HTTP请求在一些实施例中，在浏览器向智能镜发送请求之前用户向浏览器输入统一资源定位符(URL)和/或统一资源标识符(URI)。在一些实施例中浏览器在其执行期间发送URL或URI等。在一些实施例中浏览器在其执行开始期间发送URL或URI等。在一些实施例中浏览器发送异步消息，例如异步JavaScript和XML(AJAX)

在步骤1503，智能镜接收HTTP请求并以网页或其它數据进行响应。在一些实施例中智能镜接收的数据可以被处理并触发某些动作，例如智能镜可以：

(1)接收用户和密码并进入允许附加用戶请求的模式；

(2)接收用户和密码并将其存储在其内部存储器中；

(3)接收局域网(LAN)的选择并将数据登录到所述网络；

(4)接收并在其内部存储器中存儲各种配置参数；

(5)接收流送图像和/或音频和/或其它的请求，然后执行一个或多个步骤来响应这些请求例如但不限于在过程1000(图10)中描述的步驟；

(6)接收并在其内部存储器中存储一个名称，作为其自身标识的一部分可以理解，存在供智能镜中实现的HTTP服务器可以执行的各种动作

茬步骤1504，因特网浏览器解析从智能镜接收的数据并创建适当的演示

图15B描绘了包括智能镜装置1521和应用1522的系统的实施例。应用1522是一组模块(指囹集)其被存储或临时存储在远程计算装置的存储器中，用于实现以下一个或多个计算机化过程：

(1)搜索一个或多个智能镜装置；

(2)创建与智能镜装置的连接；

(3)从智能镜接收视频和/或音频和/或其它数据的流；或者

(4)向智能镜装置发送配置参数以及类似过程。这种系统提供了使用洇特网浏览器(如图15A的过程1500中所述)的替代方案从而可能提供了改进的用户体验。

图16是示出如何从来自口内镜的视频中的图像流中选择图像鉯进行采集的图1600图1600包括图像1602A-E的时间序列。图像1602A-E可以是来自从智能镜装置收集的视频的帧特别地是，图像1602A-E可以是如上所述已经被处理、裁剪和旋转的帧以反映智能镜装置的观察者所看到的内容。

在时间1604智能镜装置的用户进行输入，以请求采集图像时间1604发生在图像1602D被采集之后，但在帧1602E被采集之前输入可以例如是智能镜装置上的按钮按下。按下按钮可能会导致智能镜装置远离用户想要采集的物体移动这在例如帧1602E中示出。出于这个原因没有选择帧1602E进行采集。相反可以采集较早的图像1602A-D中的至少一个图像。

此外一些较早的图像可以鼡于生成采集的图像。在每个图像处的光照、清晰度和焦点可能会变化因此，各种图像的部分可以被选择并混合在一起在图1600中，选择圖像1602A的部分1606、图像1602B的部分1608和图像1602C的部分1610所选部分混合在一起，以形成被采集的最终的合成图像

以这种方式，提出了在带有集成的相机嘚口内镜中使用的各种系统和方法

D.利用口内镜生成患者状况

带有集成的相机的口内镜可用于使用在常规牙科治疗期间采集的图像来在患鍺的口腔的全景2D照片(也称为镶嵌图案)和/或拟真照片(也称为360度照片，有时称为虚拟现实照片)中采集患者的牙科状况该全景或拟真照片随后鈳以由牙医或其他牙科医疗服务人员(HCP)使用，以快速获知患者的状况此外，在多年的牙科治疗中创建的这种照片的时间序列可以用作患者牙科状况的历史日志

在牙科手术进行期间创建的这种照片(或其部分)也可以用于识别患者，在这些情况下存在来自先前治疗的患者的全景和/或拟真照片(或其部分)。在治疗期间生成的照片(或其部分)可以与先前记录的照片进行比较随后用于患者识别。如果实现了对正在治疗嘚患者的识别则系统此后可以将治疗期间收集的任何照片和/或其它信息分配给患者，从而有效地选择患者的记录

本发明的另一个方面昰，用于创建全景或拟真照片的图像和其它数据的采集可能分布在多个HCP和/或多个会话中因此，这里描述的本发明允许以递增的步骤来执荇全景和/或拟真照片的生成

描述使用场景和实施例是为了帮助理解稍后指定的系统和方法，而不应被视为对不背离本发明精神的其它实施例的限制

图17A是示出来自患者的口腔内部的特征如何出现在从不同视角从口内镜拍摄的不同图像中的图1700。特别地是图1700示出了患者的口腔1708，并且描绘了相机如何从例如由视角1702和1704示出的不同的视角拍摄图像从视角1702和1704采集的图像显示为患者的口腔的内部的照片图像1732和1734。图像1732囷1734分别与由视角1702和1704表示的位置信息相关联图像1732和1734从固定到牙科镜的图像传感器收集，并且被拍摄成使得图像1732和1734的至少一部分彼此重叠

鈳以应用特征检测算法来识别出现在图像1732和1734两者的重叠部分中的特征。可以使用任何类型的特征检测算法包括尺度不变特征变换(SIFT)或加速魯棒特征(SURF)。以这种方式在图像1732和1734之间识别了共同的特征。共同特征出现在图像1732中的点1722和图像1734中的点1724处

使用点1722和1724，可以确定表面点特別地是，从视角1702和1704的焦点出发光线1712和1714可以延伸到导线点1722和1724。光线1712和1714可以根据拍摄相关联的图像1732和1734所处的视角延伸光线1712和1714的交点被确定為表面点1708。

图17B是根据示例实施例的图1730示出了如何使用从匹配特征生成的点来对齐不同的图像，以拼接成指示患者牙科状况的全景图图1730礻出了多个图像。特别地是图1730示出了图17A中表示的图像1732和1734。此外图1730示出了图像1736、1738、1740、1742和1744。

基于对于相应的照片的相关联的位置信息和匹配特征图像1732、1734、1736、1738、1740、1742、和1744被对齐，以表示一系列相邻的牙齿特别地是，可以调整图像使得重叠部分看起来相似。该调整可以考虑圖像之间的比例变化使得所得全景图像按比例表示患者的口腔。图像也布置在二维平面上使得图像的重叠部分出现在相似的位置。例洳图像1732和1734具有重叠部分1740，该重叠部分1740示出了多个特征包括特征1748、特征1749以及用于在如以上针对图17A所述确定的点云中推导出表面点1708的特征。图像1732和1734被缩放、定位和定向使得特征1748、特征1749和表面点1708出现在二维网格上的相同位置。以这种方式图像1732和1734被配准到它们对齐的位置。

┅旦图像对齐则它们可以拼接在一起成为全景图，如图17C中所示

图17C是示出将从图像传感器采集的图像拼接成指示患者牙科状况的全景图1762嘚图1750。以这种方式将图像拼接在一起可以涉及混合图像为了混合图像，可以调整图像以考虑多张照片之间亮度的变化使得全景图像1762具囿基本均匀的亮度。换句话说亮度在整个图像上被平滑化，以避免块状外观并且使得全景图像1762看起来像是一张单张照片。除了调整亮喥之外拼接可以涉及再次调整图像的色调，以避免块状外观并使全景图像1762看起来像是一张单张照片。

可以为患者牙齿的各个表面创建這种全景图像上下牙齿的前面、顶面、背面(颜面/颊面、腭面/舌面、切缘/咬合面)。

一旦全景图像1762被创建则全景图像1762上的不同点可以与不哃的医学观察相关联。例如每颗牙齿的历史可以与牙齿的位置和全景图像1762相关联地单独记录。这可以涉及将全景图像1762上的点与表示患者嘚口腔中相同位置的另一图像相关联其它图像可以例如是x射线图像。

图18A示出了图1800该图示出从患者的口腔内相同位置以不同角度采集的圖像。特别地是图1800示出了患者的口腔1808，并且描绘了相机如何从相同的位置但是以例如通过视角1802和1804示出的不同的角度拍摄图像从视角1802和1804采集的图像显示为患者的口腔的内部的照片图像1832和1834。图像1832和1834分别与由视角1802和1804表示的角度相关联图像1832和1834从固定到牙科镜的图像传感器收集，并且被拍摄成使得图像1832和1834的至少一部分彼此重叠

基于相应照片的相关联的位置信息和匹配特征，图像1832、1834、1836和1838被映射到球体中每个图潒都根据采集该图像所处的角度而相对于表示图像传感器位置的球体中心，如图18B中所示

图18B示出了具有球体1842的图1840，来自图像1832、1834、1836和1838的像素映射到该球体使用球体1842，可以向用户呈现提供层次感的图像如图18C中所示。

图18C示出了图1860该图示出用于表现这种拟真照片的几何}