增材制造设备的自动化过程控制的制作方法
增材制造设备的自动化过程控制的制作方法
【专利说明】増材制造设备的自动化过程控制
[0001 ] 本申请要求2014年7月31日提交的使用申请第14/448,229号和2013年8月7日提交的临时申请第61 /863110号的优先权，其内容通过引用并入本文中。
【背景技术】
[0002]本发明涉及通用增材制造设备(例如3D打印机)，其可以利用各种技术，包括挤压沉积、颗粒熔化和烧结、粉末平台黏着和光聚合。系统特别适合于但不限于自动化以使得已完成作业能够从打印空间移除并且在没有任何手动人工操作的情况下开始下一作业的设备。
[0003]常规增材制造设备需要具有许多不同软件应用的工具链用于过程中的各个步骤。所有过程反馈、例如尺寸精度和表面光洁度必须被手动地测量和评估，而没有整合该反馈以提尚系统功能的成系统的方式。
[0004]有效地操作增材制造设备以生产满足设计者规定的公差的物体涉及使每个作业的加工时间、操作员时间、材料消耗和总的机器停工时间最小化以使生产量最大化并且限制材料和人工成本。理想的系统会在不需要人类操作员的情况下连续工作并且仅生产规定公差内的物体。
[0005]实际上，许多问题导致作业失败、不满足公差要求的物体以及不必要的机器停工时间。手动控制这些问题、特别是关于低成本增材制造设备的问题需要大量的操作员时间来预检部件、输入各种机器参数以满足规定公差要求、手动监控作业、在完成后移除物体、测量物体以测试是否符合规定的公差要求并且反复重复该过程直到物体满足规定的要求。
【发明内容】
[0006]本公开的发明通过提供用于检查潜在作业、远程实时监控作业并且在作业期间以及之后收集和评估过程反馈的单个统一界面而使操作员必须使用以控制增材制造设备的工具的数量最小化。此外，系统使用现代计算机视觉和机器学习算法以使执行识别和校正系统错误和不精确度的过程自动化，提供了不需要操作员输入情况下的公差控制。
[0007]所公开的系统通过自动最小化对成本有贡献的因素而提高了增材制造设备的操作效率。机器学习算法使输入的CAD(计算机辅助设计)文件与机器参数相关联以预测所制造物体的性能和其制造所需的时间。计算机视觉算法或集成3D扫描仪在制造后评估物体以确保满足公差要求并且向机器学习算法提供反馈使得预测随时间改进。因此，系统逐渐改进其设定机器参数的能力，所述机器参数在使制造时间最小化的同时使满足规定公差的可能性最大化。这使每个作业的时间和满足规格所需的重复次数两者最小化。使重复最少化限制了浪费的材料消耗并且增加了设备的总生产量。
[0008]系统能够利用计算机视觉技术来自动执行各种校准程序。对于给定材料的温度校准涉及在变化的温度下打印测试物体以及选择具有最佳平台黏着、表面光洁度以及尺寸精度的物体。打印到板上的校准图案的图像提供关于平台水平度和喷嘴高度的信息。利用计算机视觉对部件移除特征、例如用于使刀片和打印表面对齐的最佳z高度进行优化。能够从由使对移除刀片供能的马达运行的电流量来估算部件黏着度。
[0009]系统跟踪材料消耗并且在安排供操作员更换材料盒的计划停工时间之前自动通知材料供应商何时运送新材料。这防止了操作员在非优化的时间更换材料盒;太早意味着可能浪费有用的材料，而太晚意味着不必要的机器停工时间。
[0010]系统利用计算机视觉算法实时监控作业以尽可能早地检测失败。系统能够在过程的早期检测到作业不太可能满足规格，而不是等到作业完成才测量和检查部件。作业能够及早终止并且再次开始或跳过以避免浪费额外的材料和加工时间。
[0011]系统提供用于供操作员向队列中添加作业、输入规格和公差、检查CAD文件的单个界面并且在期望时提供另外的人工监控。所述界面包括3D打印预览，其结合了 CAD文件和建议的机器参数以使增材制造设备的预测输出可视化。3D打印预览允许操作员调节多种规格并且实时获得关于这些调节会如何影响被打印物体的预测性反馈。3D打印预览还能够检测和评注可能导致错误的CAD模型特征。
[0012]本发明还包括新3D扫描方法，其允许非扰乱性扫描被集成到3D打印机中。照射在物体上的独立受控的灯阵列产生被成像和测量以验证尺寸精度的阴影。
[0013]根据本发明的用于增材制造设备的自动化过程控制的系统包括用于制造物体的增材制造设备(例如3D打印机)和控制该设备的本地联网计算机。至少一个摄像机具有设备的制造空间的视角以产生物体的可网络访问的图像。计算机被编程为在物体有缺陷时，基于物体的图像停止制造过程。
[0014]在一个优选实施例中，所述至少一个摄像机具有制造空间的固定视角。可替代地，摄像机可以具有制造空间的自动控制的视角。图像可以是视频流或者静态图像。优选的增材制造设备为3D打印机。在另一优选实施例中，计算机还包括执行远程算法的一系列服务器端应用程序。可以提供基于网络浏览器的控制界面。算法可以包括诸如马尔可夫、贝叶斯推理或人工神经网络算法之类的机器学习算法。
[0015]另一优选实施例包括3D打印预览以实时更新物体的渲染。所述系统还可以包括灯的阵列，其用于产生物体阴影以重建从每个灯的角度来看的轮廓视图。
【附图说明】
[0016]图1a和Ib为本发明一个实施例的透视图，其包括观察在增材制造设备的制造空间内的打印表面的摄像机。
[0017]图2a和2b为本发明一个实施例的透视图，其示出了伴随着图像与渲染的对比的逐层验证。
[0018]图3a和3b分别为本发明一个实施例的侧视图和俯视图，其使用了灯阵列以对正被打印的物体进行投影。
[0019]图4为示出了系统操作的总系统图。
[0020]图5为根据本发明一个实施例的具有逐层验证的自动化过程控制的流程图。
【具体实施方式】
[0021 ]由于桌面3D打印机不是完全可靠的，因此真正的自动化需要相当稳健的错误检测和校正。本申请论述了用于进一步自动化和优化3D打印过程的几种软件和硬件技术。
[0022]自动化过程控制涉及建立3D打印过程的计算模型。目标在于基于CAD文件以及尺寸和结构规格和公差来优化地选择打印参数。通过自动和/或手动评估产生的输出以向计算模型提供反馈而持续地改进所述模型。
[0023]从CAD文件和用户规定的参数收集输入特征。CAD文件被分析以确定相关特征，例如沿着任何闭合表面或层的横截面积、与打印表面的接触面积和周长、壁厚、所需的支撑材料和被支撑特征的角度。用户可以规定尺寸公差和沿着大量轴线的强度要求和对指定面的表面光洁度的要求。
[0024]这些输入特征被用于估算最优切片参数。切片参数包括诸如打印表面和喷嘴温度、转动方向、层高、每条轴线的最大速度和加速度、以及填充图案和密度等信息。一旦确定了设置，CAD文件就被切片并且发送到打印机。
[0025]在打印期间，计算机视觉算法监控失败。在图1a中，摄像机10被定位用于观察打印表面12。打印表面12的拐角被确定并且缺陷以如图1b所示的亮光区域14的形式出现。
[0026]算法被调整以预测错误的原因。例如，如果打印中非常早地检测到错误，那么可能是关于打印表面的水平度或涂层方面的问题。如果在打印后期出现突然和严重错误，那么可能部件变得与打印表面脱离并且失败的原因是不良的平台黏着和/或扭曲。
[0027]在打印后，系统收集各种输出。从由集成3D扫描仪提供的对物体的3D扫描估算尺寸精度和表面光洁度。能够从由对移除系统供能的马达拉动的功率量来估算打印表面的黏着力。
[0028]收集的所有信息能够被用作用于计算模型的反馈。随着时间变化，各种失败模式会变得与相应切片参数相关联。例如，不良的平台黏着可能是由不正确的温度设置或打印取向产生的。不能满足尺寸公差可能是由不正确的加速度、速度或层高产生的。机器学习算法确定每个输入和每个 失败模式之间的关联度。
[0029]系统为即将进行的作业保持打印队列，并且每个作业包括元数据，例如消耗的丝材量和估算的打印时间。此外，系统跟踪用于每个打印机的丝材的量和类型。
[0030]在运送给消费者之前，材料供应商能够对给定材料盒进行各种质量控制和校准过程。例如，供应商测量精确的丝材尺寸并且进行校准程序以确定用于喷嘴和打印表面两者的最佳打印温度。盒标识有唯一的ID号，其与相应校准信息一起进入网络界面。通过使材料供应商执行这些步骤，能够基于每个批次完成校准。这比使终端用户对每个材料盒进行校准有效得多。这使由于假设的平均值产生的变化度最小化，导致与假设批次会具有相同性能相比高得多的精度。
[0031]系统存储用于每个打印机的有效的盒ID以及用于每个盒ID的校准和剩余材料信息。不论何时用户希望更换打印机中的材料，她都必须首先输入新盒ID。系统会更新相应的打印机的有效材料并且基于与材料盒ID相关联的校准信息对队列中的物体重新切片。在每次打印作业(成功或失败)之后，系统更新用于相关材料ID的剩余材料量。
[0032]不论何时新作业被添加到打印队列，系统都核实是否会有足够的剩余材料来完成作业。如果没有足够量的剩余材料，系统会安排材料更换并且通知操作员。稍后，如果需要更少材料使得在材料更换之前就能完成的另一作业被提交，那么系统会自动将新作业移动到队列前面。
[0033]系统在每个部件被添加到队列时都执行这些材料核实。这意味着系统提前很多地检测不充足的材料供应，而不是在每次打印开始之前立即检测这种短缺。这允许各种优化。需要更少材料的较小作业能够在队列中向上移动以避免浪费盒中的最后的材料。材料更换能够提前许多安排，这允许操作员计划他们的更换安排。
[0034]系统维持每个打印机的平均材料消耗率。这与关于供应商和运送交付时间的信息结合，允许系统自动定购更换材料并且使其正好即时到达。这避免了与在错误的时间获得更换材料相关联的问题:太早而未使用的材料可能在使用前退化，太晚则可能存在当等待材料到达时的不必要的机器停工时间。
[0035]应注意，甚至在当前有效材料量少时、例如如果用户需要不同颜色或材料类型，用户也可以改变材料。旧盒能够在稍后的时间被重新安装。事实上，旧盒甚至能够被安装在连接到系统的不同打印机上。由于系统基于每个盒而不是基于每个打印机存储剩余材料信息，因此这是可能的。
[0036]单向反射镜能够被用于促进用于计算机视觉算法的稳定照明环境。允许光离开打印空间但不进入其中意味着操作员将仍然能够观察机器，但是外部照明条件不会影响计算机视觉算法的精度。内部照明条件是稳定的并且能够整合到被用于产生如图2所示的渲染的场景中，所述渲染会与图像进行对比。利用单向镜控制变化的外部照明条件会提高计算机视觉算法的精度和相容性。
[0037]图2a和2b图示了逐层的摄像机验证。如图2a所示，被部分打印的部件16与部分部件18的渲染进行对比。如果被部分打印的部件16与渲染18的差异在所选阈值之外，那么部件16是有缺陷的并且系统应关闭使得可以移除和丢弃被部分打印的部件16。
[0038]完全自动化的3D打印机利用某形式的自动化部件移除以在打印之间清理打印表面。计算机视觉算法被用于验证所述移除是成功的以及打印表面足够清洁以供下一打印开始。过程包括校准程序、用于补偿变化的照明环境的技术、以及打印表面清理验证程序。参见图1a和lb。
[0039]校准是涉及人类操作员的手动过程。操作员首先确认打印表面完全清洁。系统然后将表面移动到起始位置并且获取参照图像。然后，边缘检测或其他计算机视觉算法被用于识别打印表面的拐角以确定参考图像中的哪些像素代表打印表面。人类操作员验证或校正该打印表面隔离。参见图2a和2b。
[0040]然后，操作员循环经过打印机可能遇到的各种照明条件。这包括打开和关闭灯，打开和关闭遮光帘、以及在白天和夜间两者期间进行测试。对于照明条件的每个可能组合，人类操作员给计算机系统发信号以在打印表面处于起始位置的情况下获取高亮校准图像。打印机上的网络摄像机和/或外部传感器测量与每个高亮校准图像相关联的周围照明条件。这结束了校准过程。
[0041]在尝试移除后，系统执行印刷表面清洁度验证的程序。首先打印机测量周围照明条件以确定当前最可能的照明条件。其使用这些条件来选择使用哪个高亮校准图像用于减少高亮。然后打印机将打印表面移动到起始位置并且获取验证图像。诸如特征识别或阈值处理之类的尚壳减少技术从验证图像移除尽可能多的尚壳。最后，边缘检测算法在尚壳减小的验证图像上运行。如果没有在打印表面内检测到边缘，那么通知打印机打印空间是清洁的，从而其可以开始下一打印。如果检测到边缘，那么通知打印机再次运行移除程序。如果系统连续多次检测到失败的移除，那么通知操作员检查系统和手动地移除部件。
[0042]逐层验证被用于检测打印过程期间的错误。如果检测到错误，那么系统能够在再次尝试执行作业或移动到队列中的下一作业之前取消和移除失败的打印。逐层验证包括校准程序、扩充切片程序、以及每层验证程序。
[0043]校准程序根据打印表面的高度(Z高度)和与摄像机的距离来确定打印表面的边界。首先，人类操作员必须验证表面是清洁的。然后，打印机移动到各个z高度并且获取与z高度相关联的校准图像。对于每个校准图像，通过边缘检测算法自动地确定或者由人类操作员手动地确定打印表面的拐角。
[0044]逐层验证需要专用切片技术。切片机还必须产生在每个层被打印之后部件会看起来像什么的预测性渲染，而不是仅对每个层产生g代码。这不仅考虑了部分打印物体的形状，还考虑了其他切片参数，例如层高度和填充图案和密度。这些渲染被调节以基于正使用的材料以及环境和打印温度来适应材料收缩。该信息与处于合适z高度的打印表面的校准图像和距摄像机的距离结合以产生在每层被打印之后打印应该看起来像什么的渲染。
[0045]每层验证程序需要用于在3D打印的每层之后获取图像的技术。这能够包括自定义的g代码，其被插入g代码文件中用于每层的最后的打印。当固件执行该自定义g代码时，其给网络摄像机发信号以获取层验证图像。当远程或本地服务器处理层验证图像的同时，打印能够无间断地继续。仅在验证过程检测到与可接受公差的变化时才会取消打印。
[0046]一旦层验证图像被获取并且发送到远程或本地服务器，系统就将验证图像和与来自切片程序的当前z高度相关联的预测性渲染进行对比。该验证涉及边缘检测、特征识别、和其他计算机视觉技术以确定当前打印有多接近所预测的渲染。如果图像和渲染之差低于阈值，那么可以继续进行打印。否则打印作业被取消和移除，在这之后能够再次尝试打印作业(可能利用经调节的参数)或者跳过打印作业使得能够打印队列中的下一作业。
[0047]验证算法不仅比较部件的形状，还比较其相对于打印表面的位置。这允许系统检测部件何时部分或完全地与打印表面脱离。这是常见的失败模式:在不重新开始所述作业的情况下是不能恢复的，并且在失败的作业没有终止时会潜在地导致对打印机的损坏。
[0048]特别是在材料与打印表面或背景在颜色上非常相似时，检测阴影对于检测失败来说是非常有用的。打印机的照明条件被包括在用于产生渲染的场景中，因此在渲染和图像两者中都存在阴影。比较这些阴影提供了关于打印是否成功的另外的数据。
[0049]参照图3a和3b，灯20形成灯阵列。灯20可以是发光二极管。如图3a和3b所示，灯从正被观察的特征A投射阴影。
[0050]为了提高算法预测打印是否已经失败的能力，使用者能够评注作为失败点的由层验证图像产生的时帧推移。对于错误检测分类算法，所有之前的特征能够被用作否定的训练示例(没有错误)并且所有后续的图像能够被用作肯定的训练示例(错误)。
[0051]逐层验证还实现了打印机的自动自保存。一些失败的打印可能导致打印机的自我损 害，例如由于在马达跳动之后冲击打印头或者由于杂散材料被困在部件(例如带、滑轮和轴承)中。通过检测过程内的失败，机器不那么可能继续长得足以导致严重损害的失败打印。
[0052]为了促进整个3D打印过程的持续改进，系统使用了计算机视觉和机器学习技术的结合以评估打印并且改进用于切片过程的参数优化。这涉及到切片软件的各种相关输入和正被打印的模型的特征、以及成功和不成功打印两者的相关特征。系统评估3D模型的特征以选择用于切片软件的输入，并且然后评估被打印部件的2D图像或3D扫描以提供反馈。系统会随着时间学习如何最佳地优化切片设置以产生高质量的打印。
[0053]3D模型的特征可以包括各个高度处的横截面积、打印表面接触面积、用户评注的力矢量、壁厚、用户规定的打印时间要求、和其他相关特征。切片机参数可以包括层高度、填充图案和密度、挤出宽度、打印温度、以及切片软件的各种其他参数。来自模型的反馈可以包括计量，例如尺寸精度、表面光洁度、测量的打印时间和用户提供的强度等级。
[0054]3D扫描和/或计算机视觉被用于验证部件的质量。这允许操作员打印部件并且知道其会满足规格。系统使用3D扫描和/或计算机视觉算法以将完成部件或部分完成部件的外表面与CAD模型和规格进行对比。如果作业不满足规格，那么其能够可选地利用改变的设置以提高符合规格的可能性而自动地重新提交。操作员不再需要重复地设置参数、打印和测量部件，这是由于系统自动执行该过程的所有步骤。
[0055]许多机器学习算法可以适合于绘制这些特征和开发用于3D打印切片机参数的模型。这些包括隐马尔可夫模型、贝叶斯推理、人工神经网络算法。
[0056]能够在逐层基础上执行部件评估。这允许系统验证在打印已完成时可能看不到的内部特征的公差。来自该部分的所有技术能够集成到逐层程序中以向机器学习算法提供过程内的反馈。
[0057]当新的反馈导致模型的急剧变化时，旧的切片参数可能不再是最优的。系统能够检测这种急剧变化并且对列队中等待的部件进行再切片以利用更新的模型。如果系统从一个或更多个打印机得知调节某参数极大改进相关特征的质量，那么其他打印机能够使用该信息来基于改进的模型对排队的部件进行再切片。
[0058]在通过浏览器的云端以及利用本地安装的软件两者中存在能够用于查看和操纵3D模型的许多工具。但是，这些工具中没有一个提供关于各种切片设置会如何影响正被打印的物体的直接反馈。我们的系统包括3D打印预览，其向用户提供输入设置会如何影响打印形状的实时视觉反馈。
[0059]3D打印预览结合了相关的背景属性以产生潜在的3D打印的精确实时渲染。例如，系统基于当前装载到用户打印机中的丝材的颜色来选择打印预览的颜色。此外，物体在打印空间的按比例呈现内被渲染。
[0060]在用户调节打印设置时3D打印预览实时更新渲染。例如，在用户调节速度相对于质量的设置时，系统调节用于打印该物体的层高。物体的渲染包括在用户调节速度相对于质量的滑块时实时调节的层高的呈现。由于层高相对于大多数部件的尺寸来说非常小，因此抗混叠技术是避免渲染中的不希望的制品所必需的。
[0061]与在渲染前需要对模型进行复杂预处理的工具轨径可视化的工具不同，3D打印预览产生模型的有计算效率的可视化。即使最快预处理器(也称为切片机)也会花费10到20秒来从平均大小的文件产生工具轨径。在每次参数更新之后，这些预处理器必须再次运行。在对CAD文件进行切片之前，3D打印预览在用户的网络浏览器中快速地加载并且实时响应控制关键打印参数的滑块。
[0062]常规3D扫描仪通常需要激光器和摄像机相对于正被扫描的物体转动。将该转动与笛卡尔3D打印机集成以形成双打印机/扫描仪会是困难的。我们提出一种具有小数量标准网络摄像机和灯阵列以在摄像机不相对于物体移动的情况下产生3D扫描的系统。
[0063]图3a和3b图示了合适的灯阵列以收集来自正被打印的物体的2D投影。
[0064]系统使用灯阵列以收集物体的各个角度的2D投影(阴影)。灯必须发射在摄像机能够检测到范围内的光谱范围，但是该光谱范围可以或者可以不落入可见光谱内。一次打开一个灯或者在特定组中的灯，并且利用每个网络摄像机收集物体图像。物体阴影能够被用于从每个灯的视角重建轮廓视图。这些轮廓视图中的几个能够被用于重建物体的3D模型。
[0065]通过使用具有精确网格的打印表面以提供用于计算机视觉算法的参考点，能够对系统进行改进。此外，系统能够以规定尺寸公差使轴线与一个或更多个灯对齐以确保能够测量相关尺寸。最后，系统能够使打印表面沿着z轴线移动或者使网络摄像机移动以获得必要的视角。
[0066]扫描任意物体和核实所制造的部件是否满足规格之间的差异是细微但重要的。由于系统知道物体应该看起来像什么，因此其能够预测特定光组合会产生什么阴影，然后验证那些阴影是否如预期地出现。这是比尝试根据轮廓视图的小的选择而产生整个3D模型简单得多的过程。
[0067]该技术能够通过使用多色光或者具有不同波长的光而潜在地优化。如果摄像机能够精确地识别光的任何可能组合，那么能够使用单个图像来进行以上过程。摄像机过滤器能够被用于隔离特定光谱。基于在图像的每个像素点处测得的颜色，系统会确定哪些灯照射在无阻挡的点上。这会再次导致来自每个灯视角的一系列的阴影，其能够被用于产生轮廓视图并且继而产生重建的物体3D模型。
[0068]图4不出了整体系统图。该图不出了系统的远程和本地方面。图5图不了具有逐层验证的本发明的自动化过程控制。
【主权项】
1.一种用于增材制造设备的自动化过程控制的系统，包括: 用于制造物体的增材制造设备； 控制所述设备的本地联网计算机； 至少一个摄像机，其具有所述设备的制造空间的视角以产生所述物体的可网络访问的图像； 其中所述计算机被编程为基于所述物体的图像，在所述物体有缺陷时停止制造过程。2.如权利要求1所述的系统，其中所述至少一个摄像机具有所述制造空间的固定视角。3.如权利要求1所述的系统，其中所述至少一个摄像机具有所述制造空间的自动控制的视角。4.如权利要求1所述的系统，其中所述图像为视频流。5.如权利要求1所述的系统，其中所述图像是静态的。6.如权利要求1所述的系统，其中所述增材制造设备为3D打印机。7.如权利要求1所述的系统，其中所述计算机还包括执行远程算法的一系列服务器端应用程序。8.如权利要求1所述的系统，还包括基于网络浏览器的控制界面。9.如权利要求7所述的系统，其中所述算法包括机器学习算法。10.如权利要求1所述的系统，其中所述制造空间包括在其上的校准图案。11.如权利要求9所述的系统，其中所述计算学习算法包括马尔可夫、贝叶斯推理或人工神经网络算法。12.如权利要求1所述的系统，还包括3D打印预览以实时更新物体的渲染。13.如权利要求1所述的系统，还包括灯阵列，其用于产生物体阴影以从每个灯的角度重建轮廓视图。
【专利摘要】一种增材制造的自动化过程控制。系统包括用于制造物体(16)的增材制造设备和控制该设备的本地网络计算机。至少一个摄像机(10)具有设备制造空间的视角以产生物体(16)的可网络访问的图像。所述计算机被编程为基于物体(16)的图像，在物体(16)有缺陷时停止制造过程。
【IPC分类】B29C67/00, G06N99/00
【公开号】CN105555509
【申请号】CN201480043784
【发明人】阿方索·亚历山大·佩雷斯, 克里斯多夫·迈克尔·海德, 马特奥·佩纳·多尔, 佛利斯特·W·彼佩尔
【申请人】麻省理工学院
【公开日】2016年5月4日
【申请日】2014年8月4日
【公告号】CA2919508A1, EP3030400A1, US20150045928, WO2015020939A1
【专利说明】増材制造设备的自动化过程控制
[0001 ] 本申请要求2014年7月31日提交的使用申请第14/448,229号和2013年8月7日提交的临时申请第61 /863110号的优先权，其内容通过引用并入本文中。
【背景技术】
[0002]本发明涉及通用增材制造设备(例如3D打印机)，其可以利用各种技术，包括挤压沉积、颗粒熔化和烧结、粉末平台黏着和光聚合。系统特别适合于但不限于自动化以使得已完成作业能够从打印空间移除并且在没有任何手动人工操作的情况下开始下一作业的设备。
[0003]常规增材制造设备需要具有许多不同软件应用的工具链用于过程中的各个步骤。所有过程反馈、例如尺寸精度和表面光洁度必须被手动地测量和评估，而没有整合该反馈以提尚系统功能的成系统的方式。
[0004]有效地操作增材制造设备以生产满足设计者规定的公差的物体涉及使每个作业的加工时间、操作员时间、材料消耗和总的机器停工时间最小化以使生产量最大化并且限制材料和人工成本。理想的系统会在不需要人类操作员的情况下连续工作并且仅生产规定公差内的物体。
[0005]实际上，许多问题导致作业失败、不满足公差要求的物体以及不必要的机器停工时间。手动控制这些问题、特别是关于低成本增材制造设备的问题需要大量的操作员时间来预检部件、输入各种机器参数以满足规定公差要求、手动监控作业、在完成后移除物体、测量物体以测试是否符合规定的公差要求并且反复重复该过程直到物体满足规定的要求。
【发明内容】
[0006]本公开的发明通过提供用于检查潜在作业、远程实时监控作业并且在作业期间以及之后收集和评估过程反馈的单个统一界面而使操作员必须使用以控制增材制造设备的工具的数量最小化。此外，系统使用现代计算机视觉和机器学习算法以使执行识别和校正系统错误和不精确度的过程自动化，提供了不需要操作员输入情况下的公差控制。
[0007]所公开的系统通过自动最小化对成本有贡献的因素而提高了增材制造设备的操作效率。机器学习算法使输入的CAD(计算机辅助设计)文件与机器参数相关联以预测所制造物体的性能和其制造所需的时间。计算机视觉算法或集成3D扫描仪在制造后评估物体以确保满足公差要求并且向机器学习算法提供反馈使得预测随时间改进。因此，系统逐渐改进其设定机器参数的能力，所述机器参数在使制造时间最小化的同时使满足规定公差的可能性最大化。这使每个作业的时间和满足规格所需的重复次数两者最小化。使重复最少化限制了浪费的材料消耗并且增加了设备的总生产量。
[0008]系统能够利用计算机视觉技术来自动执行各种校准程序。对于给定材料的温度校准涉及在变化的温度下打印测试物体以及选择具有最佳平台黏着、表面光洁度以及尺寸精度的物体。打印到板上的校准图案的图像提供关于平台水平度和喷嘴高度的信息。利用计算机视觉对部件移除特征、例如用于使刀片和打印表面对齐的最佳z高度进行优化。能够从由使对移除刀片供能的马达运行的电流量来估算部件黏着度。
[0009]系统跟踪材料消耗并且在安排供操作员更换材料盒的计划停工时间之前自动通知材料供应商何时运送新材料。这防止了操作员在非优化的时间更换材料盒;太早意味着可能浪费有用的材料，而太晚意味着不必要的机器停工时间。
[0010]系统利用计算机视觉算法实时监控作业以尽可能早地检测失败。系统能够在过程的早期检测到作业不太可能满足规格，而不是等到作业完成才测量和检查部件。作业能够及早终止并且再次开始或跳过以避免浪费额外的材料和加工时间。
[0011]系统提供用于供操作员向队列中添加作业、输入规格和公差、检查CAD文件的单个界面并且在期望时提供另外的人工监控。所述界面包括3D打印预览，其结合了 CAD文件和建议的机器参数以使增材制造设备的预测输出可视化。3D打印预览允许操作员调节多种规格并且实时获得关于这些调节会如何影响被打印物体的预测性反馈。3D打印预览还能够检测和评注可能导致错误的CAD模型特征。
[0012]本发明还包括新3D扫描方法，其允许非扰乱性扫描被集成到3D打印机中。照射在物体上的独立受控的灯阵列产生被成像和测量以验证尺寸精度的阴影。
[0013]根据本发明的用于增材制造设备的自动化过程控制的系统包括用于制造物体的增材制造设备(例如3D打印机)和控制该设备的本地联网计算机。至少一个摄像机具有设备的制造空间的视角以产生物体的可网络访问的图像。计算机被编程为在物体有缺陷时，基于物体的图像停止制造过程。
[0014]在一个优选实施例中，所述至少一个摄像机具有制造空间的固定视角。可替代地，摄像机可以具有制造空间的自动控制的视角。图像可以是视频流或者静态图像。优选的增材制造设备为3D打印机。在另一优选实施例中，计算机还包括执行远程算法的一系列服务器端应用程序。可以提供基于网络浏览器的控制界面。算法可以包括诸如马尔可夫、贝叶斯推理或人工神经网络算法之类的机器学习算法。
[0015]另一优选实施例包括3D打印预览以实时更新物体的渲染。所述系统还可以包括灯的阵列，其用于产生物体阴影以重建从每个灯的角度来看的轮廓视图。
【附图说明】
[0016]图1a和Ib为本发明一个实施例的透视图，其包括观察在增材制造设备的制造空间内的打印表面的摄像机。
[0017]图2a和2b为本发明一个实施例的透视图，其示出了伴随着图像与渲染的对比的逐层验证。
[0018]图3a和3b分别为本发明一个实施例的侧视图和俯视图，其使用了灯阵列以对正被打印的物体进行投影。
[0019]图4为示出了系统操作的总系统图。
[0020]图5为根据本发明一个实施例的具有逐层验证的自动化过程控制的流程图。
【具体实施方式】
[0021 ]由于桌面3D打印机不是完全可靠的，因此真正的自动化需要相当稳健的错误检测和校正。本申请论述了用于进一步自动化和优化3D打印过程的几种软件和硬件技术。
[0022]自动化过程控制涉及建立3D打印过程的计算模型。目标在于基于CAD文件以及尺寸和结构规格和公差来优化地选择打印参数。通过自动和/或手动评估产生的输出以向计算模型提供反馈而持续地改进所述模型。
[0023]从CAD文件和用户规定的参数收集输入特征。CAD文件被分析以确定相关特征，例如沿着任何闭合表面或层的横截面积、与打印表面的接触面积和周长、壁厚、所需的支撑材料和被支撑特征的角度。用户可以规定尺寸公差和沿着大量轴线的强度要求和对指定面的表面光洁度的要求。
[0024]这些输入特征被用于估算最优切片参数。切片参数包括诸如打印表面和喷嘴温度、转动方向、层高、每条轴线的最大速度和加速度、以及填充图案和密度等信息。一旦确定了设置，CAD文件就被切片并且发送到打印机。
[0025]在打印期间，计算机视觉算法监控失败。在图1a中，摄像机10被定位用于观察打印表面12。打印表面12的拐角被确定并且缺陷以如图1b所示的亮光区域14的形式出现。
[0026]算法被调整以预测错误的原因。例如，如果打印中非常早地检测到错误，那么可能是关于打印表面的水平度或涂层方面的问题。如果在打印后期出现突然和严重错误，那么可能部件变得与打印表面脱离并且失败的原因是不良的平台黏着和/或扭曲。
[0027]在打印后，系统收集各种输出。从由集成3D扫描仪提供的对物体的3D扫描估算尺寸精度和表面光洁度。能够从由对移除系统供能的马达拉动的功率量来估算打印表面的黏着力。
[0028]收集的所有信息能够被用作用于计算模型的反馈。随着时间变化，各种失败模式会变得与相应切片参数相关联。例如，不良的平台黏着可能是由不正确的温度设置或打印取向产生的。不能满足尺寸公差可能是由不正确的加速度、速度或层高产生的。机器学习算法确定每个输入和每个 失败模式之间的关联度。
[0029]系统为即将进行的作业保持打印队列，并且每个作业包括元数据，例如消耗的丝材量和估算的打印时间。此外，系统跟踪用于每个打印机的丝材的量和类型。
[0030]在运送给消费者之前，材料供应商能够对给定材料盒进行各种质量控制和校准过程。例如，供应商测量精确的丝材尺寸并且进行校准程序以确定用于喷嘴和打印表面两者的最佳打印温度。盒标识有唯一的ID号，其与相应校准信息一起进入网络界面。通过使材料供应商执行这些步骤，能够基于每个批次完成校准。这比使终端用户对每个材料盒进行校准有效得多。这使由于假设的平均值产生的变化度最小化，导致与假设批次会具有相同性能相比高得多的精度。
[0031]系统存储用于每个打印机的有效的盒ID以及用于每个盒ID的校准和剩余材料信息。不论何时用户希望更换打印机中的材料，她都必须首先输入新盒ID。系统会更新相应的打印机的有效材料并且基于与材料盒ID相关联的校准信息对队列中的物体重新切片。在每次打印作业(成功或失败)之后，系统更新用于相关材料ID的剩余材料量。
[0032]不论何时新作业被添加到打印队列，系统都核实是否会有足够的剩余材料来完成作业。如果没有足够量的剩余材料，系统会安排材料更换并且通知操作员。稍后，如果需要更少材料使得在材料更换之前就能完成的另一作业被提交，那么系统会自动将新作业移动到队列前面。
[0033]系统在每个部件被添加到队列时都执行这些材料核实。这意味着系统提前很多地检测不充足的材料供应，而不是在每次打印开始之前立即检测这种短缺。这允许各种优化。需要更少材料的较小作业能够在队列中向上移动以避免浪费盒中的最后的材料。材料更换能够提前许多安排，这允许操作员计划他们的更换安排。
[0034]系统维持每个打印机的平均材料消耗率。这与关于供应商和运送交付时间的信息结合，允许系统自动定购更换材料并且使其正好即时到达。这避免了与在错误的时间获得更换材料相关联的问题:太早而未使用的材料可能在使用前退化，太晚则可能存在当等待材料到达时的不必要的机器停工时间。
[0035]应注意，甚至在当前有效材料量少时、例如如果用户需要不同颜色或材料类型，用户也可以改变材料。旧盒能够在稍后的时间被重新安装。事实上，旧盒甚至能够被安装在连接到系统的不同打印机上。由于系统基于每个盒而不是基于每个打印机存储剩余材料信息，因此这是可能的。
[0036]单向反射镜能够被用于促进用于计算机视觉算法的稳定照明环境。允许光离开打印空间但不进入其中意味着操作员将仍然能够观察机器，但是外部照明条件不会影响计算机视觉算法的精度。内部照明条件是稳定的并且能够整合到被用于产生如图2所示的渲染的场景中，所述渲染会与图像进行对比。利用单向镜控制变化的外部照明条件会提高计算机视觉算法的精度和相容性。
[0037]图2a和2b图示了逐层的摄像机验证。如图2a所示，被部分打印的部件16与部分部件18的渲染进行对比。如果被部分打印的部件16与渲染18的差异在所选阈值之外，那么部件16是有缺陷的并且系统应关闭使得可以移除和丢弃被部分打印的部件16。
[0038]完全自动化的3D打印机利用某形式的自动化部件移除以在打印之间清理打印表面。计算机视觉算法被用于验证所述移除是成功的以及打印表面足够清洁以供下一打印开始。过程包括校准程序、用于补偿变化的照明环境的技术、以及打印表面清理验证程序。参见图1a和lb。
[0039]校准是涉及人类操作员的手动过程。操作员首先确认打印表面完全清洁。系统然后将表面移动到起始位置并且获取参照图像。然后，边缘检测或其他计算机视觉算法被用于识别打印表面的拐角以确定参考图像中的哪些像素代表打印表面。人类操作员验证或校正该打印表面隔离。参见图2a和2b。
[0040]然后，操作员循环经过打印机可能遇到的各种照明条件。这包括打开和关闭灯，打开和关闭遮光帘、以及在白天和夜间两者期间进行测试。对于照明条件的每个可能组合，人类操作员给计算机系统发信号以在打印表面处于起始位置的情况下获取高亮校准图像。打印机上的网络摄像机和/或外部传感器测量与每个高亮校准图像相关联的周围照明条件。这结束了校准过程。
[0041]在尝试移除后，系统执行印刷表面清洁度验证的程序。首先打印机测量周围照明条件以确定当前最可能的照明条件。其使用这些条件来选择使用哪个高亮校准图像用于减少高亮。然后打印机将打印表面移动到起始位置并且获取验证图像。诸如特征识别或阈值处理之类的尚壳减少技术从验证图像移除尽可能多的尚壳。最后，边缘检测算法在尚壳减小的验证图像上运行。如果没有在打印表面内检测到边缘，那么通知打印机打印空间是清洁的，从而其可以开始下一打印。如果检测到边缘，那么通知打印机再次运行移除程序。如果系统连续多次检测到失败的移除，那么通知操作员检查系统和手动地移除部件。
[0042]逐层验证被用于检测打印过程期间的错误。如果检测到错误，那么系统能够在再次尝试执行作业或移动到队列中的下一作业之前取消和移除失败的打印。逐层验证包括校准程序、扩充切片程序、以及每层验证程序。
[0043]校准程序根据打印表面的高度(Z高度)和与摄像机的距离来确定打印表面的边界。首先，人类操作员必须验证表面是清洁的。然后，打印机移动到各个z高度并且获取与z高度相关联的校准图像。对于每个校准图像，通过边缘检测算法自动地确定或者由人类操作员手动地确定打印表面的拐角。
[0044]逐层验证需要专用切片技术。切片机还必须产生在每个层被打印之后部件会看起来像什么的预测性渲染，而不是仅对每个层产生g代码。这不仅考虑了部分打印物体的形状，还考虑了其他切片参数，例如层高度和填充图案和密度。这些渲染被调节以基于正使用的材料以及环境和打印温度来适应材料收缩。该信息与处于合适z高度的打印表面的校准图像和距摄像机的距离结合以产生在每层被打印之后打印应该看起来像什么的渲染。
[0045]每层验证程序需要用于在3D打印的每层之后获取图像的技术。这能够包括自定义的g代码，其被插入g代码文件中用于每层的最后的打印。当固件执行该自定义g代码时，其给网络摄像机发信号以获取层验证图像。当远程或本地服务器处理层验证图像的同时，打印能够无间断地继续。仅在验证过程检测到与可接受公差的变化时才会取消打印。
[0046]一旦层验证图像被获取并且发送到远程或本地服务器，系统就将验证图像和与来自切片程序的当前z高度相关联的预测性渲染进行对比。该验证涉及边缘检测、特征识别、和其他计算机视觉技术以确定当前打印有多接近所预测的渲染。如果图像和渲染之差低于阈值，那么可以继续进行打印。否则打印作业被取消和移除，在这之后能够再次尝试打印作业(可能利用经调节的参数)或者跳过打印作业使得能够打印队列中的下一作业。
[0047]验证算法不仅比较部件的形状，还比较其相对于打印表面的位置。这允许系统检测部件何时部分或完全地与打印表面脱离。这是常见的失败模式:在不重新开始所述作业的情况下是不能恢复的，并且在失败的作业没有终止时会潜在地导致对打印机的损坏。
[0048]特别是在材料与打印表面或背景在颜色上非常相似时，检测阴影对于检测失败来说是非常有用的。打印机的照明条件被包括在用于产生渲染的场景中，因此在渲染和图像两者中都存在阴影。比较这些阴影提供了关于打印是否成功的另外的数据。
[0049]参照图3a和3b，灯20形成灯阵列。灯20可以是发光二极管。如图3a和3b所示，灯从正被观察的特征A投射阴影。
[0050]为了提高算法预测打印是否已经失败的能力，使用者能够评注作为失败点的由层验证图像产生的时帧推移。对于错误检测分类算法，所有之前的特征能够被用作否定的训练示例(没有错误)并且所有后续的图像能够被用作肯定的训练示例(错误)。
[0051]逐层验证还实现了打印机的自动自保存。一些失败的打印可能导致打印机的自我损 害，例如由于在马达跳动之后冲击打印头或者由于杂散材料被困在部件(例如带、滑轮和轴承)中。通过检测过程内的失败，机器不那么可能继续长得足以导致严重损害的失败打印。
[0052]为了促进整个3D打印过程的持续改进，系统使用了计算机视觉和机器学习技术的结合以评估打印并且改进用于切片过程的参数优化。这涉及到切片软件的各种相关输入和正被打印的模型的特征、以及成功和不成功打印两者的相关特征。系统评估3D模型的特征以选择用于切片软件的输入，并且然后评估被打印部件的2D图像或3D扫描以提供反馈。系统会随着时间学习如何最佳地优化切片设置以产生高质量的打印。
[0053]3D模型的特征可以包括各个高度处的横截面积、打印表面接触面积、用户评注的力矢量、壁厚、用户规定的打印时间要求、和其他相关特征。切片机参数可以包括层高度、填充图案和密度、挤出宽度、打印温度、以及切片软件的各种其他参数。来自模型的反馈可以包括计量，例如尺寸精度、表面光洁度、测量的打印时间和用户提供的强度等级。
[0054]3D扫描和/或计算机视觉被用于验证部件的质量。这允许操作员打印部件并且知道其会满足规格。系统使用3D扫描和/或计算机视觉算法以将完成部件或部分完成部件的外表面与CAD模型和规格进行对比。如果作业不满足规格，那么其能够可选地利用改变的设置以提高符合规格的可能性而自动地重新提交。操作员不再需要重复地设置参数、打印和测量部件，这是由于系统自动执行该过程的所有步骤。
[0055]许多机器学习算法可以适合于绘制这些特征和开发用于3D打印切片机参数的模型。这些包括隐马尔可夫模型、贝叶斯推理、人工神经网络算法。
[0056]能够在逐层基础上执行部件评估。这允许系统验证在打印已完成时可能看不到的内部特征的公差。来自该部分的所有技术能够集成到逐层程序中以向机器学习算法提供过程内的反馈。
[0057]当新的反馈导致模型的急剧变化时，旧的切片参数可能不再是最优的。系统能够检测这种急剧变化并且对列队中等待的部件进行再切片以利用更新的模型。如果系统从一个或更多个打印机得知调节某参数极大改进相关特征的质量，那么其他打印机能够使用该信息来基于改进的模型对排队的部件进行再切片。
[0058]在通过浏览器的云端以及利用本地安装的软件两者中存在能够用于查看和操纵3D模型的许多工具。但是，这些工具中没有一个提供关于各种切片设置会如何影响正被打印的物体的直接反馈。我们的系统包括3D打印预览，其向用户提供输入设置会如何影响打印形状的实时视觉反馈。
[0059]3D打印预览结合了相关的背景属性以产生潜在的3D打印的精确实时渲染。例如，系统基于当前装载到用户打印机中的丝材的颜色来选择打印预览的颜色。此外，物体在打印空间的按比例呈现内被渲染。
[0060]在用户调节打印设置时3D打印预览实时更新渲染。例如，在用户调节速度相对于质量的设置时，系统调节用于打印该物体的层高。物体的渲染包括在用户调节速度相对于质量的滑块时实时调节的层高的呈现。由于层高相对于大多数部件的尺寸来说非常小，因此抗混叠技术是避免渲染中的不希望的制品所必需的。
[0061]与在渲染前需要对模型进行复杂预处理的工具轨径可视化的工具不同，3D打印预览产生模型的有计算效率的可视化。即使最快预处理器(也称为切片机)也会花费10到20秒来从平均大小的文件产生工具轨径。在每次参数更新之后，这些预处理器必须再次运行。在对CAD文件进行切片之前，3D打印预览在用户的网络浏览器中快速地加载并且实时响应控制关键打印参数的滑块。
[0062]常规3D扫描仪通常需要激光器和摄像机相对于正被扫描的物体转动。将该转动与笛卡尔3D打印机集成以形成双打印机/扫描仪会是困难的。我们提出一种具有小数量标准网络摄像机和灯阵列以在摄像机不相对于物体移动的情况下产生3D扫描的系统。
[0063]图3a和3b图示了合适的灯阵列以收集来自正被打印的物体的2D投影。
[0064]系统使用灯阵列以收集物体的各个角度的2D投影(阴影)。灯必须发射在摄像机能够检测到范围内的光谱范围，但是该光谱范围可以或者可以不落入可见光谱内。一次打开一个灯或者在特定组中的灯，并且利用每个网络摄像机收集物体图像。物体阴影能够被用于从每个灯的视角重建轮廓视图。这些轮廓视图中的几个能够被用于重建物体的3D模型。
[0065]通过使用具有精确网格的打印表面以提供用于计算机视觉算法的参考点，能够对系统进行改进。此外，系统能够以规定尺寸公差使轴线与一个或更多个灯对齐以确保能够测量相关尺寸。最后，系统能够使打印表面沿着z轴线移动或者使网络摄像机移动以获得必要的视角。
[0066]扫描任意物体和核实所制造的部件是否满足规格之间的差异是细微但重要的。由于系统知道物体应该看起来像什么，因此其能够预测特定光组合会产生什么阴影，然后验证那些阴影是否如预期地出现。这是比尝试根据轮廓视图的小的选择而产生整个3D模型简单得多的过程。
[0067]该技术能够通过使用多色光或者具有不同波长的光而潜在地优化。如果摄像机能够精确地识别光的任何可能组合，那么能够使用单个图像来进行以上过程。摄像机过滤器能够被用于隔离特定光谱。基于在图像的每个像素点处测得的颜色，系统会确定哪些灯照射在无阻挡的点上。这会再次导致来自每个灯视角的一系列的阴影，其能够被用于产生轮廓视图并且继而产生重建的物体3D模型。
[0068]图4不出了整体系统图。该图不出了系统的远程和本地方面。图5图不了具有逐层验证的本发明的自动化过程控制。
【主权项】
1.一种用于增材制造设备的自动化过程控制的系统，包括: 用于制造物体的增材制造设备； 控制所述设备的本地联网计算机； 至少一个摄像机，其具有所述设备的制造空间的视角以产生所述物体的可网络访问的图像； 其中所述计算机被编程为基于所述物体的图像，在所述物体有缺陷时停止制造过程。2.如权利要求1所述的系统，其中所述至少一个摄像机具有所述制造空间的固定视角。3.如权利要求1所述的系统，其中所述至少一个摄像机具有所述制造空间的自动控制的视角。4.如权利要求1所述的系统，其中所述图像为视频流。5.如权利要求1所述的系统，其中所述图像是静态的。6.如权利要求1所述的系统，其中所述增材制造设备为3D打印机。7.如权利要求1所述的系统，其中所述计算机还包括执行远程算法的一系列服务器端应用程序。8.如权利要求1所述的系统，还包括基于网络浏览器的控制界面。9.如权利要求7所述的系统，其中所述算法包括机器学习算法。10.如权利要求1所述的系统，其中所述制造空间包括在其上的校准图案。11.如权利要求9所述的系统，其中所述计算学习算法包括马尔可夫、贝叶斯推理或人工神经网络算法。12.如权利要求1所述的系统，还包括3D打印预览以实时更新物体的渲染。13.如权利要求1所述的系统，还包括灯阵列，其用于产生物体阴影以从每个灯的角度重建轮廓视图。
【专利摘要】一种增材制造的自动化过程控制。系统包括用于制造物体(16)的增材制造设备和控制该设备的本地网络计算机。至少一个摄像机(10)具有设备制造空间的视角以产生物体(16)的可网络访问的图像。所述计算机被编程为基于物体(16)的图像，在物体(16)有缺陷时停止制造过程。
【IPC分类】B29C67/00, G06N99/00
【公开号】CN105555509
【申请号】CN201480043784
【发明人】阿方索·亚历山大·佩雷斯, 克里斯多夫·迈克尔·海德, 马特奥·佩纳·多尔, 佛利斯特·W·彼佩尔
【申请人】麻省理工学院
【公开日】2016年5月4日
【申请日】2014年8月4日
【公告号】CA2919508A1, EP3030400A1, US20150045928, WO2015020939A1
最新回复(0)