数据同步重放装置、数据同步重放方法以及数据同步控制程序的制作方法
数据同步重放装置、数据同步重放方法以及数据同步控制程序的制作方法
【专利摘要】本发明的目的在于提供一种能高速地同步重放图像帧和数值数据的数据同步重放装置。因此，本发明的数据同步重放装置(1)包括：存储有包含照相机(31～3n)拍摄监视对象物(61～6p)而得到的多个图像帧的图像数据和包含按时间序列从监视对象物取得的多个数值数据的过程数据的数据存储部(113b)；存储有数据同步控制程序的程序存储部(113a)，该数据同步控制程序用于在重放图像数据的同时，基于图像帧的帧号和帧周期、数值数据的采样间隔以及记录号，来对图像数据和数值数据进行同步重放等；以及执行该数据同步控制程序等的CPU(111)。
【专利说明】数据同步重放装置、数据同步重放方法以及数据同步控制程序
【技术领域】
[0001]本发明涉及同步显示包含照相机拍摄监视对象的多个图像帧的图像数据和包含按时间序列从监视对象取得的多个数值数据的过程数据的数据同步重放装置、数据同步重放方法以及数据同步控制程序。
【背景技术】
[0002]作为数据同步重放装置，例如提出了如下现有技术:在车间发生异常的情况下，在利用车间监视用的监视器来显示异常发生时的车间的数值数据和图像帧的同时，将该数值数据和图像帧作为其他文件存储在存储装置中，并为了判明异常而展开历史记录信息画面时，能够同时显示该异常发生时的数值数据和图像帧，从而能够精细地监视车间(例如，参照专利文献I)。
现有技术文献专利文献
[0003]专利文献1:日本专利特开平5 — 34181号公报
【发明内容】
发明所要解决的技术问题
[0004]然而，上述的专利文献I的数据同步重放装置中，只有在车间发生异常的场合，在显示车间的数值数据和图像帧的同时存储数据，因此存在以下问题:无法在事后确认异常发生时以外的正常运行时的数值数据和图像帧。
[0005]特别是，在上述的专利文献I的数据同步重放装置中存在以下问题:在事后确认异常发生时的车间的数值数据和图像帧的情况下，由于基于各数值数据的记录和附加在各图像帧的日期时间信息来进行同步重放，因此在监视对象增加、或也存储正常运行时的数值数据以及图像帧的情况下，文件数以及文件的存储容量会增加，因此在存储较长期间的数据，并在事后同步重放图像帧和数值数据的情况下，必须要有非常大的容量的存储装置。
[0006]另外，在专利文献I的数据同步重放装置中还存在以下问题:由于通过在数值数据和图像帧上附加日期时间信息来进行同步重放，因此在图像保存时不能利用MPEG-4等图像帧的压缩解码技术，在图像重放时不能利用QuickTime (注册商标)播放器等通用的图像数据重放程序，因此开发成本会增加。
[0007]并且，还具有如下问题:在同步重放图像帧和数值数据的情况下，由于边对照各数值数据的记录与附加在各图像帧上的日期时间信息边进行重放，因此难以进行高速的同步重放和片头提示。
[0008]本发明是鉴于上述问题而完成的，其目的在于，提供一种能高速地对图像数据所包含的图像帧和过程数据所包含的数据进行同步重放的数据同步重放装置、数据同步重放方法以及数据同步控制程序。 解决技术问题的技术方案
[0009]为了达到上述目的，本发明所涉及的数据同步重放装置的第一特征在于，包括:图像数据存储部，该图像数据存储部将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据进行存储，其中，对各所述图像帧按时间序列附加帧号；过程数据存储部，该过程数据存储部将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据进行存储；图像数据重放部，该图像数据重放部将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及数据同步重放控制部，该数据同步重放控制部基于所述帧周期，计算出与从所述图像数据重放部输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0010]本发明所涉及的数据同步重放装置的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制部计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，将该计算出的所述帧号输出至所述图像数据重放部，重放具有计算出的所述帧号的所述图像数据。
[0011]本发明所涉及的数据同步重放装置的第三特征在于，还包括:同步图像帧选择部，该同步图像帧选择部在所述监视器所显示的所述过程数据中，通过外部输入作为其它的文件指定存储的数据的时间的情况下，基于从该指定的时间的起始以及末尾的所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制部，该同步保存控制部将与所述外部输入所指定的时间相对应的所述数据与所述同步图像帧选择部所选择的所述图像帧作为同一个文件进行存储。
[0012]本发明所涉及的数据同步重放装置的第四特征在于，还包括:画面布局设定部，该画面布局设定部基于外部输入，在所述监视器上设定通过所述图像数据重放部显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制部显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
[0013]本发明所涉及的数据同步重放方法的第一特征在于，包括如下步骤:图像数据存储步骤，在该图像数据存储步骤中，对于照相机拍摄监视对象而得到的多个图像帧，对各图像帧按时序列附加帧号，并将该多个图像帧与所述图像帧的帧周期一起作为图像数据存储在图像数据存储部中；过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储在过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中，在监视器中输出并重放所述图像数据存储部中存储的所述图像数据，并且输出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0014]本发明所涉及的数据同步重放方法的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
[0015]本发明所涉及的数据同步重放方法的第三特征在于，还包括:同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
[0016]本发明所涉及的数据同步重放方法的第四特征在于，还包括:画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
[0017]本发明所涉及的数据同步控制程序的第一特征在于，在计算机中执行如下步骤:图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号；过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0018]本发明所涉及的数据同步控制程序的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
[0019]本发明所涉及的数据同步控制程序的第三特征在于，还执行如下步骤:同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
[0020]本发明所涉及的数据同步控制程序的第四特征在于，还执行如下步骤:画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
发明效果
[0021]根据本发明的数据同步重放装置、数据同步重放方法以及数据同步控制程序，不基于时刻信息，而是基于图像数据包含的图像帧的帧号、过程数据的从基准时点开始的经过时间，同步并重放图像帧和数据，因此无需在数据以及图像帧上附加时刻信息。
[0022]因此，能减少文件数量和文件的存储容量，利用与以往一样存储容量的存储设备就能进行比以往更长期间的存储和同步重放。
[0023]由于存储从监视对象取得的具有随时间的变化的数据，因此，在连续的长时间下没有随时间的变化的情况下，能大幅度削减数据容量。
[0024]并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能在图像重放时利用QuickTime (注册商标)播放器等通用的图像数据重放程序，由此能降低开发成本。
[0025]此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同步和重放、或者进行片头提示。
【专利附图】
【附图说明】
[0026]图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系统的结构例的图。
图2是表示本发明所涉及的数据同步重放装置的结构例的框图。
图3A是表示存储于数据同步重放装置的数据存储部中的图像数据和过程数据的文件格式的一个示例的图。
图3B是表示图像数据的数据结构的一个示例的图。
图3C是表示过程数据的数据结构的一个示例的图。
图4是表示实施方式I的数据同步重放装置所进行的数据同步显示处理的步骤的流程图。
图5是表示进行从图像数据到数值数据的同步重放处理时的具体例的图。
图6是表示实施方式I的数据同步重放装置的数据同步显示处理的步骤的流程图。
图7是表示进行从数值数据到图像数据的同步重放处理时的具体例的图。
图8是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的一个示例的图。
图9是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图10是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图11是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图12是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
【具体实施方式】
[0027](实施方式I)
下面，对本发明所涉及的数据同步重放装置，数据同步重放方法以及数据同步控制程序的实施方式I进行说明。
[0028]〈结构的说明〉
图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系统的结构例的图。
[0029]该在线数据管理系统是在例如利用轧机对加热后的铁、不锈钢、铝的板坯(坯料)进行轧制，将其精轧成厚度为几mm?十几mm的热轧线圈的热轧车间系统、在为了将通过热轧车间或冷轧车间制造而成的线圈精加工成最终产品，进行酸洗、退火、镀覆、涂装、切断等的生产线车间系统等中，在监视器上同步显示对各监视对象进行拍摄而得到的图像数据和从各监视对象取得的过程数据，并对这些数据进行管理的在线数据管理系统。
[0030]图1所示的在线数据管理系统是通过将本发明所涉及的数据同步重放装置1、多^ ITV(Industrial Televis1n:工业电视)照相机21?2m(m为自然数。)、照相机切换器3、数字图像转换单元4、可编程逻辑控制器(PLC)等控制设备51?5η (η为自然数。)相连接而构成，是利用多台ITV照相机21?2m拍摄到的图像数据和控制设备51?5η取得的过程数据来对轧机、冲压机、驱动这些设备的电动机、活塞等各监视对象物61?6ρ(ρ为自然数。)的动作状态、控制状态等进行监视的系统。
[0031]这里，例如数据同步重放装置I和数字图像转换单元4利用以太网(注册商标)等LAN7相连接，另一方面，数据同步重放装置I和控制设备51?5η利用LAN7以外的其他控制用网络8相连接。在控制设备51?5η可与LAN7相连接的情况下，控制用网络8可以置换成LAN7。
[0032]此外，本发明所涉及的数据同步重放装置I是由装置主体11与监视器(显示器)12、键盘13、鼠标14等连接而成的计算机装置构成的。于是，该数据同步重放装置I中，输入利用数字图像转换单元4从模拟视频信号转换成数字视频信号的来自多台ITV照相机21?2m的图像数据、和包含从控制设备51?5n取得的多个数值数据的过程数据，并在监视器12上正常显示，或进行同步显示处理等。本发明所涉及的数据同步重放装置I的结构、动作、图像数据、过程数据的结构等将在下文阐述。
[0033]ITV照相机21?2m是拍摄多个监视对象物61?6p，并输出PAL或NTSC等格式的模拟视频信号的设备，可以是固定式的照相机，也可以是能够通过发送控制信号，进行平移、倾斜、缩放等远距离操作的照相机。在ITV照相机21?2m中可以设置语音麦克风也可以不设置语音麦克风。此外，ITV照相机21?2m可以针对各监视对象物61?6p进行一对一的设定，也可以设定多台。
[0034]照相机切换器3从多台ITV照相机21?2m的视频信号中对在监视器12中显示的规定个数(在本实施方式I中例如设定为4台。)的视频信号进行切换并输出。另外，在不限制监视器12中显示的视频信号的数量的情况下、在ITV照相机21?2m的台数在该规定个数以下的情况下、以及在使数字图像转换单元4、数据同步重放设备I具备该切换功能的情况下，照相机切换器3当然也可以被省略。
[0035]数字图像转换单元4用于将从多台ITV照相机21?2m输出的NTSC、PAL格式的模拟视频信号压缩编码成为MPEG - 4等数字图像数据并输出到数据同步重放装置I。另夕卜，在多台ITV照相机21?2m可在照相机内部对所拍摄的视频信号进行A/D转换，输出数字格式的图像数据的情况下，数字图像转换单元4可以省略。
[0036]由于控制设备51?5n利用程序分别对电动机、或加热机、液压机等各监视对象物61?6p的动作进行控制，从而经由各自的1/0(输入输出)单元511?5nl从各监视对象物61?6p取得包含后述的以规定的采样间隔按时间序列检测出的数值数据的过程数据。
[0037]图2是表示本发明所涉及的数据同步重放装置I的结构例的框图。
[0038]如上所述，该数据同步重放装置I由装置主体11与监视器(显示器)12、键盘13、鼠标14等连接而成的计算机装置构成。
[0039]如图2所示，装置主体11通过利用内部总线117将CPU111、存储器112、HDD或大容量存储器等存储部113、外部设备接口(下面简称为I/F。)部114、控制网络Ι/F部115、LANI/F部116等相连接而构成。
[0040]CPUl 11通过在存储于存储部113的程序存储部113a中的各种应用程序中，执行图像数据重放程序从而起到本发明的图像数据重放部的功能，并且，通过执行数据同步控制程序而起到本发明的数据同步重放控制部，同步图像帧选择部，同步保存控制部，以及画面布局设定部的功能。
[0041]存储器112用作在CPUlll执行各种应用程序时，对数据进行暂时存储或展开等的运算区域等。
[0042]存储部113包括程序存储部113a、以及数据存储部113b。
[0043]程序存储部113a存储有OS (操作系统)、用于使CPUlll起到本发明的图像数据重放部的功能的图像数据重放程序、用于使CPUlll起到本发明的数据同步重放控制部、同步图像帧选择部、同步保存控制部、以及画面布局设定部的功能的数据同步控制程序等应用程序。在本实施方式I中，作为图像数据重放程序，可以使用专门为本装置编写而成的图像数据重放程序，或者也可以使用QuickTime (注册商标)播放器等通用的图像数据重放程序。
[0044]数据存储部113b作为本发明的图像数据存储部，存储包含由多台ITV照相机21?2m对多个监视对象物61?6p进行拍摄并进行A/D转换而得到的多个图像帧的图像数据，并且作为本发明的过程数据存储部，存储包含由控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据。
[0045]另外，在本实施方式I中，在一个存储部113中设有程序存储部113a和数据存储部113b，但也可以将程序存储部113a和数据存储部113b分别作为不同的存储部来构成。
[0046]外部设备Ι/F部114是用于将监视器12、键盘13、鼠标14等外部设备与装置主体11相连接的接口。
[0047]控制网络Ι/F部115是用于连接控制网络19和装置主体11的接口。
[0048]LANI/F部116是用于连接LAN7和装置主体11的接口。
[0049]图3A?图3C分别是表示存储于数据同步重放装置I的数据存储部113b的图像数据和过程数据的文件格式，以及图像数据和过程数据的数据结构的一个示例的图。
[0050]如图3A所示，在数据同步重放装置I的存储部113的数据存储部113b中，将包含由多台ITV照相机21?2m对多个监视对象物61?6p进行拍摄而得到的多个图像帧的图像数据D1、以及包含由控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据D2存储在I个数据文件Df内的两个部分S1、S2。这里，图像数据Dl和过程数据D2当然也可以存储在不同文件的不同部分。
[0051]图3B是表示存储在数据存储部113b中的图像数据Dl的数据结构的图。
[0052]如图3B所示，图像数据Dl是通过将分别从多台ITV照相机21?2m输出的模拟视频信号经数字图像转换单元4转换成MPEG-4编码方式等的数字图像数据而得到的，由图像头文件信息Dll和各ITV照相机21?2m对作为对象的监视对象物61?6p进行拍摄而得到的帧号为#1?q(q是自然数。)的多个图像帧D12构成。此处，为了方便说明，只表示一个图像数据D1，实际上，多台ITV照相机21?2m的每台都有图像数据D1。
[0053]在本实施方式I的情况下，如图3B所示，图像头文件信息Dll至少包含构成该图像数据Dl的图像帧D12的每I帧的时间即帧周期Tf和构成图像数据Dl的多个图像帧D12的全部帧数q。在该图像头文件信息Dll中，当然也可以包含用于识别输出图像数据Dl的ITV照相机21?2m的照相机识别信息，即使是来自同一个ITV照相机21?2m的图像数据D1，也可以包含用于识别不同日期时间的图像数据Dl的日期时间识别信息。并且，该图像头文件信息Dll中当然也可以包含用于与对应的过程数据D2相关联的关联信息等。
[0054]这里，本实施方式I中，图像帧D12的帧周期Tf例如为I帧=1/30秒。另外，1/30秒只是一个例子，图像帧D12的帧周期Tf也可以是1/60秒，当然也可以是1/50秒。
[0055]图像帧D12是用数字图像转换单元4以MPEG-4等的动态图像压缩方式将ITV照相机21?2m拍摄得到的模拟格式的视频信号高效率压缩编码而得到的数据，也可以是例如
H.264编码方式、不进行帧与帧之间的预测的Mot1n JPEG等，关键在于只要是能通过LAN7传输的数字图像数据的格式即可。另外，可以分别在多个图像帧D12里附加上通常的解码重放用的解码时刻信息(DTS)、重放时刻信息(PTS)等时刻情报，在本实施方式I中，与过程数据同步的重放处理中，不使用解码时刻信息(DTS)和重放时刻信息(PTS)等时刻情报。
[0056]由此，在本实施方式I中，图像数据Dl不具有时刻信息，或者即使具有时刻信息也不在与过程数据D2的同步重放中使用。因此，在本实施方式I中，在进行图像数据Dl和过程数据D2的同步重放处理时，将存储在与图像数据Dl相对应的过程数据D2的过程数据头文件信息D21中的采样开始时刻Tsl作为图像数据Dl的起始时刻(基准时点)、即帧号#1的图像帧D12的重放开始情报来使用。然后，对于帧号#1的图像帧D12以后的帧号#2?P的图像帧D12的帧重放开始时刻，基于作为帧号#1的图像帧D12的重放开始时刻来使用的采样开始时刻Tsl和各图像帧D12的帧号#等按下述方式来计算。因此，在本实施方式I中，在与过程数据D2的同步重放处理中，不需要各图像帧D12的时刻信息，即使包含时刻信息等也不使用(参照)该时刻信息。由此，因为没有使用(参照)各图像帧D12的时刻信息，而是基于帧号来进行重放，由此能使重放和片头提示高速化。
[0057]图3C是表示存储在数据存储部113b中的过程数据D2的数据结构的图
[0058]过程数据D2是由控制设备51?5n从多个监视对象物61?6p获得的随时间变化的数值数据D23构成的二进制数据，如图3C所示，包括:过程数据头文件信息D21 ;在具有随时间的变化的情况下的控制设备51?5n从监视对象物61?6p获得的记录号为#1?Hr是自然数。)的多个数值数据D23 ;从与该数值数据D23相对应的采样开始时刻Tsl (基准时点)开始的经过时间号为#1?r(r是自然数。)的经过时间D22。
[0059]在本实施方式I的情况下，过程数据头文件信息D21至少存储有开始取得该过程数据D2的时刻即采样开始时刻Tsl和从监视对象物61?6p取得的多个数值数据D23的全部记录数r。另外，经过时间号#1的经过时间D22是“0”，即表示采样开始时刻Tsl时点，记录号#1存储有采样开始时刻Tsl时点的从监视对象物61?6p取得的数值数据D23。
[0060]因为仅在具有随时间的变化的情况下从监视对象物61?6p取得数值数据D23，在没有随时间的变化的情况下不会取得数值数据D23。因此，在连续地经过长时间而数值数据D23中没有随时间的变化的情况下，能大幅度地削减过程数据D2的数据容量。
[0061]由此，在进行记录的时候，无法同步获得构成图像数据Dl的多个图像帧D12和构成过程数据D2的多个数值数据D23。因此，本实施方式I的数据同步重放装置I为了在不使用解码时刻信息(DTS)和重放时刻信息(PTS)等图像数据Dl的时刻信息、表示过程数据D2的数据取得时的时刻信息的情况下，对构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23进行同步重放处理，在进行同步重放时需要同步处理。
[0062]因此，在本实施方式I的数据同步重放装置I中，不使用或参照时刻信息，而使用帧号和经过时间，并使用图像帧和数值数据来进行同步重放处理。
[0063]〈动作的说明〉
接着，参照流程图对本实施方式I的数据同步重放装置I的数据同步显示处理进行说明。
[0064](从图像数据Dl到过程数据D2的同步重放动作的说明)
首先，参照流程图对本实施方式I的数据同步重放装置I的基于图像数据的过程数据的同步重放动作进行说明。
[0065]图4是表示本实施方式I的数据同步重放装置I所进行的数据同步显示处理的步骤的流程图。
[0066]首先，若用户操作数据同步重放装置I的键盘13、鼠标14等，点击(选择)同步重放按钮(未图示。)等，对装置主体11输入图像数据Dl和过程数据D2的同步重放指示(S400 “是”)，则CPUlll启动存储在程序存储部113a中的图像数据重放程序和数据同步控制程序并开始同步重放处理。
[0067]也就是说，装置主体11的CPUlll首先通过执行图像数据重放程序来起到图像数据重放部的作用，读取出存储在数据存储部113b中的图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21，暂时保存到存储器112中，取得包含在图像数据头文件信息Dll中的帧周期Tf (S410)。这里，如上所述，CPUlll取得的帧周期Tf例如为1/30秒。
[0068]另外，CPUlll也可以在S400的处理之前，利用该S410的处理预先取得帧周期Tf。另外，在图像数据头文件信息Dll所包含的帧周期Tf是已知的情况下，CPUlll不需要取得图像数据头文件信息Dll所包含的帧周期Tf。
[0069]接着，CPUlll通过执行图像数据重放程序来起到本发明的图像数据重放部的作用，利用OS的计时器(未图示。)，以图像数据Dl的帧周期Tf即1/30秒为间隔产生定时事件信号(S420)。
[0070]然后，若CPUlll以帧周期Tf即1/30秒为间隔产生定时事件信号(S430 “是”)，则起到本发明的图像数据重放部的作用，读取出存储在数据存储部113b中的构成图像数据Dl的图像帧D12，若该图像帧D12利用MPEG-4格式等来编码，则以MPEG-4格式等对该图像帧D12进行解码，在监视器12中重放，并且输出重放后的图像帧D12的帧号(S440)。此时，在用户利用帧号等指定重放开始的图像帧的情况下，会从被指定的图像帧开始进行重放。另外，图像帧D12的指定并不限于帧号等，也可以由键盘13、鼠标14在监视器12所显示的显示画面上利用光标来进行指定，在不指定图像帧D12的情况下，从图像数据Dl的起始的图像帧D12、即帧号为#1的图像帧D12开始进行重放。另外，在这个阶段，图像数据Dl和过程数据D2并非同步重放。
[0071]与此同时，CPUlll通过执行本发明所涉及的数据同步控制程序来起到本发明的数据同步重放控制部的作用，首先，取得当前正在重放的图像帧D12的帧号和帧周期Tf(S450)。此处，该S450的处理也和S410的处理相同，在图像数据头文件信息Dll所包含的帧周期Tf是已知的情况下，CPUlll使用已知的帧周期Tf。
[0072]接着，CPUlll作为本发明的数据同步重放控制部，基于当前正在重放的图像帧D12的帧号和帧周期Tf，根据下式(I)计算出“从起始图像帧开始的相对时间”(S460)。
[0073]从起始图像巾贞开始的相对时间=巾贞号X巾贞周期Tf...(I)
接着，CPUlll作为本发明的数据同步重放控制部，将根据上式(I)求得的“从起始图像帧开始的相对时间”与暂时存储在存储器112等中的过程数据D2的经过时间D22进行比较，提取与当前正在显示的图像帧D12同步的数值数据D23(S470)。由于经过时间D22以及数值数据D23是仅在具有随时间的变化的情况下从监视对象物61?6p获得的，因此不一定存在与“从起始图像帧开始的相对时间”一致的经过时间D22。因此，CPUlll通过将经过时间D22的值按经过时间号#1?r的顺序与“从起始图像帧开始的相对时间”进行比较，提取出在不超过“从起始图像帧开始的相对时间”的范围中的与最长经过时间D22相对应的数值数据D23。
[0074]然后，CPUlll基于提取出的数值数据D23来进行显示(S480)。由此，CPUlll能够在不参照时刻信息的情况下，基于图像帧D12的帧号和经过时间D22来同步重放与当前正显示的图像帧D12在时间上同步的数值数据D23。此时，例如在以曲线格式等显示过程数据D2的情况下，CPUlll将该记录号的数值数据D23转换成曲线格式等，并更新包含在用曲线来显示的范围内的值，更新曲线的显示。另外，在数值数据D23是由多个项目#1?s构成的情况下，在曲线上反映多个项目#1?S。
[0075]然后，CPUlll中，在用户输入同步重放中止指示、或者当前正在重放的图像数据Dl进行到最后的图像帧D12从而结束重放之前(S490 “否”)，通过在每次以帧周期Tf即1/30秒为间隔产生定时事件信号(S430 “是”)时进行上述的S440?S480的处理，来对使得帧号和记录号相对应的图像帧D12和数值数据D23进行同步重放处理。
[0076]因此，本实施方式I的数据同步重放装置I中，能够在不参照时刻信息的情况下，将图像数据Dl的帧号和经过时间D22进行对应，从而能使得构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23同步地来进行重放。
[0077]然后，CPUl 11在用户输入同步重放中止指示、或者当前正在重放的图像数据DI进行到最后的图像帧D12从而结束重放的情况下(S490 “是”)，结束同步重放处理。
[0078](从图像数据Dl到过程数据D2的同步重放的具体例) 接着，图示并说明从图像数据Dl到过程数据D2的同步重放的具体例。
[0079]图5示出进行从图像数据Dl到过程数据D2的同步重放处理时的具体例。另外，图5中，省略了图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21来表75。
[0080]如图5所示，本实施方式I的数据同步重放装置I中，例如若重放从图像数据Dl中的起始图像帧开始到第三帧的帧号#3的图像帧，则在本实施方式I中，因为帧周期Tf是1/30秒，因此CPUlll根据上式(I)计算出从帧号#1的起始图像帧D12开始的相对时间为3X1/30 秒=100(m秒)。
[0081]接着，因为从帧号#1的起始图像帧D12开始的相对时间即100 (m秒)比经过时间号#10的92 (m秒)长，比经过时间号#11的127 (m秒)短，因此CPUlll提取出与经过时间号#10相对应的数值数据#10。
[0082]因此，根据本实施方式I的数据同步重放装置1，对于构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23，即使在记录时无法取得同步，也能够在不使用图像帧D12、数值数据D23的时刻信息的情况下，使用图像帧D12的帧号和经过时间D22等来对图像帧D12和数值数据D23进行同步重放。
[0083]结果是，根据本实施方式I的数据同步重放装置1，在图像数据Dl和过程数据D2的同步重放处理中无需参照双方的数据的时刻信息，因此无需解析找寻图像数据D1、过程数据D2的语法(结构)和头文件信息，能高速地执行同步重放处理。
[0084](从过程数据D2到图像数据Dl的同步重放动作的说明)
接下来，参照流程图对本实施方式I的数据同步重放装置I的从过程数据D2到图像数据Dl的同步重放动作进行说明。
[0085]图6是表示本实施方式I的数据同步重放装置I所进行的数据同步显示处理的步骤的流程图。
[0086]用户在监视器12所显示的过程数据D2的显示区域中例如利用鼠标14、键盘13等使滚动条、光标等移动，指定过程数据D2的数值数据D23的某个时刻，若将所指定的时刻的数值数据D23和图像帧D12的同步重放指示输入到装置主体11 (S600 “是”)，则CPUlll通过执行数据同步控制程序来起到数据同步重放控制部的作用，首先，计算出从由鼠标14、键盘13等所移动得到的滚动条、光标的位置的从起始记录开始的相对时间(S610)。具体而言，CPUlll计算出从采样开始时刻Tsl (基准时点)开始到滚动条、光标的位置所表示的时刻为止的时间以作为相对时间。
[0087]同时，CPUlll起到数据同步重放控制部的作用，从图像数据Dl的图像数据头文件信息Dll中取得帧周期Tf (S620)。另外，在CPUlll已存储了这些采样间隔Ts2、帧周期Tf等，其为已知的情况下，当然也可以省略这些取得处理。
[0088]接着，CPUlll起到数据同步重放控制部的作用，如下式(2)所示，通过将计算得到的“从起始记录开始的相对时间”除以图像帧D12的每一帧的时间即帧周期Tf，从而计算出与当前的数值数据同步的“要同步的图像帧的帧号”(S640)。
[0089]要同步的图像巾贞的巾贞号=从起始记录开始的相对时间+巾贞周期Tf...(2) 然后，CPUlll起到图像数据重放部的作用，基于从上式(2)计算出的帧号，从存储在数据存储部113b中的图像数据Dl中读取出该帧号的图像帧D12，并进行同步重放(S640)。具体而言，CPUlll对与“从起始记录开始的相对时间”相对应的数值数据D23和该帧号的图像帧D12进行同步重放。例如，CPUlll通过将经过时间D22的值按经过时间号#1?r的顺序与“从起始记录开始的相对时间”进行比较，提取出在不超过“从起始记录开始的相对时间”的范围内的与最长的经过时间D22相对应的数值数据D23，并同步重放该提取出的数值数据D23和“要同步的图像帧的帧号”的图像帧D12。
[0090]由此，根据本实施方式1，利用经过时间和图像帧D12的帧号，能进行数值数据D23和图像帧D12的同步处理。
[0091](从过程数据D2到图像数据Dl的同步重放的具体例)
接着，图示并说明从过程数据D2到图像数据Dl的同步重放的具体例。
[0092]图7示出进行从过程数据D2到图像数据Dl的同步重放处理时的具体例。另外，图7与图5相同，也省略了图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21来表示。
[0093]S卩，在本实施方式I的数据同步重放装置I中，例如，如图7所示，过程数据D2中，若用户在监视器12所显示的过程数据D2的显示区域中，利用鼠标14、键盘13等使滚动条、光标等移动，由此来指定时刻，则CPUlll例如基于所指定的位置，计算出从起始记录开始的相对时间为134 (m秒)。
[0094]然后，由于帧周期Tf为1/30秒，因此根据上式(2)，要与从起始记录开始的相对时间为134(m秒)的数值数据D23同步的图像帧D12的帧号为134m秒+ (1/30秒)=
4.02 N 4，从起始的图像帧D12开始的第四个的帧号#4的图像帧D12与从起始记录开始的相对时间为134 (m秒)所对应的数值数据D23同步重放。
[0095]因而，根据本实施方式I的数据同步重放装置1，使用图像帧D12的帧号与从起始记录开始的相对时间等，仅通过指定光标的位置，就能同步重放所对应的图像数据Dl的图像帧D12。
[0096]另外，本实施方式I的数据同步重放装置I中，在存储部113的数据存储部113b中存储有包含控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据D2，但过程数据D2所包含的数据并不限于数值数据，也可以是比特数据、文本数据。
[0097](显示画面的具体例)
接着，对本实施方式I的数据同步重放装置I的监视器12所显示的显示画面的具体例进行说明。
[0098]图8?图12是分别表示本实施方式I的数据同步重放装置I的监视器12所显示的显示画面121?125的具体例的图。另外，图8?图12所示的显示画面121?125是如下显示画面的一个示例:本实施方式I的数据同步重放装置I的CPUlll通过执行储存在程序存储部113a中的数据同步控制程序起到画面布局设定部的作用以进行设定、变更。SP，图8?图12所示的显示画面121?125是如下显示画面的一个示例=CPUlll起到画面布局设定部的作用，将显示基于用户的指示的图像数据的图像数据重放区域和显示过程数据的过程数据重放区域设定在监视器12上，并且在图像数据重放区域中的规定的条件内，设定要重放的图像数据的数量以及大小来进行显示。
[0099]在图8所示的显示画面121中，利用作为画面布局设定部的功能，在显示画面121的中央的上侧设置图像数据显示区域121a，另一方面，在显示画面121的中央的下侧设置过程数据显示区域121b。然后，在该显示画面121中，图像数据显示区域121a中设有4个图像数据显示窗口 121al?121a4，这4个图像数据显示窗口 121al?121a4中显示来自多台ITV照相机21?2m中的由照相机切换器3根据来自用户的指示或自动地切换得到的例如照相机号#1?4(cameral?4)这4台ITV照相机的动态图像的图像数据Dl。
[0100]此外，该显示画面121中，在过程数据显示区域121b中重放由照相机切换器3切换得到的照相机号#1?4 (cameral?4)这4台ITV照相机拍摄的监视对象物的过程数据D2。此处，过程数据显示区域121b中，图上的水平方向的横轴表示时间轴，而图上的垂直方向的纵轴表示构成过程数据D2的数值数据D23的值(等级)。
[0101]然后，对于分别在4个图像数据显示窗口 121al?121a4中重放的图像数据Dl和在过程数据显示区域121b中重放的过程数据D2，利用作为数据同步重放控制部进行动作的CPU111，如上述那样通过使图像帧D12和数值数据D23同步来进行重放。
[0102]另外，在该显示画面121的过程数据显示区域121b中，在图上显示有用于改变重放的过程数据D2的时刻的沿水平方向移动的过程数据时刻变更条121b2等。用户能够利用键盘13、鼠标14在显示画面121上操作光标(未图示)，由此来通过过程数据时刻变更条121b2执行过程数据D2的时间轴的放大/缩小、过程数据D2的放大显示。
[0103]此外，图8中，121b3是指定过程数据显示区域121b中所显示的过程数据的取出记录(快照)开始位置的取出记录开始位置指定条，121b4是指定过程数据显示区域121b中所显示的过程数据的取出记录结束位置的取出记录结束位置指定条，这些指定条在后述的实施方式12的取出记录(快照)中使用，而实施方式I中不使用。用户能通过像上述那样使用鼠标14、键盘13等来移动过程数据显示区域121b中的这些指定条。
[0104]在图9所示的显示画面122中，为了放大过程数据D2来进行显示，示出在整个显示画面122中放大过程数据显示区域122b后的状态。因此，在图9所示的显示画面122中，无法显示图8所示的显示画面121中存在于显示画面121的中央的上侧一半的图像数据显示区域121a，因此与过程数据显示区域122b相重叠地显示图像数据显示区域122a，并在该数据显示区域122a中设有4个图像数据显示窗口 122al?122a4。
[0105]在图10所示的显示画面123中，与图8所示的显示画面121相同，在显示画面123的中央的上侧设有图像数据显示区域123a，另一方面，在显示画面123的中央的下侧设有过程数据显示区域123b。然后，该显示画面123中，在图像数据显示区域123a中设有2个图像数据显示区域123al、123a2，图像数据显示区域123al中显示来自照相机号#1的ITV照相机21的动态图像的图像数据D1，另一方面，图像数据显示区域123a2中显示来自相同照相机号#1的ITV照相机21 (cameral)的静态图像的图像数据Dl。此外，该显示画面123中，在过程数据显示区域123b中显示过程数据D2，该过程数据D2与图像数据显示区域123al中所显示的来自照相机号#1的ITV照相机21的动态图像的图像数据Dl同步，并且由控制设备从照相机号#1的ITV照相机21所拍摄的监视对象物中取得。另外，过程数据显示区域123b与图8、图9所示的显示画面121、122的过程数据显示区域121b、122b没有任何改变。
[0106]在图11所示的显示画面124中，与图8所示的显示画面121等相同，在显示画面124的中央的上侧设有图像数据显示区域124a，另一方面，在显示画面124的中央的下侧设有过程数据显示区域124b。然后，该显示画面124中，与图10所示的显示画面123相同，在图像数据显示区域124a中设有2个图像数据显示区域124al，图像数据显示区域124al中显示来自照相机号#1的ITV照相机21的动态图像的图像数据D1，另一方面，图像数据显示区域124a2中显示来自相同照相机号#1的ITV照相机21 (cameral)的拍摄时刻不同的4个静态图像的图像数据D1。
[0107]在过程数据D2中包含例如正在被轧制的轧制材料的批次号等文本数据的情况下，在过程数据显示区域124b中显示文本数据124c。
[0108]另外，过程数据显示区域124b与图8?图10所示的显示画面121?123的过程数据显示区域121b?123b没有任何改变。
[0109]在图12所示的显示画面125中，与图8所示的显示画面121等相同，在显示画面125的中央的上侧设有图像数据显示区域125a，另一方面，在显示画面125的中央的下侧设有过程数据显示区域125b。然后，该显示画面125中，在图像数据显示区域125a中显示例如用于从4台照相机视频中选择2台照相机视频的照相机视频指定按钮125al，并在图像数据显示区域125a2、125a3中显示来自利用该照相机视频指定按钮125al选择的照相机号#1、3这2台ITV照相机21、23(cameral、3)的动态图像数据。由此，该显示画面125的图像数据显示区域125a2、125a3的窗口的大小比图10所示的显示画面123中的图像数据显示区域123al、123a2的窗口要小，比图8所示的显示画面121中的图像数据显示区域123al?121a4的窗口要大，因此容易看清图像数据D1。另外，该显示画面125中，过程数据显示区域125b与图8?图11所示的显示画面121?124的过程数据显示区域121b?124b没有任何改变。
[0110]如上述所说明那样，根据本实施方式I的数据同步重放装置1，使用构成图像数据Dl的图像帧D12的帧号、帧周期Tf和构成过程数据D2的数值数据D23的经过时间、采样间隔Ts2等，能同步重放图像帧D12和数值数据D23，能在监视器12中显示如图8?图12所示的显示画面121?125所示那样的显示画面。其结果是，根据本实施方式I的数据同步重放装置I，在图像数据Dl和数值数据D23的同步重放处理中，无需参照双方数据的时刻信息，因此能降低文件数量、文件的存储容量，能在具有与以往相同存储容量的存储装置中进行比以往要长期间的存储和同步重放。
[0111]此外，数值数据D23仅在具有随时间的变化的情况下从监视对象物61?6p取得并进行存储，因此在数值数据D23中不具有随时间的变化的情况下，能大幅度地削减经过时间D22的数据容量。
[0112]并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能在图像重放时利用QuickTime (注册商标)播放器等通用的图像数据重放程序，由此能降低开发成本。
[0113]此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同步和重放、或者进行片头提示。
[0114](实施方式2)
实施方式I中，对不参照时刻信息，利用图像帧D12的帧号和经过时间来进行的图像数据Dl和过程数据D2的同步重放处理进行说明，但不限于此。
[0115]本实施方式2中，将下述本实施方式2的数据同步重放装置作为示例进行说明，在该数据同步重放装置中，除了实施方式I的功能以外，还能通过指定由过程数据D2指定的时间的数值数据D23的取出记录、即要进行快照记录的数值数据D23的时间，自动地存储与该所指定的时间的数值数据D23同步的图像帧D12。
[0116]由此，本实施方式2的数据同步重放装置中，对于实施方式I的数据同步重放装置I的功能还追加了快照记录的功能，存储在程序存储部113a中的数据同步控制程序也包括用于该快照记录的功能即起到同步保存控制部的功能的程序。另外，实施方式2的数据同步重放装置的结构与实施方式I相同，因此参照图1及图2所示的实施方式I的结构，仅说明具有特征的动作。
[0117]也就是说，实施方式2的数据同步重放装置I中，用户在监视器12所显示的过程数据显示区域121b中通过使用鼠标14、键盘13等进行移动，例如如图8所示，从过程数据D2取出取出记录开始位置指定条121b3以及取出记录结束位置指定条121b4，由此指定另外记录的过程数据D2的时间。然后，若用户点击保存按钮(未图示)等，则CPUlll执行存储于程序存储部113a中的数据同步控制程序，首先作为同步图像帧选择部进行动作，与上述实施方式I的同步重放的情况相同，利用上述数学式(2)等将由用户指定的时间的数值数据D23的记录号转换成与该指定的时间的数值数据D23同步后的范围的图像帧D12的帧号。具体而目，CPUlll基于所指定的时间的起始以及末尾的从起始记录开始的相对时间和图像帧D12的帧周期，计算出与所指定的时间相对应的图像帧D21的帧号。
[0118]接着，CPUlll通过执行数据同步控制程序来作为同步保存控制部进行动作，使用户所指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12相对应，将图像数据Dl、过程数据D2的数据文件Df作为其他的数据文件Df，即以从图像数据D1、过程数据D2的数据文件Df中提取出由用户指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12的形式，存储于数据存储部113b。
[0119]因此，实施方式2的数据同步重放装置I中，能利用邮件程序等将该文件添附在电子邮件等中并经由互联网、局域网等网络，发送到其他的计算机装置。
[0120]由此，接收到存储有用户指定的时间的数值数据D23和与该时间的数值数据D23同步后的图像帧D12的文件的该其他的计算机装置中，只要具有与实施方式1、实施方式2的数据同步重放装置I相同的对图像数据Dl和过程数据D2进行同步重放的同步重放功能，就能根据接收到的文件对用户指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12进行同步重放，并执行远程诊断等。
标号说明
[0121]I数据同步重放装置 11装置主体
12监视器 13键盘 14鼠标
111 CPU(图像数据重放部、数据同步重放控制部、同步图像帧选择部、同步保存控制部、画面布局设定部)
112存储器 113存储部 113a程序存储部 113b数据存储部(图像数据存储部、过程数据存储部) 114外部设备Ι/F部 115控制网络Ι/F部
116LAN Ι/F 部
21?2m ITV照相机(m为自然数。)
3照相机切换器
4数字图像转换单元
51?5n控制设备(η为自然数。)
61?6ρ监视对象物61?6ρ (ρ为自然数。)
工业上的实用性
[0122]本发明可适用于监视车间的在线数据管理系统等。
【权利要求】
1.一种数据同步重放装置，其特征在于，包括: 图像数据存储部，该图像数据存储部将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据进行存储，其中，对各所述图像帧按时间序列附加帧号; 过程数据存储部，该过程数据存储部将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据进行存储； 图像数据重放部，该图像数据重放部将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制部，该数据同步重放控制部基于所述帧周期，计算出与所述图像数据重放部输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，并基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
2.如权利要求1所述的数据同步重放装置，其特征在于， 所述数据同步重放控制部在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，将该计算出的所述帧号输出至所述图像数据重放部，从而对具有计算出的所述帧号的所述图像数据进行重放。
3.如权利要求1或2所述的数据同步重放装置，其特征在于，还包括: 同步图像帧选择部，该同步图像帧选择部在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及 同步保存控制部，该同步保存控制部将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择部所选择的所述图像帧作为同一个文件进行存储。
4.如权利要求1至3的任一项所述的数据同步重放装置，其特征在于，还包括: 画面布局设定部，该画面布局设定部基于外部输入，在所述监视器上设定通过所述图像数据重放部显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制部显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
5.一种数据同步重放方法，其特征在于，包括如下步骤: 图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号； 过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中； 图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
6.如权利要求5所述的数据同步重放方法，其特征在于， 所述数据同步重放控制步骤中，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，并输出该计算出的所述帧号，利用所述图像数据重放步骤对具有计算出的所述帧号的所述图像数据进行重放。
7.如权利要求5或6所述的数据同步重放方法，其特征在于，还包括: 同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤中所选择的所述图像帧作为同一个文件进行存储。
8.如权利要求5至7的任一项所述的数据同步重放方法，其特征在于，还包括: 画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
9.一种数据同步控制程序，其特征在于，在计算机中执行如下步骤: 图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号； 过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中； 图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
10.如权利要求9所述的数据同步控制程序，其特征在于， 所述数据同步重放控制步骤中，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，利用所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
11.如权利要求9或10所述的数据同步控制程序，其特征在于，还执行如下步骤: 同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
12.如权利要求9至11的任一项所述的数据同步控制程序，其特征在于，还执行如下步骤: 画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
【文档编号】H04N7/18GK104204982SQ201280071331
【公开日】2014年12月10日 申请日期:2012年3月12日 优先权日:2012年3月12日
【发明者】野岛章 申请人:东芝三菱电机产业系统株式会社
【专利摘要】本发明的目的在于提供一种能高速地同步重放图像帧和数值数据的数据同步重放装置。因此，本发明的数据同步重放装置(1)包括：存储有包含照相机(31～3n)拍摄监视对象物(61～6p)而得到的多个图像帧的图像数据和包含按时间序列从监视对象物取得的多个数值数据的过程数据的数据存储部(113b)；存储有数据同步控制程序的程序存储部(113a)，该数据同步控制程序用于在重放图像数据的同时，基于图像帧的帧号和帧周期、数值数据的采样间隔以及记录号，来对图像数据和数值数据进行同步重放等；以及执行该数据同步控制程序等的CPU(111)。
【专利说明】数据同步重放装置、数据同步重放方法以及数据同步控制程序
【技术领域】
[0001]本发明涉及同步显示包含照相机拍摄监视对象的多个图像帧的图像数据和包含按时间序列从监视对象取得的多个数值数据的过程数据的数据同步重放装置、数据同步重放方法以及数据同步控制程序。
【背景技术】
[0002]作为数据同步重放装置，例如提出了如下现有技术:在车间发生异常的情况下，在利用车间监视用的监视器来显示异常发生时的车间的数值数据和图像帧的同时，将该数值数据和图像帧作为其他文件存储在存储装置中，并为了判明异常而展开历史记录信息画面时，能够同时显示该异常发生时的数值数据和图像帧，从而能够精细地监视车间(例如，参照专利文献I)。
现有技术文献专利文献
[0003]专利文献1:日本专利特开平5 — 34181号公报
【发明内容】
发明所要解决的技术问题
[0004]然而，上述的专利文献I的数据同步重放装置中，只有在车间发生异常的场合，在显示车间的数值数据和图像帧的同时存储数据，因此存在以下问题:无法在事后确认异常发生时以外的正常运行时的数值数据和图像帧。
[0005]特别是，在上述的专利文献I的数据同步重放装置中存在以下问题:在事后确认异常发生时的车间的数值数据和图像帧的情况下，由于基于各数值数据的记录和附加在各图像帧的日期时间信息来进行同步重放，因此在监视对象增加、或也存储正常运行时的数值数据以及图像帧的情况下，文件数以及文件的存储容量会增加，因此在存储较长期间的数据，并在事后同步重放图像帧和数值数据的情况下，必须要有非常大的容量的存储装置。
[0006]另外，在专利文献I的数据同步重放装置中还存在以下问题:由于通过在数值数据和图像帧上附加日期时间信息来进行同步重放，因此在图像保存时不能利用MPEG-4等图像帧的压缩解码技术，在图像重放时不能利用QuickTime (注册商标)播放器等通用的图像数据重放程序，因此开发成本会增加。
[0007]并且，还具有如下问题:在同步重放图像帧和数值数据的情况下，由于边对照各数值数据的记录与附加在各图像帧上的日期时间信息边进行重放，因此难以进行高速的同步重放和片头提示。
[0008]本发明是鉴于上述问题而完成的，其目的在于，提供一种能高速地对图像数据所包含的图像帧和过程数据所包含的数据进行同步重放的数据同步重放装置、数据同步重放方法以及数据同步控制程序。 解决技术问题的技术方案
[0009]为了达到上述目的，本发明所涉及的数据同步重放装置的第一特征在于，包括:图像数据存储部，该图像数据存储部将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据进行存储，其中，对各所述图像帧按时间序列附加帧号；过程数据存储部，该过程数据存储部将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据进行存储；图像数据重放部，该图像数据重放部将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及数据同步重放控制部，该数据同步重放控制部基于所述帧周期，计算出与从所述图像数据重放部输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0010]本发明所涉及的数据同步重放装置的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制部计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，将该计算出的所述帧号输出至所述图像数据重放部，重放具有计算出的所述帧号的所述图像数据。
[0011]本发明所涉及的数据同步重放装置的第三特征在于，还包括:同步图像帧选择部，该同步图像帧选择部在所述监视器所显示的所述过程数据中，通过外部输入作为其它的文件指定存储的数据的时间的情况下，基于从该指定的时间的起始以及末尾的所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制部，该同步保存控制部将与所述外部输入所指定的时间相对应的所述数据与所述同步图像帧选择部所选择的所述图像帧作为同一个文件进行存储。
[0012]本发明所涉及的数据同步重放装置的第四特征在于，还包括:画面布局设定部，该画面布局设定部基于外部输入，在所述监视器上设定通过所述图像数据重放部显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制部显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
[0013]本发明所涉及的数据同步重放方法的第一特征在于，包括如下步骤:图像数据存储步骤，在该图像数据存储步骤中，对于照相机拍摄监视对象而得到的多个图像帧，对各图像帧按时序列附加帧号，并将该多个图像帧与所述图像帧的帧周期一起作为图像数据存储在图像数据存储部中；过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储在过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中，在监视器中输出并重放所述图像数据存储部中存储的所述图像数据，并且输出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0014]本发明所涉及的数据同步重放方法的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
[0015]本发明所涉及的数据同步重放方法的第三特征在于，还包括:同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
[0016]本发明所涉及的数据同步重放方法的第四特征在于，还包括:画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
[0017]本发明所涉及的数据同步控制程序的第一特征在于，在计算机中执行如下步骤:图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号；过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中；图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
[0018]本发明所涉及的数据同步控制程序的第二特征在于，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，所述数据同步重放控制步骤计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，由所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
[0019]本发明所涉及的数据同步控制程序的第三特征在于，还执行如下步骤:同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
[0020]本发明所涉及的数据同步控制程序的第四特征在于，还执行如下步骤:画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
发明效果
[0021]根据本发明的数据同步重放装置、数据同步重放方法以及数据同步控制程序，不基于时刻信息，而是基于图像数据包含的图像帧的帧号、过程数据的从基准时点开始的经过时间，同步并重放图像帧和数据，因此无需在数据以及图像帧上附加时刻信息。
[0022]因此，能减少文件数量和文件的存储容量，利用与以往一样存储容量的存储设备就能进行比以往更长期间的存储和同步重放。
[0023]由于存储从监视对象取得的具有随时间的变化的数据，因此，在连续的长时间下没有随时间的变化的情况下，能大幅度削减数据容量。
[0024]并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能在图像重放时利用QuickTime (注册商标)播放器等通用的图像数据重放程序，由此能降低开发成本。
[0025]此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同步和重放、或者进行片头提示。
【专利附图】
【附图说明】
[0026]图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系统的结构例的图。
图2是表示本发明所涉及的数据同步重放装置的结构例的框图。
图3A是表示存储于数据同步重放装置的数据存储部中的图像数据和过程数据的文件格式的一个示例的图。
图3B是表示图像数据的数据结构的一个示例的图。
图3C是表示过程数据的数据结构的一个示例的图。
图4是表示实施方式I的数据同步重放装置所进行的数据同步显示处理的步骤的流程图。
图5是表示进行从图像数据到数值数据的同步重放处理时的具体例的图。
图6是表示实施方式I的数据同步重放装置的数据同步显示处理的步骤的流程图。
图7是表示进行从数值数据到图像数据的同步重放处理时的具体例的图。
图8是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的一个示例的图。
图9是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图10是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图11是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
图12是表示实施方式I的数据同步重放装置的监视器中所显示的显示画面的其他示例的图。
【具体实施方式】
[0027](实施方式I)
下面，对本发明所涉及的数据同步重放装置，数据同步重放方法以及数据同步控制程序的实施方式I进行说明。
[0028]〈结构的说明〉
图1是表示包含本发明所涉及的数据同步重放装置的在线数据管理系统的结构例的图。
[0029]该在线数据管理系统是在例如利用轧机对加热后的铁、不锈钢、铝的板坯(坯料)进行轧制，将其精轧成厚度为几mm?十几mm的热轧线圈的热轧车间系统、在为了将通过热轧车间或冷轧车间制造而成的线圈精加工成最终产品，进行酸洗、退火、镀覆、涂装、切断等的生产线车间系统等中，在监视器上同步显示对各监视对象进行拍摄而得到的图像数据和从各监视对象取得的过程数据，并对这些数据进行管理的在线数据管理系统。
[0030]图1所示的在线数据管理系统是通过将本发明所涉及的数据同步重放装置1、多^ ITV(Industrial Televis1n:工业电视)照相机21?2m(m为自然数。)、照相机切换器3、数字图像转换单元4、可编程逻辑控制器(PLC)等控制设备51?5η (η为自然数。)相连接而构成，是利用多台ITV照相机21?2m拍摄到的图像数据和控制设备51?5η取得的过程数据来对轧机、冲压机、驱动这些设备的电动机、活塞等各监视对象物61?6ρ(ρ为自然数。)的动作状态、控制状态等进行监视的系统。
[0031]这里，例如数据同步重放装置I和数字图像转换单元4利用以太网(注册商标)等LAN7相连接，另一方面，数据同步重放装置I和控制设备51?5η利用LAN7以外的其他控制用网络8相连接。在控制设备51?5η可与LAN7相连接的情况下，控制用网络8可以置换成LAN7。
[0032]此外，本发明所涉及的数据同步重放装置I是由装置主体11与监视器(显示器)12、键盘13、鼠标14等连接而成的计算机装置构成的。于是，该数据同步重放装置I中，输入利用数字图像转换单元4从模拟视频信号转换成数字视频信号的来自多台ITV照相机21?2m的图像数据、和包含从控制设备51?5n取得的多个数值数据的过程数据，并在监视器12上正常显示，或进行同步显示处理等。本发明所涉及的数据同步重放装置I的结构、动作、图像数据、过程数据的结构等将在下文阐述。
[0033]ITV照相机21?2m是拍摄多个监视对象物61?6p，并输出PAL或NTSC等格式的模拟视频信号的设备，可以是固定式的照相机，也可以是能够通过发送控制信号，进行平移、倾斜、缩放等远距离操作的照相机。在ITV照相机21?2m中可以设置语音麦克风也可以不设置语音麦克风。此外，ITV照相机21?2m可以针对各监视对象物61?6p进行一对一的设定，也可以设定多台。
[0034]照相机切换器3从多台ITV照相机21?2m的视频信号中对在监视器12中显示的规定个数(在本实施方式I中例如设定为4台。)的视频信号进行切换并输出。另外，在不限制监视器12中显示的视频信号的数量的情况下、在ITV照相机21?2m的台数在该规定个数以下的情况下、以及在使数字图像转换单元4、数据同步重放设备I具备该切换功能的情况下，照相机切换器3当然也可以被省略。
[0035]数字图像转换单元4用于将从多台ITV照相机21?2m输出的NTSC、PAL格式的模拟视频信号压缩编码成为MPEG - 4等数字图像数据并输出到数据同步重放装置I。另夕卜，在多台ITV照相机21?2m可在照相机内部对所拍摄的视频信号进行A/D转换，输出数字格式的图像数据的情况下，数字图像转换单元4可以省略。
[0036]由于控制设备51?5n利用程序分别对电动机、或加热机、液压机等各监视对象物61?6p的动作进行控制，从而经由各自的1/0(输入输出)单元511?5nl从各监视对象物61?6p取得包含后述的以规定的采样间隔按时间序列检测出的数值数据的过程数据。
[0037]图2是表示本发明所涉及的数据同步重放装置I的结构例的框图。
[0038]如上所述，该数据同步重放装置I由装置主体11与监视器(显示器)12、键盘13、鼠标14等连接而成的计算机装置构成。
[0039]如图2所示，装置主体11通过利用内部总线117将CPU111、存储器112、HDD或大容量存储器等存储部113、外部设备接口(下面简称为I/F。)部114、控制网络Ι/F部115、LANI/F部116等相连接而构成。
[0040]CPUl 11通过在存储于存储部113的程序存储部113a中的各种应用程序中，执行图像数据重放程序从而起到本发明的图像数据重放部的功能，并且，通过执行数据同步控制程序而起到本发明的数据同步重放控制部，同步图像帧选择部，同步保存控制部，以及画面布局设定部的功能。
[0041]存储器112用作在CPUlll执行各种应用程序时，对数据进行暂时存储或展开等的运算区域等。
[0042]存储部113包括程序存储部113a、以及数据存储部113b。
[0043]程序存储部113a存储有OS (操作系统)、用于使CPUlll起到本发明的图像数据重放部的功能的图像数据重放程序、用于使CPUlll起到本发明的数据同步重放控制部、同步图像帧选择部、同步保存控制部、以及画面布局设定部的功能的数据同步控制程序等应用程序。在本实施方式I中，作为图像数据重放程序，可以使用专门为本装置编写而成的图像数据重放程序，或者也可以使用QuickTime (注册商标)播放器等通用的图像数据重放程序。
[0044]数据存储部113b作为本发明的图像数据存储部，存储包含由多台ITV照相机21?2m对多个监视对象物61?6p进行拍摄并进行A/D转换而得到的多个图像帧的图像数据，并且作为本发明的过程数据存储部，存储包含由控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据。
[0045]另外，在本实施方式I中，在一个存储部113中设有程序存储部113a和数据存储部113b，但也可以将程序存储部113a和数据存储部113b分别作为不同的存储部来构成。
[0046]外部设备Ι/F部114是用于将监视器12、键盘13、鼠标14等外部设备与装置主体11相连接的接口。
[0047]控制网络Ι/F部115是用于连接控制网络19和装置主体11的接口。
[0048]LANI/F部116是用于连接LAN7和装置主体11的接口。
[0049]图3A?图3C分别是表示存储于数据同步重放装置I的数据存储部113b的图像数据和过程数据的文件格式，以及图像数据和过程数据的数据结构的一个示例的图。
[0050]如图3A所示，在数据同步重放装置I的存储部113的数据存储部113b中，将包含由多台ITV照相机21?2m对多个监视对象物61?6p进行拍摄而得到的多个图像帧的图像数据D1、以及包含由控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据D2存储在I个数据文件Df内的两个部分S1、S2。这里，图像数据Dl和过程数据D2当然也可以存储在不同文件的不同部分。
[0051]图3B是表示存储在数据存储部113b中的图像数据Dl的数据结构的图。
[0052]如图3B所示，图像数据Dl是通过将分别从多台ITV照相机21?2m输出的模拟视频信号经数字图像转换单元4转换成MPEG-4编码方式等的数字图像数据而得到的，由图像头文件信息Dll和各ITV照相机21?2m对作为对象的监视对象物61?6p进行拍摄而得到的帧号为#1?q(q是自然数。)的多个图像帧D12构成。此处，为了方便说明，只表示一个图像数据D1，实际上，多台ITV照相机21?2m的每台都有图像数据D1。
[0053]在本实施方式I的情况下，如图3B所示，图像头文件信息Dll至少包含构成该图像数据Dl的图像帧D12的每I帧的时间即帧周期Tf和构成图像数据Dl的多个图像帧D12的全部帧数q。在该图像头文件信息Dll中，当然也可以包含用于识别输出图像数据Dl的ITV照相机21?2m的照相机识别信息，即使是来自同一个ITV照相机21?2m的图像数据D1，也可以包含用于识别不同日期时间的图像数据Dl的日期时间识别信息。并且，该图像头文件信息Dll中当然也可以包含用于与对应的过程数据D2相关联的关联信息等。
[0054]这里，本实施方式I中，图像帧D12的帧周期Tf例如为I帧=1/30秒。另外，1/30秒只是一个例子，图像帧D12的帧周期Tf也可以是1/60秒，当然也可以是1/50秒。
[0055]图像帧D12是用数字图像转换单元4以MPEG-4等的动态图像压缩方式将ITV照相机21?2m拍摄得到的模拟格式的视频信号高效率压缩编码而得到的数据，也可以是例如
H.264编码方式、不进行帧与帧之间的预测的Mot1n JPEG等，关键在于只要是能通过LAN7传输的数字图像数据的格式即可。另外，可以分别在多个图像帧D12里附加上通常的解码重放用的解码时刻信息(DTS)、重放时刻信息(PTS)等时刻情报，在本实施方式I中，与过程数据同步的重放处理中，不使用解码时刻信息(DTS)和重放时刻信息(PTS)等时刻情报。
[0056]由此，在本实施方式I中，图像数据Dl不具有时刻信息，或者即使具有时刻信息也不在与过程数据D2的同步重放中使用。因此，在本实施方式I中，在进行图像数据Dl和过程数据D2的同步重放处理时，将存储在与图像数据Dl相对应的过程数据D2的过程数据头文件信息D21中的采样开始时刻Tsl作为图像数据Dl的起始时刻(基准时点)、即帧号#1的图像帧D12的重放开始情报来使用。然后，对于帧号#1的图像帧D12以后的帧号#2?P的图像帧D12的帧重放开始时刻，基于作为帧号#1的图像帧D12的重放开始时刻来使用的采样开始时刻Tsl和各图像帧D12的帧号#等按下述方式来计算。因此，在本实施方式I中，在与过程数据D2的同步重放处理中，不需要各图像帧D12的时刻信息，即使包含时刻信息等也不使用(参照)该时刻信息。由此，因为没有使用(参照)各图像帧D12的时刻信息，而是基于帧号来进行重放，由此能使重放和片头提示高速化。
[0057]图3C是表示存储在数据存储部113b中的过程数据D2的数据结构的图
[0058]过程数据D2是由控制设备51?5n从多个监视对象物61?6p获得的随时间变化的数值数据D23构成的二进制数据，如图3C所示，包括:过程数据头文件信息D21 ;在具有随时间的变化的情况下的控制设备51?5n从监视对象物61?6p获得的记录号为#1?Hr是自然数。)的多个数值数据D23 ;从与该数值数据D23相对应的采样开始时刻Tsl (基准时点)开始的经过时间号为#1?r(r是自然数。)的经过时间D22。
[0059]在本实施方式I的情况下，过程数据头文件信息D21至少存储有开始取得该过程数据D2的时刻即采样开始时刻Tsl和从监视对象物61?6p取得的多个数值数据D23的全部记录数r。另外，经过时间号#1的经过时间D22是“0”，即表示采样开始时刻Tsl时点，记录号#1存储有采样开始时刻Tsl时点的从监视对象物61?6p取得的数值数据D23。
[0060]因为仅在具有随时间的变化的情况下从监视对象物61?6p取得数值数据D23，在没有随时间的变化的情况下不会取得数值数据D23。因此，在连续地经过长时间而数值数据D23中没有随时间的变化的情况下，能大幅度地削减过程数据D2的数据容量。
[0061]由此，在进行记录的时候，无法同步获得构成图像数据Dl的多个图像帧D12和构成过程数据D2的多个数值数据D23。因此，本实施方式I的数据同步重放装置I为了在不使用解码时刻信息(DTS)和重放时刻信息(PTS)等图像数据Dl的时刻信息、表示过程数据D2的数据取得时的时刻信息的情况下，对构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23进行同步重放处理，在进行同步重放时需要同步处理。
[0062]因此，在本实施方式I的数据同步重放装置I中，不使用或参照时刻信息，而使用帧号和经过时间，并使用图像帧和数值数据来进行同步重放处理。
[0063]〈动作的说明〉
接着，参照流程图对本实施方式I的数据同步重放装置I的数据同步显示处理进行说明。
[0064](从图像数据Dl到过程数据D2的同步重放动作的说明)
首先，参照流程图对本实施方式I的数据同步重放装置I的基于图像数据的过程数据的同步重放动作进行说明。
[0065]图4是表示本实施方式I的数据同步重放装置I所进行的数据同步显示处理的步骤的流程图。
[0066]首先，若用户操作数据同步重放装置I的键盘13、鼠标14等，点击(选择)同步重放按钮(未图示。)等，对装置主体11输入图像数据Dl和过程数据D2的同步重放指示(S400 “是”)，则CPUlll启动存储在程序存储部113a中的图像数据重放程序和数据同步控制程序并开始同步重放处理。
[0067]也就是说，装置主体11的CPUlll首先通过执行图像数据重放程序来起到图像数据重放部的作用，读取出存储在数据存储部113b中的图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21，暂时保存到存储器112中，取得包含在图像数据头文件信息Dll中的帧周期Tf (S410)。这里，如上所述，CPUlll取得的帧周期Tf例如为1/30秒。
[0068]另外，CPUlll也可以在S400的处理之前，利用该S410的处理预先取得帧周期Tf。另外，在图像数据头文件信息Dll所包含的帧周期Tf是已知的情况下，CPUlll不需要取得图像数据头文件信息Dll所包含的帧周期Tf。
[0069]接着，CPUlll通过执行图像数据重放程序来起到本发明的图像数据重放部的作用，利用OS的计时器(未图示。)，以图像数据Dl的帧周期Tf即1/30秒为间隔产生定时事件信号(S420)。
[0070]然后，若CPUlll以帧周期Tf即1/30秒为间隔产生定时事件信号(S430 “是”)，则起到本发明的图像数据重放部的作用，读取出存储在数据存储部113b中的构成图像数据Dl的图像帧D12，若该图像帧D12利用MPEG-4格式等来编码，则以MPEG-4格式等对该图像帧D12进行解码，在监视器12中重放，并且输出重放后的图像帧D12的帧号(S440)。此时，在用户利用帧号等指定重放开始的图像帧的情况下，会从被指定的图像帧开始进行重放。另外，图像帧D12的指定并不限于帧号等，也可以由键盘13、鼠标14在监视器12所显示的显示画面上利用光标来进行指定，在不指定图像帧D12的情况下，从图像数据Dl的起始的图像帧D12、即帧号为#1的图像帧D12开始进行重放。另外，在这个阶段，图像数据Dl和过程数据D2并非同步重放。
[0071]与此同时，CPUlll通过执行本发明所涉及的数据同步控制程序来起到本发明的数据同步重放控制部的作用，首先，取得当前正在重放的图像帧D12的帧号和帧周期Tf(S450)。此处，该S450的处理也和S410的处理相同，在图像数据头文件信息Dll所包含的帧周期Tf是已知的情况下，CPUlll使用已知的帧周期Tf。
[0072]接着，CPUlll作为本发明的数据同步重放控制部，基于当前正在重放的图像帧D12的帧号和帧周期Tf，根据下式(I)计算出“从起始图像帧开始的相对时间”(S460)。
[0073]从起始图像巾贞开始的相对时间=巾贞号X巾贞周期Tf...(I)
接着，CPUlll作为本发明的数据同步重放控制部，将根据上式(I)求得的“从起始图像帧开始的相对时间”与暂时存储在存储器112等中的过程数据D2的经过时间D22进行比较，提取与当前正在显示的图像帧D12同步的数值数据D23(S470)。由于经过时间D22以及数值数据D23是仅在具有随时间的变化的情况下从监视对象物61?6p获得的，因此不一定存在与“从起始图像帧开始的相对时间”一致的经过时间D22。因此，CPUlll通过将经过时间D22的值按经过时间号#1?r的顺序与“从起始图像帧开始的相对时间”进行比较，提取出在不超过“从起始图像帧开始的相对时间”的范围中的与最长经过时间D22相对应的数值数据D23。
[0074]然后，CPUlll基于提取出的数值数据D23来进行显示(S480)。由此，CPUlll能够在不参照时刻信息的情况下，基于图像帧D12的帧号和经过时间D22来同步重放与当前正显示的图像帧D12在时间上同步的数值数据D23。此时，例如在以曲线格式等显示过程数据D2的情况下，CPUlll将该记录号的数值数据D23转换成曲线格式等，并更新包含在用曲线来显示的范围内的值，更新曲线的显示。另外，在数值数据D23是由多个项目#1?s构成的情况下，在曲线上反映多个项目#1?S。
[0075]然后，CPUlll中，在用户输入同步重放中止指示、或者当前正在重放的图像数据Dl进行到最后的图像帧D12从而结束重放之前(S490 “否”)，通过在每次以帧周期Tf即1/30秒为间隔产生定时事件信号(S430 “是”)时进行上述的S440?S480的处理，来对使得帧号和记录号相对应的图像帧D12和数值数据D23进行同步重放处理。
[0076]因此，本实施方式I的数据同步重放装置I中，能够在不参照时刻信息的情况下，将图像数据Dl的帧号和经过时间D22进行对应，从而能使得构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23同步地来进行重放。
[0077]然后，CPUl 11在用户输入同步重放中止指示、或者当前正在重放的图像数据DI进行到最后的图像帧D12从而结束重放的情况下(S490 “是”)，结束同步重放处理。
[0078](从图像数据Dl到过程数据D2的同步重放的具体例) 接着，图示并说明从图像数据Dl到过程数据D2的同步重放的具体例。
[0079]图5示出进行从图像数据Dl到过程数据D2的同步重放处理时的具体例。另外，图5中，省略了图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21来表75。
[0080]如图5所示，本实施方式I的数据同步重放装置I中，例如若重放从图像数据Dl中的起始图像帧开始到第三帧的帧号#3的图像帧，则在本实施方式I中，因为帧周期Tf是1/30秒，因此CPUlll根据上式(I)计算出从帧号#1的起始图像帧D12开始的相对时间为3X1/30 秒=100(m秒)。
[0081]接着，因为从帧号#1的起始图像帧D12开始的相对时间即100 (m秒)比经过时间号#10的92 (m秒)长，比经过时间号#11的127 (m秒)短，因此CPUlll提取出与经过时间号#10相对应的数值数据#10。
[0082]因此，根据本实施方式I的数据同步重放装置1，对于构成图像数据Dl的图像帧D12和构成过程数据D2的数值数据D23，即使在记录时无法取得同步，也能够在不使用图像帧D12、数值数据D23的时刻信息的情况下，使用图像帧D12的帧号和经过时间D22等来对图像帧D12和数值数据D23进行同步重放。
[0083]结果是，根据本实施方式I的数据同步重放装置1，在图像数据Dl和过程数据D2的同步重放处理中无需参照双方的数据的时刻信息，因此无需解析找寻图像数据D1、过程数据D2的语法(结构)和头文件信息，能高速地执行同步重放处理。
[0084](从过程数据D2到图像数据Dl的同步重放动作的说明)
接下来，参照流程图对本实施方式I的数据同步重放装置I的从过程数据D2到图像数据Dl的同步重放动作进行说明。
[0085]图6是表示本实施方式I的数据同步重放装置I所进行的数据同步显示处理的步骤的流程图。
[0086]用户在监视器12所显示的过程数据D2的显示区域中例如利用鼠标14、键盘13等使滚动条、光标等移动，指定过程数据D2的数值数据D23的某个时刻，若将所指定的时刻的数值数据D23和图像帧D12的同步重放指示输入到装置主体11 (S600 “是”)，则CPUlll通过执行数据同步控制程序来起到数据同步重放控制部的作用，首先，计算出从由鼠标14、键盘13等所移动得到的滚动条、光标的位置的从起始记录开始的相对时间(S610)。具体而言，CPUlll计算出从采样开始时刻Tsl (基准时点)开始到滚动条、光标的位置所表示的时刻为止的时间以作为相对时间。
[0087]同时，CPUlll起到数据同步重放控制部的作用，从图像数据Dl的图像数据头文件信息Dll中取得帧周期Tf (S620)。另外，在CPUlll已存储了这些采样间隔Ts2、帧周期Tf等，其为已知的情况下，当然也可以省略这些取得处理。
[0088]接着，CPUlll起到数据同步重放控制部的作用，如下式(2)所示，通过将计算得到的“从起始记录开始的相对时间”除以图像帧D12的每一帧的时间即帧周期Tf，从而计算出与当前的数值数据同步的“要同步的图像帧的帧号”(S640)。
[0089]要同步的图像巾贞的巾贞号=从起始记录开始的相对时间+巾贞周期Tf...(2) 然后，CPUlll起到图像数据重放部的作用，基于从上式(2)计算出的帧号，从存储在数据存储部113b中的图像数据Dl中读取出该帧号的图像帧D12，并进行同步重放(S640)。具体而言，CPUlll对与“从起始记录开始的相对时间”相对应的数值数据D23和该帧号的图像帧D12进行同步重放。例如，CPUlll通过将经过时间D22的值按经过时间号#1?r的顺序与“从起始记录开始的相对时间”进行比较，提取出在不超过“从起始记录开始的相对时间”的范围内的与最长的经过时间D22相对应的数值数据D23，并同步重放该提取出的数值数据D23和“要同步的图像帧的帧号”的图像帧D12。
[0090]由此，根据本实施方式1，利用经过时间和图像帧D12的帧号，能进行数值数据D23和图像帧D12的同步处理。
[0091](从过程数据D2到图像数据Dl的同步重放的具体例)
接着，图示并说明从过程数据D2到图像数据Dl的同步重放的具体例。
[0092]图7示出进行从过程数据D2到图像数据Dl的同步重放处理时的具体例。另外，图7与图5相同，也省略了图像数据Dl的图像数据头文件信息Dll和过程数据D2的过程数据头文件信息D21来表示。
[0093]S卩，在本实施方式I的数据同步重放装置I中，例如，如图7所示，过程数据D2中，若用户在监视器12所显示的过程数据D2的显示区域中，利用鼠标14、键盘13等使滚动条、光标等移动，由此来指定时刻，则CPUlll例如基于所指定的位置，计算出从起始记录开始的相对时间为134 (m秒)。
[0094]然后，由于帧周期Tf为1/30秒，因此根据上式(2)，要与从起始记录开始的相对时间为134(m秒)的数值数据D23同步的图像帧D12的帧号为134m秒+ (1/30秒)=
4.02 N 4，从起始的图像帧D12开始的第四个的帧号#4的图像帧D12与从起始记录开始的相对时间为134 (m秒)所对应的数值数据D23同步重放。
[0095]因而，根据本实施方式I的数据同步重放装置1，使用图像帧D12的帧号与从起始记录开始的相对时间等，仅通过指定光标的位置，就能同步重放所对应的图像数据Dl的图像帧D12。
[0096]另外，本实施方式I的数据同步重放装置I中，在存储部113的数据存储部113b中存储有包含控制设备51?5n从多个监视对象物61?6p按时间序列取得的多个数值数据的过程数据D2，但过程数据D2所包含的数据并不限于数值数据，也可以是比特数据、文本数据。
[0097](显示画面的具体例)
接着，对本实施方式I的数据同步重放装置I的监视器12所显示的显示画面的具体例进行说明。
[0098]图8?图12是分别表示本实施方式I的数据同步重放装置I的监视器12所显示的显示画面121?125的具体例的图。另外，图8?图12所示的显示画面121?125是如下显示画面的一个示例:本实施方式I的数据同步重放装置I的CPUlll通过执行储存在程序存储部113a中的数据同步控制程序起到画面布局设定部的作用以进行设定、变更。SP，图8?图12所示的显示画面121?125是如下显示画面的一个示例=CPUlll起到画面布局设定部的作用，将显示基于用户的指示的图像数据的图像数据重放区域和显示过程数据的过程数据重放区域设定在监视器12上，并且在图像数据重放区域中的规定的条件内，设定要重放的图像数据的数量以及大小来进行显示。
[0099]在图8所示的显示画面121中，利用作为画面布局设定部的功能，在显示画面121的中央的上侧设置图像数据显示区域121a，另一方面，在显示画面121的中央的下侧设置过程数据显示区域121b。然后，在该显示画面121中，图像数据显示区域121a中设有4个图像数据显示窗口 121al?121a4，这4个图像数据显示窗口 121al?121a4中显示来自多台ITV照相机21?2m中的由照相机切换器3根据来自用户的指示或自动地切换得到的例如照相机号#1?4(cameral?4)这4台ITV照相机的动态图像的图像数据Dl。
[0100]此外，该显示画面121中，在过程数据显示区域121b中重放由照相机切换器3切换得到的照相机号#1?4 (cameral?4)这4台ITV照相机拍摄的监视对象物的过程数据D2。此处，过程数据显示区域121b中，图上的水平方向的横轴表示时间轴，而图上的垂直方向的纵轴表示构成过程数据D2的数值数据D23的值(等级)。
[0101]然后，对于分别在4个图像数据显示窗口 121al?121a4中重放的图像数据Dl和在过程数据显示区域121b中重放的过程数据D2，利用作为数据同步重放控制部进行动作的CPU111，如上述那样通过使图像帧D12和数值数据D23同步来进行重放。
[0102]另外，在该显示画面121的过程数据显示区域121b中，在图上显示有用于改变重放的过程数据D2的时刻的沿水平方向移动的过程数据时刻变更条121b2等。用户能够利用键盘13、鼠标14在显示画面121上操作光标(未图示)，由此来通过过程数据时刻变更条121b2执行过程数据D2的时间轴的放大/缩小、过程数据D2的放大显示。
[0103]此外，图8中，121b3是指定过程数据显示区域121b中所显示的过程数据的取出记录(快照)开始位置的取出记录开始位置指定条，121b4是指定过程数据显示区域121b中所显示的过程数据的取出记录结束位置的取出记录结束位置指定条，这些指定条在后述的实施方式12的取出记录(快照)中使用，而实施方式I中不使用。用户能通过像上述那样使用鼠标14、键盘13等来移动过程数据显示区域121b中的这些指定条。
[0104]在图9所示的显示画面122中，为了放大过程数据D2来进行显示，示出在整个显示画面122中放大过程数据显示区域122b后的状态。因此，在图9所示的显示画面122中，无法显示图8所示的显示画面121中存在于显示画面121的中央的上侧一半的图像数据显示区域121a，因此与过程数据显示区域122b相重叠地显示图像数据显示区域122a，并在该数据显示区域122a中设有4个图像数据显示窗口 122al?122a4。
[0105]在图10所示的显示画面123中，与图8所示的显示画面121相同，在显示画面123的中央的上侧设有图像数据显示区域123a，另一方面，在显示画面123的中央的下侧设有过程数据显示区域123b。然后，该显示画面123中，在图像数据显示区域123a中设有2个图像数据显示区域123al、123a2，图像数据显示区域123al中显示来自照相机号#1的ITV照相机21的动态图像的图像数据D1，另一方面，图像数据显示区域123a2中显示来自相同照相机号#1的ITV照相机21 (cameral)的静态图像的图像数据Dl。此外，该显示画面123中，在过程数据显示区域123b中显示过程数据D2，该过程数据D2与图像数据显示区域123al中所显示的来自照相机号#1的ITV照相机21的动态图像的图像数据Dl同步，并且由控制设备从照相机号#1的ITV照相机21所拍摄的监视对象物中取得。另外，过程数据显示区域123b与图8、图9所示的显示画面121、122的过程数据显示区域121b、122b没有任何改变。
[0106]在图11所示的显示画面124中，与图8所示的显示画面121等相同，在显示画面124的中央的上侧设有图像数据显示区域124a，另一方面，在显示画面124的中央的下侧设有过程数据显示区域124b。然后，该显示画面124中，与图10所示的显示画面123相同，在图像数据显示区域124a中设有2个图像数据显示区域124al，图像数据显示区域124al中显示来自照相机号#1的ITV照相机21的动态图像的图像数据D1，另一方面，图像数据显示区域124a2中显示来自相同照相机号#1的ITV照相机21 (cameral)的拍摄时刻不同的4个静态图像的图像数据D1。
[0107]在过程数据D2中包含例如正在被轧制的轧制材料的批次号等文本数据的情况下，在过程数据显示区域124b中显示文本数据124c。
[0108]另外，过程数据显示区域124b与图8?图10所示的显示画面121?123的过程数据显示区域121b?123b没有任何改变。
[0109]在图12所示的显示画面125中，与图8所示的显示画面121等相同，在显示画面125的中央的上侧设有图像数据显示区域125a，另一方面，在显示画面125的中央的下侧设有过程数据显示区域125b。然后，该显示画面125中，在图像数据显示区域125a中显示例如用于从4台照相机视频中选择2台照相机视频的照相机视频指定按钮125al，并在图像数据显示区域125a2、125a3中显示来自利用该照相机视频指定按钮125al选择的照相机号#1、3这2台ITV照相机21、23(cameral、3)的动态图像数据。由此，该显示画面125的图像数据显示区域125a2、125a3的窗口的大小比图10所示的显示画面123中的图像数据显示区域123al、123a2的窗口要小，比图8所示的显示画面121中的图像数据显示区域123al?121a4的窗口要大，因此容易看清图像数据D1。另外，该显示画面125中，过程数据显示区域125b与图8?图11所示的显示画面121?124的过程数据显示区域121b?124b没有任何改变。
[0110]如上述所说明那样，根据本实施方式I的数据同步重放装置1，使用构成图像数据Dl的图像帧D12的帧号、帧周期Tf和构成过程数据D2的数值数据D23的经过时间、采样间隔Ts2等，能同步重放图像帧D12和数值数据D23，能在监视器12中显示如图8?图12所示的显示画面121?125所示那样的显示画面。其结果是，根据本实施方式I的数据同步重放装置I，在图像数据Dl和数值数据D23的同步重放处理中，无需参照双方数据的时刻信息，因此能降低文件数量、文件的存储容量，能在具有与以往相同存储容量的存储装置中进行比以往要长期间的存储和同步重放。
[0111]此外，数值数据D23仅在具有随时间的变化的情况下从监视对象物61?6p取得并进行存储，因此在数值数据D23中不具有随时间的变化的情况下，能大幅度地削减经过时间D22的数据容量。
[0112]并且，在图像保存时能利用MPEG-4等图像帧的压缩解码技术，因此能在图像重放时利用QuickTime (注册商标)播放器等通用的图像数据重放程序，由此能降低开发成本。
[0113]此外，能在不使用时刻信息的情况下，高速地对数据和图像帧进行同步和重放、或者进行片头提示。
[0114](实施方式2)
实施方式I中，对不参照时刻信息，利用图像帧D12的帧号和经过时间来进行的图像数据Dl和过程数据D2的同步重放处理进行说明，但不限于此。
[0115]本实施方式2中，将下述本实施方式2的数据同步重放装置作为示例进行说明，在该数据同步重放装置中，除了实施方式I的功能以外，还能通过指定由过程数据D2指定的时间的数值数据D23的取出记录、即要进行快照记录的数值数据D23的时间，自动地存储与该所指定的时间的数值数据D23同步的图像帧D12。
[0116]由此，本实施方式2的数据同步重放装置中，对于实施方式I的数据同步重放装置I的功能还追加了快照记录的功能，存储在程序存储部113a中的数据同步控制程序也包括用于该快照记录的功能即起到同步保存控制部的功能的程序。另外，实施方式2的数据同步重放装置的结构与实施方式I相同，因此参照图1及图2所示的实施方式I的结构，仅说明具有特征的动作。
[0117]也就是说，实施方式2的数据同步重放装置I中，用户在监视器12所显示的过程数据显示区域121b中通过使用鼠标14、键盘13等进行移动，例如如图8所示，从过程数据D2取出取出记录开始位置指定条121b3以及取出记录结束位置指定条121b4，由此指定另外记录的过程数据D2的时间。然后，若用户点击保存按钮(未图示)等，则CPUlll执行存储于程序存储部113a中的数据同步控制程序，首先作为同步图像帧选择部进行动作，与上述实施方式I的同步重放的情况相同，利用上述数学式(2)等将由用户指定的时间的数值数据D23的记录号转换成与该指定的时间的数值数据D23同步后的范围的图像帧D12的帧号。具体而目，CPUlll基于所指定的时间的起始以及末尾的从起始记录开始的相对时间和图像帧D12的帧周期，计算出与所指定的时间相对应的图像帧D21的帧号。
[0118]接着，CPUlll通过执行数据同步控制程序来作为同步保存控制部进行动作，使用户所指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12相对应，将图像数据Dl、过程数据D2的数据文件Df作为其他的数据文件Df，即以从图像数据D1、过程数据D2的数据文件Df中提取出由用户指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12的形式，存储于数据存储部113b。
[0119]因此，实施方式2的数据同步重放装置I中，能利用邮件程序等将该文件添附在电子邮件等中并经由互联网、局域网等网络，发送到其他的计算机装置。
[0120]由此，接收到存储有用户指定的时间的数值数据D23和与该时间的数值数据D23同步后的图像帧D12的文件的该其他的计算机装置中，只要具有与实施方式1、实施方式2的数据同步重放装置I相同的对图像数据Dl和过程数据D2进行同步重放的同步重放功能，就能根据接收到的文件对用户指定的时间的数值数据D23和与该指定的时间的数值数据D23同步后的图像帧D12进行同步重放，并执行远程诊断等。
标号说明
[0121]I数据同步重放装置 11装置主体
12监视器 13键盘 14鼠标
111 CPU(图像数据重放部、数据同步重放控制部、同步图像帧选择部、同步保存控制部、画面布局设定部)
112存储器 113存储部 113a程序存储部 113b数据存储部(图像数据存储部、过程数据存储部) 114外部设备Ι/F部 115控制网络Ι/F部
116LAN Ι/F 部
21?2m ITV照相机(m为自然数。)
3照相机切换器
4数字图像转换单元
51?5n控制设备(η为自然数。)
61?6ρ监视对象物61?6ρ (ρ为自然数。)
工业上的实用性
[0122]本发明可适用于监视车间的在线数据管理系统等。
【权利要求】
1.一种数据同步重放装置，其特征在于，包括: 图像数据存储部，该图像数据存储部将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据进行存储，其中，对各所述图像帧按时间序列附加帧号; 过程数据存储部，该过程数据存储部将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据进行存储； 图像数据重放部，该图像数据重放部将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制部，该数据同步重放控制部基于所述帧周期，计算出与所述图像数据重放部输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，并基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
2.如权利要求1所述的数据同步重放装置，其特征在于， 所述数据同步重放控制部在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，将该计算出的所述帧号输出至所述图像数据重放部，从而对具有计算出的所述帧号的所述图像数据进行重放。
3.如权利要求1或2所述的数据同步重放装置，其特征在于，还包括: 同步图像帧选择部，该同步图像帧选择部在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及 同步保存控制部，该同步保存控制部将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择部所选择的所述图像帧作为同一个文件进行存储。
4.如权利要求1至3的任一项所述的数据同步重放装置，其特征在于，还包括: 画面布局设定部，该画面布局设定部基于外部输入，在所述监视器上设定通过所述图像数据重放部显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制部显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
5.一种数据同步重放方法，其特征在于，包括如下步骤: 图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号； 过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中； 图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
6.如权利要求5所述的数据同步重放方法，其特征在于， 所述数据同步重放控制步骤中，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，并输出该计算出的所述帧号，利用所述图像数据重放步骤对具有计算出的所述帧号的所述图像数据进行重放。
7.如权利要求5或6所述的数据同步重放方法，其特征在于，还包括: 同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤中所选择的所述图像帧作为同一个文件进行存储。
8.如权利要求5至7的任一项所述的数据同步重放方法，其特征在于，还包括: 画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
9.一种数据同步控制程序，其特征在于，在计算机中执行如下步骤: 图像数据存储步骤，在该图像数据存储步骤中，将照相机拍摄监视对象而得到的多个图像帧与所述图像帧的帧周期一起作为图像数据存储到图像数据存储部中，其中，对各所述图像帧按时间序列附加帧号； 过程数据存储步骤，在该过程数据存储步骤中，将从所述监视对象取得的具有随时间的变化的数据与从基准时点开始的经过时间一起作为过程数据存储到过程数据存储部中； 图像数据重放步骤，在该图像数据重放步骤中，将所述图像数据存储部中存储的所述图像数据输出至监视器进行重放，并且还输出重放的图像帧的帧号；以及 数据同步重放控制步骤，在该数据同步重放控制步骤中，基于所述帧周期，计算出与由所述图像数据重放步骤输出的所述帧号相对应的所述图像帧的从起始帧开始的相对时间，基于该计算出的从起始帧开始的相对时间，在所述监视器中重放所述数据。
10.如权利要求9所述的数据同步控制程序，其特征在于， 所述数据同步重放控制步骤中，在所述监视器所显示的所述过程数据的特定的时刻被指定的情况下，计算出从所述基准时点开始到所述指定的时刻为止的相对时间，基于该计算出的相对时间和所述图像帧的帧周期，计算出所述帧号，输出该计算出的所述帧号，利用所述图像数据重放步骤重放具有计算出的所述帧号的所述图像数据。
11.如权利要求9或10所述的数据同步控制程序，其特征在于，还执行如下步骤: 同步图像帧选择步骤，在该同步图像帧选择步骤中，在所述监视器所显示的所述过程数据中作为其它文件来存储的数据的时间通过外部输入被指定的情况下，基于该指定的时间的起始以及末尾的从所述基准时点开始的相对时间和所述图像帧的帧周期，计算出与所述指定的时间相对应的所述图像帧的帧号，选择与该计算出的帧号相对应的图像帧；以及同步保存控制步骤，在该同步保存控制步骤中，将与外部输入所指定的时间相对应的所述数据与所述同步图像帧选择步骤所选择的所述图像帧作为同一个文件进行存储。
12.如权利要求9至11的任一项所述的数据同步控制程序，其特征在于，还执行如下步骤: 画面布局设定步骤，在该画面布局设定步骤中，基于外部输入，在所述监视器上设定通过所述图像数据重放步骤显示所述图像数据的图像数据重放区域和通过所述数据同步重放控制步骤显示所述过程数据的过程数据重放区域，并且在所述图像数据重放区域的规定条件内，设定要重放的图像数据的数量以及大小。
【文档编号】H04N7/18GK104204982SQ201280071331
【公开日】2014年12月10日 申请日期:2012年3月12日 优先权日:2012年3月12日
【发明者】野岛章 申请人:东芝三菱电机产业系统株式会社
最新回复(0)