信息提供装置、信息提供方法和记录介质的制作方法
专利名称：信息提供装置、信息提供方法和记录介质的制作方法
技术领域：
本发明涉及用于基于顾客的图像提供对顾客有用信息的信息提供装置、信息提供方法以及记录介质。
背景技术：
与本发明相关技术的一个示例是专利文献1所公开的顾客信息采集和管理的方法。所公开的顾客信息采集和管理的方法包括获取出现在商店中的每个顾客的多个连续的图像并且在数据库中登记从所获取的图像中提取到的属性(个人特征)。
现有技术文献 专利文献1 JP No. 2004-348618A
发明内容
本发明要解决的问题 专利文献1所公开的发明具有以下问题根据专利文献1所公开的发明，对由 POS(销售点)装置持有的商品信息和结账信息以及顾客属性信息进行记录。当顺序地关联和获取所记录的信息项时，这些信息项可以被用于市场目的或诸如此类的目的。然而，显示在POS装置的顾客显示器上的广告和收据广告不能根据顾客信息而改变，这是因为POS装置和属性信息提取器是相互之间相分离的，因此在POS装置和属性信息提取器之间无法建立实时数据联系。
本发明的目的是提供能够解决上述问题的信息提供装置、信息提供方法和记录介质。
解决问题的手段 为了实现上述目的，根据本发明的信息提供装置包括图像捕获器，用于捕获一段时间期间在给定位置处的顾客的图像；属性信息获取器，用于基于图像捕获器所捕获到的图像来估计顾客属性，并且获取代表估计的属性的属性信息；以及顾客信息输出单元，用于根据属性信息获取器所获取的属性信息输出顾客信息。
根据本发明的信息提供方法包括捕获一段时间期间捕获在给定位置处的顾客的图像信息；根据捕获的图像来估计顾客的属性，并且获取代表估计的属性的属性信息；以及根据获取的属性信息输出顾客信息。
根据本发明的记录介质是一种计算机可读记录介质，其中记录使得计算机能够执行以下处理的程序图像捕获处理，用于捕获一段时间期间在给定位置处的顾客的图像； 属性信息获取处理，用于基于图像捕获处理所捕获的图像来估计顾客的属性，并且获取代表估计的属性的属性信息，以及顾客信息输出过程，用于根据属性信息获取处理所获取的属性信息输出顾客信息。
本发明的效果 根据本发明，能够可靠地在良好的时机提供适合于每个顾客的信息。
图1示出了根据本发明的示例性实施例的POS装置的外观的图示； 图2是根据本发明的示例性实施例的POS装置的配置的框图； 图3是根据本发明的示例性实施例的POS装置的操作序列的流程图； 图4是根据本发明的示例性实施例的POS装置的操作序列(补充示例3)的流程图； 图5A是根据本发明的示例性实施例的POS装置的操作序列(补充示例12)的流程图；以及 图5B是根据本发明的示例性实施例的POS装置的操作序列(补充示例12)的流程图。
具体实施例方式参考附图，下面将详细描述本发明执行的方式。
下面将通过示例的方式描述根据本发明的示例性实施例的作为信息提供装置的 POS(销售点)装置。根据本示例性的实施例的POS装置安装在商店的收银台(结账通道)。 图1示出了根据本示例性的实施例的POS装置的外观的图示。如图1所示，根据本示例性的实施例的POS装置包括主单元10 (包括摄像机11)、顾客显示器12、店员显示器13、键盘 14、收据输出单元15、以及条形码读取器16。
摄像机11捕获收银台处的顾客的图像。收银台处的顾客可以是将要为他们所购买的东西付款的顾客。但是，顾客的行为不仅限于支付，而可能是向店员询问问题。在图1 中，将要付账的顾客们是作为父母的顾客A和作为该父母的孩子的顾客B。图1中的虚线表示摄像机11的图像捕获范围。摄像机11以每秒数帧的速度捕获一系列图像，获取收银台处的顾客的图像(图像信息)。在图1中，由于顾客A和顾客B在图像捕获范围内的位置， 摄像机11对顾客A和顾客B的图像进行捕获。在图1中，希望将摄像机11放置在接近顾客显示器12的位置。摄像机11可以被称作图像捕获装置。
顾客显示器12显示针对收银台处的顾客的结账信息和顾客信息。结账信息涉及是指表示结账详情的信息。例如，该结账信息是指表示顾客将要购买的商品项的名称和商品项的单价(也被称作商品信息)。顾客信息是指在显示给顾客时对顾客有用的信息。例如，顾客信息是指关于提供给顾客的优惠的信息，如打折或赠品，关于商店或厂家等所提供的宣传活动的信息，以及关于针对其商店或厂家等促销的商品项的信息。顾客信息是指用于提供与商店内设施等有关的指南的信息，或不直接涉及商店的一般信息(新闻、天气预报、交通信息、信息点、测验)。在图1中，顾客显示器12被分为上部和下部两个显示区域。 上部显示区域12a显示结账信息，下部显示区域12b显示顾客信息。顾客显示器12被称作顾客显示装置。
店员显示器13为收银台处的商店职员(图1中商店职员C)显示结账信息等。店员显示器13朝向商店职员。因此，顾客不能看到店员显示器13上显示的具体内容。
键盘14包括多个按钮，当在收银台处的商店职员输入特定信息时对这些按钮进行操作。
在顾客支付后，收据输出单元15打印并输出收据给顾客。除了打印在其上的结账信息以外收据还可以具有的顾客信息。收据输出单元15可以被称作收据输出装置。
条形码读取器16以光学方式读取附着在顾客所购买的商品项上的条形码，以获取其商品信息。该商品信息是指关于商品项的信息。商品信息表示商品项的名称和单价。 条形码读取器16可以读取除了条形码信息以外的信息。条形码读取器16可以被称作商品信息获取装置。
下面将描述主单元10的功能。图2是主单元10的功能配置的框图。主单元10 具有硬件组件，包括控制器(控制电路)、存储介质、计算电路、图像处理电路、以及通信接口电路。如图2中所示，这些硬件组件实现参考数字20至26所指示的功能。控制器包括 CPU(中央处理单元)、R0M(只读存储器)、和RAM(随即访问存储器)。例如，存储介质包括 HDD (硬盘驱动器)等。参考图1，已经描述了图2中的参考数字11至16，下面将不再赘述。
结账处理器21执行作为POS装置的基本功能的结账处理。结账处理器21获取从键盘14或条形码读取器16输入的商品信息(结账信息的示例)，并且基于包括在商品信息中的单价来计算要支付的全部的金额(结账信息的示例)。结账处理器21通过计算电路来实现。
图像处理器22获取从摄像机11输入的图像，估计包括在图像中的顾客的属性， 并获取代表所估计的属性的属性信息。例如，该属性可以表示年龄或性别。该属性也可以表示人种(东方人或西方人)、衣着(西装、学校制服、帽子、眼镜、衣服颜色等)、群组信息 (家庭、母亲和孩子、学生群等)、身体高度等。根据现有技术可以对属性进行估计。例如， 在发表在 ICMI2005 “Principal Component Analysis of Gender，Ethnicity, Age and Identity of Face Images^Samarasena Buchala,Neil Davery,Tim M. Gale,Ray J. Frank, Procs of IEEE ICMI 2005 :7th International Conference on Multimodal Interfaces 的文章中公幵了用于估计年龄、性别和人种的现有技术。例如，在“A Method of Gender Classification by Integrating Facial, Hairstyle, and Clothing Images(Kazuya Ueki, Hiromitsu Komatsu, Satoshi Imaizumi, Kenichi Kaneko, Satoshi Imaizumi, Nobuhiro Sekine, Jiro Katto, Tetsunori Kobayashi) ” 中公开了用于识别衣着或头型的现有技术。如果从摄像机11输入的图像包括多个顾客，则图像处理器22对每个顾客的属性进行估计，并获取每个顾客的属性信息。图像处理器22通过图像处理电路来实现。图像处理器22可以被称作为属性信息获取装置。
图像处理器22可以具有测量功能，以测量由摄像机11捕获的图像中脸部角度、脸部位置(坐标)和脸部大小(区域、像素个数)中的至少一个。图像处理器22也可以具有确定功能，以确定由测量功能获取的所测量的值是否与预先设定的值相一致。图像处理器 22还可以具有时间测量功能，以由测量测量功能获取的所测量的值保持规定值(例如上述预先设定的值)期间的时间，或测量顾客图像被捕获期间的时间。此外，图像处理器22可以具有时间确定功能，以确定由时间测量功能测量的时间是否达到预先设定的时间。
上述功能使图像处理器22能够确定在由摄像机11捕获的图像中的顾客是否在指定的状态。例如，下面将描述用于确定图像中的顾客是否正在凝视顾客显示器12的情况。 在图像处理器22中，存在初步设定地代表顾客凝视顾客显示器12所需要的脸部角度、脸部位置、脸部区域的预先设定的值，和保持预先设定的值期间的预先设定的时间。图像处理器22测量图像中顾客的脸部角度、脸部位置和脸部区域，并且确定所测量的值是否与预先设定的值相一致。如果所测量的值与预先设定的值相一致，则图像处理器22测量所测量的值保持预先设定的值期间的时间，并且确定所测量的时间是否已经达到预先设定的时间。如果所测量的时间达到了预先设定的时间，则图像处理器22判断图像中的顾客正在凝视顾客显示器12。图像处理器22估计顾客的属性，并获取代表所估计的属性的属性信息。在这种方法中，如果摄像机11所捕获的图像包括多个顾客，则图像处理器22可以从多个顾客中识别出哪个顾客正在凝视顾客显示器12。在上述的示例中，对所有的脸部角度、脸部位置和脸部区域进行测量和确定。然而，可以对脸部角度、脸部位置和脸部区域中的任何一个进行测量和确定。
显示控制器23控制顾客显示器12和店员显示器13来显示图像。例如，显示控制器23将顾客信息和结账信息输出至顾客显示器12以在顾客显示器12上显示顾客信息和结账信息。该顾客信息可以是已经与在图像处理器22的属性估计处理中由图像处理器22 获取的属性信息相关联的信息。顾客信息可以存在于静止图像中或运动图像中。如果该属性信息代表多个属性，则显示控制器23在顾客显示器12上连续显示与属性相关联的顾客信息项。结账信息可以是从条形码读取器16输入的商品信息或者是已经由结账处理器21 计算出的要支付的全部金额。
例如，显示控制器23将属性信息和结帐信息输出给店员显示器13以在顾客显示器12上显示顾客信息和结帐信息。例如，属性信息可以表示在图像处理器22的属性估计处理中由图像处理器22获取的属性。例如，结帐信息可以表示从条形码读取器16输入的商品信息或者是已经由结账处理器21计算出的所需支付的全部金额。显示控制器23由控制器来实现。显示控制器23和顾客显示器12可以被称作顾客信息输出装置。
收据输出控制器24控制收据输出单元15来输出收据。例如，收据输出控制器24 输出结帐信息和顾客信息输出至收据输出单元15，以使收据输出单元15能够在纸等介质上打印结帐信息和顾客信息，并且输出所打印的介质作为收据。例如，除了从条形码读取器16输入的商品信息或者是已经由付账处理器21计算出的要支付的全部金额以外，结帐信息还可以表示付款时间和商店的收银员等信息。例如，顾客信息可以表示与在属性估计处理中由图像处理器22获取的属性信息相关联的信息。收据输出控制器24由控制器来实现。收据输出控制器24和收据输出单元15被称作顾客信息输出装置。
信息存储单元25存储各种信息项。例如，各种信息项可以表示从结帐处理器21输出的结帐信息(包括商品信息)，从图像处理器22输出的属性信息和图像，以及从POS装置外部获取的顾客信息。存储在信息存储单元25中的顾客信息与多种属性相关联，使得例如顾客信息可以被挑选出来作为针对十岁或更年轻的顾客的顾客信息、针对二十几岁女性顾客的顾客信息、以及针对五十几岁或更年长的男性顾客的顾客信息。此外，附加地，可以对顾客信息进行分类，例如，可以将针对十岁或更年轻的顾客的顾客信息分类成针对在顾客显示器12上显示的顾客信息和针对由收据输出单元15打印的收据的顾客信息。优选地， 用于显示的顾客信息和针对收据的相应的顾客信息可以通过标识符(ID)等相关联。
信息存储器25可以存储彼此相关的多种信息项。例如，信息存储单元25可以存储彼此相关的结帐信息(商品信息)和属性信息。通过顺序地使用相关的信息，能够针对不同的商品项或不同的时区，对购买者的属性进行分析。因此，相关的信息对市场目的是有用的。
在图2中，主单元10包括一个信息存储单元25。然而，主处理单元10可以包括针对相应的多种信息项的信息存储。信息存储单元25由存储介质来实现。
外部通信单元26与POS装置外部的设备和网络进行通信，并且发送和接收上述多种信息项。可以经由外部通信单元26在任一时刻可以接收信息存储单元25中的顾客信息。 外部通信单元26由通信接口电路来实现。
通用控制器20将上述组件21至26相互之间连接，并且控制上述组件21至26的功能的实现。通用控制器20由控制器来实现。
下面参考图1至3描述如上配置的根据本示例性的实施例的POS装置的处理序列。图3是根据本示例性的实施例的POS装置的操作序列的流程图。
例如，如图1所示，假设作为父母的顾客A和作为父母的孩子的顾客B已经去收银台为他们购买的物品支付，并且该收银台由使用根据本示例性的实施例的POS装置处理支付的商店职员C看管。顾客A和顾客B将他们将要购买的多个商品项递给商店职员C。商店职员C使用条形码读取器16 —个接一个的读取附着在商品项上的条形码(步骤Si)。将从条形码读取的商品信息输入至结帐处理器21并且在显示控制器23的控制下将其显示在顾客显示器12的显示区域12a和店员显示器13上。例如，同时，顾客显示器12的显示区域12b显示例如字母“TOLC0ME”等。
当由商店职员C读取第一商品项的条形码时，摄像机11捕获并获取其图像捕获范围内的图像(步骤S2)。假设图像捕获范围覆盖顾客支付所处的位置。在本示例中，如图1 所示，摄像机11在图像捕获范围内捕获顾客A和顾客B的图像。
将由摄像机11捕获的图像输入至图像处理器22。图像处理器22对包括在输入至图像处理器的图像中的顾客A和顾客B的属性进行估计(步骤S3)。在这个示例中，所估计的顾客A的属性表示“41岁女性”以及所估计的顾客B的属性表示“9岁的男性”。然后，图像处理器22向显示控制器23输出对所估计属性加以指示的属性信息。
显示控制器23获取用于显示的顾客信息，该顾客信息与从信息存储单元25输入的属性信息相关联，并且在顾客显示器12的区域12b上连续地显示所获取顾客信息(步骤 S4)。在这个示例中，假设信息存储单元25存储经由外部通信单元26预先已经被获取的顾客信息，例如，针对四十岁女性的顾客信息(例如针对化妆品广告的图像)和针对十岁或更年轻顾客的顾客信息(例如用于儿童活动宣布的图像)。因此，显示控制器23可以获取与 “41岁女性”和“9岁男性”的属性信息相对应的顾客信息。
当商店职员C已经读取了全部商品项的条形码并且按下键盘14的所有按键时，结账处理器21将所计算的要支付的全部金额输出至显示控制器23。显示控制器23在顾客显示器12的区域12a中显示要支付的全部金额数目(步骤S5)，如图1所示。
当显示所需支付的全部金额时，或在规定的时间内，显示要支付的全部金额之后， 摄像机11在图像捕获范围内捕获顾客A和顾客B的图像(步骤S6)。
将摄像机11所捕获的图像输入至图像处理器22。图像处理器22基于其测量功能和确定功能，来识别包括在输入的图像中凝视了顾客显示器12的顾客A和顾客B之一。在这个示例中，假设顾客A看着所显示的金额两秒钟，并且假设所捕获的脸部图像的大小、位置和角度的测量值与预先设定的值相一致，并且假设所测量的值与预先设定的值相一致的时间已经达到预先设定的时间。因此，将顾客A识别为已经凝视顾客显示器12的顾客。图像处理器22估计所识别的顾客A的属性，并且获取代表所估计的属性的属性信息“41岁女性”(步骤S7)。然后，图像处理器22将所获取属性信息输出至收据输出控制器24。
当收据输出控制器24检测到来自于商店职员C在支付完成时按下的按键的输入信号，收据输出控制器24获取与从信息存储单元25输入的属性信息相关联的用于收据的顾客信息，并控制收据输出单元15打印针对收据的顾客信息(步骤S8)。在这个示例中，假设信息存储单元25存储已经预先经由外部的通信单元26获取的针对四十岁女性的顾客信息(例如针对化妆品广告的文章)。因此，收据输出控制器24可以获取与属性信息“41岁女性”相对应的顾客信息。当来自于收据输出单元15的收据的输出结束时，显示控制器23 结束在顾客显示器12的区域12b上显示顾客信息，并显示字母“THANK YOU”等。
根据本示例性的实施例，如上所述，对在收银台处付款的顾客的属性进行估计，并且相对于每一个顾客提供信息。因此，在恰当的时候可靠地提供适合于每个顾客的信息。在恰当的时候提供信息的原因如下因为需要支付付款的特定时间段，所以在这个时间内可以提供信息。基本上，因为支付处理是某一时刻在商店职员和一位顾客之间执行的，而不是同时在商店职员和多个顾客之间执行的，所以仅为正在处理付账的顾客提供适当的信息。 此外，根据本示例性的实施例，因为使用顾客所估计的属性立即提供信息，所以没有必要像专利文献1一样每次预先对每个来到商店的顾客获取并登记顾客的数据。
下面将描述示例性实施例的补充示例。
[补充示例1] 在如图3所示的处理序列中，步骤S6至S8是可选的。例如，在步骤S5显示所要支付的全部金额之后，可以输出收据而无需再次捕获顾客的图像和估计属性。
此时，收据可以包括与在顾客显示器12上连续地显示的至少一个顾客信息(用于显示)的相关联的所打印的顾客信息(用于收据)。下面参考图3中所示的处理序列描述这样的过程。在步骤S3中，图像处理器22不仅将属性信息“41岁女性”和“9岁男性”输出至显示控制器23，而且输出至收据输出控制器24。收据输出控制器24基于标识符从信息存储单元25中获取分别与针对四十岁女性的顾客信息(用于显示)和针对十岁或更年轻的顾客的顾客信息(用于显示)相关联的顾客信息(用于收据)。随后，收据输出控制器 24控制收据输出单元15在收据上打印针对四十岁女性的顾客信息(用于收据)和针对十岁或更年轻的顾客的顾客信息(用于收据)。所打印的顾客信息可以是针对四十岁女性的顾客信息(用于收据)或者是针对十岁或更年轻的顾客的顾客信息(用于收据)。
[补充示例2] 在图3所示的步骤Sl之前，即在条形码读取器16读取条形码之前，可以将顾客信息(用于显示)显示在顾客显示器12上。例如，显示控制器23可以从信息存储单元25中随机获取顾客信息(用于显示)，并且在顾客显示器12的区域12b上连续地显示所获取的顾客信息(用于显示)。备选地，显示控制器23可以相对于每项顾客信息(针对显示)，对已经获取并显示顾客信息(用于显示)次数进行计数，根据所显示的计数(所获取的数目) 从信息存储单元25中获取顾客信息(用于显示)，并且在顾客显示器12的区域12b上显示所获取顾客信息(用于显示)。
[补充示例3] 如果在收银台处有等待支付的顾客的队列，则摄像机11可以捕获正在支付的顾客后面的顾客的图像，并且在该顾客支付之前可以对被捕获图像的顾客的属性进行估计。 在图4中示出了补充示例3的操作序列。图4所示的与图3所示的步骤一样的步骤由相同的参考符号表示，并且下面不再进行描述。下面将主要描述如图4所示的步骤S12至S14。 假设正在处理图1中顾客A和顾客B的付款，顾客D正在顾客A和B后面等待付款。当通过读取附着在商品项上的条形码来开始处理顾客A和B的付款时(步骤Si)，摄像机11不仅对顾客A的图像进行捕获，而且对正在等待付款的顾客D的图像进行捕获，并且获取所捕获的图像(步骤S12)。将摄像机11捕获的图像输入至图像处理器22。图像处理器22估计包括在输入至图像处理器22的图像中的顾客A、B、D的属性信息(步骤S13)。图像处理器22将代表所估计的属性的属性信息输出至显示控制器23。显示控制器23从信息存储单元25中获取与输入的属性信息相关联的用于显示的顾客信息，并且在顾客显示器12的区域12b上连续地显示所获取的顾客信息(步骤S14)。步骤S14后面的步骤与图3所示的步骤S5和后续步骤相同，并且下面将不再赘述。因此，不仅向正在处理支付的顾客显示广告是可能的，而且对等待支付的顾客显示广告也是可能的。除了顾客显示器12之外，可以包括针对等待顾客的顾客显示器。针对等待顾客的顾客显示器根据等待支付的顾客的属性显示顾客信息(用于显示)，该顾客信息与显示在顾客显示器12上的顾客信息分开。
[补充示例4] 可以将摄像机11安装在当顾客支付时面对顾客迎面的位置。
[补充示例5] 如果顾客凝视正在显示顾客信息(用于显示)的顾客显示器12超过规定时间，则可以将与顾客信息(用于显示)相关联的顾客信息(用于收据)输出至收据。基于上面所涉及的测量功能和确定功能，图像处理器22可以识别正在凝视顾客显示器12的顾客。特定地，图像处理器22处理由相机11捕获的图像中的顾客的脸部角度和脸部大小中的至少一个值，并且确定所测量的值是否与预先设定的值相一致。随后，图像处理器22测量针对所测量的值已经与预先设定的值相一致的时间，并且确定所测量的时间是否达到了预先设定的时间。如果所测量的时间达到了预先设定的时间，则图像处理器22判定正在显示的顾客信息(用于显示)已经被凝视了规定时间，并且输出正在被显示至收据输出控制器24的顾客信息(用于显示)的标识符。根据顾客信息(用于显示)的标识符，收据输出控制器 24获取与顾客信息(用于显示)相关联顾客信息(用于收据)。收据输出控制器24控制收据输出单元15在收据上打印所获取顾客信息(用于收据)。
在补充示例5中，根据顾客凝视顾客显示器12的时间可以改变要收据上打印的顾客信息的内容。例如，如果在收据上打印了打折优惠券作为顾客信息，则随着顾客注视时间延长打折优惠券的折扣率被设置为增大。在这种情况下，信息存储单元25预先存储多个对于不同注视时间具有不同折扣率的用户信息(用于显示)。如果有注视着显示特定顾客信息(用于显示)的顾客显示器12、具有这样的脸部角度的顾客，则处理器22针对保持该脸部角度的时间(凝视时间)进行测量。例如，图像处理器22随后输出正在显示的顾客信息 (用于显示)标识符和所测量的凝视时间至收据输出控制器24。根据顾客信息(用于显示)的标识符和所测量的凝视时间，收据输出控制器24从信息存储单元25获取与顾客信息(用于显示)相关联的顾客信息(用于收据)中的与所测量的凝视时间相对应的顾客信息(用于收据)。随后，收据输出控制器24控制收据输出单元15在收据上打印所获取顾客信息(用于收据)。取而代之，上面已经描述的作为保持脸部角度的时间的凝视时间可以是捕获的顾客图像的时间。
[补充示例6] 优选地，应当根据属性以一定格式输出顾客信息。例如，在所显示的图像或所打印的收据上用较大的字母输出年长者的顾客信息以使得看起来容易，以及在所显示的图像或所打印的收据上以单个音节字母或图片输出孩子的顾客信息。
[补充示例7] 要输出的顾客信息不仅可以包括属性信息还可以包括其他元素。例如，其他元素包括时区或天气。例如，存储在信息存储单元25中的顾客信息不仅可以与多种属性相关联，而且还可以与时区或天气相关联。例如，可以通过合并在结帐处理器21中的定时器来测量代表时区的信息(时区信息)。例如，经由外部通信单元26从外部服务器中获取代表天气的信息(天气信息)。显示控制器23和收据输出控制器24接收来自于图像处理器22 的属性信息，并且也接收来自于结帐处理器21的时区信息和来自于外部通信单元26的天气信息。然后，显示控制器23和收据输出控制器24从信息存储单元25中获取与已经接收到的属性信息、时区信息、天气信息相关联的顾客信息，并且输出所获取的顾客信息。其他元素可以是时区，或者是天气，或者是除了时区和天气的其他信息。
[补充示例8] 根据由条形码读取器16获取的商品信息项的个数，显示控制器23和收据输出控制器24可以控制与商品信息有关的顾客信息的输出概率。特定地，结帐处理器21针对每种类型的商品信息对所获取的商品信息项进行计数。当特定类型的商品信息项的个数已经达到规定数目时，结账处理器21向显示控制器23和收据输出控制器24输出对与商品信息有关的顾客信息加以指示的标识符。当显示控制器23和收据输出控制器24获取与属性信息相关联的顾客信息时，它们优选地获取与接收到的标识符相关联的顾客信息。例如，根据使用的分别具有打印在收据上的条形码的打折优惠券的个数，收据输出控制器24增加打折优惠券的输出概率。例如，根据针对顾客显示器12上的广告而显示的商品信息项的个数， 显示控制器23增加关于商品的顾客信息的显示概率。
[补充示例9] 店员显示器13可以显示所估计的属性，并且商店职员可以看到显示的估计属性， 并且对所估计的属性进行修改和添加。键盘14允许手动输入顾客属性。因此，键盘14被称作属性输入装置。当显示控制器23从图像处理器22接收到属性信息时，显示控制器23针对商店职员显示由店员显示器13上的属性信息所表示的一个属性或多个属性，以确认所显示的属性。如果商店职员想要修改所显示的一个属性或多个属性，或者向所显示的一个属性或多个属性添加另外的一个属性或多个属性，则商店职员操作键盘14输入商店职员已经估计的新的一个属性或多个属性。将表示由商店职员输入的一个属性或多个属性的附加属性信息输入至结账处理器21，并且随后与属性信息相关，或用于盖写属性信息。随后， 将附加的属性信息存储在信息存储单元25中，或经由外部通信单元26发送至外部设备。
[补充示例10] 顾客信息的内容可以不必是与所关注的商店有关的内容。特定地，在诸如百货商店之类的复杂设施中，合并了根据本实例性的实施例的POS装置的商店预先在相同的设施从其他商店收集关于其他商店的广告(针对每种属性的广告)，并在信息存储单元25中存储所收集的广告作为顾客信息。显示控制器23和收据输出控制器24显示图像并打印具有关于其他商店的广告的收据。在这种情况下，显示控制器23和收据输出控制器24应当优选地对针对每个属性的输出广告的个数进行合计。
[补充示例11] 显示控制器23可以在顾客显示器12上显示调查表并接收对调查表的回答。特定地，信息存储单元25存储与多种属性相关联的调查表信息。当显示控制器23从图像处理器22接收属性信息时，显示控制器23获取与所接收到的属性信息相关联的顾客信息和调查表信息。显示控制器23在顾客显示器12上显示顾客信息，并随后显示调查表和接收来自顾客的回答。顾客显示器12包括触摸板。顾客用手指触摸屏幕来选择回答。调查表优选地应当包括诸如两个选择或三个选择问题之类的简单问题。根据属性商店或制造者(主办者)可以具有调查表的回答。调查表的回答可以与属性信息或结账信息(商品信息)相关。
[补充示例12] 图3中所示的步骤S1、S2和图4中所示的步骤S1、S12可以改变位置，使得顾客在其图像被捕获之后进行支付。图5A是图3中所示的步骤Si、S2交换了位置的操作序列的流程图。图5B是图4中所示的步骤Si、S12交换了位置的操作序列的流程图。此外，如图 5A和5B所示，控制可以从步骤S8返回至第一个顾客图像捕获步骤(Si、S2)来重复循环。 特定地，当POS装置不执行支付处理时，POS装置在所有的时刻对顾客的图像进行捕获。因此，POS装置可以向已经走到收银台前要支付的顾客快速显示顾客信息，并且也可以向正在等待支付的顾客显示顾客信息。在这个意义上，本示例适合于补充示例3。参考图3和4， 上面已经描述了图5A和5B所示的步骤，并且下面将不再赘述。
例如，作为根据本发明示例性实施例的信息提供装置，上面已经对POS装置进行了描述。然而，根据本发明的信息提供装置不仅限于POS装置，而可以适用于自动配售机器 (包括免费提供物品的机器)、ATM(自动取款机)、结账机等。换句话来说，根据本发明的信息提供装置适合于能够同时对多个顾客进行处理并且对于每个顾客的处理能够保持一定时间的装置或机器。
尽管上面已经描述了本发明的示例性实施例，但是本发明不仅限于上述示例性实施例，并且在不脱离本发明的范围的前提下可以有多种改变和修改。
例如，在上述示例性的实施例中的功能和操作序列可以通过硬件、软件或软件和硬件的组合来执行。
如果程序和操作序列通过软件执行，则可以将已经记录了处理序列的程序可以安装在合并于专用硬件内的计算机中的存储器里，并且随后执行程序。备选地，可以将程序安装在能够执行多种处理的通用计算机里，并且随后执行程序。
例如，可以将程序提前记录在作为记录介质的硬盘或ROM(只读存储器)。备选地， 程序可以暂时地或永久地存储(记录)在可拆卸的记录介质中，例如⑶-ROM(光盘只读存储器)、M0(磁光)盘、DVD (数字万能盘)、磁盘或半导体存储器。这样的可拆卸的记录介质可以作为所谓的软件包来提供。
程序可以从上述可拆卸的记录介质安装至计算机，或可以者经由无线链路将程序从下载站点传输至计算机。备选地，可以经由诸如LAN(本地局域网)或互联网之类的网络， 通过无线链路将程序传输至计算机。计算机可以接收所传输的程序并且安装该程序至记录介质，例如合并在计算机内的硬盘等。
程序可以根据在上述示例性示例中描述的处理序列按时间先后来执行，或者可以根据执行处理序列的装置的处理能力或根据需要，并发或单独执行。
根据本示例性实施例，针对在可以获取商品信息和结账信息的POS装置和可以获取顾客属性信息的属性信息获取单元之间的实时数据连接，可以将POS装置和属性信息获取单元相互整体地进行合并。在实时的基础上，为每个顾客提供地提供基于商品信息、结账信息和属性信息的信息，以在适当的时候可靠地提供适合于每个顾客的信息。
虽然上面关于示例性实施例描述了本发明，但是本发明不限于上述示例性实施例。在本发明的范围内，可以进行本领域技术人员能够理解的本发明的配置和具体内容的改变。
本发明基于并要求于2008年10月14日提交的日本专利申请No. 2008-265263优先权，其全部公开通过引用的方式并入本文。
[附图标记的描述] 10主单元 11摄像机 12顾客显示器 13店员显示器 14键盘 15收据输出单元 16条形码读取器 20通用控制器 21结帐处理器 22图像处理器 23显示控制器 24收据输出控制器 25信息存储器 26外部通信单元
权利要求
1.一种信息提供装置，包括图像捕获装置，用于捕获一段时间期间在给定位置处的顾客的图像；属性信息获取装置，用于基于所述图像捕获装置所捕获的图像来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及顾客信息输出装置，用于根据所述属性信息获取装置所获取的属性信息来输出顾客信肩、O
2.根据权利要求1所述的信息提供装置，还包括商品信息获取装置，用于获取与顾客所购买商品有关的商品信息；其中，所述商品信息获取装置所获取的商品信息与所述属性信息有关。
3.根据权利要求1或2所述的信息提供装置，其中，如果所述图像捕获装置捕获多个顾客的图像，并且如果所述属性信息获取装置捕获代表所述顾客的多个属性的属性信息，则所述顾客信息输出装置根据所述属性相继地输出顾客信息。
4.根据权利要求1至3中任一项所述的信息提供装置，还包括属性输入装置，用于手动输入所述顾客的属性，并且获取表示所输入的属性的附加属性信息；其中，所述属性信息与所述附加属性信息有关，或者被所述附加属性信息盖写。
5.根据权利要求1至4中任一项所述的信息提供装置，其中，所述属性信息获取装置对所述图像捕获装置所捕获的图像中的所述顾客的脸部角度、脸部位置和脸部大小中的至少一个进行测量，并且通过确定在规定时间内所测量的值是否保持预先设定的值，来识别规定状态下的顾客；以及所述属性信息获取装置对所识别的顾客的属性进行估计，并且获取代表所估计的属性的属性信息。
6.根据权利要求2至5中任一项所述的信息提供装置，其中，所述顾客信息输出装置根据所述商品信息获取装置所获取的商品信息的信息项个数，相对于所述商品信息增加所述顾客信息的输出概率。
7.根据权利要求1至6中任一项所述的信息提供装置，其中，所述顾客信息输出装置包括至少一个顾客显示装置，用于向顾客显示所述顾客信息；以及收据输出装置，用于在收据上打印所述顾客信息并输出收据。
8.根据权利要求7所述的信息提供装置，其中，所述顾客显示装置显示调查表作为所述顾客信息，并且接受针对所述调查表的回答。
9.根据权利要求7或8所述的信息提供装置，其中，所述属性信息获取装置对所述图像捕获装置所捕获的图像中所述顾客的脸部角度、脸部位置和脸部大小中的至少一个进行测量，并且通过确定在规定时间内所测量的值是否保持预先设定的值，来识别规定状态下的顾客；以及如果所述属性信息获取装置识别出正在凝视所述顾客显示装置的顾客，则所述收据输出装置在收据上打印在所述顾客显示装置上显示的顾客信息并输出收据。
10.一种信息提供方法，包括捕获一段时间期间在给定位置处的顾客的图像；基于捕获的图像来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及根据获取的属性信息来输出顾客信息。
11. 一种其中记录程序的记录介质，所述程序使计算机能够执行以下操作 图像捕获处理，用于捕获一段时间期间在给定位置处的顾客的图像； 基于所述图像捕获处理所捕获到的图像，来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及顾客信息输出处理，根据所述属性信息获取处理所获取的属性信息，输出顾客信息。
全文摘要
一种信息输出装置，包括图像捕获器，用于捕获在给定位置处需要消耗一定时间的顾客的图像；属性信息获取器，基于图像捕获器所捕获的图像来估计顾客的属性信息，并且获取代表所估计的属性的属性信息；以及，顾客信息输出单元，根据属性信息获取器所获取的属性信息输出顾客信息。
文档编号G06Q50/00GK102187355SQ200980140718
公开日2011年9月14日 申请日期2009年9月25日 优先权日2008年10月14日
发明者金子贤一, 吉野智子 申请人:Nec软件有限公司
技术领域：
本发明涉及用于基于顾客的图像提供对顾客有用信息的信息提供装置、信息提供方法以及记录介质。
背景技术：
与本发明相关技术的一个示例是专利文献1所公开的顾客信息采集和管理的方法。所公开的顾客信息采集和管理的方法包括获取出现在商店中的每个顾客的多个连续的图像并且在数据库中登记从所获取的图像中提取到的属性(个人特征)。
现有技术文献 专利文献1 JP No. 2004-348618A
发明内容
本发明要解决的问题 专利文献1所公开的发明具有以下问题根据专利文献1所公开的发明，对由 POS(销售点)装置持有的商品信息和结账信息以及顾客属性信息进行记录。当顺序地关联和获取所记录的信息项时，这些信息项可以被用于市场目的或诸如此类的目的。然而，显示在POS装置的顾客显示器上的广告和收据广告不能根据顾客信息而改变，这是因为POS装置和属性信息提取器是相互之间相分离的，因此在POS装置和属性信息提取器之间无法建立实时数据联系。
本发明的目的是提供能够解决上述问题的信息提供装置、信息提供方法和记录介质。
解决问题的手段 为了实现上述目的，根据本发明的信息提供装置包括图像捕获器，用于捕获一段时间期间在给定位置处的顾客的图像；属性信息获取器，用于基于图像捕获器所捕获到的图像来估计顾客属性，并且获取代表估计的属性的属性信息；以及顾客信息输出单元，用于根据属性信息获取器所获取的属性信息输出顾客信息。
根据本发明的信息提供方法包括捕获一段时间期间捕获在给定位置处的顾客的图像信息；根据捕获的图像来估计顾客的属性，并且获取代表估计的属性的属性信息；以及根据获取的属性信息输出顾客信息。
根据本发明的记录介质是一种计算机可读记录介质，其中记录使得计算机能够执行以下处理的程序图像捕获处理，用于捕获一段时间期间在给定位置处的顾客的图像； 属性信息获取处理，用于基于图像捕获处理所捕获的图像来估计顾客的属性，并且获取代表估计的属性的属性信息，以及顾客信息输出过程，用于根据属性信息获取处理所获取的属性信息输出顾客信息。
本发明的效果 根据本发明，能够可靠地在良好的时机提供适合于每个顾客的信息。
图1示出了根据本发明的示例性实施例的POS装置的外观的图示； 图2是根据本发明的示例性实施例的POS装置的配置的框图； 图3是根据本发明的示例性实施例的POS装置的操作序列的流程图； 图4是根据本发明的示例性实施例的POS装置的操作序列(补充示例3)的流程图； 图5A是根据本发明的示例性实施例的POS装置的操作序列(补充示例12)的流程图；以及 图5B是根据本发明的示例性实施例的POS装置的操作序列(补充示例12)的流程图。
具体实施例方式参考附图，下面将详细描述本发明执行的方式。
下面将通过示例的方式描述根据本发明的示例性实施例的作为信息提供装置的 POS(销售点)装置。根据本示例性的实施例的POS装置安装在商店的收银台(结账通道)。 图1示出了根据本示例性的实施例的POS装置的外观的图示。如图1所示，根据本示例性的实施例的POS装置包括主单元10 (包括摄像机11)、顾客显示器12、店员显示器13、键盘 14、收据输出单元15、以及条形码读取器16。
摄像机11捕获收银台处的顾客的图像。收银台处的顾客可以是将要为他们所购买的东西付款的顾客。但是，顾客的行为不仅限于支付，而可能是向店员询问问题。在图1 中，将要付账的顾客们是作为父母的顾客A和作为该父母的孩子的顾客B。图1中的虚线表示摄像机11的图像捕获范围。摄像机11以每秒数帧的速度捕获一系列图像，获取收银台处的顾客的图像(图像信息)。在图1中，由于顾客A和顾客B在图像捕获范围内的位置， 摄像机11对顾客A和顾客B的图像进行捕获。在图1中，希望将摄像机11放置在接近顾客显示器12的位置。摄像机11可以被称作图像捕获装置。
顾客显示器12显示针对收银台处的顾客的结账信息和顾客信息。结账信息涉及是指表示结账详情的信息。例如，该结账信息是指表示顾客将要购买的商品项的名称和商品项的单价(也被称作商品信息)。顾客信息是指在显示给顾客时对顾客有用的信息。例如，顾客信息是指关于提供给顾客的优惠的信息，如打折或赠品，关于商店或厂家等所提供的宣传活动的信息，以及关于针对其商店或厂家等促销的商品项的信息。顾客信息是指用于提供与商店内设施等有关的指南的信息，或不直接涉及商店的一般信息(新闻、天气预报、交通信息、信息点、测验)。在图1中，顾客显示器12被分为上部和下部两个显示区域。 上部显示区域12a显示结账信息，下部显示区域12b显示顾客信息。顾客显示器12被称作顾客显示装置。
店员显示器13为收银台处的商店职员(图1中商店职员C)显示结账信息等。店员显示器13朝向商店职员。因此，顾客不能看到店员显示器13上显示的具体内容。
键盘14包括多个按钮，当在收银台处的商店职员输入特定信息时对这些按钮进行操作。
在顾客支付后，收据输出单元15打印并输出收据给顾客。除了打印在其上的结账信息以外收据还可以具有的顾客信息。收据输出单元15可以被称作收据输出装置。
条形码读取器16以光学方式读取附着在顾客所购买的商品项上的条形码，以获取其商品信息。该商品信息是指关于商品项的信息。商品信息表示商品项的名称和单价。 条形码读取器16可以读取除了条形码信息以外的信息。条形码读取器16可以被称作商品信息获取装置。
下面将描述主单元10的功能。图2是主单元10的功能配置的框图。主单元10 具有硬件组件，包括控制器(控制电路)、存储介质、计算电路、图像处理电路、以及通信接口电路。如图2中所示，这些硬件组件实现参考数字20至26所指示的功能。控制器包括 CPU(中央处理单元)、R0M(只读存储器)、和RAM(随即访问存储器)。例如，存储介质包括 HDD (硬盘驱动器)等。参考图1，已经描述了图2中的参考数字11至16，下面将不再赘述。
结账处理器21执行作为POS装置的基本功能的结账处理。结账处理器21获取从键盘14或条形码读取器16输入的商品信息(结账信息的示例)，并且基于包括在商品信息中的单价来计算要支付的全部的金额(结账信息的示例)。结账处理器21通过计算电路来实现。
图像处理器22获取从摄像机11输入的图像，估计包括在图像中的顾客的属性， 并获取代表所估计的属性的属性信息。例如，该属性可以表示年龄或性别。该属性也可以表示人种(东方人或西方人)、衣着(西装、学校制服、帽子、眼镜、衣服颜色等)、群组信息 (家庭、母亲和孩子、学生群等)、身体高度等。根据现有技术可以对属性进行估计。例如， 在发表在 ICMI2005 “Principal Component Analysis of Gender，Ethnicity, Age and Identity of Face Images^Samarasena Buchala,Neil Davery,Tim M. Gale,Ray J. Frank, Procs of IEEE ICMI 2005 :7th International Conference on Multimodal Interfaces 的文章中公幵了用于估计年龄、性别和人种的现有技术。例如，在“A Method of Gender Classification by Integrating Facial, Hairstyle, and Clothing Images(Kazuya Ueki, Hiromitsu Komatsu, Satoshi Imaizumi, Kenichi Kaneko, Satoshi Imaizumi, Nobuhiro Sekine, Jiro Katto, Tetsunori Kobayashi) ” 中公开了用于识别衣着或头型的现有技术。如果从摄像机11输入的图像包括多个顾客，则图像处理器22对每个顾客的属性进行估计，并获取每个顾客的属性信息。图像处理器22通过图像处理电路来实现。图像处理器22可以被称作为属性信息获取装置。
图像处理器22可以具有测量功能，以测量由摄像机11捕获的图像中脸部角度、脸部位置(坐标)和脸部大小(区域、像素个数)中的至少一个。图像处理器22也可以具有确定功能，以确定由测量功能获取的所测量的值是否与预先设定的值相一致。图像处理器 22还可以具有时间测量功能，以由测量测量功能获取的所测量的值保持规定值(例如上述预先设定的值)期间的时间，或测量顾客图像被捕获期间的时间。此外，图像处理器22可以具有时间确定功能，以确定由时间测量功能测量的时间是否达到预先设定的时间。
上述功能使图像处理器22能够确定在由摄像机11捕获的图像中的顾客是否在指定的状态。例如，下面将描述用于确定图像中的顾客是否正在凝视顾客显示器12的情况。 在图像处理器22中，存在初步设定地代表顾客凝视顾客显示器12所需要的脸部角度、脸部位置、脸部区域的预先设定的值，和保持预先设定的值期间的预先设定的时间。图像处理器22测量图像中顾客的脸部角度、脸部位置和脸部区域，并且确定所测量的值是否与预先设定的值相一致。如果所测量的值与预先设定的值相一致，则图像处理器22测量所测量的值保持预先设定的值期间的时间，并且确定所测量的时间是否已经达到预先设定的时间。如果所测量的时间达到了预先设定的时间，则图像处理器22判断图像中的顾客正在凝视顾客显示器12。图像处理器22估计顾客的属性，并获取代表所估计的属性的属性信息。在这种方法中，如果摄像机11所捕获的图像包括多个顾客，则图像处理器22可以从多个顾客中识别出哪个顾客正在凝视顾客显示器12。在上述的示例中，对所有的脸部角度、脸部位置和脸部区域进行测量和确定。然而，可以对脸部角度、脸部位置和脸部区域中的任何一个进行测量和确定。
显示控制器23控制顾客显示器12和店员显示器13来显示图像。例如，显示控制器23将顾客信息和结账信息输出至顾客显示器12以在顾客显示器12上显示顾客信息和结账信息。该顾客信息可以是已经与在图像处理器22的属性估计处理中由图像处理器22 获取的属性信息相关联的信息。顾客信息可以存在于静止图像中或运动图像中。如果该属性信息代表多个属性，则显示控制器23在顾客显示器12上连续显示与属性相关联的顾客信息项。结账信息可以是从条形码读取器16输入的商品信息或者是已经由结账处理器21 计算出的要支付的全部金额。
例如，显示控制器23将属性信息和结帐信息输出给店员显示器13以在顾客显示器12上显示顾客信息和结帐信息。例如，属性信息可以表示在图像处理器22的属性估计处理中由图像处理器22获取的属性。例如，结帐信息可以表示从条形码读取器16输入的商品信息或者是已经由结账处理器21计算出的所需支付的全部金额。显示控制器23由控制器来实现。显示控制器23和顾客显示器12可以被称作顾客信息输出装置。
收据输出控制器24控制收据输出单元15来输出收据。例如，收据输出控制器24 输出结帐信息和顾客信息输出至收据输出单元15，以使收据输出单元15能够在纸等介质上打印结帐信息和顾客信息，并且输出所打印的介质作为收据。例如，除了从条形码读取器16输入的商品信息或者是已经由付账处理器21计算出的要支付的全部金额以外，结帐信息还可以表示付款时间和商店的收银员等信息。例如，顾客信息可以表示与在属性估计处理中由图像处理器22获取的属性信息相关联的信息。收据输出控制器24由控制器来实现。收据输出控制器24和收据输出单元15被称作顾客信息输出装置。
信息存储单元25存储各种信息项。例如，各种信息项可以表示从结帐处理器21输出的结帐信息(包括商品信息)，从图像处理器22输出的属性信息和图像，以及从POS装置外部获取的顾客信息。存储在信息存储单元25中的顾客信息与多种属性相关联，使得例如顾客信息可以被挑选出来作为针对十岁或更年轻的顾客的顾客信息、针对二十几岁女性顾客的顾客信息、以及针对五十几岁或更年长的男性顾客的顾客信息。此外，附加地，可以对顾客信息进行分类，例如，可以将针对十岁或更年轻的顾客的顾客信息分类成针对在顾客显示器12上显示的顾客信息和针对由收据输出单元15打印的收据的顾客信息。优选地， 用于显示的顾客信息和针对收据的相应的顾客信息可以通过标识符(ID)等相关联。
信息存储器25可以存储彼此相关的多种信息项。例如，信息存储单元25可以存储彼此相关的结帐信息(商品信息)和属性信息。通过顺序地使用相关的信息，能够针对不同的商品项或不同的时区，对购买者的属性进行分析。因此，相关的信息对市场目的是有用的。
在图2中，主单元10包括一个信息存储单元25。然而，主处理单元10可以包括针对相应的多种信息项的信息存储。信息存储单元25由存储介质来实现。
外部通信单元26与POS装置外部的设备和网络进行通信，并且发送和接收上述多种信息项。可以经由外部通信单元26在任一时刻可以接收信息存储单元25中的顾客信息。 外部通信单元26由通信接口电路来实现。
通用控制器20将上述组件21至26相互之间连接，并且控制上述组件21至26的功能的实现。通用控制器20由控制器来实现。
下面参考图1至3描述如上配置的根据本示例性的实施例的POS装置的处理序列。图3是根据本示例性的实施例的POS装置的操作序列的流程图。
例如，如图1所示，假设作为父母的顾客A和作为父母的孩子的顾客B已经去收银台为他们购买的物品支付，并且该收银台由使用根据本示例性的实施例的POS装置处理支付的商店职员C看管。顾客A和顾客B将他们将要购买的多个商品项递给商店职员C。商店职员C使用条形码读取器16 —个接一个的读取附着在商品项上的条形码(步骤Si)。将从条形码读取的商品信息输入至结帐处理器21并且在显示控制器23的控制下将其显示在顾客显示器12的显示区域12a和店员显示器13上。例如，同时，顾客显示器12的显示区域12b显示例如字母“TOLC0ME”等。
当由商店职员C读取第一商品项的条形码时，摄像机11捕获并获取其图像捕获范围内的图像(步骤S2)。假设图像捕获范围覆盖顾客支付所处的位置。在本示例中，如图1 所示，摄像机11在图像捕获范围内捕获顾客A和顾客B的图像。
将由摄像机11捕获的图像输入至图像处理器22。图像处理器22对包括在输入至图像处理器的图像中的顾客A和顾客B的属性进行估计(步骤S3)。在这个示例中，所估计的顾客A的属性表示“41岁女性”以及所估计的顾客B的属性表示“9岁的男性”。然后，图像处理器22向显示控制器23输出对所估计属性加以指示的属性信息。
显示控制器23获取用于显示的顾客信息，该顾客信息与从信息存储单元25输入的属性信息相关联，并且在顾客显示器12的区域12b上连续地显示所获取顾客信息(步骤 S4)。在这个示例中，假设信息存储单元25存储经由外部通信单元26预先已经被获取的顾客信息，例如，针对四十岁女性的顾客信息(例如针对化妆品广告的图像)和针对十岁或更年轻顾客的顾客信息(例如用于儿童活动宣布的图像)。因此，显示控制器23可以获取与 “41岁女性”和“9岁男性”的属性信息相对应的顾客信息。
当商店职员C已经读取了全部商品项的条形码并且按下键盘14的所有按键时，结账处理器21将所计算的要支付的全部金额输出至显示控制器23。显示控制器23在顾客显示器12的区域12a中显示要支付的全部金额数目(步骤S5)，如图1所示。
当显示所需支付的全部金额时，或在规定的时间内，显示要支付的全部金额之后， 摄像机11在图像捕获范围内捕获顾客A和顾客B的图像(步骤S6)。
将摄像机11所捕获的图像输入至图像处理器22。图像处理器22基于其测量功能和确定功能，来识别包括在输入的图像中凝视了顾客显示器12的顾客A和顾客B之一。在这个示例中，假设顾客A看着所显示的金额两秒钟，并且假设所捕获的脸部图像的大小、位置和角度的测量值与预先设定的值相一致，并且假设所测量的值与预先设定的值相一致的时间已经达到预先设定的时间。因此，将顾客A识别为已经凝视顾客显示器12的顾客。图像处理器22估计所识别的顾客A的属性，并且获取代表所估计的属性的属性信息“41岁女性”(步骤S7)。然后，图像处理器22将所获取属性信息输出至收据输出控制器24。
当收据输出控制器24检测到来自于商店职员C在支付完成时按下的按键的输入信号，收据输出控制器24获取与从信息存储单元25输入的属性信息相关联的用于收据的顾客信息，并控制收据输出单元15打印针对收据的顾客信息(步骤S8)。在这个示例中，假设信息存储单元25存储已经预先经由外部的通信单元26获取的针对四十岁女性的顾客信息(例如针对化妆品广告的文章)。因此，收据输出控制器24可以获取与属性信息“41岁女性”相对应的顾客信息。当来自于收据输出单元15的收据的输出结束时，显示控制器23 结束在顾客显示器12的区域12b上显示顾客信息，并显示字母“THANK YOU”等。
根据本示例性的实施例，如上所述，对在收银台处付款的顾客的属性进行估计，并且相对于每一个顾客提供信息。因此，在恰当的时候可靠地提供适合于每个顾客的信息。在恰当的时候提供信息的原因如下因为需要支付付款的特定时间段，所以在这个时间内可以提供信息。基本上，因为支付处理是某一时刻在商店职员和一位顾客之间执行的，而不是同时在商店职员和多个顾客之间执行的，所以仅为正在处理付账的顾客提供适当的信息。 此外，根据本示例性的实施例，因为使用顾客所估计的属性立即提供信息，所以没有必要像专利文献1一样每次预先对每个来到商店的顾客获取并登记顾客的数据。
下面将描述示例性实施例的补充示例。
[补充示例1] 在如图3所示的处理序列中，步骤S6至S8是可选的。例如，在步骤S5显示所要支付的全部金额之后，可以输出收据而无需再次捕获顾客的图像和估计属性。
此时，收据可以包括与在顾客显示器12上连续地显示的至少一个顾客信息(用于显示)的相关联的所打印的顾客信息(用于收据)。下面参考图3中所示的处理序列描述这样的过程。在步骤S3中，图像处理器22不仅将属性信息“41岁女性”和“9岁男性”输出至显示控制器23，而且输出至收据输出控制器24。收据输出控制器24基于标识符从信息存储单元25中获取分别与针对四十岁女性的顾客信息(用于显示)和针对十岁或更年轻的顾客的顾客信息(用于显示)相关联的顾客信息(用于收据)。随后，收据输出控制器 24控制收据输出单元15在收据上打印针对四十岁女性的顾客信息(用于收据)和针对十岁或更年轻的顾客的顾客信息(用于收据)。所打印的顾客信息可以是针对四十岁女性的顾客信息(用于收据)或者是针对十岁或更年轻的顾客的顾客信息(用于收据)。
[补充示例2] 在图3所示的步骤Sl之前，即在条形码读取器16读取条形码之前，可以将顾客信息(用于显示)显示在顾客显示器12上。例如，显示控制器23可以从信息存储单元25中随机获取顾客信息(用于显示)，并且在顾客显示器12的区域12b上连续地显示所获取的顾客信息(用于显示)。备选地，显示控制器23可以相对于每项顾客信息(针对显示)，对已经获取并显示顾客信息(用于显示)次数进行计数，根据所显示的计数(所获取的数目) 从信息存储单元25中获取顾客信息(用于显示)，并且在顾客显示器12的区域12b上显示所获取顾客信息(用于显示)。
[补充示例3] 如果在收银台处有等待支付的顾客的队列，则摄像机11可以捕获正在支付的顾客后面的顾客的图像，并且在该顾客支付之前可以对被捕获图像的顾客的属性进行估计。 在图4中示出了补充示例3的操作序列。图4所示的与图3所示的步骤一样的步骤由相同的参考符号表示，并且下面不再进行描述。下面将主要描述如图4所示的步骤S12至S14。 假设正在处理图1中顾客A和顾客B的付款，顾客D正在顾客A和B后面等待付款。当通过读取附着在商品项上的条形码来开始处理顾客A和B的付款时(步骤Si)，摄像机11不仅对顾客A的图像进行捕获，而且对正在等待付款的顾客D的图像进行捕获，并且获取所捕获的图像(步骤S12)。将摄像机11捕获的图像输入至图像处理器22。图像处理器22估计包括在输入至图像处理器22的图像中的顾客A、B、D的属性信息(步骤S13)。图像处理器22将代表所估计的属性的属性信息输出至显示控制器23。显示控制器23从信息存储单元25中获取与输入的属性信息相关联的用于显示的顾客信息，并且在顾客显示器12的区域12b上连续地显示所获取的顾客信息(步骤S14)。步骤S14后面的步骤与图3所示的步骤S5和后续步骤相同，并且下面将不再赘述。因此，不仅向正在处理支付的顾客显示广告是可能的，而且对等待支付的顾客显示广告也是可能的。除了顾客显示器12之外，可以包括针对等待顾客的顾客显示器。针对等待顾客的顾客显示器根据等待支付的顾客的属性显示顾客信息(用于显示)，该顾客信息与显示在顾客显示器12上的顾客信息分开。
[补充示例4] 可以将摄像机11安装在当顾客支付时面对顾客迎面的位置。
[补充示例5] 如果顾客凝视正在显示顾客信息(用于显示)的顾客显示器12超过规定时间，则可以将与顾客信息(用于显示)相关联的顾客信息(用于收据)输出至收据。基于上面所涉及的测量功能和确定功能，图像处理器22可以识别正在凝视顾客显示器12的顾客。特定地，图像处理器22处理由相机11捕获的图像中的顾客的脸部角度和脸部大小中的至少一个值，并且确定所测量的值是否与预先设定的值相一致。随后，图像处理器22测量针对所测量的值已经与预先设定的值相一致的时间，并且确定所测量的时间是否达到了预先设定的时间。如果所测量的时间达到了预先设定的时间，则图像处理器22判定正在显示的顾客信息(用于显示)已经被凝视了规定时间，并且输出正在被显示至收据输出控制器24的顾客信息(用于显示)的标识符。根据顾客信息(用于显示)的标识符，收据输出控制器 24获取与顾客信息(用于显示)相关联顾客信息(用于收据)。收据输出控制器24控制收据输出单元15在收据上打印所获取顾客信息(用于收据)。
在补充示例5中，根据顾客凝视顾客显示器12的时间可以改变要收据上打印的顾客信息的内容。例如，如果在收据上打印了打折优惠券作为顾客信息，则随着顾客注视时间延长打折优惠券的折扣率被设置为增大。在这种情况下，信息存储单元25预先存储多个对于不同注视时间具有不同折扣率的用户信息(用于显示)。如果有注视着显示特定顾客信息(用于显示)的顾客显示器12、具有这样的脸部角度的顾客，则处理器22针对保持该脸部角度的时间(凝视时间)进行测量。例如，图像处理器22随后输出正在显示的顾客信息 (用于显示)标识符和所测量的凝视时间至收据输出控制器24。根据顾客信息(用于显示)的标识符和所测量的凝视时间，收据输出控制器24从信息存储单元25获取与顾客信息(用于显示)相关联的顾客信息(用于收据)中的与所测量的凝视时间相对应的顾客信息(用于收据)。随后，收据输出控制器24控制收据输出单元15在收据上打印所获取顾客信息(用于收据)。取而代之，上面已经描述的作为保持脸部角度的时间的凝视时间可以是捕获的顾客图像的时间。
[补充示例6] 优选地，应当根据属性以一定格式输出顾客信息。例如，在所显示的图像或所打印的收据上用较大的字母输出年长者的顾客信息以使得看起来容易，以及在所显示的图像或所打印的收据上以单个音节字母或图片输出孩子的顾客信息。
[补充示例7] 要输出的顾客信息不仅可以包括属性信息还可以包括其他元素。例如，其他元素包括时区或天气。例如，存储在信息存储单元25中的顾客信息不仅可以与多种属性相关联，而且还可以与时区或天气相关联。例如，可以通过合并在结帐处理器21中的定时器来测量代表时区的信息(时区信息)。例如，经由外部通信单元26从外部服务器中获取代表天气的信息(天气信息)。显示控制器23和收据输出控制器24接收来自于图像处理器22 的属性信息，并且也接收来自于结帐处理器21的时区信息和来自于外部通信单元26的天气信息。然后，显示控制器23和收据输出控制器24从信息存储单元25中获取与已经接收到的属性信息、时区信息、天气信息相关联的顾客信息，并且输出所获取的顾客信息。其他元素可以是时区，或者是天气，或者是除了时区和天气的其他信息。
[补充示例8] 根据由条形码读取器16获取的商品信息项的个数，显示控制器23和收据输出控制器24可以控制与商品信息有关的顾客信息的输出概率。特定地，结帐处理器21针对每种类型的商品信息对所获取的商品信息项进行计数。当特定类型的商品信息项的个数已经达到规定数目时，结账处理器21向显示控制器23和收据输出控制器24输出对与商品信息有关的顾客信息加以指示的标识符。当显示控制器23和收据输出控制器24获取与属性信息相关联的顾客信息时，它们优选地获取与接收到的标识符相关联的顾客信息。例如，根据使用的分别具有打印在收据上的条形码的打折优惠券的个数，收据输出控制器24增加打折优惠券的输出概率。例如，根据针对顾客显示器12上的广告而显示的商品信息项的个数， 显示控制器23增加关于商品的顾客信息的显示概率。
[补充示例9] 店员显示器13可以显示所估计的属性，并且商店职员可以看到显示的估计属性， 并且对所估计的属性进行修改和添加。键盘14允许手动输入顾客属性。因此，键盘14被称作属性输入装置。当显示控制器23从图像处理器22接收到属性信息时，显示控制器23针对商店职员显示由店员显示器13上的属性信息所表示的一个属性或多个属性，以确认所显示的属性。如果商店职员想要修改所显示的一个属性或多个属性，或者向所显示的一个属性或多个属性添加另外的一个属性或多个属性，则商店职员操作键盘14输入商店职员已经估计的新的一个属性或多个属性。将表示由商店职员输入的一个属性或多个属性的附加属性信息输入至结账处理器21，并且随后与属性信息相关，或用于盖写属性信息。随后， 将附加的属性信息存储在信息存储单元25中，或经由外部通信单元26发送至外部设备。
[补充示例10] 顾客信息的内容可以不必是与所关注的商店有关的内容。特定地，在诸如百货商店之类的复杂设施中，合并了根据本实例性的实施例的POS装置的商店预先在相同的设施从其他商店收集关于其他商店的广告(针对每种属性的广告)，并在信息存储单元25中存储所收集的广告作为顾客信息。显示控制器23和收据输出控制器24显示图像并打印具有关于其他商店的广告的收据。在这种情况下，显示控制器23和收据输出控制器24应当优选地对针对每个属性的输出广告的个数进行合计。
[补充示例11] 显示控制器23可以在顾客显示器12上显示调查表并接收对调查表的回答。特定地，信息存储单元25存储与多种属性相关联的调查表信息。当显示控制器23从图像处理器22接收属性信息时，显示控制器23获取与所接收到的属性信息相关联的顾客信息和调查表信息。显示控制器23在顾客显示器12上显示顾客信息，并随后显示调查表和接收来自顾客的回答。顾客显示器12包括触摸板。顾客用手指触摸屏幕来选择回答。调查表优选地应当包括诸如两个选择或三个选择问题之类的简单问题。根据属性商店或制造者(主办者)可以具有调查表的回答。调查表的回答可以与属性信息或结账信息(商品信息)相关。
[补充示例12] 图3中所示的步骤S1、S2和图4中所示的步骤S1、S12可以改变位置，使得顾客在其图像被捕获之后进行支付。图5A是图3中所示的步骤Si、S2交换了位置的操作序列的流程图。图5B是图4中所示的步骤Si、S12交换了位置的操作序列的流程图。此外，如图 5A和5B所示，控制可以从步骤S8返回至第一个顾客图像捕获步骤(Si、S2)来重复循环。 特定地，当POS装置不执行支付处理时，POS装置在所有的时刻对顾客的图像进行捕获。因此，POS装置可以向已经走到收银台前要支付的顾客快速显示顾客信息，并且也可以向正在等待支付的顾客显示顾客信息。在这个意义上，本示例适合于补充示例3。参考图3和4， 上面已经描述了图5A和5B所示的步骤，并且下面将不再赘述。
例如，作为根据本发明示例性实施例的信息提供装置，上面已经对POS装置进行了描述。然而，根据本发明的信息提供装置不仅限于POS装置，而可以适用于自动配售机器 (包括免费提供物品的机器)、ATM(自动取款机)、结账机等。换句话来说，根据本发明的信息提供装置适合于能够同时对多个顾客进行处理并且对于每个顾客的处理能够保持一定时间的装置或机器。
尽管上面已经描述了本发明的示例性实施例，但是本发明不仅限于上述示例性实施例，并且在不脱离本发明的范围的前提下可以有多种改变和修改。
例如，在上述示例性的实施例中的功能和操作序列可以通过硬件、软件或软件和硬件的组合来执行。
如果程序和操作序列通过软件执行，则可以将已经记录了处理序列的程序可以安装在合并于专用硬件内的计算机中的存储器里，并且随后执行程序。备选地，可以将程序安装在能够执行多种处理的通用计算机里，并且随后执行程序。
例如，可以将程序提前记录在作为记录介质的硬盘或ROM(只读存储器)。备选地， 程序可以暂时地或永久地存储(记录)在可拆卸的记录介质中，例如⑶-ROM(光盘只读存储器)、M0(磁光)盘、DVD (数字万能盘)、磁盘或半导体存储器。这样的可拆卸的记录介质可以作为所谓的软件包来提供。
程序可以从上述可拆卸的记录介质安装至计算机，或可以者经由无线链路将程序从下载站点传输至计算机。备选地，可以经由诸如LAN(本地局域网)或互联网之类的网络， 通过无线链路将程序传输至计算机。计算机可以接收所传输的程序并且安装该程序至记录介质，例如合并在计算机内的硬盘等。
程序可以根据在上述示例性示例中描述的处理序列按时间先后来执行，或者可以根据执行处理序列的装置的处理能力或根据需要，并发或单独执行。
根据本示例性实施例，针对在可以获取商品信息和结账信息的POS装置和可以获取顾客属性信息的属性信息获取单元之间的实时数据连接，可以将POS装置和属性信息获取单元相互整体地进行合并。在实时的基础上，为每个顾客提供地提供基于商品信息、结账信息和属性信息的信息，以在适当的时候可靠地提供适合于每个顾客的信息。
虽然上面关于示例性实施例描述了本发明，但是本发明不限于上述示例性实施例。在本发明的范围内，可以进行本领域技术人员能够理解的本发明的配置和具体内容的改变。
本发明基于并要求于2008年10月14日提交的日本专利申请No. 2008-265263优先权，其全部公开通过引用的方式并入本文。
[附图标记的描述] 10主单元 11摄像机 12顾客显示器 13店员显示器 14键盘 15收据输出单元 16条形码读取器 20通用控制器 21结帐处理器 22图像处理器 23显示控制器 24收据输出控制器 25信息存储器 26外部通信单元
权利要求
1.一种信息提供装置，包括图像捕获装置，用于捕获一段时间期间在给定位置处的顾客的图像；属性信息获取装置，用于基于所述图像捕获装置所捕获的图像来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及顾客信息输出装置，用于根据所述属性信息获取装置所获取的属性信息来输出顾客信肩、O
2.根据权利要求1所述的信息提供装置，还包括商品信息获取装置，用于获取与顾客所购买商品有关的商品信息；其中，所述商品信息获取装置所获取的商品信息与所述属性信息有关。
3.根据权利要求1或2所述的信息提供装置，其中，如果所述图像捕获装置捕获多个顾客的图像，并且如果所述属性信息获取装置捕获代表所述顾客的多个属性的属性信息，则所述顾客信息输出装置根据所述属性相继地输出顾客信息。
4.根据权利要求1至3中任一项所述的信息提供装置，还包括属性输入装置，用于手动输入所述顾客的属性，并且获取表示所输入的属性的附加属性信息；其中，所述属性信息与所述附加属性信息有关，或者被所述附加属性信息盖写。
5.根据权利要求1至4中任一项所述的信息提供装置，其中，所述属性信息获取装置对所述图像捕获装置所捕获的图像中的所述顾客的脸部角度、脸部位置和脸部大小中的至少一个进行测量，并且通过确定在规定时间内所测量的值是否保持预先设定的值，来识别规定状态下的顾客；以及所述属性信息获取装置对所识别的顾客的属性进行估计，并且获取代表所估计的属性的属性信息。
6.根据权利要求2至5中任一项所述的信息提供装置，其中，所述顾客信息输出装置根据所述商品信息获取装置所获取的商品信息的信息项个数，相对于所述商品信息增加所述顾客信息的输出概率。
7.根据权利要求1至6中任一项所述的信息提供装置，其中，所述顾客信息输出装置包括至少一个顾客显示装置，用于向顾客显示所述顾客信息；以及收据输出装置，用于在收据上打印所述顾客信息并输出收据。
8.根据权利要求7所述的信息提供装置，其中，所述顾客显示装置显示调查表作为所述顾客信息，并且接受针对所述调查表的回答。
9.根据权利要求7或8所述的信息提供装置，其中，所述属性信息获取装置对所述图像捕获装置所捕获的图像中所述顾客的脸部角度、脸部位置和脸部大小中的至少一个进行测量，并且通过确定在规定时间内所测量的值是否保持预先设定的值，来识别规定状态下的顾客；以及如果所述属性信息获取装置识别出正在凝视所述顾客显示装置的顾客，则所述收据输出装置在收据上打印在所述顾客显示装置上显示的顾客信息并输出收据。
10.一种信息提供方法，包括捕获一段时间期间在给定位置处的顾客的图像；基于捕获的图像来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及根据获取的属性信息来输出顾客信息。
11. 一种其中记录程序的记录介质，所述程序使计算机能够执行以下操作 图像捕获处理，用于捕获一段时间期间在给定位置处的顾客的图像； 基于所述图像捕获处理所捕获到的图像，来估计所述顾客的属性，并且获取代表所估计的属性的属性信息；以及顾客信息输出处理，根据所述属性信息获取处理所获取的属性信息，输出顾客信息。
全文摘要
一种信息输出装置，包括图像捕获器，用于捕获在给定位置处需要消耗一定时间的顾客的图像；属性信息获取器，基于图像捕获器所捕获的图像来估计顾客的属性信息，并且获取代表所估计的属性的属性信息；以及，顾客信息输出单元，根据属性信息获取器所获取的属性信息输出顾客信息。
文档编号G06Q50/00GK102187355SQ200980140718
公开日2011年9月14日 申请日期2009年9月25日 优先权日2008年10月14日
发明者金子贤一, 吉野智子 申请人:Nec软件有限公司
最新回复(0)