一种盲人计算机的操作智能控制系统及方法
一种盲人计算机的操作智能控制系统及方法
【技术领域】
[0001] 本发明设及盲人计算机技术领域，尤其设及的是一种盲人计算机的操作智能控制 系统及方法。
【背景技术】
[0002] 读屏软件，是一种可W帮助盲人上网的工具。读屏软件是专为盲人或视力有障碍 的人设计的屏幕朗读软件，通过数字键盘的切换操作，W及大键盘上的几个功能键的切换， 就能够随屯、所欲地进行查找和处理文件，对网页进行导航浏览、编辑和收发电子邮件。例 如，盲人利用现有读屏软件访问"世界杯"相关新闻，必须先手动打开浏览器，然后找到浏览 器地址栏输入新浪网址（或其它网址），接着在打开的页面中找到捜索框输入"世界杯"，最 后点击捜索获得世界杯相关新闻。
[0003] 现有读屏软件中，一定程度上比较依赖盲人的主动逐步操作，例如打开一个文件， 需要先通过开始菜单或桌面逐步进入文件浏览器，逐层进入文件夹，并逐一听声找到文件 才能打开，对于盲人的命令识别准确率低，特别是对于模糊的控制命令。并且，现有读屏软 件不具备语音控制计算机的功能，只能通过记忆各种快捷键，键盘多次手动按快捷键实现 信息获取，对于盲人来说操作复杂，输入不便，效率低下。
[0004] 因此，现有技术还有待于改进和发展。
【发明内容】
[0005] 本发明要解决的技术问题在于，提供一种盲人计算机的操作智能控制系统及方 法，旨在解决现有的盲人计算机操作复杂，识别准确率低的问题。
[0006] 本发明解决技术问题所采用的技术方案如下；
[0007] 一种盲人计算机的操作智能控制方法，其中，包括：
[000引A、预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务 的基于分层任务网络规划的领域模型；
[0009]B、接收盲人输入的模糊控制命令；
[0010]C、将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化任务；
[0011]D、根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划 算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[0012] 所述的盲人计算机的操作智能控制方法，其中，所述步骤C具体包括：
[0013]C11、根据所述模糊控制指令，从预先设置的关键字模板集合中找到与之匹配的关 键字模板；
[0014]C12、将所述关键字模板中的谓词转换为任务名称，名词转换为任务的参数，建立 对应的用逻辑命题形式描述的形式化任务。
[0015]所述的盲人计算机的操作智能控制方法，其中，所述步骤C具体包括：
[0016]C21、预先收集盲人输入的多个模糊控制指令及其对应的形式化任务作为训练集 合，训练得到对应的支持向量机分类模型；
[0017] C22、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式 化任务。
[0018] 所述的盲人计算机的操作智能控制方法，其中，所述步骤D具体包括：
[0019] D1、采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型中计算 得到与所述形式化任务对应的基本操作指令序列；
[0020] D2、执行所述基本操作指令序列，W完成盲人输入的模糊控制命令。
[0021] 所述的盲人计算机的操作智能控制方法，其中，所述步骤B具体包括：
[0022] B1、接收盲人W语音或文本方式给出的模糊控制指令。
[0023] 一种盲人计算机的操作智能控制系统，其中，包括：
[0024] 领域模型建立模块，用于预先根据人工智能规划理论建立用于描述计算机基本操 作指令及其对应任务的基于分层任务网络规划的领域模型；
[0025]命令接收模块，用于接收盲人输入的模糊控制命令；
[0026] 任务生成模块，用于将所述模糊控制指令转换为对应的W逻辑命题集合形式描述 的形式化任务；
[0027] 命令执行模块，用于根据所述形式化任务和领域模型，通过基于人工智能规划中 分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[002引所述的盲人计算机的操作智能控制系统，其中，所述任务生成模块包括：
[0029] 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中 找到与之匹配的关键字模板；
[0030] 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换 为任务的参数，建立对应的用逻辑命题形式描述的任务。
[0031] 所述的盲人计算机的操作智能控制系统，其中，所述任务生成模块包括：
[0032] 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式 化任务作为训练集合，训练得到对应的支持向量机分类模型；
[0033] 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指 令，得到对应的形式化任务。
[0034] 所述的盲人计算机的操作智能控制系统，其中，所述命令执行模块包括：
[0035] 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规 划的领域模型中计算得到与所述形式化任务对应的基本操作指令序列；
[0036] 命令执行单元，用于执行所述基本操作指令序列，W完成盲人输入的模糊控制命 令。
[0037] 所述的盲人计算机的操作智能控制系统，其中，所述命令接收模块，用于接收盲人 W语音或文本方式给出的模糊控制指令。
[003引本发明所提供的一种盲人计算机的操作智能控制系统及方法，有效地解决了现有 的盲人计算机操作复杂，识别准确率低的问题，通过预先根据人工智能规划理论建立用于 描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模型；接收盲人输 入的模糊控制命令；将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化 任务；根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算法， 计算得到所述形式化任务对应的基本操作指令序列并执行；使得盲人计算机能够准确识 别盲人的模糊控制命令，识别准确率高，辅助了盲人的上网操作，简化了盲人的复杂操作步 骤，特别是给盲人带来了大大的方便。
【附图说明】
[0039] 图1为本发明提供的盲人计算机的操作智能控制方法较佳实施例的流程图。
[0040] 图2为本发明提供的盲人计算机的操作智能控制系统较佳实施例的结构框图。
【具体实施方式】
[0041] 本发明提供一种盲人计算机的操作智能控制系统及方法，为使本发明的目的、技 术方案及优点更加清楚、明确，W下参照附图并举实施例对本发明进一步详细说明。应当理 解，此处所描述的具体实施例仅仅用W解释本发明，并不用于限定本发明。
[0042] 请参阅图1，图1为本发明提供的盲人计算机的操作智能控制方法较佳实施例的 流程图，如图所示，所述方法包括W下步骤：
[0043] 步骤S100、预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对 应任务的基于分层任务网络规划的领域模型；
[0044] 步骤S200、接收盲人输入的模糊控制命令；
[0045] 步骤S300、将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化 任务；
[0046] 步骤S400、根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务 网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[0047] 下面结合具体的实施例对上述步骤进行详细的描述。
[0048] 在步骤S100中，预先根据人工智能规划理论建立用于描述计算机基本操作指令 及其对应任务的基于分层任务网络规划的领域模型。具体来说，为了实现对计算机的辅 助自动控制，可借助人工智能规划理论建立基于分层任务网络规划化ierarchicalTask NetworkPlanning,orHTNPlanning)的领域模型（简称HTN领域模型），对视障人：t使用 盲人计算机可能用到的操作进行描述。也就是说，利用HTN领域模型（逻辑形式）表达盲 人计算机所有可能操作。
[0049]HTN领域模型包括方法模型和动作模型两部分。方法模型可W用一个四元组表示： <M，T，P，S〉。其中，M表示方法，T表示方法所分解的任务，P表示方法的前提条件 ，S表示任 务T分解后的子任务列表。M由方法的名称和方法的参数表构成，方法的参数表包括了任 务的参数表和子任务的参数表。T由任务的名称和任务的参数表构成。P是一个无函数的 正文字合取式，P是方法执行前必须满足的条件。S是子任务的列表，子任务的表示方式跟 T一致，其中子任务列表中的子任务是具有先后关系的，在分解过程中必须按顺序执行。W 下是基于方块世界领域知识的方法模型的例子：
[0化0] (:methodremove-ml
[0化1] :parameters(?X?y-block)
[0052] :task(remove?x?y)
[005引：precondition(and(handempty)(on?X?y)klear?X))
[0化4] : subtasks (and (unstack ? x? y) (putdown ? x))
[0化引"-block"是方法的形式参数的类型，方法参数中的"？X"，"？y"就是指两个标记 为"？X"，"？y"的方块。而在任务、前提条件和子任务中使用的形参，都跟方法的形参一 致，即标记相同时指的是同一个方块。其中化andempty)表示机器手抓空，（on?X?y)表 示方块？X在方块？y上，（clear?X)表示方块？X上面是空的。此外，（remove?X? y)表示从方块？y上移除方块？X，（unstack?X?y)表示将方块？X从方块？y上移 出，（putdown?X)表示机器手将方块？X放在桌面上。remove任务默认是将方块移除后 放在桌面上。
[0化6]其中，remove-ml为一方法模型，该方法模型所对应的任务是（remove?X?y)。 整个方法模型可W理解为，当执行任务（remove?X?y)时，当规划世界的当前状态满 足前提条件化andempty),(on?X?y)和（clear?X)时，任务分解成两个子任务，即 (unstack?X?y)和（putdown?X)。其中，用于描述方法前提条件的谓词必须属于用于 描述规划世界状态的谓词表。该任务所要解决的问题是移除方块？X，即将方块？X从方 块？y上移出，并放在桌上。任务本身并不具备足够可W操作的信息，因为方块？X的状态 不够明确。因而方法模型需要指定在任务满足一定情况的条件下，进行任务的分解。很直 观的一种情况便是，当方块？X上面为空时，可W直接执行unstack的操作。而对于相同的 移除方块的任务，当该方块的上面有方块时，将出现另外一种情况，针对该情况可W如下所 示的方法模型：
[0化7] (:methodremove-m2
[0化引 ：parameters (? X ? y ? z-block)
[0059] : task (remove ? x ? y)
[0060] :precondition(and(handempty)(on?z?x)(on?x?y))
[0061] :subtasks(and(remove?z
[0062]HTN领域模型的动作模型可W用一个S元组表示；<A，P，E〉。其中，A表示动作，包 括动作的名称和动作的参数表，动作的参数表可W包含零个或多个参数。P表示动作的前提 条件，跟方法的前提条件类似，也必须是无函数的正文字合取式，是动作执行前必须具备的 条件。E表示动作的效果，该效果可W是增加或删除某些状态。
[0063]unstack动作模型为；
[0064] (:actionunstack
[00(55] : parameters (? X ? y-block)
[0066] :precondition(and(handempty)(on?X?y)klear?X))
[0067] : effect(and(not(handempty)) (not (on ? X ? y))(not(clear ? X))化olding ? X) klear ? y))
[0068] 该一个基于方块世界领域知识的动作模型，unstack动作模型包含两个参数：方 块？X和方块？y。在将方块？X从方块？y上移出之前，必须同时满足条件；(handempty) (on?X?y) (clear?X)。动作执行之后，删除了状态：化andempty) (on?X?y) (clear? X)，增加了状态；（holding?X)(clear?y)。
[0069] 利用如上所述的HTN领域模型表达形式，可W将计算机所有可能操作和任务表达 成HTN领域模型形式，为实现智能辅助控制提供领域知识。也就是预先根据人工智能规划 理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模 型。
[0070] 在步骤S200中，接收盲人输入的模糊控制命令。具体来说，盲人计算机是盲人用 来上网的计算机。盲人也就是视障人±，所述模糊控制指令是视障人±根据需要W自然语 言或文本方式给出的指令，但是它不能被计算机直接执行。并且，视障人±也可文本的 形式向计算机输入模糊控制指令。所述步骤S100具体包括：接收盲人W自然语言或文本方 式给出的模糊控制指令。也就是说，盲人计算机对应的可语音接收或文本接收盲人输入的 模糊控制指令。例如，盲人W语音形式或文本形式向计算机输入"从新浪中浏览关于世界杯 的新闻"，是一个模糊控制指令，它不能被计算机直接执行。模糊控制指令是比较口语化比 较随意的命令，形式变化多样。
[0071] 在所述步骤S300中，将所述模糊控制指令转换为对应的W逻辑命题集合形式描 述的形式化任务。具体来说，可采用两种实现方法进行命令转换，分别为直接映射方法和数 据挖掘方法。直接映射方法是通过匹配关键字模板的方式直接建立形式化任务。而数据挖 掘方法是通过收集视障人±输入模糊控制指令及其对应的形式化任务（标签）作为训练集 合，训练得到分类器；然后利用该分类器为新的模糊控制指令计算得到对应的形式化任务。
[0072] 关于直接映射方法，进一步地，所述步骤S300具体包括；S311、根据所述模糊控制 指令，从预先设置的关键字模板集合中找到与之匹配的关键字模板；S312、将所述关键字模 板中的谓词转换为任务名称，名词转换为任务的参数，建立对应的用逻辑命题形式描述的 形式化任务。也就是上述的直接映射方法。例如，通过扫描模糊控制指令"从新浪中浏览关 于世界杯的新闻"，得到关键字模板"从…中浏览关于…的…"，即可W直接建立用命题形式 描述的确定性任务（或称为形式化任务）；explore(新浪，世界杯，新闻）。
[0073] 关于数据挖掘方法，进一步地，所述步骤S300具体包括；S321、预先收集盲人输入 的多个模糊控制指令及其对应的形式化任务作为训练集合，训练得到对应的支持向量机分 类模型；S322、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式 化任务。
[0074] 具体来说，用数据挖掘方法对模糊控制指令进行去模糊化主要包括如下两个步 骤；第一，利用训练集合训练得到分类模型；第二，利用分类模型自动计算盲人输入的模 糊控制指令对应的形式化任务（类标）。本发明预先建立基于支持向量机（SVM，Support VectorMachine)的分类模型，然后根据分类模块和盲人输入的模糊控制指令得到对应的 任务。在机器学习领域，支持向量机SVM(SuppodVectorMachine)是一个有监督的学习 模型，通常用来进行模式识别、分类、W及回归分析。
[0075] 支持向量机是通过某种事先选择的非线性映射（核函数）将输入向量映射到一个 高维特征空间，在该个空间中构造最优分类超平面。使用支持向量机进行数据集分类工作 的过程是通过预先选定的一些非线性映射输入空间映射到高维特征空间。在高维属性空 间中有可能对训练数据实现超平面的分割，避免了在原输入空间中进行非线性曲面分割计 算。支持向量机数据集形成的分类函数具有该样的性质；它是一组W支持向量为参数的非 线性函数的线性组合，因此分类函数的表达式仅和支持向量的数量有关，而独立于空间的 维度。在处理高维输入空间的分类时，该种方法尤其有效。
[0076] 支持向量机的本质是用来对两类问题进行分类W及回归问题，而现实中很多问题 都是多类分类问题。通常SVM用于求解多类问题，主要有两类算法：
[0077] (1)化e-AgainstH3ne方法，它是对k-类分类问题首先构造所有可能的二类分类 器（共k(k-l)/2个） ，每一个分类器的训练样本仅取两类，使用投票（Voting)策略，将待定 数据项划归到得票数最多所对应的类别中。若某两个类别的得票相等，则优先划到序号较 小的类别中。
[0078] (2)化e-Against-All方法，对于k-类分类问题，构造k个二类分类器，每一类对应 其中的一个，第i个二类分类器是把第i类中的样本都标记为+1，而将其它所有的样本都标 记为-1，即第i个分类器把第i类与其他（i-1)类分开。尽管化e-Against-化e方法需要 构造k化-1) /2分类器，但由于每一个分类器所处理的样本变小（数据仅来自2个类别），因 此one-Against-one方法的训练时间不一定比One-Against-All长。
[0079] 支持向量机拥有扎实的理论基础，与传统的学习算法（如人工神经网络）想比较， 支持向量机通过提高数据的维度把非线性分类问题转换成线性分类问题，较好解决了传统 算法中训练集误差已经最小而测试集误差仍较大的问题，算法的效率和精度都比较高。
[0080] 在步骤S400中，根据所述形式化任务和领域模型，通过基于人工智能规划中分层 任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。具体来说， 首先，采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型（也就是HTN 领域模型）中计算得到与所述形式化任务对应的基本操作指令序列。然后，执行所述基本 操作指令序列，W完成盲人输入的模糊控制命令。该样，便可实现了盲人输入的模糊控制指 令。采用本发明的方法，盲人只需要输入模糊控制指令，无需输入符合盲人计算机标准的可 被准确执行的指令，通过盲人计算机对所述模糊控制指令进行命令匹配，便可使盲人计算 机对应执行，实现了盲人的目的，从而给盲人带来了大大的操作方便。
[0081] 在实际应用时，将所述形式化任务和所述HTN领域模型作为输入，通过HTN规划算 法，可W自动计算得到基本操作序列，W完成视障人±输入对应的形式化任务。
[0082] HTN规划采用最好优先捜索算法作为基本框架，在捜索过程中，每个结点都会通过 启发式函数获得自己与目标结点之间距离的估算值，也叫评估值。考虑到HTN的规划目标 是把任务列表中所有的任务完成，当任务列表为空时，就到达了目标，所W目前HTN规划简 单地使用任务列表中剩余的任务数量作为启发式信息，启发式函数返回剩余的任务数量作 为当前结点与目标结点之间距离的评估值。简单的启发式函数可W降低对结点进行评估的 消耗，从目前的实验结果看来，该个启发式函数的效果良好。目标结点是其任务列表为空的 结点。最好优先的意思是，每次在捜索空间中选取一个距离目标结点最近的结点进行扩展， 并且把它生成的所有子结点放入捜索空间。最好优先捜索算法如下所示：
[0083] 1 ;procedure Best-first-search
[0084] 2;//不断从捜索空间中取出评估值最小的结点进行扩展；
[00财 3 ;//如果得到目标结点，返回动作序列；如果捜索空间为空，返回失败信息
[0086] 4；begin
[0087] 5 ;用I来初始化起始结点，计算它的评估值；
[00能]6 ;把起始结点放进捜索空间SS;
[0089] 7 ;while SS不为空do
[0090] 8;取出SS中评估值最小的结点N(若有多个，任取其一）；
[0091] 9;ifN-〉T为空，returnN-〉act;
[009引 10;elsebegin
[0093] 11;把N从SS中删除；
[0094] 此为最好优先算法的伪代码，在第9步中，判断如果当前结点的任务列表T为空 时，代表所有的任务都已经完成，捜索结束。返回值是到达当前信念状态的动作序列，也就 是本发明想得到的规划解。在上示的算法中，如何生成N的子结点是重点，下面把它提取出 来进行解释。HTN规划捜索结点的扩展算法如下所示：
[0095] 1;procedureextend-node(脚
[0096] 2;//对于捜索结点N，返回它所有的后继结点
[0097] 3 ；begin
[009引 4 ;t0=N-〉T中的第一个任务；
[0099] 5 ;ift。是原始任务
[0100] 6 ；begin
[010U7 ;a。是完成原始任务t。的动作且pre(a。）GN-〉known;(若不存在，返回）
[010引 8挪二新建一个结点；
[0103] 9 ；N〇->act=N->act+a〇；
[0104] 10 ；N〇->T=N->T-t〇；
[01 05] 11 ;计算(p(N〇->act)并保存属于N。的known和unknown集合；
[0106] 12 ；returnN〇；
[0107] 13 ；endif
[010引 14 ;else
[0109] 15 ；begin
[0110] 16叫，...，m。是分解任务t。的方法且pre(mi)GN-〉known;(若不存在，返回）
[0111] 在全序任务网络中，每次要处理的是任务列表中的第一个任务。根据第一个任务 是否原始任务，算法执行不同的分支。如果第一个任务是原始任务，表示有一个可执行的动 作能直接完成该个任务（如果没有该样的动作就直接返回，不产生后继结点），而执行一个 动作会对当前信念状态造成影响，产生下一个信念状态。接着要做的工作是把该个动作添 加到到达下一信念状态的动作序列中，然后把当前结点的任务列表中除。
[0112] 第一个W外的任务复制到后继结点中（第一个任务已经完成），最后计算新的信 念状态并保存known和unknown集合。如果第一个任务不是原始任务，那么会有若干个可 执行的方法能对它进行分解（同样，如果没有该样的方法就直接返回，不产生后继结点）。 每个该样的方法都会产生一个后继结点，后继结点与当前结点唯一的不同之处在于任务列 表。在后继结点中用若干个子任务替代了被分解任务在任务列表中的位置。
[0113] 在扩展算法的第16步，要找出所有能对当前任务执行分解的方法，每个该样的方 法都会产生一个后继结点。有的时候，符合该些条件的方法会很多，而且每个方法对任务完 成的效果都是相差不大的，太多该些方法会产生大量的后继结点，使得捜索空间变大。针对 该种情况，在HTN规划的捜索过程中做了一个优化，只要找到了一个能对当前任务执行分 解的方法，就马上返回，不再继续寻找其它方法。
[0114] 根据一致性规划的特点，方法中的子任务要根据信念状态来判定需不需要添加到 分解结果中。如果不使用条件子任务的话，方法分解中过于严格的前提条件会无法被信念 状态所满足，就像没有条件效果的操作一样。
[0115] 在应用一个方法进行任务分解时，对于方法中的条件子任务（con(St),St)，要判 断当满足条件con(St)时，才把任务St添加到分解结果中。具体来说，对于当前信念状态 S，如果有一个世界状态SG2S且S满足命题公式con(St)，那么任务St就要被添加到分解 结果中。该是因为一致性规划问题要求从任意一个可能的世界状态出发，执行一致性规划 解都能够到达目标状态；所W只要有一个可能的世界状态需要执行该个子任务，那么它就 要被添加到任务列表中。
[0116] 进一步地，判断是否有一个世界状态SG2S且S满足命题公式con(St)的方法是： 把命题公式4 (act)Acon(St)提交到SAT求解器中，如果结果是可满足的，说明4 (act) 没有逻辑蕴涵^。〇11(3*)，也就是说至少有一个世界状态8G25且5满足命题公式。〇11(3*)。
[0117] 虽然目前SAT求解器的效率比较高，但还是应该尽量减少调用SAT求解器的次数， W降低计算消耗。为此可W用到捜索结点中为信念状态保存的known和unknown集合。假 设con(st)的合取范式是C1八C2八...八化，如果{C1,...,化}Gknown,那么显然在所 有可能的世界状态中con(St)都为真，需要添加子任务St。如果con(St)是单个命题P，那 么只要pGunknown,说明con(St)在某些世界状态中为真，在某些世界状态中为假，那么也 要把子任务St添加到分解结果中。该两条简便的判定规则在任务分解过程中可W 很有效 地降低计算4 (act)和调用SAT求解器的消耗。
[0118] 该样，利用W上的HTN规划算法，即可自动计算得到所述形式化任务对应的基本 操作序列（或者基本指令序列）。然后盲人计算机对应执行所述基本操作指令序列，便可完 成盲人输入的模糊控制命令，实现盲人的目的。
[0119] 本发明提供的盲人计算机的操作智能控制方法，使得盲人计算机能够准确识别盲 人的模糊控制命令，识别准确率高，辅助了盲人的操作，简化了盲人的复杂操作步骤，带来 了大大的方便。视障人±只需对着计算机说"在新浪网站捜索世界杯"，通过语音控制功能， 即可达到浏览世界杯相关新闻的目的。通过命令匹配，做到了模糊控制命令的去模糊化功 能，能够简化盲人的复杂操作步骤，给盲人带来了大大的方便。
[0120] 基于上述的盲人计算机的操作智能控制方法，本发明还提供了一种盲人计算机的 操作智能控制系统，如图2所示，包括：
[0121] 领域模型建立模块10,用于预先根据人工智能规划理论建立用于描述计算机基本 操作指令及其对应任务的基于分层任务网络规划的领域模型；具体如步骤S100所述；
[0122] 命令接收模块20,用于接收盲人输入的模糊控制命令；具体如步骤S200所述；
[0123] 任务生成模块30,用于将所述模糊控制指令转换为对应的W逻辑命题集合形式描 述的形式化任务；具体如步骤S300所述；
[0124] 命令执行模块40,用于根据所述形式化任务和领域模型，通过基于人工智能规划 中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行；具 体如步骤S400所述。
[01巧]进一步地，所述任务生成模块30包括：
[01%] 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中 找到与之匹配的关键字模板；
[0127] 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换 为任务的参数，建立对应的用逻辑命题形式描述的任务。
[0128] 进一步地，所述任务生成模块30包括：
[0129] 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式 化任务作为训练集合，训练得到对应的支持向量机分类模型；
[0130] 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指 令，得到对应的形式化任务。
[0131] 进一步地，所述命令执行模块40包括；
[0132] 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规 划的领域模型中计算得到与所述形式化任务对应的基本操作指令序列；
[0133] 命令执行单元，用于执行所述基本操作指令序列，W完成盲人输入的模糊控制命 令。
[0134] 进一步地，所述命令接收模块20,用于接收盲人W语音或文本方式给出的模糊控 制指令。
[01巧]综上所述，本发明提供的一种盲人计算机的操作智能控制系统及方法，通过预先 根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务 网络规划的领域模型；接收盲人输入的模糊控制命令；将所述模糊控制指令转换为对应的 W逻辑命题集合形式描述的形式化任务；根据所述形式化任务和领域模型，通过基于人工 智能规划中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并 执行；使得盲人计算机能够准确识别盲人的模糊控制命令，识别准确率高，辅助了盲人的上 网操作，简化了盲人的复杂操作步骤，特别是给盲人带来了大大的方便。
[0136] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可 W根据上述说明加W改进或变换，所有该些改进和变换都应属于本发明所附权利要求的保 护范围。
【主权项】
1. 一种盲人计算机的操作智能控制方法，其特征在于，包括： A、 预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基 于分层任务网络规划的领域模型； B、 接收盲人输入的模糊控制命令； C、 将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形式化任务； D、 根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算 法，计算得到所述形式化任务对应的基本操作指令序列并执行。
2. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤C具 体包括： C11、根据所述模糊控制指令，从预先设置的关键字模板集合中找到与之匹配的关键字 模板； C12、将所述关键字模板中的谓词转换为任务名称，名词转换为任务的参数，建立对应 的用逻辑命题形式描述的形式化任务。
3. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤C具 体包括： C21、预先收集盲人输入的多个模糊控制指令及其对应的形式化任务作为训练集合，训 练得到对应的支持向量机分类模型； C22、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式化任 务。
4. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤D具 体包括： D1、采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型中计算得到 与所述形式化任务对应的基本操作指令序列； D2、执行所述基本操作指令序列，以完成盲人输入的模糊控制命令。
5. 根据权利要求4所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤B具 体包括： B1、接收盲人以语音或文本方式给出的模糊控制指令。
6. -种盲人计算机的操作智能控制系统，其特征在于，包括： 领域模型建立模块，用于预先根据人工智能规划理论建立用于描述计算机基本操作指 令及其对应任务的基于分层任务网络规划的领域模型； 命令接收模块，用于接收盲人输入的模糊控制命令； 任务生成模块，用于将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形 式化任务； 命令执行模块，用于根据所述形式化任务和领域模型，通过基于人工智能规划中分层 任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
7. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述任务生 成模块包括： 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中找到 与之匹配的关键字模板； 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换为任 务的参数，建立对应的用逻辑命题形式描述的任务。
8. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述任务生 成模块包括： 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式化任 务作为训练集合，训练得到对应的支持向量机分类模型； 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指令， 得到对应的形式化任务。
9. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述命令执 行模块包括： 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规划的 领域模型中计算得到与所述形式化任务对应的基本操作指令序列； 命令执行单元，用于执行所述基本操作指令序列，以完成盲人输入的模糊控制命令。
10. 根据权利要求9所述的盲人计算机的操作智能控制系统，其特征在于，所述命令接 收模块，用于接收盲人以语音或文本方式给出的模糊控制指令。
【专利摘要】本发明公开了一种盲人计算机的操作智能控制系统及方法，通过预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模型；接收盲人输入的模糊控制命令；将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形式化任务；根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行；使得盲人计算机能够准确识别盲人的模糊控制命令，识别准确率高，辅助了盲人的上网操作，简化了盲人的复杂操作步骤，特别是给盲人带来了大大的方便。
【IPC分类】G06F3-01
【公开号】CN104866102
【申请号】CN201510288868
【发明人】卓汉逵, 钟天荣, 富明慧
【申请人】中山大学
【公开日】2015年8月26日
【申请日】2015年5月29日
【技术领域】
[0001] 本发明设及盲人计算机技术领域，尤其设及的是一种盲人计算机的操作智能控制 系统及方法。
【背景技术】
[0002] 读屏软件，是一种可W帮助盲人上网的工具。读屏软件是专为盲人或视力有障碍 的人设计的屏幕朗读软件，通过数字键盘的切换操作，W及大键盘上的几个功能键的切换， 就能够随屯、所欲地进行查找和处理文件，对网页进行导航浏览、编辑和收发电子邮件。例 如，盲人利用现有读屏软件访问"世界杯"相关新闻，必须先手动打开浏览器，然后找到浏览 器地址栏输入新浪网址（或其它网址），接着在打开的页面中找到捜索框输入"世界杯"，最 后点击捜索获得世界杯相关新闻。
[0003] 现有读屏软件中，一定程度上比较依赖盲人的主动逐步操作，例如打开一个文件， 需要先通过开始菜单或桌面逐步进入文件浏览器，逐层进入文件夹，并逐一听声找到文件 才能打开，对于盲人的命令识别准确率低，特别是对于模糊的控制命令。并且，现有读屏软 件不具备语音控制计算机的功能，只能通过记忆各种快捷键，键盘多次手动按快捷键实现 信息获取，对于盲人来说操作复杂，输入不便，效率低下。
[0004] 因此，现有技术还有待于改进和发展。
【发明内容】
[0005] 本发明要解决的技术问题在于，提供一种盲人计算机的操作智能控制系统及方 法，旨在解决现有的盲人计算机操作复杂，识别准确率低的问题。
[0006] 本发明解决技术问题所采用的技术方案如下；
[0007] 一种盲人计算机的操作智能控制方法，其中，包括：
[000引A、预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务 的基于分层任务网络规划的领域模型；
[0009]B、接收盲人输入的模糊控制命令；
[0010]C、将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化任务；
[0011]D、根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划 算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[0012] 所述的盲人计算机的操作智能控制方法，其中，所述步骤C具体包括：
[0013]C11、根据所述模糊控制指令，从预先设置的关键字模板集合中找到与之匹配的关 键字模板；
[0014]C12、将所述关键字模板中的谓词转换为任务名称，名词转换为任务的参数，建立 对应的用逻辑命题形式描述的形式化任务。
[0015]所述的盲人计算机的操作智能控制方法，其中，所述步骤C具体包括：
[0016]C21、预先收集盲人输入的多个模糊控制指令及其对应的形式化任务作为训练集 合，训练得到对应的支持向量机分类模型；
[0017] C22、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式 化任务。
[0018] 所述的盲人计算机的操作智能控制方法，其中，所述步骤D具体包括：
[0019] D1、采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型中计算 得到与所述形式化任务对应的基本操作指令序列；
[0020] D2、执行所述基本操作指令序列，W完成盲人输入的模糊控制命令。
[0021] 所述的盲人计算机的操作智能控制方法，其中，所述步骤B具体包括：
[0022] B1、接收盲人W语音或文本方式给出的模糊控制指令。
[0023] 一种盲人计算机的操作智能控制系统，其中，包括：
[0024] 领域模型建立模块，用于预先根据人工智能规划理论建立用于描述计算机基本操 作指令及其对应任务的基于分层任务网络规划的领域模型；
[0025]命令接收模块，用于接收盲人输入的模糊控制命令；
[0026] 任务生成模块，用于将所述模糊控制指令转换为对应的W逻辑命题集合形式描述 的形式化任务；
[0027] 命令执行模块，用于根据所述形式化任务和领域模型，通过基于人工智能规划中 分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[002引所述的盲人计算机的操作智能控制系统，其中，所述任务生成模块包括：
[0029] 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中 找到与之匹配的关键字模板；
[0030] 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换 为任务的参数，建立对应的用逻辑命题形式描述的任务。
[0031] 所述的盲人计算机的操作智能控制系统，其中，所述任务生成模块包括：
[0032] 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式 化任务作为训练集合，训练得到对应的支持向量机分类模型；
[0033] 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指 令，得到对应的形式化任务。
[0034] 所述的盲人计算机的操作智能控制系统，其中，所述命令执行模块包括：
[0035] 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规 划的领域模型中计算得到与所述形式化任务对应的基本操作指令序列；
[0036] 命令执行单元，用于执行所述基本操作指令序列，W完成盲人输入的模糊控制命 令。
[0037] 所述的盲人计算机的操作智能控制系统，其中，所述命令接收模块，用于接收盲人 W语音或文本方式给出的模糊控制指令。
[003引本发明所提供的一种盲人计算机的操作智能控制系统及方法，有效地解决了现有 的盲人计算机操作复杂，识别准确率低的问题，通过预先根据人工智能规划理论建立用于 描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模型；接收盲人输 入的模糊控制命令；将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化 任务；根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算法， 计算得到所述形式化任务对应的基本操作指令序列并执行；使得盲人计算机能够准确识 别盲人的模糊控制命令，识别准确率高，辅助了盲人的上网操作，简化了盲人的复杂操作步 骤，特别是给盲人带来了大大的方便。
【附图说明】
[0039] 图1为本发明提供的盲人计算机的操作智能控制方法较佳实施例的流程图。
[0040] 图2为本发明提供的盲人计算机的操作智能控制系统较佳实施例的结构框图。
【具体实施方式】
[0041] 本发明提供一种盲人计算机的操作智能控制系统及方法，为使本发明的目的、技 术方案及优点更加清楚、明确，W下参照附图并举实施例对本发明进一步详细说明。应当理 解，此处所描述的具体实施例仅仅用W解释本发明，并不用于限定本发明。
[0042] 请参阅图1，图1为本发明提供的盲人计算机的操作智能控制方法较佳实施例的 流程图，如图所示，所述方法包括W下步骤：
[0043] 步骤S100、预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对 应任务的基于分层任务网络规划的领域模型；
[0044] 步骤S200、接收盲人输入的模糊控制命令；
[0045] 步骤S300、将所述模糊控制指令转换为对应的W逻辑命题集合形式描述的形式化 任务；
[0046] 步骤S400、根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务 网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
[0047] 下面结合具体的实施例对上述步骤进行详细的描述。
[0048] 在步骤S100中，预先根据人工智能规划理论建立用于描述计算机基本操作指令 及其对应任务的基于分层任务网络规划的领域模型。具体来说，为了实现对计算机的辅 助自动控制，可借助人工智能规划理论建立基于分层任务网络规划化ierarchicalTask NetworkPlanning,orHTNPlanning)的领域模型（简称HTN领域模型），对视障人：t使用 盲人计算机可能用到的操作进行描述。也就是说，利用HTN领域模型（逻辑形式）表达盲 人计算机所有可能操作。
[0049]HTN领域模型包括方法模型和动作模型两部分。方法模型可W用一个四元组表示： <M，T，P，S〉。其中，M表示方法，T表示方法所分解的任务，P表示方法的前提条件 ，S表示任 务T分解后的子任务列表。M由方法的名称和方法的参数表构成，方法的参数表包括了任 务的参数表和子任务的参数表。T由任务的名称和任务的参数表构成。P是一个无函数的 正文字合取式，P是方法执行前必须满足的条件。S是子任务的列表，子任务的表示方式跟 T一致，其中子任务列表中的子任务是具有先后关系的，在分解过程中必须按顺序执行。W 下是基于方块世界领域知识的方法模型的例子：
[0化0] (:methodremove-ml
[0化1] :parameters(?X?y-block)
[0052] :task(remove?x?y)
[005引：precondition(and(handempty)(on?X?y)klear?X))
[0化4] : subtasks (and (unstack ? x? y) (putdown ? x))
[0化引"-block"是方法的形式参数的类型，方法参数中的"？X"，"？y"就是指两个标记 为"？X"，"？y"的方块。而在任务、前提条件和子任务中使用的形参，都跟方法的形参一 致，即标记相同时指的是同一个方块。其中化andempty)表示机器手抓空，（on?X?y)表 示方块？X在方块？y上，（clear?X)表示方块？X上面是空的。此外，（remove?X? y)表示从方块？y上移除方块？X，（unstack?X?y)表示将方块？X从方块？y上移 出，（putdown?X)表示机器手将方块？X放在桌面上。remove任务默认是将方块移除后 放在桌面上。
[0化6]其中，remove-ml为一方法模型，该方法模型所对应的任务是（remove?X?y)。 整个方法模型可W理解为，当执行任务（remove?X?y)时，当规划世界的当前状态满 足前提条件化andempty),(on?X?y)和（clear?X)时，任务分解成两个子任务，即 (unstack?X?y)和（putdown?X)。其中，用于描述方法前提条件的谓词必须属于用于 描述规划世界状态的谓词表。该任务所要解决的问题是移除方块？X，即将方块？X从方 块？y上移出，并放在桌上。任务本身并不具备足够可W操作的信息，因为方块？X的状态 不够明确。因而方法模型需要指定在任务满足一定情况的条件下，进行任务的分解。很直 观的一种情况便是，当方块？X上面为空时，可W直接执行unstack的操作。而对于相同的 移除方块的任务，当该方块的上面有方块时，将出现另外一种情况，针对该情况可W如下所 示的方法模型：
[0化7] (:methodremove-m2
[0化引 ：parameters (? X ? y ? z-block)
[0059] : task (remove ? x ? y)
[0060] :precondition(and(handempty)(on?z?x)(on?x?y))
[0061] :subtasks(and(remove?z
[0062]HTN领域模型的动作模型可W用一个S元组表示；<A，P，E〉。其中，A表示动作，包 括动作的名称和动作的参数表，动作的参数表可W包含零个或多个参数。P表示动作的前提 条件，跟方法的前提条件类似，也必须是无函数的正文字合取式，是动作执行前必须具备的 条件。E表示动作的效果，该效果可W是增加或删除某些状态。
[0063]unstack动作模型为；
[0064] (:actionunstack
[00(55] : parameters (? X ? y-block)
[0066] :precondition(and(handempty)(on?X?y)klear?X))
[0067] : effect(and(not(handempty)) (not (on ? X ? y))(not(clear ? X))化olding ? X) klear ? y))
[0068] 该一个基于方块世界领域知识的动作模型，unstack动作模型包含两个参数：方 块？X和方块？y。在将方块？X从方块？y上移出之前，必须同时满足条件；(handempty) (on?X?y) (clear?X)。动作执行之后，删除了状态：化andempty) (on?X?y) (clear? X)，增加了状态；（holding?X)(clear?y)。
[0069] 利用如上所述的HTN领域模型表达形式，可W将计算机所有可能操作和任务表达 成HTN领域模型形式，为实现智能辅助控制提供领域知识。也就是预先根据人工智能规划 理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模 型。
[0070] 在步骤S200中，接收盲人输入的模糊控制命令。具体来说，盲人计算机是盲人用 来上网的计算机。盲人也就是视障人±，所述模糊控制指令是视障人±根据需要W自然语 言或文本方式给出的指令，但是它不能被计算机直接执行。并且，视障人±也可文本的 形式向计算机输入模糊控制指令。所述步骤S100具体包括：接收盲人W自然语言或文本方 式给出的模糊控制指令。也就是说，盲人计算机对应的可语音接收或文本接收盲人输入的 模糊控制指令。例如，盲人W语音形式或文本形式向计算机输入"从新浪中浏览关于世界杯 的新闻"，是一个模糊控制指令，它不能被计算机直接执行。模糊控制指令是比较口语化比 较随意的命令，形式变化多样。
[0071] 在所述步骤S300中，将所述模糊控制指令转换为对应的W逻辑命题集合形式描 述的形式化任务。具体来说，可采用两种实现方法进行命令转换，分别为直接映射方法和数 据挖掘方法。直接映射方法是通过匹配关键字模板的方式直接建立形式化任务。而数据挖 掘方法是通过收集视障人±输入模糊控制指令及其对应的形式化任务（标签）作为训练集 合，训练得到分类器；然后利用该分类器为新的模糊控制指令计算得到对应的形式化任务。
[0072] 关于直接映射方法，进一步地，所述步骤S300具体包括；S311、根据所述模糊控制 指令，从预先设置的关键字模板集合中找到与之匹配的关键字模板；S312、将所述关键字模 板中的谓词转换为任务名称，名词转换为任务的参数，建立对应的用逻辑命题形式描述的 形式化任务。也就是上述的直接映射方法。例如，通过扫描模糊控制指令"从新浪中浏览关 于世界杯的新闻"，得到关键字模板"从…中浏览关于…的…"，即可W直接建立用命题形式 描述的确定性任务（或称为形式化任务）；explore(新浪，世界杯，新闻）。
[0073] 关于数据挖掘方法，进一步地，所述步骤S300具体包括；S321、预先收集盲人输入 的多个模糊控制指令及其对应的形式化任务作为训练集合，训练得到对应的支持向量机分 类模型；S322、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式 化任务。
[0074] 具体来说，用数据挖掘方法对模糊控制指令进行去模糊化主要包括如下两个步 骤；第一，利用训练集合训练得到分类模型；第二，利用分类模型自动计算盲人输入的模 糊控制指令对应的形式化任务（类标）。本发明预先建立基于支持向量机（SVM，Support VectorMachine)的分类模型，然后根据分类模块和盲人输入的模糊控制指令得到对应的 任务。在机器学习领域，支持向量机SVM(SuppodVectorMachine)是一个有监督的学习 模型，通常用来进行模式识别、分类、W及回归分析。
[0075] 支持向量机是通过某种事先选择的非线性映射（核函数）将输入向量映射到一个 高维特征空间，在该个空间中构造最优分类超平面。使用支持向量机进行数据集分类工作 的过程是通过预先选定的一些非线性映射输入空间映射到高维特征空间。在高维属性空 间中有可能对训练数据实现超平面的分割，避免了在原输入空间中进行非线性曲面分割计 算。支持向量机数据集形成的分类函数具有该样的性质；它是一组W支持向量为参数的非 线性函数的线性组合，因此分类函数的表达式仅和支持向量的数量有关，而独立于空间的 维度。在处理高维输入空间的分类时，该种方法尤其有效。
[0076] 支持向量机的本质是用来对两类问题进行分类W及回归问题，而现实中很多问题 都是多类分类问题。通常SVM用于求解多类问题，主要有两类算法：
[0077] (1)化e-AgainstH3ne方法，它是对k-类分类问题首先构造所有可能的二类分类 器（共k(k-l)/2个） ，每一个分类器的训练样本仅取两类，使用投票（Voting)策略，将待定 数据项划归到得票数最多所对应的类别中。若某两个类别的得票相等，则优先划到序号较 小的类别中。
[0078] (2)化e-Against-All方法，对于k-类分类问题，构造k个二类分类器，每一类对应 其中的一个，第i个二类分类器是把第i类中的样本都标记为+1，而将其它所有的样本都标 记为-1，即第i个分类器把第i类与其他（i-1)类分开。尽管化e-Against-化e方法需要 构造k化-1) /2分类器，但由于每一个分类器所处理的样本变小（数据仅来自2个类别），因 此one-Against-one方法的训练时间不一定比One-Against-All长。
[0079] 支持向量机拥有扎实的理论基础，与传统的学习算法（如人工神经网络）想比较， 支持向量机通过提高数据的维度把非线性分类问题转换成线性分类问题，较好解决了传统 算法中训练集误差已经最小而测试集误差仍较大的问题，算法的效率和精度都比较高。
[0080] 在步骤S400中，根据所述形式化任务和领域模型，通过基于人工智能规划中分层 任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。具体来说， 首先，采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型（也就是HTN 领域模型）中计算得到与所述形式化任务对应的基本操作指令序列。然后，执行所述基本 操作指令序列，W完成盲人输入的模糊控制命令。该样，便可实现了盲人输入的模糊控制指 令。采用本发明的方法，盲人只需要输入模糊控制指令，无需输入符合盲人计算机标准的可 被准确执行的指令，通过盲人计算机对所述模糊控制指令进行命令匹配，便可使盲人计算 机对应执行，实现了盲人的目的，从而给盲人带来了大大的操作方便。
[0081] 在实际应用时，将所述形式化任务和所述HTN领域模型作为输入，通过HTN规划算 法，可W自动计算得到基本操作序列，W完成视障人±输入对应的形式化任务。
[0082] HTN规划采用最好优先捜索算法作为基本框架，在捜索过程中，每个结点都会通过 启发式函数获得自己与目标结点之间距离的估算值，也叫评估值。考虑到HTN的规划目标 是把任务列表中所有的任务完成，当任务列表为空时，就到达了目标，所W目前HTN规划简 单地使用任务列表中剩余的任务数量作为启发式信息，启发式函数返回剩余的任务数量作 为当前结点与目标结点之间距离的评估值。简单的启发式函数可W降低对结点进行评估的 消耗，从目前的实验结果看来，该个启发式函数的效果良好。目标结点是其任务列表为空的 结点。最好优先的意思是，每次在捜索空间中选取一个距离目标结点最近的结点进行扩展， 并且把它生成的所有子结点放入捜索空间。最好优先捜索算法如下所示：
[0083] 1 ;procedure Best-first-search
[0084] 2;//不断从捜索空间中取出评估值最小的结点进行扩展；
[00财 3 ;//如果得到目标结点，返回动作序列；如果捜索空间为空，返回失败信息
[0086] 4；begin
[0087] 5 ;用I来初始化起始结点，计算它的评估值；
[00能]6 ;把起始结点放进捜索空间SS;
[0089] 7 ;while SS不为空do
[0090] 8;取出SS中评估值最小的结点N(若有多个，任取其一）；
[0091] 9;ifN-〉T为空，returnN-〉act;
[009引 10;elsebegin
[0093] 11;把N从SS中删除；
[0094] 此为最好优先算法的伪代码，在第9步中，判断如果当前结点的任务列表T为空 时，代表所有的任务都已经完成，捜索结束。返回值是到达当前信念状态的动作序列，也就 是本发明想得到的规划解。在上示的算法中，如何生成N的子结点是重点，下面把它提取出 来进行解释。HTN规划捜索结点的扩展算法如下所示：
[0095] 1;procedureextend-node(脚
[0096] 2;//对于捜索结点N，返回它所有的后继结点
[0097] 3 ；begin
[009引 4 ;t0=N-〉T中的第一个任务；
[0099] 5 ;ift。是原始任务
[0100] 6 ；begin
[010U7 ;a。是完成原始任务t。的动作且pre(a。）GN-〉known;(若不存在，返回）
[010引 8挪二新建一个结点；
[0103] 9 ；N〇->act=N->act+a〇；
[0104] 10 ；N〇->T=N->T-t〇；
[01 05] 11 ;计算(p(N〇->act)并保存属于N。的known和unknown集合；
[0106] 12 ；returnN〇；
[0107] 13 ；endif
[010引 14 ;else
[0109] 15 ；begin
[0110] 16叫，...，m。是分解任务t。的方法且pre(mi)GN-〉known;(若不存在，返回）
[0111] 在全序任务网络中，每次要处理的是任务列表中的第一个任务。根据第一个任务 是否原始任务，算法执行不同的分支。如果第一个任务是原始任务，表示有一个可执行的动 作能直接完成该个任务（如果没有该样的动作就直接返回，不产生后继结点），而执行一个 动作会对当前信念状态造成影响，产生下一个信念状态。接着要做的工作是把该个动作添 加到到达下一信念状态的动作序列中，然后把当前结点的任务列表中除。
[0112] 第一个W外的任务复制到后继结点中（第一个任务已经完成），最后计算新的信 念状态并保存known和unknown集合。如果第一个任务不是原始任务，那么会有若干个可 执行的方法能对它进行分解（同样，如果没有该样的方法就直接返回，不产生后继结点）。 每个该样的方法都会产生一个后继结点，后继结点与当前结点唯一的不同之处在于任务列 表。在后继结点中用若干个子任务替代了被分解任务在任务列表中的位置。
[0113] 在扩展算法的第16步，要找出所有能对当前任务执行分解的方法，每个该样的方 法都会产生一个后继结点。有的时候，符合该些条件的方法会很多，而且每个方法对任务完 成的效果都是相差不大的，太多该些方法会产生大量的后继结点，使得捜索空间变大。针对 该种情况，在HTN规划的捜索过程中做了一个优化，只要找到了一个能对当前任务执行分 解的方法，就马上返回，不再继续寻找其它方法。
[0114] 根据一致性规划的特点，方法中的子任务要根据信念状态来判定需不需要添加到 分解结果中。如果不使用条件子任务的话，方法分解中过于严格的前提条件会无法被信念 状态所满足，就像没有条件效果的操作一样。
[0115] 在应用一个方法进行任务分解时，对于方法中的条件子任务（con(St),St)，要判 断当满足条件con(St)时，才把任务St添加到分解结果中。具体来说，对于当前信念状态 S，如果有一个世界状态SG2S且S满足命题公式con(St)，那么任务St就要被添加到分解 结果中。该是因为一致性规划问题要求从任意一个可能的世界状态出发，执行一致性规划 解都能够到达目标状态；所W只要有一个可能的世界状态需要执行该个子任务，那么它就 要被添加到任务列表中。
[0116] 进一步地，判断是否有一个世界状态SG2S且S满足命题公式con(St)的方法是： 把命题公式4 (act)Acon(St)提交到SAT求解器中，如果结果是可满足的，说明4 (act) 没有逻辑蕴涵^。〇11(3*)，也就是说至少有一个世界状态8G25且5满足命题公式。〇11(3*)。
[0117] 虽然目前SAT求解器的效率比较高，但还是应该尽量减少调用SAT求解器的次数， W降低计算消耗。为此可W用到捜索结点中为信念状态保存的known和unknown集合。假 设con(st)的合取范式是C1八C2八...八化，如果{C1,...,化}Gknown,那么显然在所 有可能的世界状态中con(St)都为真，需要添加子任务St。如果con(St)是单个命题P，那 么只要pGunknown,说明con(St)在某些世界状态中为真，在某些世界状态中为假，那么也 要把子任务St添加到分解结果中。该两条简便的判定规则在任务分解过程中可W 很有效 地降低计算4 (act)和调用SAT求解器的消耗。
[0118] 该样，利用W上的HTN规划算法，即可自动计算得到所述形式化任务对应的基本 操作序列（或者基本指令序列）。然后盲人计算机对应执行所述基本操作指令序列，便可完 成盲人输入的模糊控制命令，实现盲人的目的。
[0119] 本发明提供的盲人计算机的操作智能控制方法，使得盲人计算机能够准确识别盲 人的模糊控制命令，识别准确率高，辅助了盲人的操作，简化了盲人的复杂操作步骤，带来 了大大的方便。视障人±只需对着计算机说"在新浪网站捜索世界杯"，通过语音控制功能， 即可达到浏览世界杯相关新闻的目的。通过命令匹配，做到了模糊控制命令的去模糊化功 能，能够简化盲人的复杂操作步骤，给盲人带来了大大的方便。
[0120] 基于上述的盲人计算机的操作智能控制方法，本发明还提供了一种盲人计算机的 操作智能控制系统，如图2所示，包括：
[0121] 领域模型建立模块10,用于预先根据人工智能规划理论建立用于描述计算机基本 操作指令及其对应任务的基于分层任务网络规划的领域模型；具体如步骤S100所述；
[0122] 命令接收模块20,用于接收盲人输入的模糊控制命令；具体如步骤S200所述；
[0123] 任务生成模块30,用于将所述模糊控制指令转换为对应的W逻辑命题集合形式描 述的形式化任务；具体如步骤S300所述；
[0124] 命令执行模块40,用于根据所述形式化任务和领域模型，通过基于人工智能规划 中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行；具 体如步骤S400所述。
[01巧]进一步地，所述任务生成模块30包括：
[01%] 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中 找到与之匹配的关键字模板；
[0127] 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换 为任务的参数，建立对应的用逻辑命题形式描述的任务。
[0128] 进一步地，所述任务生成模块30包括：
[0129] 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式 化任务作为训练集合，训练得到对应的支持向量机分类模型；
[0130] 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指 令，得到对应的形式化任务。
[0131] 进一步地，所述命令执行模块40包括；
[0132] 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规 划的领域模型中计算得到与所述形式化任务对应的基本操作指令序列；
[0133] 命令执行单元，用于执行所述基本操作指令序列，W完成盲人输入的模糊控制命 令。
[0134] 进一步地，所述命令接收模块20,用于接收盲人W语音或文本方式给出的模糊控 制指令。
[01巧]综上所述，本发明提供的一种盲人计算机的操作智能控制系统及方法，通过预先 根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务 网络规划的领域模型；接收盲人输入的模糊控制命令；将所述模糊控制指令转换为对应的 W逻辑命题集合形式描述的形式化任务；根据所述形式化任务和领域模型，通过基于人工 智能规划中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并 执行；使得盲人计算机能够准确识别盲人的模糊控制命令，识别准确率高，辅助了盲人的上 网操作，简化了盲人的复杂操作步骤，特别是给盲人带来了大大的方便。
[0136] 应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可 W根据上述说明加W改进或变换，所有该些改进和变换都应属于本发明所附权利要求的保 护范围。
【主权项】
1. 一种盲人计算机的操作智能控制方法，其特征在于，包括： A、 预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基 于分层任务网络规划的领域模型； B、 接收盲人输入的模糊控制命令； C、 将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形式化任务； D、 根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算 法，计算得到所述形式化任务对应的基本操作指令序列并执行。
2. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤C具 体包括： C11、根据所述模糊控制指令，从预先设置的关键字模板集合中找到与之匹配的关键字 模板； C12、将所述关键字模板中的谓词转换为任务名称，名词转换为任务的参数，建立对应 的用逻辑命题形式描述的形式化任务。
3. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤C具 体包括： C21、预先收集盲人输入的多个模糊控制指令及其对应的形式化任务作为训练集合，训 练得到对应的支持向量机分类模型； C22、利用所述支持向量机分类模型自动计算所述模糊控制指令，得到对应的形式化任 务。
4. 根据权利要求1所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤D具 体包括： D1、采用分层任务网络规划算法从所述基于分层任务网络规划的领域模型中计算得到 与所述形式化任务对应的基本操作指令序列； D2、执行所述基本操作指令序列，以完成盲人输入的模糊控制命令。
5. 根据权利要求4所述的盲人计算机的操作智能控制方法，其特征在于，所述步骤B具 体包括： B1、接收盲人以语音或文本方式给出的模糊控制指令。
6. -种盲人计算机的操作智能控制系统，其特征在于，包括： 领域模型建立模块，用于预先根据人工智能规划理论建立用于描述计算机基本操作指 令及其对应任务的基于分层任务网络规划的领域模型； 命令接收模块，用于接收盲人输入的模糊控制命令； 任务生成模块，用于将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形 式化任务； 命令执行模块，用于根据所述形式化任务和领域模型，通过基于人工智能规划中分层 任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行。
7. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述任务生 成模块包括： 关键字匹配单元，用于根据所述模糊控制指令，从预先设置的关键字模板集合中找到 与之匹配的关键字模板； 第一任务生成单元，用于将所述关键字模板中的谓词转换为任务名称，名词转换为任 务的参数，建立对应的用逻辑命题形式描述的任务。
8. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述任务生 成模块包括： 分类模型建立单元，用于预先收集盲人输入的多个模糊控制指令及其对应的形式化任 务作为训练集合，训练得到对应的支持向量机分类模型； 第二任务生成单元，用于利用所述支持向量机分类模型自动计算所述模糊控制指令， 得到对应的形式化任务。
9. 根据权利要求6所述的盲人计算机的操作智能控制系统，其特征在于，所述命令执 行模块包括： 操作指令生成单元，用于采用分层任务网络规划算法从所述基于分层任务网络规划的 领域模型中计算得到与所述形式化任务对应的基本操作指令序列； 命令执行单元，用于执行所述基本操作指令序列，以完成盲人输入的模糊控制命令。
10. 根据权利要求9所述的盲人计算机的操作智能控制系统，其特征在于，所述命令接 收模块，用于接收盲人以语音或文本方式给出的模糊控制指令。
【专利摘要】本发明公开了一种盲人计算机的操作智能控制系统及方法，通过预先根据人工智能规划理论建立用于描述计算机基本操作指令及其对应任务的基于分层任务网络规划的领域模型；接收盲人输入的模糊控制命令；将所述模糊控制指令转换为对应的以逻辑命题集合形式描述的形式化任务；根据所述形式化任务和领域模型，通过基于人工智能规划中分层任务网络规划算法，计算得到所述形式化任务对应的基本操作指令序列并执行；使得盲人计算机能够准确识别盲人的模糊控制命令，识别准确率高，辅助了盲人的上网操作，简化了盲人的复杂操作步骤，特别是给盲人带来了大大的方便。
【IPC分类】G06F3-01
【公开号】CN104866102
【申请号】CN201510288868
【发明人】卓汉逵, 钟天荣, 富明慧
【申请人】中山大学
【公开日】2015年8月26日
【申请日】2015年5月29日
最新回复(0)