聋哑人交互系统论文提纲,嵌入式论文提纲

基于嵌入式技术的聋哑人无障碍交互系统研究

摘要：聋哑残疾的患病人数是中国五大残疾人数之首。据统计,截止2020年中国有2780多万的聋哑人。因聋哑人群体语言听觉能力的缺失导致与他人沟通困难,给工作生活带来了诸多不便,产生许多社会问题。针对聋哑人沟通的难题,研究人员做了大量的基于手语、文字等方面的研究,并在手语和文字的翻译效率、准确性等方面有了非常大的进展。然而,手语翻译方案存在使用广泛性不够,标准繁多,价格昂贵等问题。实时文字翻译方案交互效率低下,对识字率有一定要求,且相关产品操作不便捷。导致市面上能够落地使用的聋哑人交互方案并不多。为了实现操作便捷、易于学习使用、低成本兼顾沟通准确率和效率的系统从而达到更加便于落地推广的目标,本文提出了一种基于嵌入式系统的手指操作发声和指尖振感接收信息的交互系统。并根据提出方案进行了系统的需求分解,系统软硬件设计和产品开发实现。本文的创新点如下:1)本文系统采用手指按键和指尖振感作为聋哑人信息表达和接收的接口,相较于手语和输入文字的方案,具有更好的操作便捷性和表达效率。2)本文系统手指编码基于发音,容易学习且训练素材丰富。较好的改善了手语、文字翻译方案对使用者手语和文字水平要求高,难以推广的问题。3)本文系统硬件设计价格低廉且维护成本低。相较于比较昂贵的手语翻译、人工耳蜗等方案,具有更好的成本优势。为了验证沟通效果,我们进行了交互准确率和效率的测试。针对测试集数据,经过2个小时的练习时间,本文提出交互系统的信息表达准确率达到97%,表达效率为1.075字/秒;信息接收准确率达到90.9%,信息接收效率为0.817字/秒。实验数据说明了系统基本满足聋哑人用户的交互需求。本系统采用的按键和触摸式振动器的结构相较于其他方案操作更加便捷,整体硬件成本也更低。相较于其它基于手语和文字沟等沟通方案,本系统更易于推广,具有更好的商业化前景。 

关键词：聋哑人交互系统;嵌入式;

文章目录

摘要

ABSTRACT

第一章 绪论

    1.1. 研究背景及意义

    1.2. 国内外研究与现状

        1.2.1. 手语翻译与信息技术的结合

        1.2.2. 基于文字和语音的聋哑人交互技术

        1.2.3. 其他技术研究

    1.3. 本文研究的内容

    1.4. 本文的组织结构

第二章 理论基础与技术支撑

    2.1. 人体听觉与发声原理

    2.2. 语音识别技术

        2.2.1. 声学特征提取

        2.2.2. 语音声学模型

        2.2.3. 语言模型

        2.2.4. 深度学习与语音识别

    2.3. 语音合成技术

    2.4. 蓝牙低能耗技术

    2.5. 本章小结

第三章 系统需求分析

    3.1. 现有技术存在的问题分析

        3.1.1. 沟通效率不高问题的解决方法

        3.1.2. 受众不广泛及学习环境要求较高的解决方法

        3.1.3. 成本与价格问题的解决方法

    3.2. 本文交互方案的内容

        3.2.1. 交互的流程

        3.2.2. 交互系统的构成

        3.2.3. 论文系统对比其他方案的优势分析

    3.3. 系统需求分解

        3.3.1. 操作终端需求分解

        3.3.2. 聋哑人的信息表达接口-按键处理模块

        3.3.3. 聋哑人的信息接收接口-振动控制模块

        3.3.4. 锂电池电源管理模块

        3.3.5. 蓝牙低功耗协议管理模块

        3.3.6. 手机端软件需求分解

        3.3.7. 语音与编码信息的转换服务

        3.3.8. 通信协议管理模块

        3.3.9. 用户操作界面

    3.4. 本章小结

第四章 操作终端设计与实现

    4.1. 操作终端硬件结构设计

    4.2. 操作终端硬件实现

        4.2.1. 电源管理电路实现

        4.2.2. 按键与振动发生电路实现

        4.2.3. 接触感应电路实现

        4.2.4. 微控制器电路实现

    4.3. 操作终端软件结构设计

        4.3.1. 驱动层设计

        4.3.2. 模块抽象层设计

        4.3.3. 业务逻辑层设计

    4.4. 嵌入式软件实现

        4.4.1. 驱动层实现

        4.4.2. 模块抽象层聋哑人表达模块实现

        4.4.3. 聋哑人接收信息模块实现

        4.4.4. 通信交互协议实现

        4.4.5. 模块抽象层指示灯模块实现

        4.4.6. 业务逻辑层实现

    4.5. 本章小结

第五章 手机端软件设计与实现

    5.1. 手机端软件结构设计

        5.1.1. 语音编码转换模块

        5.1.2. 通信协议管理模块

        5.1.3. 图形界面及主体功能

    5.2. 手机端软件实现

        5.2.1. 语音文本转换模块实现

        5.2.2. 文本拼音转换模块实现

        5.2.3. 拼音编码转换模块实现

        5.2.4. 通信协议管理模块的实现

        5.2.5. 通信连接界面的实现

        5.2.6. 聊天记录界面的实现

        5.2.7. 练习界面的实现

        5.2.8. 设置界面实现

    5.3. 本章小结

第六章 系统测试

    6.1. 测试对象与测试目标

    6.2. 测试环境准备

    6.3. 测试方案

    6.4. 测试结果

    6.5. 测试结果分析

第七章 总结

    7.1. 研究总结

    7.2. 需进一步完善的工作

参考文献

[1]加强学科手语研究应用，努力构建教育类国家通用手语体系[J]. 顾定倩.  现代特殊教育. 2020(21)

[2]基于低纬度SVM决策树算法的智能手语翻译手套[J]. 白旭,郭豆豆,杨学康,蒋丽珍.  科技视界. 2020(17)

[3]Transformer-CRF词切分方法在蒙汉机器翻译中的应用[J]. 苏依拉,张振,仁庆道尔吉,牛向华,高芬,赵亚平.  中文信息学报. 2019(10)

[4]基于Lattice-LSTM的多粒度中文分词[J]. 张文静,张惠蒙,杨麟儿,荀恩东.  中文信息学报. 2019(01)

[5]聋哑人也可以打电话[J].   军事文摘. 2015(20)

[6]蓝牙技术数据传输综述[J]. 钱志鸿,刘丹.  通信学报. 2012(04)

[7]聋哑人群的信息交流产品的现状研究[J]. 葛美芹,王猛,张福昌.  消费导刊. 2010(05)

[8]基于N元语法的汉语自动分词系统研究[J]. 石佳,蔡皖东.  微电子学与计算机. 2009(07)

[9]一种基于多重哈希词典和K-最短路径算法的中文粗分词方案研究[J]. 岑咏华.  情报理论与实践. 2009(03)

[10]CAS-Glove型数据手套运动建模与软件系统开发[J]. 付玉锦,原魁,朱海兵,杜清秀.  系统仿真学报. 2004(04)