一、智慧语音实验室-406
1. AI能力平台
AI能力平台提供语音合成、实时转写、离线转写、语种识别、语义解析、文本意图分类、人脸识别、中文分词共计八项AI能力。学生可以利用AI能力来创新创业应用开发实践,老师可以利用AI能力快速便捷地开展科研课题项目。平台能实现以下功能:
1)平台提供语音合成、实时转写、离线转写、语种识别、语义解析、文本意图分类、人脸识别、中文分词AI能力。
2)平台提供各项AI能力的技术文档,可查看AI能力介绍与接口说明。
3)平台提供AI能力管理功能,支持新建AI能力、添加API文档、配置接口,可以对能力进行发布、下线和删除等操作。
4)平台提供能力报表功能,可以查看各项能力关联的应用、调用量等信息。
5)平台提供应用管理功能,支持系统管理员新建应用,选择关联能力,配置能力的QPS限制、调用量限制等。支持应用报表功能,可以查看应用基本信息,使用情况统计,管理应用用户,配置IP地址过滤。
6)平台提供应用创建申请与审核功能。应用管理员可以申请创建应用,填写应用基本信息,选择应用需要添加的能力,配置属性信息。系统管理员可以审核应用申请,对各项能力进行通过或驳回操作。
7)平台支持统一的AI能力服务管理功能,可以配置AI能力的运行环境参数。
各项AI能力满足以下要求:
1)语音合成:提供男女播音员标准发音;支持输入中文、英文或中英文混合;支持语速、音量、音调等多种合成参数调节。
2)实时转写:基于深度全序列卷积神经网络,支持将实时音频数据转换成文本数据(在标准普通话下识别达到95%以上),为信息处理和数据挖掘提供基础。
3)离线转写:基于深度全序列卷积神经网络,支持将本地长段音频数据转换成文本数据(在标准普通话下识别达到95%以上),为信息处理和数据挖掘提供基础。
4)语种识别:识别文本语言种类,支持的判断语种涵盖中文、英文、日文、老维文、拉丁维文、藏文、韩文和混合文本(多种文本混合)。
5)语义解析:句子级语义理解引擎,基于大量人人、人机对话,挖掘业务逻辑、常见说法、会话逻辑等知识,采用文法与BLSTM融合抽取语义要素,结合数据搜索、历史信息辅助理解,明确意图。
6)文本意图分类:按照一定的准则,将特定的文本分配到某一个类别或者多个类别的过程。
7)人脸识别:识别图片中的人脸,并对人脸识别结果进行进一步处理,如给出两张对比图片的相似度、人脸位置等信息。
8)中文分词:实现了一种文本分词场景,输入为整篇的文本文档,输出为该文档的分词结果。
2. 超融合管理平台
1)灵活的计算能力支持:
(1)支持主流的虚拟化引擎(KVM)模式;
(2)支持容器集群(LXC、Docker)模式;
(3)支持硬件透传,可以将GPU卡SR-IOV设备透传到虚拟机,提供更高的虚拟机性能。
2)高可用:
(1)云管理平台自身具备高可用功能,云管理平台故障后不影响虚拟机运行;
(2)提供分布式云存储的高可用功能,提供数据多副本功能,保证单个存储节点故障情况下,数据的完整性不受影响。
3)资源调度:提供多种调度策略(至少3种),业务系统根据策略自动选择集群资源池。云平台在创建虚拟机资源时无需指定,而是由云平台根据设置的策略自动将虚拟机调度到最合适的物理机上进行承载。
4)网络和安全功能:
(1)提供SDN网路功能,支持网络转发和控制分离,控制器下放到云节点;
(2)提供VPC网络,允许自定义网络空间,按照业务场景需求划分不同的网段和路由策略,配置公网网关访问互联网;
(3)提供虚拟路由功能,多虚拟机可以共享一个或多个公网IP地址。
5)混合架构云管:支持异构CPU芯片架构的虚拟化集群的统一管理及调度。
6)分布式存储:分布式存储支持SSD加速和在线扩容存储容量,分布式存储提供多副本功能以提高数据的安全性,在出现数据存储节点故障情况下,云平台自动从副本恢复数据且重新生成新的副本,从而不影响数据的完整性,提高数据的冗余度及高可靠性。
7)资源监控:
(1)提供各维度(CPU、I/O、网络等)多维度的监控展示云平台资源运行状态,并且提供自定义的监控服务能力;
(2)提供图标方式了解当前云平台中的计算、存储、网络资源的使用情况;
(3)管理员可以通过界面,查看云平台中服务及资源使用列表,并通过日志查看用户在云平台中的各类操作,便于进行审计和管理。
8)资源配额:云平台管理员可以按照资源需求将资源/服务分配给使用者,提供按照组织架构、项目、用户组、用户等维度分配配额,支持对CPU、内存容量、存储容量、虚拟机数量、vpc数量等精细的配额功能。
9)服务目录管理:提供简洁的服务目录,将云平台的各类资源组装成服务目录方式以及分类,简单方便的可视化操作即可开通所需要的服务。
10)自定义镜像:支持用户虚机自定义镜像功能,提供自定义镜像批量创建虚机的能力。
11)自动快照备份:云平台允许用户配置自动快照策略,可设定按天,按时段等频率对存储卷等资源进行备份。
3. 语音交互开发套件
围绕智能语音交互技术开展理论课程和实验课程的教学,并配套实验项目;学生通过本门课程的学习,不仅对智能语音交互领域涉及的语音合成、语音识别、语义理解等技术进行了深入的理论讲解,同时对相关技术在实际项目应用中的功能集成方法以及相关能力接口的调用方式进行项目式实践教学,同时可以具备智能应用的开发实践能力。
4. 能完成的实验项目
序号 | 实验项目名称 |
1 | 开发环境搭建 |
2 | 语音识别技术体验 |
3 | 语音合成技术体验 |
4 | 语义理解技术体验 |
5 | 语音技术综合实验 |
二、创建实验室工具套装-417
1.工具套装
工具套装不仅可满足各类信息类学科竞赛的要求,为学生营造良好的学习环境,提升学生创造能力,如大学生创客制作、创新创业竞赛、大学生电子设计大赛、大学生智能车竞赛、大学生物联网竞赛、大学生嵌入式系统设计竞赛等多种学科竞赛;还能进行电子电路设计与制作、小型机械零件加工、整机调试。同时也可为教师的科研提供专业的硬件设施帮助,让教学与科研相互促进,从而提高教师整体理论与实践教学能力、科研水平。
2.设备清单
序号 | 设备名称 | 单位 | 数量 |
1 | DC电子负载 | 台 | 2 |
2 | 示波器1 | 台 | 1 |
3 | 示波器2 | 台 | 4 |
4 | 逻辑分析仪 | 台 | 1 |
5 | 信号发生器 | 台 | 4 |
6 | 实时频谱分析仪 | 台 | 1 |
7 | 射频信号源 | 台 | 1 |
8 | 可调直流电源 | 台 | 4 |
9 | 可编程直流电源 | 台 | 1 |
10 | 数字万用表 | 台 | 1 |
11 | 热风拆焊台 | 台 | 1 |
12 | 控温恒温电洛铁电焊台 | 台 | 4 |
13 | 工具套装 | 套 | 4 |
14 | 光固化3D打印机 | 台 | 1 |
15 | 钳工工作台 | 台 | 1 |
16 | 台虎钳 | 台 | 1 |
17 | 电子元件柜 | 个 | 4 |
18 | 智能移动抓取平台 | 台 | 1 |
19 | 轻舟机器人 | 台 | 1 |
20 | 迷你机床 | 台 | 1 |
21 | 多功能钻铣床 | 台 | 1 |
22 | 多功能钻铣床机架 | 台 | 1 |
23 | 万用表 | 只 | 4 |
24 | 数字钳形表 | 只 | 1 |
25 | LCR电桥测试仪 | 台 | 1 |
26 | PCB设计显示器34‘4K | 台 | 2 |
27 | 元件包 | 个 | 2 |
3.能完成的实验项目
序号 | 实验项目名称 |
1 | 创新创业实践项目(互联网+、挑战杯) |
2 | 全国大学生电子设计竞赛项目 |
3 | 全国大学生智能车竞赛项目 |
4 | 全国大学生工程创新竞赛项目 |
5 | 蓝桥杯嵌入式系统竞赛项目 |
三、机器视觉实验室-412
机器视觉实验室包含了焊接机器人,6自由度的协作机器人,以及工业视觉检测单元;采用工业焊接机器人配合工业视觉单元,能够模拟“手眼一体”智能系统的相关功能;在本实验室中,工业视觉单元具有双向开发功能,既能够配合焊接机器人模拟“手眼一体”功能,实现边焊接、边检测焊缝质量的功能,也支持配合协作机器人完成不同规格、不同类型焊件的智能识别与智能码垛。下一步,本实验室将面向智慧物流行业,开发具备视觉检测识别功能的智慧物流分拣机器人,并将其应用于智慧物流行业。
四、并联机器人实验室-413
并联机器人实验室包含了并联机器人,小型传送带,协作臂上下料系统,视觉检测系统及分拣系统;采用视觉检测完成良次品的自动筛选与分拣;并联机器人的分拣速率最高可达0.5 s/次;本实验室将面向盐城区域LED光电器件、柔性电路板等电子信息产品开发不同产品、不同缺陷、不同节拍的柔性敏捷智能分拣产线,以实现视觉图像检测、人工智能算法、并联机器人等关键技术的综合开发与应用。
五、工业数采DT科研平台-415室
工业数采DT科研平台包含了小型数据采集平台、小型数据接口集成平台,以及工作站控制中心;本实验室集成了目前工业上的主流的各类传感器、数据采集接口,将工业现场主流应用的Modbus协议、Profinet协议、CAN总线协议、Ethernet以太网协议、485串口协议等全部集成在一起,方便科研团队师生模拟各种不同的工业现场SCADA数据采集要求;同时,工作站控制中心开发了基于数字孪生技术的同步控制系统,能够实现虚实同步、以虚控实、产线模拟仿真等功能。下一步,科研团队将依托本实验室资源,面向高端装备制造行业,联合相关企业共同开发具有数字孪生虚拟仿真功能的各类非标定制化产线控制系统。
六、无人系统实验室-417室
无人系统实验室主要包含一台线控智能底盘系统,及一台复合机器人系统;线控智能底盘系统主要面盐城地区新能源汽车产业,瞄准智能线控底盘的控制与集成等进行关键技术研发;复合机器人系统采用AGV底盘+协作臂的组合方式,进行视觉SLAM、激光雷达SLAM、多源传感融合、智能导航与路径规划、分步协同控制等关键技术研发。当前,复合机器人系统承接了上海动车段的一项课题,旨在通过相关智能系统的开发实现高铁检修轮轴轴箱端盖螺栓螺母的自动拆装功能,进而实现高铁轮轴轴箱端拆装无人化。下一步,将基于复合机器人相关关键技术的研发成果,拓展不同的应用场景,实现全场景智能复合无人系统整体解决方案的集成与供应。
七、三至六能完成的实验项目
序号 | 实验项目名称 |
1 | 离线编程实现不同零件的焊接 |
2 | 展示良、次品产品的自动筛选 |
3 | 模拟不同的工业现场数据采集,实现数字孪生系统开发 |
4 | 采用视觉、激光雷达SLAM技术,实现设备的自动拆装功能 |
5 | 开展青少年科学教育,激发青少年学习兴趣 |
西伏河人工智能学院实验室开放指南.doc