一种利用大数据技术的互联网教学系统所属技术领域
本发明涉及一种利用大数据技术的互联网教学系统。
背景技术
移动学习作为网络化学习的一个分支,正日益受到人们的关注,并成为高等教育
技术及相关领域研究的新热点。移动学习作为一种全新的学习形式在学校教育和培训领域
有着不可估量的应用潜力。移动学习的主要目的就是利用移动终端和无线通信网络进行教
学相关的活动,包括上课学习、访问教学资源、课程评价和测试等等。
随着互联网的发展,学习活动从教室扩展到Internet,出现了很多互连网教学系
统平台,但是现如今的在线学习系统还存在很多的缺陷:教学资源利用率不高;学习资源数
不胜数,学习者如大海捞针一般无法快速地找到所需的资源;学习者需要手动输入描述词
汇进行搜索,系统不能根据用户自身的信息主动推荐。这些缺陷使得网络学习失去了原有
的优势,因此,急需将个性化服务融入到互连网教学系统平台中。这样通过系统的主动推送
使用户能够快速、准确地获取所需的资源,而不必自己去检索、寻找资源,从而提高了用户
找寻资源的效率,为用户节省大量的时间。另外,通过个性化推荐技术,可以保证推荐资源
的质量,提高资源利用率,为处于“学习迷航”的学习者指明学习方向。
在大数据应用系统中,当前多个行业,尤其是情报分析领域,会从多个数据源获取
不同的数据,数据类型又有结构化数据、半结构化数据、非结构化数据;数据内容格式杂乱
无章,信息虚实结合。所以需要通过大数据分析技术,从海量多源异构数据中挖掘中有用的
价值信息,为各类分析应用提供数据支撑。随着互联网教学技术的迅猛发展,当前进入了信
息爆炸的时代,海量信息同时呈现,大量的UGC(互联网术语,全称为User Generated
Content,即用户生成内容的意思)内容、音频、文本信息、视频、图片等非结构化数据出现
了,因此有必要在互联网教学系统中引进大数据技术。
此外,为解决互联网教学系统数据通信中的安全问题,加密通信已成为逐渐走入
人们的视野,加密通信主用采用端到端全程加密技术,空中接口和网络之间全程采用密文
传送方式,令通话难以窃听,保证了整个数据通信过程的安全性。
发明内容
本发明提供一种利用大数据技术的互联网教学系统,该系统可以实现无线实时网
络教学,能够实现教师、学生的远程互动,系统利用大数据的处理技术,能够为海量的学习
客户端数据进行处理和分析,借鉴了电子商务中协同过滤推荐算法的优点,将协同过滤技
术与学习平台相结合,大大的提高了在线学习资源的利用率,教学数据通过加密处理后,进
行远程传输,保证了教学数据传输的安全性。
为了实现上述目的,本发明提供一种利用大数据技术的互联网教学系统,该系统
包括多个移动学习终端,教学服务器和大数据处理装置;
其中,移动学习终端包括:
学习端交互模块,用于采集学生的视频和音频,可用于播放教学音频和视频,可以
实现学生与教学服务器的互动;
学习数据存储及处理模块,用于存储和处理移动学习端数据;
学习端无线数据传输接口,用于学习端无线收发数据,可用于与教学服务器和大
数据处理装置的无线通信;
学习控制模块,用于控制和协调移动学习终端的各个模块;
所述教学服务器包括:
教学端交互模块,用于采集教学视频和音频,可用于播放学生音频和视频,可用于
实现与移动学习终端的互动;
教学数据存储及处理模块,用于存储和处理移动教学端数据;
教学端无线数据传输接口,用于教学端无线收发数据,可用于与移动学习终端和
大数据处理装置的无线通信;
学习资源定位推荐模块,可以通过分析学习端的大数据,对学习端的学习兴趣进
行准确定位,从而对学习终端的学习资源进行个性化推荐;
教学控制模块,用于控制和协调教学服务器的各个模块;
所述大数据处理装置用于对海量的客户端数据进行处理,构建数据库,从而为各
类数据分析、学习客户端兴趣分析、关系发现提供数据支撑,该大数据处理装置包括:
处理装置无线数据传输接口,用于处理装置收发数据,可用于与教学服务器和移
动学习终端的无线通信;
抽取转换模块,用于从多个学习终端抽取大数据,并对大数据进行规则转换;
大数据处理模块,用于对进行规则转换后的大数据进行数据处理;
建库模块,用于根据数据处理后的大数据建立数据库。
优选的,所述学习资源定位推荐模块包括管理单元、推荐策略单元及数据库单元,
其中:
管理单元:主要用于对用户信息进行管理和学习资源的管理;
推荐策略单元,用于向登录学习平台的用户推荐学习资源;
数据库单元,用于存放系统所需要的包括信息表在内的各种基础数据,数据库单
元与管理单元之间是数据之间的存放关系,管理单元中产生的数据表都会存入数据库中,
管理单元中的用户信息、学习资源信息各自的管理都会产生相应的数据表。
优选的,所述管理单元,包括用户管理子单元和学习资源管理子单元,所述用户管
理子单元主要是对用户的登录、注册信息进行管理;学习资源管理子单元主要包括学习资
源的类型管理以及用户对资源的操作,学习资源的类型主要包括视频资源和文本资源,所
述的用户对资源的操作,主要有评分、点赞、下载以及分享。
优选的,所述推荐策略单元,主要包括热门学习资源推荐子单元和协同过滤推荐
子单元:其中
热门学习资源推荐子单元,主要针对新用户,当新用户初次进入系统后,通过热门
学习资源排行对新用户进行推荐,并要求新用户对热门学习资源进行评分,初次预测用户
的学习兴趣;
协同过滤推荐子单元,主要针对的是非新用户,通过分析用户对学习资源的评分
来计算用户间的相似度,寻找出最近邻居集,根据相似用户的学习经历对目标用户进行推
荐。
优选的,所述数据库单元存放有包括:用户信息表、用户对资源学习的数据表格信
息、学习资源类型表、资源评分表。
优选的,所述从多个学习终端抽取的大数据包括:结构化数据和非结构化数据。
优选的,对大数据进行规则转换的方式包括数据清洗和数据预处理,数据清洗和
数据预处理包括以下至少之一:
格式标准化、异常数据清除、错误纠正、去重。
优选的,所述教学控制模块,包括数据安全控制单元,当所述移动学习终端和大数
据处理装置需要与教学服务器进行数据交换时,将向所述数据安全控制单元发送会话请
求;所述数据安全控制单元接收所述会话请求后,为所述移动学习终端和大数据处理装置
需分配会话。
优选的,所述数据安全控制单元,将为分配的会话设置会话标识符,并根据所述会
话标识符,获得会话密钥,所述会话标识符可以对所述会话进行唯一标识;所述会话密钥可
以加密会话。
优选的,所述数据安全控制单元,将所述会话标识符和会话密钥使用加密的方式,
传送给所述移动学习终端和大数据处理装置,并使用数据安全控制单元中的私钥进行签
名,使所述移动学习终端和大数据处理装置可以利用接收的数据安全控制单元的公钥进行
验证,增强会话安全性;所述移动学习终端和大数据处理装置可以使用所述会话密钥加密
数据信息,并传送给所述数据安全控制单元,或者解密从所述数据安全控制单元中取得的
加密的数据信息,对所述密钥进行数据筛选与正交处理。
优选的,所述数据安全控制单元也可以使用所述会话密钥加解密数据信息,与所
述移动学习终端和大数据处理装置进行数据交换;当所述移动学习终端和大数据处理装置
需要向教学服务器发送数据信息时,数据安全控制单元接收所述移动学习终端和大数据处
理装置发送的加密的数据信息,并利用所述会话密钥解密密文信息得到原始明文信息;当
所述移动学习终端和大数据处理装置需要从所述教学服务器中获取数据信息时,所述数据
安全控制单元将所述移动学习终端和大数据处理装置需要的数据信息利用会话密钥进行
加密后,传送给所述移动学习终端和大数据处理装置,并利用所述会话密钥解密密文信息
得到原始明文信息;使得数据交换安全进行。
本发明具有以下优点和有益效果:可以实现无线实时网络教学,能够实现教师、学
生的远程互动,系统利用大数据的处理技术,能够为海量的学习客户端数据进行处理和分
析,借鉴了电子商务中协同过滤推荐算法的优点,将协同过滤技术与学习平台相结合,大大
的提高了在线学习资源的利用率,教学数据通过加密处理后,进行远程传输,保证了教学数
据传输的安全性。
附图说明
图1示出了本发明的一种利用大数据技术的互联网教学系统的框图。
图2示出了本发明的一种基于大数据的互联网教学系统的运行方法的流程图。
具体实施方式
图1是示出了本发明的一种利用大数据技术的互联网教学系统,该系统包括多个
移动学习终端1,教学服务器2和大数据处理装置3;
其中,移动学习终端1包括:
学习端交互模块11,用于采集学生的视频和音频,可用于播放教学音频和视频,可
以实现学生与教学服务器的互动;
学习数据存储及处理模块12,用于存储和处理移动学习端数据;
学习端无线数据传输接口14,用于学习端无线收发数据,可用于与教学服务器和
大数据处理装置的无线通信;
学习控制模块13,用于控制和协调移动学习终端的各个模块;
所述教学服务器2包括:
教学端交互模块23,用于采集教学视频和音频,可用于播放学生音频和视频,可用
于实现与移动学习终端的互动;
教学数据存储及处理模块22,用于存储和处理移动教学端数据;
教学端无线数据传输接口21,用于教学端无线收发数据,可用于与移动学习终端
和大数据处理装置的无线通信;
学习资源定位推荐模块25,可以通过分析学习端的大数据,对学习端的学习兴趣
进行准确定位,从而对学习终端的学习资源进行个性化推荐;
教学控制模块24,用于控制和协调教学服务器的各个模块;
所述大数据处理装置3用于对海量的客户端数据进行处理,构建数据库,从而为各
类数据分析、学习客户端兴趣分析、关系发现提供数据支撑,该大数据处理装置包括:
处理装置无线数据传输接口31,用于处理装置收发数据,可用于与教学服务器和
移动学习终端的无线通信;
抽取转换模块32,用于从多个学习终端抽取大数据,并对大数据进行规则转换;
大数据处理模块33,用于对进行规则转换后的大数据进行数据处理;
建库模块34,用于根据数据处理后的大数据建立数据库。
优选的,所述学习资源定位推荐模块25包括管理单元、推荐策略单元及数据库单
元,其中:
管理单元:主要用于对用户信息进行管理和学习资源的管理;
推荐策略单元,用于向登录学习平台的用户推荐学习资源;
数据库单元,用于存放系统所需要的包括信息表在内的各种基础数据,数据库单
元与管理单元之间是数据之间的存放关系,管理单元中产生的数据表都会存入数据库中,
管理单元中的用户信息、学习资源信息各自的管理都会产生相应的数据表。
优选的,所述管理单元,包括用户管理子单元和学习资源管理子单元,所述用户管
理子单元主要是对用户的登录、注册信息进行管理;学习资源管理子单元主要包括学习资
源的类型管理以及用户对资源的操作,学习资源的类型主要包括视频资源和文本资源,所
述的用户对资源的操作,主要有评分、点赞、下载以及分享。
优选的,所述推荐策略单元,主要包括热门学习资源推荐子单元和协同过滤推荐
子单元:其中
热门学习资源推荐子单元,主要针对新用户,当新用户初次进入系统后,通过热门
学习资源排行对新用户进行推荐,并要求新用户对热门学习资源进行评分,初次预测用户
的学习兴趣;
协同过滤推荐子单元,主要针对的是非新用户,通过分析用户对学习资源的评分
来计算用户间的相似度,寻找出最近邻居集,根据相似用户的学习经历对目标用户进行推
荐。
优选的,所述数据库单元存放有包括:用户信息表、用户对资源学习的数据表格信
息、学习资源类型表、资源评分表。
优选的,所述从多个学习终端抽取的大数据包括:结构化数据和非结构化数据。
优选的,对大数据进行规则转换的方式包括数据清洗和数据预处理,数据清洗和
数据预处理包括以下至少之一:
格式标准化、异常数据清除、错误纠正、去重。
优选的,所述教学控制模块24,包括数据安全控制单元,当所述移动学习终端1和
大数据处理装置2需要与教学服务器进行数据交换时,将向所述数据安全控制单元发送会
话请求;所述数据安全控制单元接收所述会话请求后,为所述移动学习终端1和大数据处理
装置2需分配会话。
优选的,所述数据安全控制单元,将为分配的会话设置会话标识符,并根据所述会
话标识符,获得会话密钥,所述会话标识符可以对所述会话进行唯一标识;所述会话密钥可
以加密会话。
优选的,所述数据安全控制单元,将所述会话标识符和会话密钥使用加密的方式,
传送给所述移动学习终端1和大数据处理装置2,并使用数据安全控制单元中的私钥进行签
名,使所述移动学习终端和大数据处理装置可以利用接收的数据安全控制单元的公钥进行
验证,增强会话安全性;所述移动学习终端和大数据处理装置可以使用所述会话密钥加密
数据信息,并传送给所述数据安全控制单元,或者解密从所述数据安全控制单元中取得的
加密的数据信息,对所述密钥进行数据筛选与正交处理。
优选的,所述数据安全控制单元也可以使用所述会话密钥加解密数据信息,与所
述移动学习终端和大数据处理装置进行数据交换;当所述移动学习终端和大数据处理装置
需要向教学服务器发送数据信息时,数据安全控制单元接收所述移动学习终端和大数据处
理装置发送的加密的数据信息,并利用所述会话密钥解密密文信息得到原始明文信息;当
所述移动学习终端和大数据处理装置需要从所述教学服务器中获取数据信息时,所述数据
安全控制单元将所述移动学习终端和大数据处理装置需要的数据信息利用会话密钥进行
加密后,传送给所述移动学习终端和大数据处理装置,并利用所述会话密钥解密密文信息
得到原始明文信息;使得数据交换安全进行。
图2示出了本发明的一种基于大数据的互联网教学系统的运行方法的流程图。该
方法具体包括如下步骤:
S1.移动学习终端和大数据处理装置分别与教学服务器建立连接,大数据处理装
置和移动学习终端建立连接;
S2.大数据处理装置从多个移动学习终端实时获取海量数据,并对海量数据进行
处理,建库;
S3.移动学习终端和大数据处理装置与教学服务器三者之间实时通过安全加密的
方式收发数据;
S4.教学服务器实时接收移动教学服务器和大数据处理装置发送的数据,并实时
定位移动学习终端的兴趣,推荐适合的学习内容,实现移动学习终端与教学服务器之间的
个性化互动。
优选的,在步骤S2中具体包括如下步骤:
从多个移动学习终端抽取大数据,并对大数据进行规则转换;
对进行规则转换后的大数据进行数据处理;
根据数据处理后的大数据建立数据库。
优选的,其中,从多个移动学习终端抽取的大数据包括:结构化数据和非结构化数
据,对大数据进行规则转换的方式包括数据清洗和数据预处理,数据清洗和数据预处理包
括以下至少之一:
格式标准化、异常数据清除、错误纠正、去重。
优选的,在步骤S4中,采用如下步骤实现实时定位移动学习终端的兴趣,推荐适合
的学习内容:
S41.获取用户-资源评分矩阵;包括m个移动学习客户端对n个资源的评分,形成m
×n矩阵;
S42.选择相似度计算公式,计算产生最近邻居集合;设置用户共同评分数量阈值
T,若共同评分数量<T,则使用改进的相似度计算方法;反之,则使用余弦相似度或者皮尔森
相关系数相似度计算方法;
S43.引入时间函数,评分预测计算并产生推荐结果。
优选的,在所述步骤S42中,所述步骤改进的相似度计算方法为:
其中SU,V表示用户U与用户V的相似度;RU,V表示用户U和用户V的共同评分资源集
合;rU,i表示用户U对资源i的评分;rV,i表示用户V对资源i的评分;表示用户U对资源的平
均评分;表示用户V对资源的平均评分;
F(rU,i,rV,i)表示包含用户u对资源i的评分、用户V对资源i的评分的评分约束函
数;di表示用户U和用户V对资源i评分的绝对距离;rm表示系统设定的评分范围的评分中值;
RatingStart表示系统设置评分范围的其实质;RatingEnd表示系统设置的评分范围的结束
值。
优选的,在所述步骤S43中,所述引入时间函数,具体为:
ft=Ne-μtui
其中,表示用户U对资源的平均评分;
SU,V表示用户U与用户V的相似度;
rX,i表示用户X对资源i的评分;
NU表示与用户U最相似的邻居集合;
X表示用户U最相似的邻居集合中的用户之一;
ft表示时间函数,时间函数越大,用户兴趣越新,tui表示用户对学习资源的评分时
间;
N和μ为时间衰减参数。
优选的,在步骤S1中,所述移动学习终端和大数据处理装置与教学服务器建立连
接的过程中,其步骤包括:
所述移动学习终端和大数据处理装置向所述教学服务器发起TCP连接;
使用教学服务器的公钥检查判断所述移动学习终端和大数据处理装置提供的sig
是否合法;若判定为否时,则连接失败,若判定为是时,则所述移动学习终端和家长端与基
站建立连接。
优选的,在所述S3中的安全加密的方式收发数据具体包括如下步骤:
S31.使得教学服务器接受至少一公私钥对的设置,且使移动学习终端和大数据处
理装置具有公钥;
S32.教学服务器接移动学习终端和大数据处理装置的会话请求并分配会话;
S33.教学服务器设置会话标识符,根据会话标识符获得会话密钥;
S34.将所述会话标识符和会话密钥加密,并使用私钥签名传送给移动学习终端和
大数据处理装置;
S35.利用所述会话密钥加解密数据信息,进行数据信息安全传输。
优选的,在步骤S31中,在教学服务器的教学控制模块的数据安全控制单元中设置
至少一公私钥对,且使移动学习终端和大数据处理装置具有公钥;所述公私钥对相应的加
密算法可以使用ECC算法,具体过程如下:
S311.将T_SKA/T_PKA、NB_SKB/NB_PKB,通过椭圆曲线点乘算法,计算密钥协商第
一部分Part1;
密钥协商第一部分Part1=DPSM2(TSKA,NBPKB);
S312:将NB_SKA/NB_PKA、T_SKB/T_PKB,通过椭圆曲线点乘算法,计算密钥协商第
二部分Part2;
密钥协商第二部分Part2=DPSM2(NBSKA,TPKB);
S313:将NB_SKA/NB_PKA、NB_SKB/NB_PKB,通过椭圆曲线点乘算法,计算密钥协商
第三部分Part3;
第三部分Part3=DPSM2(NBSKA,NBPKB);
S314:将密钥协商第一部分Part1、密钥协商第二部分Part2、密钥协商第三部分
Part3连接成密钥分量KM;
密钥分量KM=Part1||Part2||Part3);
S315:将密钥分量KM和第一字符串用SM3算法压缩成256bit的父滚动代表初始密
钥N_CC;
初始密钥N_CC=HSM3(KM||第一字符串)
根据椭圆曲线点乘算法特点,通过该计算过程,通信双方计算出一致的父滚动代
表初始密钥N_CC。
优选的,在所述步骤S32中,当移动学习终端和大数据处理装置需要与教学服务器
进行数据交换时,将向所述数据安全控制单元发送会话请求;所述数据安全控制单元接收
所述会话请求后,为所述移动学习终端和大数据处理装置分配会话。
优选的,在所述步骤S33中,所述数据安全控制单元,将为分配的会话设置会话标
识符,并根据所述会话标识符,获得会话密钥,所述会话标识符可以对所述会话进行唯一标
识;所述会话密钥可以加密会话。
优选的,所述数据安全控制单元,将所述会话标识符和会话密钥使用加密的方式,
传送给所述移动学习终端和大数据处理装置,并使用数据安全控制单元中的私钥进行签
名,使所述移动学习终端和大数据处理装置可以利用接收的数据安全控制单元的公钥进行
验证,增强会话安全性;所述移动学习终端和大数据处理装置可以使用所述会话密钥加密
数据信息,并传送给所述数据安全控制单元,或者解密从所述数据安全控制单元中取得的
加密的数据信息,对所述密钥进行数据筛选与正交处理。
优选的,所述数据安全控制单元也可以使用所述会话密钥加解密数据信息,与所
述移动学习终端和大数据处理装置进行数据交换;当移动学习终端和大数据处理装置需要
向信息安全设备发送数据信息时,教学服务器接收所述移动学习终端和大数据处理装置发
送的加密的数据信息,并利用所述会话密钥解密密文信息得到原始明文信息;当所述移动
学习终端和大数据处理装置需要从所述教学服务器中获取数据信息时,所述数据安全控制
单元将移动学习终端和大数据处理装置需要的数据信息利用会话密钥进行加密后,传送给
所述移动学习终端和大数据处理装置,并利用所述会话密钥解密密文信息得到原始明文信
息;使得数据交换安全进行。
如上所述,虽然根据实施例所限定的实施例和附图进行了说明,但对本技术领域
具有一般知识的技术人员来说能从上述的记载中进行各种修改和变形。例如,根据与说明
的技术中所说明的方法相不同的顺序来进行,和/或根据与说明的系统、结构、装置、电路等
构成要素所说明的方法相不同的形态进行结合或组合,或根据其他构成要素或均等物进行
替换或置换也可达成适当的效果。对于本发明所属技术领域的普通技术人员来说,在不脱
离本发明构思的前提下,做出若干等同替代或明显变型,而且性能或用途相同,都应当视为
属于本发明的保护范围。