辜渝傧

13037102709

027-87870986

新闻动态

您当前的位置:首页 > 新闻动态 > 行业动态 >

大数据技术区||大数据由哪些部分构成的?

发布者:唯众    布时间:2020-09-17 09:49:22    点击量:

       近年来互联网、云计算、移动互联网、物联网等新型信息技术的发展,使得数据产生来源更加丰富、类型更加多样化。大数据是由结构化数据、半结构化数据和非结构化数据组成的。

      (1)结构化数据
       结构化数据是指具有固定结构、属性划分以及类型的信息,简单来说就是数据库中存储的数据,通常直接存放在数据库表中。
       一般来讲,结构化数据只占全部数据的20%以内,但是就是这20%以内的数据浓缩了过去很久以来用户各个方面的数据需求,发展也已经成熟。
 
       (2)非结构化数据
       非结构化数据无法用统一的结构来表示,包括视频、音频、图片、图像、文档、文本等形式。通常出现在诸如医疗影像系统、教育视频点播、视频监控、国土GIS、文件服务器、媒体资源管理等具体应用中,这些行业对于存储需求包括数据存储、数据备份以及数据共享等。
       数据记录较小时(如KB级别),可以考虑直接存放到数据库表中(整条记录映射到某个列中);数据较大时,通常考虑直接存放到文件系统中,相关数据的索引信息可以存放到数据库中。
       非结构化中往往存在大量的有价值的信息,特别是随着移动互联网、物联网的发展,非结构化信息正以成倍速度快速增长。
 
       (3)半结构化数据
      半结构化数据具有一定的结构,但又有一定的可变性,如邮件、HTML、报表、资源库等数据。典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。这些应用对于数据存储、数据备份、数据共享以及数据归档等基本存储需求。
       可以考虑直接转换成结构化数据进行存储;也可以根据数据记录的大小和特点,选择合适的存储方式。

唯众大数据实训平台助你快速掌握大数据关键技术点

  大数据实训平台简介

       唯众大数据实训平台系统是针对IT类实验室现状开发的一套虚拟化网络创新教学实训平台,它采用B/S的软件架构,基于web浏览器访问,以少量硬件设备完成大量实训集群的构建,可提供大量学生进行IT类相关实训。每个学生的实训环境互相隔离、实训过程互不干扰。同一页面中既包含了各类实操环境,也包含了每个实验对应的实验文档,省去了在同页面间来回切换的麻烦,实验过程采用分布式设计,配合大数据分析模块,实时监控每个步骤的学习情况,方便学生高效的完成实训操作的同时,大幅节省了硬件成本和人力成本的投入。 

     大数据实训平台特点

      配置灵活
  • 支持集群部署,支持集群内管理云主机,提供高可用特性,自动生成IP池,内置DHCP服务器,自动为云主机分配IP地址
  • 支持自定义镜像上传,可满足多种格式镜像上传及管理功能
  • 支持批量创建/删除多个云主机,支持云主机基本生命周期控制,
  • 支持自定义云主机配置管理
      操作简便
  • 同一页面中既包含了各类实操环境,也包含了每个实验对应的实验文档,省去了在同页面间来  回切换的麻烦。
  • 学生在实验过程中可以根据学习内容记录学习笔记,并查看他人笔记
  • 学生在实验过程中可以将自己遇到的问题进行提问或回答其他同学的问题,老师或其他同学可对起问题进行回答
  • 学生在实验结束后在线提交实验报告,并查看成绩以及评语
唯众大数据实训平台
 

大数据实训资源

大数据之Linux基础
大数据之Python基础
大数据之MySQL基础
大数据之Java程序设计
大数据之jQuery数据处理
大数据之可视化
大数据之JavaWeb应用程序设计
大数据之JavaWeb图书管理系统项目
大数据之JavaWeb试题库管理系统项目
大数据之环境搭建
Hadoop离线大数据网站点击流日志分析
Hadoop离线大数据学情分析系统开发
Spark Streming医疗实时审核系统开发
Spark用户人群画像系统开发
 
 


上一篇:大数据技术区||大数据有哪些特征?

下一篇:大数据技术区||大数据由什么意义?