随着城市化进程的加快,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。目前交通行业数据处理和利用的现状如下:
1. 存在数据孤岛:各部门独自拥有各个业务系统数据,管理、共享难;各交通部门在建设部门数据库系统时,只考虑了满足自身业务需求,缺乏统一规划;各种交通信息资源分散存储,各部门或各系统的数据库相互分离,数据共享交换机制还没有形成。
2. 数据资产流失:历史数据由于存储手段、存储格式、存储介质等原因,难以保存和利用,例如新旧系统切换时数据的备份机制如果没有做好,就会出现历史数据资产流失。
3. 智能化程度低:对于紧急事故的处理,主要由人的经验来做决策,很少用数据说话,应急指挥、道路规划等迫切需要智能化解决方案;
4. 精细化管理不够:数据缺乏统一管理、难以支持精细化管理和科学化决策,数字资源综合利用率低。
交通大数据解决方案
H3C大数据平台采用融合架构:新型MPP数据库与Hadoop生态系统融合一体,用MPP处理PB级别的、高质量的结构化数据,同时为应用开发提供标准SQL接口;用Hadoop存储与处理半结构化、非结构化的视频监控、GPS定位信息、RFID识别信息等数据,这样可同时满足结构化、半结构化和非结构化数据的处理需求;运维管理平台统一管理MPP与Hadoop集群。交通行业大数据平台架构如下图所示:
通过采集不同数据源、不同业务系统的数据,导入到大数据平台中,对接上层个性化数据分析、数据挖掘、BI报表展示等应用。数据抽取融合如下图所示:
H3C交通大数据解决方案的价值
交通大数据来源广泛,主要分为静态大数据与动态大数据。静态大数据包括城市交通的基础空间数据库、道路交通网络信息、道路交通客运信息、航班信息、列车时刻表信息等数据;动态大数据包括卫星遥感、航空摄影测量、地面视频、交通工具实时位置信息等数据。
新华三集团交通大数据解决方案,基于开源的分布式存储、计算框架,以满足当前海量、多样化数据的存储与计算需求。该方案结合对交通主体、行为、态势、路网拓扑和环境等机理的理解,基于数据的标准规范,收集、存储与分析海量的数据,发掘交通出行规律、快速处理交通难题、解决大面积交通拥堵问题、提倡绿色出行理念以及实现各种交通业务创新。
大数据之于智能交通的意义,可以跨越行政区域的限制,实现交通数据信息的共享,在信息集成优势和组合效率上,建立综合性、立体的交通信息体系;另外在车辆安全、交通资源配置以及利用大数据的快速性和可预测性来提升交通预测的水平,都有极大的帮助。
随着城市化进程的加快,交通拥堵、交通污染日益严重,交通事故频繁发生,这些都是各大城市亟待解决的问题。为此,及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提,而这一难题可以通过大数据技术得到解决。目前交通行业数据处理和利用的现状如下:
1. 存在数据孤岛:各部门独自拥有各个业务系统数据,管理、共享难;各交通部门在建设部门数据库系统时,只考虑了满足自身业务需求,缺乏统一规划;各种交通信息资源分散存储,各部门或各系统的数据库相互分离,数据共享交换机制还没有形成。
2. 数据资产流失:历史数据由于存储手段、存储格式、存储介质等原因,难以保存和利用,例如新旧系统切换时数据的备份机制如果没有做好,就会出现历史数据资产流失。
3. 智能化程度低:对于紧急事故的处理,主要由人的经验来做决策,很少用数据说话,应急指挥、道路规划等迫切需要智能化解决方案;
4. 精细化管理不够:数据缺乏统一管理、难以支持精细化管理和科学化决策,数字资源综合利用率低。
交通大数据解决方案
H3C大数据平台采用融合架构:新型MPP数据库与Hadoop生态系统融合一体,用MPP处理PB级别的、高质量的结构化数据,同时为应用开发提供标准SQL接口;用Hadoop存储与处理半结构化、非结构化的视频监控、GPS定位信息、RFID识别信息等数据,这样可同时满足结构化、半结构化和非结构化数据的处理需求;运维管理平台统一管理MPP与Hadoop集群。交通行业大数据平台架构如下图所示:
通过采集不同数据源、不同业务系统的数据,导入到大数据平台中,对接上层个性化数据分析、数据挖掘、BI报表展示等应用。数据抽取融合如下图所示:
H3C交通大数据解决方案的价值
交通大数据来源广泛,主要分为静态大数据与动态大数据。静态大数据包括城市交通的基础空间数据库、道路交通网络信息、道路交通客运信息、航班信息、列车时刻表信息等数据;动态大数据包括卫星遥感、航空摄影测量、地面视频、交通工具实时位置信息等数据。
新华三集团交通大数据解决方案,基于开源的分布式存储、计算框架,以满足当前海量、多样化数据的存储与计算需求。该方案结合对交通主体、行为、态势、路网拓扑和环境等机理的理解,基于数据的标准规范,收集、存储与分析海量的数据,发掘交通出行规律、快速处理交通难题、解决大面积交通拥堵问题、提倡绿色出行理念以及实现各种交通业务创新。
大数据之于智能交通的意义,可以跨越行政区域的限制,实现交通数据信息的共享,在信息集成优势和组合效率上,建立综合性、立体的交通信息体系;另外在车辆安全、交通资源配置以及利用大数据的快速性和可预测性来提升交通预测的水平,都有极大的帮助。
2010年,国家公布的“十二五”规划中指出要重点建设国家级、省级和地市级三级卫生信息平台,建设电子档案和电子病历两个基础数据库等诸项目标,即推进医疗信息化的“3521”工程。过去由于缺少统一的电子病历系统(EMR)标准,中国的电子病历系统发展比较缓慢,医院之间不能实现病患信息共享,医疗服务水平也因此受到影响。为改善这一现状,国家会逐渐加大对电子病历的投入。适应这一趋势,各级医院也将大力投入大数据、云计算、医疗物联。而随着医疗信息数据的几何倍数增长,医院信息海量存储将越来越受到重视,新华三集团医疗大数据致力于提高医疗和养老的服务效率和质量、降低服务成本、改善就医和养老的客户体验智慧体系。
医疗大数据解决方案:采用华三DataEngine大数据平台,为客户提供更好的智慧医疗服务。在医疗+互联网化场景,有效的提升了医疗信息系统的处理效率,提升了海量病人电子档案迅速检索,针对患者档案大幅提升快速分析性能,实现快速高效即席查询,为海量的EMH历史档案分析应用提供了数据支撑,根据历史诊断给患者精准的病例画像。
华三大数据平台DataEngine重构包括人口信息、医疗资源、电子健康档案、电子病历、生命体征信息、医学影像在内的医疗卫生全领域大数据信息库,建立相应的信息存储、交换共享的标准规范体系。围绕以患者为核心建立标准化的EHR档案平台。
医疗大数据以“人”连接平台、打通行业孤岛,在系统间互联互通的基础上实现健康档案的互操作,借助各方力量共同为民众完善健康档案。“健康档案”作为患者个人的“健康门户”,统一各行业、各平台系统对于个人电子健康记录的需求,实现信息互补和共用。
基于健康档案(EHR)大数据库,从业务需求出发,通过华三大数据DataEngine分析,挖掘展现周期性的突发疾病、传染病、重点疾病及相应诊疗费用等监测、监管和预警。
华三通信DataEngine大数据平台专业致力于提高医疗和养老的服务效率和质量,降低服务成本,改善就医和养老的客户体验智慧体系,有效的提升了患者健康档案的在线即席查询效率,患者健康问题检索,海量病例分析。最终实现:
(1)大数据分析以患者为中心的医院诊疗服务系统和管理系统的智能化
(2)以海量居民电子健康档案为核心的区域医疗服务系统的信息标准化和互联互通
(3)面向居家养老、社区养老、机构养老,突出“医”和“养”相融合的养老服务智能化系统。
H3C DataEngine Lion运维大数据平台能够帮助运维人员从传统被动救火的运维方式中解脱,利用大数据技术做到精准、智能的运维,主要解决用户如下运维难题:
1. 运维日志分散,定位问题需要单独登陆设备、系统去分析。一个简单问题定位原因可能会涉及系统众多,需要很长时间多部门人员沟通协调,Lion可以做到运维日志的集中管理。
2. 海量数据存储、检索问题,每天新增大量的日志数据,历史数据存储成本高,存了无法有效分析利用、带来价值,Lion做到了存储的弹性扩展以及高效检索。
3. 各种设备、应用提供的日志信息之间难以关联,一个问题的出现很可能从应用系统到硬件都有日志记录保存,利用Lion的机器学习、大数据技术能分析日志之间的关联性,可高效定位问题。
4. 问题事件难以提前预警,往往是出了问题再去分析定位,Lion利用丰富的机器学习算法,做到运维问题事件的智能预警。
5. 报表统计需要手工操作,日志数据可视化程度不够,Lion集成丰富的可视化图表、仪表盘,让数据更生动,让用户更易发现日志数据的关联。
H3C DataEngine Lion运维大数据平实现了对网络设备、服务器、安全设备、操作系统、应用系统的日志自动收集、集中存储、快速检索、智能告警、可视化,运用大数据的技术手段来帮助运维人员摆脱传统IT运维的困境。
数据源采集
支持采集服务器、网络设备、安全设备、操作系统、数据库、应用系统等日志文件;支持采集数据库访问日志;支持网络流量采集;支持设备性能指标采集;支持端口监听收集数据等,几乎支持全数据源采集。
格式解析
1. 支持自动化解析常见类型的日志。
2. 支持配置解析规则对日志解析。
3. 对于不能被自动识别的日志,会对其全文索引。
数据存储
采用分布式存储架构,节点可在线动态扩展增加存储容量,支持PB级别以上海量数据存储,支持高可用、多副本机制、快照功能。
数据检索
1. 支持全文检索功能。支持近实时的搜索效果,一般查询在毫秒级响应,亿级数据查询在1秒内响应。
2. 支持定时页面刷新结果,时间序列结果展示。
3. 支持自定义告警规则,智能预测发现问题,做到对告警事件及时响应。
数据分析挖掘
支持丰富的机器学习算法,能自我完善模型、训练数据。支持基于Spark、Hadoop等分布式计算框架,支持离线数据挖掘,实时数据分析,支持基于大数据的用户行为分析、多数据源关联分析。
可视化
1. 提供了折线图、面积图、饼图、地图、区域图、表格、曲线图、柱状图、雷达图等图表功能。
2. 支持定时的可视化图表刷新。
3. 支持自由组合可视化为仪表盘。
4. 支持已保存的可视化、仪表盘对象的编辑、预览、导入、导出以及批量导入和导出。
ACG流量统计
攻击事件Top图
一
新华三集团是新IT 架构的倡导者和先行者,围绕国务院提出的“中国制造2025“ 方案,为实现中国制造腾飞做出自己的贡献。智能制造不单单是简单工业制造和信息化技术的融合,更需要对制造进行全流程的管控和趋势研判,它包括产品预研、设备预测管理、产品质量管理、产线流程自动优化组合、仓库预测分配等等新的课题,这些可以提高的制造业的一般水平,由于这些课题的开展依赖于对海量数据的分析得出精准的结论指导生产制造,所以需要一套高计算性能、高可靠、高安全的大数据平台。
二
大数据平台: 新型MPP数据库与Hadoop生态系统混合架构,使用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL支持能力;用Hadoop实现半结构化、非结构化数据处理。这样可同时满足结构化、半结构化和非结构化数据的处理需求;运维管理平台统一管理MPP与Hadoop集群。
海量分析,精确定位: 新华三集团工业大数据解决方案,基于分布式计算,存储框架,采用开源架构,面向汽车、快销品、白电、电子加工、面板、电池、风能等制造行业,为企业整合不同价值的数据源。通过采集,存储,建模,挖掘,展现工序实现针对客户的客户画像开展交叉营销,个性化产品推荐。生产管理方面利用MES 数据,PLC 数据, 探测装置数据对设备进行可预测性维护,对产品质量检测数据进行产品质量分析,准确找出产品质量出现问题和影响产品质量的关键要素, 通过企业的生产、流通、销售、财务等相关信息结合大数据挖掘方法进行风险分析等。当原有数据仓库运行缓慢,大数据平台有良好的大规模数据处理能力,可以在不影响原有系统的情况帮助系统提升运行效率。