统一信息资源库是政府网站集约化的“数据银行”

2018-06-29 11:04:15   来源: 开普云

政府网站集约化建设工作是项长期综合工程,目前各地政府陆续完成了基础设施集约、管理集约、技术集约和运维集约等工作,随着其它集约问题的解决,信息资源集约的矛盾越发突出。

信息资源集约的短板由来已久,早在集约化建设之前,应用系统之间相互隔离,所形成的信息孤岛已是政府网站信息化建设的一大难题。在网站集约建设后,用户规模及业务复杂度直线上升,信息孤岛带来的问题愈发严重。

如何做好信息资源的集约化建设已经成为集约工作当前重点之一。网站发展指引提出的统一信息资源库,从顶层设计角度为破解这一难题提供了思路。

1、数据复杂多样,如何做到海纳百川

统一信息资源库建设,首要解决的就是各类异构数据的存储问题,即围绕政府网站建设所需的各种格式数据,均需要在资源库中存储。这些数据资源既包括网页、图片、音视频等非结构化数据,也包括互动交流、问答、政府服务等产生的结构化数据。同时这些数据信息的结构,也会随着业务的发展而灵活多变。

我们综合利用了传统关系型数据库技术、新型非关系型数据库技术、新型分布式文件存储技术和分布式搜索引擎等技术手段,实现了对复杂多变海量数据的高效存储和管理。

2、数据指数增长,如何海量高效存储

随着信息资源库的启用,网站相关业务系统的信息陆续汇聚到资源库中,数据增长将呈现线性甚至指数增长趋势。

当大量信息资源入库时,为保证资源库的吞吐量,我们采用了消息队列技术,进行了资源分类消费,多进程消费,动态扩展消费端数量等优化措施。力争做到低延迟、高并发、高可用、高可靠。

当资源库信息总量达到PB数量级时,系统能否稳定存储,高效的检索及展现,成为焦点问题。为了实现海量数据的有效管理,我们采用了SpringCloud微服务架构,将信息采集服务、资源存储服务、资源管理服务、搜索服务、元数据服务等核心业务以微服务方式管理,采用FastDFS、OSS等分布式存储技术,充分利用存储空间,通过运维监控系统及时发现资源和服务瓶颈,通过分布式系统的横向扩容能力快速实现存储资源的扩容,通过ES实现资源的快速查询定位。即使信息资源库的资源总量不断增长,仍能够实现秒级列表展现及搜索定位。

3、数据标准不同,如何实现融合汇聚

资源的存储、展现和检索有了技术保障基础后,要用好信息资源库,仍然需要一套信息资源标准规范。

这个标准规范作为顶层设计,可以明确信息资源管理的业务标准和技术标准,从而使不同应用系统遵循相同的技术标准与信息资源库进行资源交互,在资源库内部实现对信息资源合理存放和高效管理。

我们依据政府网站共性的信息公开目录、政策文件、领导信息梳理并内置了相关业务分类和元数据,用户可以此为参考,构建基础信息资源管理体系,并根据个性业务灵活扩展。

开普云统一信息资源库,是开普云在多年内容管理技术积累基础上研发的明星产品,该产品旨在提升海量异构数据管理能力。开普云多年来围绕网站内容管理建设,陆续推出了网站内容管理、网站智能搜索、音视频管理、图片库、云表单、云网盘等多个产品系列,针对网页、表单、图片、音视频、文档等各类结构化和非结构化数据的存储管理积累了丰富经验。开普云统一信息资源库正是厚积薄发的结果,必将成为政府网站集约化的利器之一。

2018-06-29 11:04:15   来源: 开普云

尝试一下,免费检测您的网站首页 立即体验