通讯作者: 翟 勃(1970-),男,山东淄博人,高级工程师,主要从事煤炭企业信息化、供应链电子商务系统应用研究.
(Shandong Energy Zibo Mining Group,Zibo 255120,China)
备注
通讯作者: 翟 勃(1970-),男,山东淄博人,高级工程师,主要从事煤炭企业信息化、供应链电子商务系统应用研究.
在煤炭企业不断的实现虚拟化,利用云计算来提高企业计算、存储等资源的利用效率,以及煤炭企采购效率低,采购周期长的背景下。提出了建立基于云计算的谋炭企业电子采购系统。通过对煤炭企业采购效率低的原因进行调研,对采购流程进行分析、优化,建立了优化后的煤炭企业基于电子采购的采购流程和功能单元。最后,利用JAVA中的轻量级框架SSH技术,结合云计算虚拟化平台,设计了计算效率高、性能好、采购周期短的煤炭企业电子采购系统。
Considering low efficiency of coal enterprises purchasing, long procurement cycle,and advantage of cloud computing theory and technology,proposed an electronic procurement system based on Cloud computing.On the cloud computing platform,established a procurement procedure and function units.Finally,according to the status of coal enterprises and the needs of material procurement,using SSH technology and cloud computing platform,designed and implemented the electronic procurement system.
引言
采购是企业的一个重要职能,传统的采购过程中需要消耗大量的人力、物力,同时,还会消耗大量的时间。尤其像煤炭企业这种物资多达数10万种,采购数量大、涉及供应商非常多的更是如此。通过建立完整的电子采购系统,以该系统为平台,对整个采购业务流程的完成实现网上运行,从而使物流、信息流和资金流更为顺畅。
由于煤炭企业采购物资种类多,数量大的特点,以及提高各种硬件资源利用率的角度考虑,采用云计算技术,来建立效率高、可靠性好的电子采购系统。
1 系统关键理论和技术
2 煤炭企业电子采购系统研究
电子采购是指以计算机技术、网络技术为基础,电子商务为依据,Internet为纽带,EDI电子商务支付工具及电子商务安全系统为保障的即时信息交换与在线交易的采购活动。电子采购就是“在网上进行买卖交易”,其内涵是:企业以电子技术为手段,改善经营模式,提高企业运营效率,进而增加企业收入。它将极大地降低了企业的经营成本并能帮助企业与客户以及合作伙伴建立更为密切的合作关系。
利用网上平台进行采购,可以转变传统的采购模式,将科技融入到采购当中,规范采购流程,广开采购渠道,减少文书操作,提供完整的数据资源,为决策提供科学的依据。它将日常的采购流程转移到电子平台之上,将传统的人员流动,现金流动转化为信息流动。从而方便统合物流、金流、信息流。充分利用网络平台的优势,便捷的取得咨询信息,节约人力、物力资源,达到开源节流的目的。
现阶段我国企业信息化基础较为薄弱,整体电子采购环境还存在很多制约因素。同时,煤炭企业采购物资种类繁多,采购过程中需要消耗大量的人力物力,消耗大量的采购成本,为了降低采购成本、改善采购效率、节约成本、增加可供选择的供应商和改善采购流程具有重要的意义。
煤炭企业建立电子采购系统,可以将供应链中的上下游企业更加紧密地联系在一起。整个采购过程中,各个生产矿首先根据库存情况提报物资需求计划,物资采购部门汇总统计所有采购计划,结合所有矿的库存情况,制定最终要执行的计划,当计划执行的时候,如果发现某些物资没有价格依据的情况,这时,就需要由物资供应部门和供应商进行联系沟通,通过招投标的方式来对各种物资定价。执行完成后,再由物资供应公司和供应商联系,通知供应商进行送货。在建立基于网络环境的电子采购系统后,整个流程全部网络化运行,所有不同企业之间传递的单据均可采用EDI的方式,在物资没有价格,需要进行招投标管理的时候,可以采用网上招投标,增加交易透明度,减少暗箱操作,节约企业成本。建立电子采购系统后,煤炭企业供应流程如图3所示。
同时,针对煤炭企业采购现状,对煤炭企业的电子采购系统采用“分权制衡,相互制约”的管理理念,整个管理流程都在相互协作中完成。将整个系统分为4个工作单元:供应商工作单元、物资供应公司工作单元、招投标中心工作单元以及超级管理员工作单元。
供应商工作单元主要包括:供应商信息的维护和查询工作,当供应商登录到系统后,可以对自己的信息进行维护,同时,可以参与招投标和查询招投标结果。招投标工作单元主要负责招投标工作的组织和进行。物资供应公司主要负责各种物资的采购,以及招投标所需要的各种基础数据的准备工作。超级管理员是对整个系统的人员、各种注册信息等信息进行综合维护。
3 基于云计算的煤炭企业电子采购系统设计
在煤炭企业的电子采购过程中,需要采购的物资种类多,数量大,频率高,对系统性能要求高。建立基于云计算平台的电子采购系统,可以提高企业各种信息资源的利用率、同时满足电子采购系统的性能要求,节约建设成本。基于云计算的煤炭企业电子采购系统架构如图5所示。
系统建立了从基于SSH和Hadoop技术的电子采购系统, Hadoop[5]是Google云计算技术的开源实现,由Hadoop分布式文件系统HDFS[5]、分布式计算框架Map/Reduce[5],分布式数据库Hbase[5]3个核心组件组成。HBASE用于存储各种非结构化的数据,以及当系统访问量非常高的各种数据,放到基于HBASE的分布式数据库当中,同时,为了保证各种数据的一致性,在日常业务中的各种提交的各种结构化数据存储到关系型数据库当中。当大数据量访问的时候,可以使用Sqoop将数据同步到HBASE当中。通过HBASE来实现海量数据访问。
建立好各种底层平台资源后,通过持久层技术Hibernate[6],用来访问关系型数据库。同时,需要访问各种非结构化数据的时候,使用Hive和Pig框架。在各种业务逻辑实现使用典型的MVC架构,即将各种业务逻辑放到Action中进行实现,当访问各种URL的时候,首先将各种URL通过拦截器进行过滤,然后发送给对应的Action,Action通过调用各种实体类和控制类,来给用户返回所访问的资源。整个Hibernate和Struts中使用到的各种java类,均是运行在Spring的环境当中,由Spring来对系统中用到的各种类进行管理和装配。
4 结 论
文中在分析煤炭企业物资采购现状的基础上引出煤炭企业建立电子采购系统的必要性和可行性,通过对煤炭企业的实际采购过程的特点进行研究,建立了煤炭企业的电子采购流程。同时,实现各种硬件资源的虚拟化,建立在虚拟化设备之上的基于Hadoop技术的非结构化数据存储系统,和采用关系型利用SSH技术实现整个电子采购系统。
1.1 云计算目前云计算还没有一个统一的定义,文献[1]在综合多个云计算的定义之后,给“云”如下定义。云是一个包含大量可用虚拟资源(例如硬件、开发平台以及I/O服务)的资源池。这些虚拟资源可以根据不同的负载动态地重新配置,以达到更优化的资源利用率。这种资源池通常由基础设施提供商按照服务等级协议(Service Level Agreement, SLA)采用时付费(Pay-Per-Use, PPU)的模式开发管理。在云计算中最为关键的技术包括虚拟化,分布式并行计算以及分布式存储技术。云计算架构如图1所示。
1.1.1 虚拟化技术抽象地说,虚拟化技术是通过新增的虚拟中间层截获上层软件对底层接口的调用,并对该调用重新做出解释和处理,以实现异构环境中资源的可共享、可管理和可协同,并支持应用大规模部署、迁移和运行维护。在虚拟化技术中,可以同时运行多个操作系统,而且每一个操作系统中都有多个程序运行,每一个操作系统都运行在一个虚拟的CPU或者是虚拟主机上。虚拟化允许具有不同操作系统的多个虚拟机在同一物理机上独立并行运行。每个虚拟机都有自己的一套虚拟硬件(例如 RAM,CPU,网卡等),可以在这些硬件中加载操作系统和应用程序。无论实际采用了什么物理硬件组件,操作系统都将它们视为一组一致、标准化的硬件。
1.1.2 并行计算云计算大多采用的Google云计算系统中的Map/Reduce[2]并行编程模型,Map/Reduce这种编程模型并不仅适用于云计算,在多核和多处理器、Cell processor以及异构机群上同样有良好的性能。利用Map/Reduce,程序员得能够轻松地编写紧耦合的程序,运行时能高效地调度和执行任务,在实现时,在Map函数中指定对各分块数据的处理过程,在Reduce函数中指定如何对分块数据处理的中间结果进行归约。用户只需要指定Map和Reduce函数来编写分布式的并行程序,不需要关心如何将输入的数据分块、分配和调度,同时系统还将处理集群内节点失败以及节点间通信的管理等。
1.1.3 云存储云存储是一种分布式存储技术,最具影响力的是Google的GFS(Google File System)[3]。GFS是一个管理大型分布式数据密集型计算的可扩展的分布式文件系统。它使用廉价的商用硬件搭建系统并向大量用户提供容错的高性能的服务。GFS系统由一个Master和大量块服务器构成。Master存放文件系统的所有元数据,包括名字空间、访问控制、文件分块信息、文件块的位置信息等。GFS中的文件切分默认为64MB的块进行存储。在GFS文件系统中,采用冗余存储的方式来保证数据的可靠性。每份数据在系统中保存3个以上的备份。为了保证数据的一致性,对于数据的所有修改需要在所有的备份上进行,并用版本号的方式来确保所有备份处于一致的状态。
1.2 SSH系统采用SSH(Struts 2.X+Spring + Hibernate)[4]框架技术,该框架将整个系统分为表现层、业务逻辑层、数据持久层和数据库层,实现程序的松耦合,达到代码的合理分离,从而提高系统的运行效率和可维护性。在SSH框架中,表现层采用Struts 2.X,提供MVC模型,将界面、业务逻辑和数据分离,并提供一个高可扩展的架构; 业务逻辑层采用Spring,作为依赖注入的容器,将项目中的构建进行粘结; 数据持久层采用Hibernate,提供一个抽象的数据服务视图,将用户对数据库的访问进行高度抽象,技术架构如图2所示。
- [1] Vaquero L M, Rodero2mer Inol,Caceres J, et al.Abreak in the clouds:towards a cloud definition[J]. ACM SIG2 COMM Computer Communication Review, 2009,39(1):50-55.
- [2] Dean J, Ghemawat S. Map Reduce: Simplied data processing on large clusters[C]//OSD Ip04:Proceedings of the 6th Symposium on Operating System Design and Implementation.New York:ACM Press,2004.
- [3]Ghemawat S, Gob Ioff H, Leung P T. The google file sys2tem[C]//Proceedings of the 19 th ACM Symposium on Operating Systems Principles. New York:ACM Press,2003.
- [4]胡丽媛.MVC模式及Struts框架应用与研究[J].计算机与信息技术,2011(4):9-12.
- [5] Tom White.Hadoop:The definitive guide[J].O'Reilly,2009,11.
- [6] 孙卫琴.精通Hibernate:Java对象持久化技术详解[M].北京:电子工业出版社,2010.
- [7] 陈香香.云计算中MapReduce性能优化及应用[D].重庆:重庆大学,2011.
- [8] Yang H, Hsiao Dasdan R,Parker D S.Map-reduce-merge:simplified relational date processing on large clusters[C]//In SIGMOD'07:Proceedings of the 2007 ACM SIGMOD Internationl Conference on Management of Date,2007.
- [9] Dean J,Ghemawant.MapReduce:Simplied data processing on large clusters[J].Communications of the ACM,2008(1):55.
- [10]Hadoop apache文档,Hadoop分布式文件系统:架构和设计[EB/OL].http://hadoop.apache.org/common/docs/r0.18.2/cn/hdf_design.html,2009.