基于虚拟数据仓库的第四方物流信息平台
基于虚拟数据仓库的第四方物流信息平台
付朝晖1,2，王建新1，唐强2
中南大学信息科学与工程学院，湖南 长沙 410083；2. 长沙民政学院，湖南 长沙 410004）
摘 要 本文针对第四方物流信息系统建设中存在的多源异构数据问题，提出了基于虚拟数据仓库和XML技术，采用B/W/S(Browser / Web Server / Database Server)结构的第四方物流信息平台，将多类数据以XML的形式从各多源异构数据源中迁移到数据库服务器上，以解决分布、异构环境下数据共享及利用的问题。对其中的虚拟仓库和XML格式转换器技术做了详细说明，并结合实例进一步说明了转换器的具体实现算法。该平台具有良好的扩展性、灵活性，实际应用取得了很好的效果。
关键字 虚拟数据仓库；第四方物流；XML
中图法分类号 TP319 文献标识码 A
Fourth Party Logistics Information Platform Based on Virtual Data Warehouse
Fu Zhao-hui1,2, Wang Jian-xin1 , Tang Qiang2
(1. Central South University,Changsha Hunan,410083,China;2. Changsha Social Work College,Changsha Hunan,410004, China)
Abstract: The Fourth Party Logistics Information Platform (FPLIP) is designed to provide a broad spectrum of operational data from complex and distributing data sources strategically placed which as the key input to the Fourth Party Logistics Information System (FPLIS). A new architecture develops for the FPLIP based on virtual data warehouse and XML. This paper presents the FPLIP architecture in which the virtual data warehouse receives a wide range of data from multiple and distributing sources and analyzes the functions and advantages of the virtual data warehouse based on the complex and distributing features of the FPLIP, illustrates the virtual data warehouse and XML format transform method even the XML format transform algorithm through an example. The results show that this open, flexible platform has good application effects.
Keywords: virtual data warehouse; 4PL; XML
0引言
第四方物流( Fourth Party Logistics，4PL)供应商是一个供应链的集成商,它对公司内部和具有互补性的服务供应商所拥有的资源、能力和技术进行整合和管理，提供一整套供应链解决方案[1]。4PL的主要作用是充当一个管理咨询者的角色，并对制造企业或分销企业的供应链进行监控，使企业能够更有效率地快速反应供应链的整体需求。4PL信息平台必须能够集成各种来源的信息和数据, 使其能以便于使用的格式并在易于访问的平台上进行应用[2]。
近年来4PL信息平台与4PL信息系统的研究已经引起了一些学者的注意。李秀等（2004年）以某物流企业为背景,设计了第四方物流体系结构及其电子商务模式下的运作模式,分析了第四方物流设计及实施的关键因素,提出了第四方物流决策支持系统软件功能模型及技术实现方案[2]。李晖等（2006年）通过对第四方物流企业的概念和特点进行分析，从科学管理的角度对第四方物流企业的信息系统提出了具体的要求[5]。
本文根据4PL信息系统的发展现状，结合4PL信息平台的功能和特点，提出基于B/W/S结构，采用虚拟数据仓库和XML技术，将多类数据以XML的形式从各多源异构数据源中迁移到数据库服务器上，并建立相应的虚拟数据仓库，解决了4PL信息平台分布、异构环境下统一数据利用、数据共享的问题，为4PL信息系统的建设与实施提供数据支持。
1 第四方物流信息平台的功能和特点
1.1 功能
4PL信息平台使企业之间的信息可以更快地得以交换，从而可以最优化地配置企业资源，并通过费用、质量和速度的优化，实现在整个供应链管理上对资源进行合理分配与最佳物流方案的制定。
(1) 物流基本信息管理：地理交通信息、港口信息等。
(2) 3PL供应商基本信息管理：①运营业务范围、运营工具、运营路径及运营时间等。②3PL供应商可用物流资源,指在不同的时间段里可以提供的运输载体与数量，及可以提供的仓储能力等。
(3) 客户、供应商交互信息管理：①客户物流服务咨询与反馈,客户可以通过网络咨询或提交自己的物流服务的具体需求。②3PL供应商物流指令执行状态,这是一种3PL供应商物流业务指令执行情况的信息反馈。③客户物流业务执行情况查询：客户可以通过网络来查询自己相关物流业务的执行情况。
(4) 3PL供应商评价：建立对3PL的评价体系对众多的3PL 供应商进行评价，评价结果作为3PL供应商选择时的一个重要参考因素。
(5) 物流解决方案优化决策：当确定用户订单后，将现有可用物流服务进行优化，提出优化后的备选物流业务解决方案，并与客户进行交互，最后决策决定最终计划的解决方案。
(6) 运输路线及3PL的选择：①3PL供应商选择：在3PL供应商评价的基础上，分析物流成本、物流时间和物流质量等，最后对3PL供应商做出综合选择。②路径选择：一方面，使用一定的算法对提出的模型进行优化，提出可供选择的各种方案；另一方面，对上述的路径选择结果和运输载体选择结果做出一定的调整。③下达3PL物流业务指令：根据以上优化、决策的结果，与3PL供应商联系，签订协议，下达相关物流业务的指令。
1.2 特点
(1) 分布性： 4PL信息系统各功能模块需要通过全局的数据管理功能统一以完成数据的一致性维护、必要的模式变换以及并发控制等， 并提供统一的数据操作接口。事实上分布在不同城市和地区的众多3PL企业和系统分布于网络的不同节点上， 从而决定了4PL信息平台的分布性。
(2) 复杂性： 4PL信息平台涉及到的各个3PL信息系统在数据定义格式、数据存储方式、数据传输方式等方面存在着较大的差异， 因此其数据源存在着异构、多态等特点，其功能的实现必须面对复杂的数据处理和数据交换等问题。
2 4PL信息平台的体系结构
根据对4PL信息平台功能与特点的分析，提出如图1所示的4PL信息平台的解决方案。
图1 4PL信息平台的体系结构
图1所示的4PL信息平台通过利用XML中间件技术，采用虚拟数据仓库实现4PL系统相关的数据集成和共享，为各个数据源以及应用系统之间的数据访问和交换提供统一平台。
4PL应用层的多个应用系统可以通过数据访问与交互层利用虚拟数据仓库实现获取信息的需求，并对多种物流信息进行深层次的、综合的利用。数据访问和交换层的查询和查询结果都是基于XML格式的，从而使得对于多源异构数据的访问和交换具有统一的标准, 也使得构建的高层次的数据仓库应用具有可扩展性和开放性, 提高4PL信息平台的灵活性。多源异构数据源层主要由交通数据源、客户数据源、3PL企业数据源等所组成, 是4PL信息平台的主要信息来源。4PL信息平台支持的数据源包括关系型数据库、Web数据和XML文档等。
3 系统实现的关键技术
从实现角度来看，由于应用层和多源异构数据源层相对比较简单，在此不做详细介绍。只对数据访问与交互层和数据存储层中使用的虚拟数据仓库和XML技术的实现进行讨论。
3.1 虚拟数据仓库技术
虚拟数据仓库可以利用中间件将分散在不同的平台、系统、应用程序中的各类数据汇集到一个数据中心, 使用户可以从各种应用程序中将最重要的数据部分提取出来, 而不像传统数据仓库那样对数据有着时间、费用和风险等种种限制。图2 所示为4PL信息平台中虚拟数据仓库的体系结构。
图2 虚拟数据仓库体系结构
4PL信息平台中的虚拟数据仓库是面向4PL信息系统服务主题的、集成化的、动态的、随时间变化的数据对象集合, 是为实现4PL信息系统信息的集成与共享而进行的数据再组织和再集成的过程。这里所说的虚拟是数据组织形式上的虚拟, 而虚拟数据仓库本身依然需要一个高效的硬件平台, 仍然需要有其管理系统,不过其建设要大大易于传统数据仓库的建设。
中间件实现对底层异构数据源的封装功能,对各个数据源的请求采用的是标准的XML,最终都将转换为各数据源的标准查询语言,提交给相应的数据库服务器进行处理。数据库处理完成后, 还将返回结果重新封装成为XML格式的数据,并进行发送。XML中间件把各类不同数据源的数据结构进行统一,其提供的底层数据类型和数据结构信息为信息集成提供了一种数据规格, 同时也支持底层数据源结构的改变能够及时通知应用层。
4PL信息平台中的虚拟数据仓库在处理异构数据源问题上采用虚实结合的思想, 对于不符合4PL信息系统数据主模型的数据源, 通过虚拟网络视图进行数据的集成,对于符合4PL信息系统数据主模型的某些关系型数据库, 通过XML中间件直接导入虚拟数据仓库。
XML中间件的实现
本文在4PL信息平台中设计了相应的XML中间件(XML格式转换器), 对来自不同数据源的数据进行分析, 并将其转换为XML格式, 并用XML格式对数据进行封装, 最后将格式转换结果进行整理,装载进入虚拟的数据集市中, 即数据请求——打包抽取——数据传输——数据入库的过程。在此过程中的关键点包括两个方面:
①表转换器的实现: 表转换器负责将数据库的表数据转换成XML格式的文档, 要将数据库中的数据存储为XML文档，必须首先生成XML 文档的DOM 对象, 然后从数据库中提取待转换表的记录集, 通过调用DOM 对象的增加结点的方法, 从而使记录集中的每一条记录都有与之对应的一个XML 文档结点, 并将记录的字段值赋给结点的元素值, 当遍历完整个记录集后, 便生成了与该表相对应的XML文档。
②XML文档转换器的实现: XML转换器负责将XML文档转换成数据库的表数据, 这一过程是表转换器的逆过程[7]。要将XML文档转成数据库的表数据, 首先必须装入XML文档, 生成DOM 对象, 然后遍历DOM 对象的每一个结点, 提取每一个结点的元素值, 将这些元素值拼装成一条记录, 然后调用相应的插值语句将该记录插入数据库表中。
作者结合3PL服务提供商信息表，着重介绍把关系数据库的表转换为XML文档,面向对象数据库与XML文档之间的转换方法与其相似。具体程序实现可以采用DELPHI 6.0作为设计语言, 通过XML DOM来操作XML文档。
3PL服务提供商信息表：(3PL服务提供商号int(8), 3PL服务提供商名称char(30) , 负责人char(10)，地区char(20), 主要业务char(30))
例: 关系数据库表数据转换为XML文档
Begin//OutXMLDocument (XML control)
OutXMLDocument.Active:=true;//初始化空XML文档
OutXMLDocument.Encoding:=’GB2312’;//建立字符集
Root:=OutXMLDocument.AddChild(’3PL supplier Info’);
if adoq1.RecordCount>0 then
for i:=0 to adoq1.RecordCount- 1 do
begin
Parent :=Root. AddChild (’3PL supplier’);//添加节点
Child := Parent .AddChild (’3PL supplier ID’) ;
Child .Text:=dbedit1.Text;//赋值
Child :=Parent .AddChild(’3PL supplier name’);
Chi1d .Text:=dbedit2.Text;
Child :=Parent .AddChild (’master’);
Child .Text:=dbedit3.Text;
Child :=Parent .AddChild (’area’);
Child .Text:=dbedit4.Text;
Child :=Parent .AddChild (’primary business’);
Child .Text:=dbedit4.Text;
if not adoq1.Eof then
adoq1.Next; end;
OutXMLDocument.SaveToFile (’Output, xml’);//存储文件
OutXMLDocument.Active:=false;//关闭XML文档
End;
4 特点及优势
在4PL信息平台中应用虚拟数据仓库及XML技术主要有以下特点和优势：
(1)建设消耗少: 虚拟数据仓库利用中间件技术在不同的系统之间、应用程序之间建立联系, 除少量存储部分用于OLAP的数据外并无专门的数据仓库存储数据, 而是根据用户需求临时在源数据库中找出所需要的数据来完成对用户请求的响应。这可减少时间和金钱上的消耗及数据损失的风险,并可为异构数据的挖掘提供重要条件。
(2)稳定性好: 虚拟数据仓库易于建立且比较灵活,可依据用户的信息存取需要而改变,同时能够很好的适应底层数据库中数据的变化, 对全生命周期的XML形式的数据都是可访问的, 具有相当的稳定性,而对XML的使用也可以实现数据的独立更新。
(3)灵活性大: XML使得虚拟数据仓库中的查询与数据源模式无关, 把数据源和虚拟数据仓库隔离开有利于构造分布式虚拟数据仓库, 便于异构数据源之间的数据融合及数据共享和交换。XML支持多操作系统、多语言和多部门之间的数据交换, 可以避免多种不同协议、平台、主机和结构带来的不便。
5 结论
本文提出了基于虚拟数据仓库和XML的4PL信息平台。该平台利用XML技术实现不同数据源间的数据交换, 并以虚拟数据仓库为核心来完成对多源异构数据的管理, 可以很大程度上解决4PL信息系统发展中所面临的分布式多源异构数据集成的问题。在发展初期, 由于时间、资金等限制, 虚拟数据仓库为4PL信息平台的实现提供一种快速解决方案；在将来建立数据仓库的背景下,虚拟数据仓库的加入也会为4PL信息平台构成一个更合理、更完备的数据仓库。
参考文献：
[1] GATTORNA J. Strategic supply chain alignment [M], Aldershot ,Hants ,England : Gower Pub Co. ,1998. 45-60.
[2] 李秀,应维云,刘文煌,张志鸿,李兵,任守榘.第四方物流的体系结构和运作模式研究[J]. 计算机集成制造系统，第10卷第10期，2004年10月.
[3] Singh H S. Data Warehousing: Concepts, technologies,implementations, and management [M ]. New Jersey:Prentice Hall PTR, 1998.
[4] BOURRET C, BORNHOVD A , BUCHMANN A. Generic Load/Extract Utility for Data Transfer Between XML Documents and Relational Databases[Z]. WECW IS 2000,Milpitas, California,2000,6.
[5] 李晖，刘立新.浅谈第四方物流及其信息系统[J]. 物流技术,2006年第3期.
[6] 刘中.基于数据挖掘技术在物流决策系统中的应用[J]. 电脑开发与应用，2006，19(2):51-52
[7] 赵君，张春海，李华.基于XML中间件的分布式数据库的数据分片策略[J].计算机工程与设计，2006，27(3):446-448
作者简介: 付朝晖(1972－)，男，湖南常德人，讲师，硕士研究生，主要研究方向：计算机网络技术、软件技术；王建新（1969－），男，湖南邵阳人，教授，博士生导师，主要研究方向：计算机网络优化算法；唐强(1975－)，男，湖南武冈人，讲师，主要研究方向：数据仓库、计算机应用技术。
基于虚拟数据仓库的第四方物流信息平台.doc
