数据仓库在农产品追溯系统中的应用概况

摘要：介绍了农产品质量追溯的国内外研究现状及数据仓库技术，分析了农垦农产品跨企业追溯的需求，并针对该需求提出了数据仓库的解决方案，主要内容包括农产品质量追溯数据仓库系统的数据逻辑模型、农产品质量追溯信息的编码映射方法、在线分析处理（OLAP）服务器选型与多维数据模型设计、追溯分析报表制作与展现。

关键词：数据仓库；农产品质量追溯；在线分析处理（OLAP）

Application of Data Warehouse in Agricultural Products Traceability System

Abstract： Based on a general introduction of domestic and international research on agricultural products traceability system and data warehouse technology， the paper analyzed the demand of agricultural products traceability system among enterprises. According to the demand， a solution of data warehouse is proposed. The main contents included the data logic model of data warehouse in agricultural products quality traceability system， the mapping method of information code in agricultural products quality traceability， the online analytical processing（OLAP） server selection and design of multi-dimension data model， and the analysis report making and demonstrating of traceability information.

Key words： data warehouse； quality traceability of agricultural products； online analytical processing （OLAP）

如何建立农产品可追溯系统是农产品行业的相关企业及各级政府监管部门面临的重要任务。2002年欧盟颁布法令对有关食品的可追溯性、防止有害食品进入市场、食品业者的义务及进出口商要求进行了规范，欧盟的可追溯系统覆盖了从农田到餐桌的全部食物链。美国、日本、澳大利亚等国家也建立了类似的制度[1，2]。国内从2002年开始对追溯系统开展了研究。目前开展的追溯系统研究主要侧重于农产品可追溯系统的探讨以及针对单个企业农产品追溯信息系统的构建[3-6]，数据仓库技术在农产品安全系统中的应用国内也有研究。例如李雅莉等[7]、管刚等[8]的基于DW和DM的农产品加工企业DSS的研究，这些研究的重点集中在数据仓库技术在农产品的加工数据或是安全数据等方面的应用。姜洋等[9]针对农业部农垦局下属的100多家不同农产品生产企业的质量追溯需求，设计了可定制的农产品质量系统，能较好地对每个企业内的种植、生产加工以及流通环节建立追溯链，但不具备跨企业追溯的功能。

本研究针对农垦农产品质量追溯系统存在的不具备跨企业追溯能力的问题，对数据仓库的相关技术与农产品跨企业追溯需求进行了分析，提出了应用数据仓库相关技术来解决这类需求的方法。

1 数据仓库相关技术概述

1.1 数据仓库概念及其特点

目前，对数据仓库尚没有统一的定义。著名数据仓库专家Inmon[10]认为数据仓库是所有DSS处理的基础，是一个面向主题的、集成的、相对稳定的反映历史变化的数据集合，用于支持管理决策。对于数据仓库的概念，一般可从两方面来理解：首先，数据仓库用于支持管理决策，面向分析型数据处理，它不同于现有的操作型数据库；其次，数据仓库是对多个异构的数据源有效集成，集成后按照主题进行重组，并包含历史数据，存放在数据仓库中的数据一般不再修改。

根据数据仓库概念的含义，数据仓库主要有4个特点：①面向主题：数据仓库中的数据是按照一定的主题域进行组织的。一个主题通常与多个操作型信息系统相关；②集成：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，是组织范围内一致的全局信息；③相对稳定：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，修改和删除操作很少，通常只需要定期加载、刷新；④反映历史变化：数据仓库中的数据通常包括从过去某一时点到目前的各个阶段的信息，通过这些信息可以对业务的发展历程和未来趋势进行定量分析和预测。

1.2 在线分析处理（OLAP）技术

OLAP技术是使分析人员、管理人员或执行人员能够从多角度对信息进行快速、一致、交互存取，从而获得对数据的更深入了解的一类软件技术，其目标是满足决策支持或者在多维环境下特定的查询和报表需求。它的核心技术是维。OLAP的基本多维分析操作有钻取、切片和切块以及旋转等。OLAP技术能使数据仓库快速响应重复和复杂的分析查询，从而使数据仓库有效地用于在线分析。OLAP的多维数据模型和数据聚合技术可以组织并汇总大量的数据，以便能够利用在线分析工具迅速对数据进行评估。2 农产品跨企业追溯需求分析

2.1 问题农产品追溯链分析

目前，农垦农产品质量追溯系统能在一个企业范围内建立追溯链，以大米为例，如发现问题产品，可根据最终产品追溯码反向查询出整条追溯链上的种植、加工和销售等环节的信息，锁定问题后，可根据相应环节的追溯码再正向查询相关的有问题产品的流向范围，便于质量问题的分析与监管。而如果两家企业是上下游关系，由于各个企业的追溯链信息存在于各自的数据库系统中，系统则无法进行问题产品的追溯。所以，当考虑到跨企业追溯的要求时，在农产品发生质量安全事件后，要能分析同批次问题产品在农垦农产品追溯系统中的所有企业范围内的追溯信息。

2.2 问题投入品追溯链分析

化肥、农药等投入品对农产品质量安全有很大的影响。在监管平台能根据问

题投入品的信息，分析问题投入品在农垦农产品追溯系统中的所有企业范围内的追溯信息，为监管部门和相关企业的决策提供依据。

2.3 农药安全周期分析

根据农产品质量追溯数据，分析农药施用安全周期，能在农垦农产品追溯系统中的所有企业范围内追溯出安全间隔周期异常的农药可能影响的农产品范围。安全周期分析可为进一步评估相关上下游产品的农药残留提供依据。

3 数据仓库系统解决方案

针对目前农垦农产品质量追溯系统跨企业追溯的需求，在研究数据仓库相关技术的基础上，提出了相应的农垦农产品质量追溯数据仓库系统的解决方案，主要描述如下。

3.1 数据仓库系统的数据逻辑模型设计

系统的数据逻辑模型设计如图1所示。

在源数据层，当企业数据中心上传追溯数据时，利用农垦数据中心的数据转换程序，提取追溯数据到一个统一的数据库；在数据仓库层，利用OLAP技术建立多维数据集的模型，并利用ETL工具加载源数据到OLAP服务器；在报表展现层，选择商务智能报表开发工具，对建立的多维数据集进行基于Web报表的设计与分析。

3.2 农产品质量追溯信息的编码映射

目前农垦农产品质量追溯系统针对每个农产品生产企业都生成一个在农垦数据中心的数据库，由于每个企业的农产品的特点和生产流程都不同，企业采用可定制软件生成追溯信息系统后，每个企业生成的数据库中的追溯表结构都会不同，系统目前能对单个企业的农产品进行追溯，将追溯范围扩大到多个企业后，则需要建立多个企业农产品追溯信息的统一编码，为建立数据仓库系统提供统一的数据源。为此，对原有的单个企业的追溯表结构进行扩展，形成的表结构主要字段及描述如表1所示。建立统一的编码规则后，可按规则加载各个企业的数据信息，实现对不同农产品质量追溯信息的存储。

3.3 OLAP服务器选型与多维数据模型设计

目前主流的OLAP产品有Oracle Express/Discoverer、SQL Server Analysis Services、DB2 OLAP Server、SAS OLAP Server等，这些产品都可以生成多维数据立方体，提供多维数据的快速分析，支持所有主流关系型数据库如DB2、Oracle、SQL Server等。各厂商的OLAP Sever对自己的数据库产品的支持均好于其他数据库，各自的分析工具也都基于开放的OLE DB标准，可以访问支持OLE DB标准的数据立方体。

现有的农垦农产品质量追溯系统中，数据库选用的是微软的SQL Server 2000，针对农产品质量追溯数据仓库的特点，综合考虑有效利用现有IT投资、产品的兼容性和易用性以及快速实现对现有数据库系统中的数据进行转换、加载等要求，确定选择SQL Server Analysis Services 2008作为OLAP服务器。并设计各个分析主题的多维数据模型，产品追溯链主题的多维数据模型（图2）。

3.4 追溯分析报表制作与展现

在分析主流BI报表工具的基础上，考虑报表开发、发布的功能和易用性等要求，确定了利用美国Radar-Soft公司开发的RadarCube ASP.NET for MSAS组件，在Visual Studio 2008中开发分析报表。利用这些基于Web形式的报表，企业或监管人员可以对建立的多维农产品质量追溯数据仓库信息模型进行追溯分析，从多角度查询追溯信息。图3是利用RadarCube ASP.NET for MSAS组件建立的一个查询多维数据集的示例ASP页面。

分析人员可以针对不同的类型创建计算度量值，如基于行-表的度量值、自定义聚合度量值以及其他Cube单元格的度量值，在每个层次成员上进行下钻操作，在任何层级上的个别层次或维度进行自定义排序，在OLAP网格中基于任意一列的值进行排序操作，从而从各个角度来分析多维数据集的信息，进行分析与决策。

4 小结

农垦农产品质量追溯系统自2008年开始建设以来，已经有300多家国内知名企业、农场纳入了追溯监管系统，随着追溯系统的不断推广，目前在追溯数据中心（农业部）已经存储了海量的追溯数据。本研究通过对跨企业农产品质量追溯需求的分析，提出利用数据仓库技术来满足这类需求的思路，设计了农产品质量追溯数据仓库系统的数据逻辑模型，建立了农产品质量追溯信息的编码映射方法，分析了OLAP服务器选型与多维数据模型设计、追溯分析报表制作与展现等方面的工具选型、设计方法等，该数据仓库解决方案能使现有的数据发挥更大的作用，为政府对农产品质量安全的监管、分析提供更多有效的手段。

参考文献：

[1] 刘俊华，金海水.国外农产品质量快速溯源的现状和启示[J].物流技术，2009，28（11）：251-253.

[2] MOUSAVI A， SARHADI M， LENK A， et al. Tracking and traceability in the meat processing industry： A solution[J]. British Food Journal，2002，104（1）：7-19.

[3] 谢菊芳，陆昌华，李保明，等.基于.NET架构的安全猪肉全程可追溯系统实现[J].农业工程学报，2006，22（6）：218-220.

[4] 覃 婵，文良娟，彭飞荣，等.农产品质量追溯体系在分散农户中的建立探讨[J].安徽农业科学，2009，37（27）：13264-13266.

[5] 黄海龙，蒋平安，张 霞，等.基于Web的农产品追溯系统的设计与开发[J].新疆农业科学，2010，47（9）：1832-1836.

[6] 杨世江，刘锦高.基于RFID的农产品追溯系统研究[J].信息技术，2011（8）：144-146.

[7] 李雅莉，何东健.基于DW和DM的农产品加工企业DSS的研究[J].农机化研究，2007（3）：146-149.

[8] 管 刚，李 力，王 闯.食品安全分析数据仓库构建过程中的数据预处理技术[J].电脑编程技巧与维护，2011（18）：71-73.

[9] 姜 洋，王 雷.基于可定制的农产品质量追溯系统的构建[J].安徽农业科学，2011，39（35）：22175-22178.

[10] INMON W H. Building the Data Warehouse[M]. 3nd Ed. Hoboken，NJ： John Wiley & Sons，2003.