嵌入式数据挖掘模型应用实例

针对现有数据挖掘体系结构松散揭合、算法运行效率不高的问题，提出了嵌入式数据挖掘模型。该模型实现了算法的组件化管理，并将整个数据挖掘流程控制在数据库、数据仓库中，在简化数据挖掘过程的同时，大大提高了数据挖掘的效率。通过对几种典型数据挖掘算法在银行卡业务数据中的试验，证实了该模型的有效性和实用性。
　　数据挖掘就是从存放在数据库、数据仓库或者其他信息库中的大量数据中挖掘有趣知识的过程。它是在多种数据存储方式的基础上，借助有效的分析方法和工具，从传统的事务型数据库功能（增加、删除、修改、查询、统计等）背后，获得更深层次的信息。在数据挖掘技术的不断发展过程中，如何将数据挖掘（DM）系统与数据库（DB）系统和数据仓库（DW）系统紧密耦合（所谓耦合，即是数据挖掘系统和数据库或者数据仓库的集成程度）在一起是始终困扰着人们设计一个好的数据挖掘工具的最大问题。从最初的不耦合到松散耦合再到半紧密耦合，人们一直寻求着如何将DM系统平滑的集成到DB/DW中（即紧密藕合）。目前众多数据挖掘系统、数据挖掘工具中，大部分都是实现一个与数据仓库系统独立开来的数据挖掘系统，这样便使得数据挖掘过程中要花费大量的时间进行数据加载转换，算法运行时间长、效率低，特别是面对当前数据仓库中保存的海量数据时，更是效率低下。
　　文中在已有的数据挖掘系统体系基础上，应用数据挖掘系统与数据仓库系统紧密耦合的策略，提出了嵌入式数据挖模型，把数据挖掘系统和整个数据挖掘流程完全控制在数据仓库系统中，从而大大提高数据挖掘的效率。并且针对市面的一些用于银行卡业务的数据挖掘系统过于繁琐，但是效率不高、针对性不强等问题，本文提出将嵌入式数据挖掘应用于银行卡业务中，使得应用针对性更强，在节约了开发成本的同时也提高了挖掘效率。
　　1嵌入式数据挖掘模型
　　嵌入式数据挖掘模型主要是采用多种数据库访问技术把算法嵌入到数据挖掘系统中。该模型支持按照一定的标准规范来开发挖掘算法，并把算法发布嵌入到多种数据库、数据仓库当中，将数据挖掘过程完全控制在数据库、数据仓库系统中，将数据挖掘功能转换成大家熟悉的、通用的、灵活的、可二次开发的数据仓库功能。
　　该系统框架主要由数据层、算法嵌入层、数据挖掘层以及用户层，系统模型如图1所示。
　　
　　1.1数据层和用户层数据层
　　主要包括数据库或数据仓库中的海量业务数据以及元数据，它是数据挖掘过程中最基础的部分。
　　在该模型中，用户层包括算法发布人员、数据分析人员、数据库管理人员，即使得数据挖掘面向更多的用户，摆脱了以前数据挖掘对专业人士的过多依赖性。
　　1.2算法嵌入层
　　整个嵌入流程可以分为两个过程：算法发布和算法调用。算法发布过程主要是把算法发布到特定的数据仓库系统中，为数据挖掘系统在数据仓库系统中的执行奠下基础；算法调用过程则是在数据仓库系统中进行的，主要通过数据仓库系统中的存储过程，让用户传人相关参数，然后调用第一步发布的算法对用户指定的数据进行挖掘。
　　1）算法发布算法发布过程首先就是把算法封装成DLL文件，同时把调用算法的接口编译成EXE文件，然后把算法DLL文件和相应的EXE文件发布到数据库或数据仓库中，最后在相应的数据库中创建存储过程（简称SP），流程如图2所示。