发布时间:2023-06-27 16:02:12
序言:写作是分享个人见解和探索未知领域的桥梁,我们为您精选了8篇的数据分析设计样本,期待这些样本能够为您提供丰富的参考和启发,请尽情阅读。
中图分类号 TP319 文献标识码 A 文章编号 1007-5739(2011)21-0043-01
Design Principle of Data Analysis Software for ‘3414’ Test
LONG Ying 1 XI Yong-shi 1 ZOU Zhong 2
(1 Agricultural Technique Extension and Service Center in Tibet Autonomous Region,Lhasa Tibet 850000; 2 Rugao Soil and Fertilizer Station in Jiangsu Province)
Abstract Data Analysis of ‘3414’ soil testing and formula fertilization test was complicated.The function,module structure and module design of ‘3414’ test data analysis software were introduced,so as to promote efficiency of data entry,regression analysis,equation analysis,etc,and to guide the production and new test design by using the analysis results.
Key words ‘3414’ test;data analysis software;design principle
“3414”试验是农业部测土配方施肥技术规范中指定的用于肥料效应函数研究的一种试验方法[1-3]。其设计包括3个因子4个水平(表1)。“3414”方案设计吸收了最优回归设计处理少、效率高的优点,是目前应用较为广泛的肥料效应田间试验方法。
自开展测土配方施肥参数试验以来,“3414”试验得到广泛的应用。随着试验的实施,试验结果的数据分析虽然有相关的专用软件支持,但试验中常出现特殊的情况,如缺区、部分重复时常给回归方程的计算带来难度,当2水平设计较偏或产量异常时,甚至会出现最高产量和推荐施肥量均为负值的现象,给数据分析与应用带来一定难度。为解决这一系列问题,应用Visaul Basic6.0研究开发了一个针对“3414”试验数据分析的软件,并在Windows XP下测试通过。为共享对“3414”的分析方法,现将该软件的设计方法介绍如下。
1 软件功能
软件的功能设计主要有2个方面:一是进行数据分析,二是反馈设计。数据分析主要是完成试验数据的回归分析,计算其回归方程,并通过方程求取最高产量和最佳经济效益时的施肥参数。反馈设计是针对本次试验设计初定的2水平与试验结果获得的最高产量或最佳经济效益时的参数水平间的差异,对下一次试验的2水平进行修正设计,以便获得更好的回归模型和肥料效应参数。
2 模块结构
软件模块主要包括数据输入、回归分析和方程应用3个部分。一是数据输入。数据输入主要包括单个试验的设计参数输入和试验结果数据的输入,还包括相同实施处理小区的多点试验数据的输入。二是回归分析。根据设计参数、回归模型和试验结果数据,运用回归运算求取回归方程。三是方程应用。本模块主要是在取得回归方程后,完成方程的试验总体评价、边际产量配方分析、最佳效益配方分析、反馈设计配方分析功能。
3 模块设计
3.1 模型生成
“3414”试验的回归分析模型是以三元二次方程(Y=b0+b1X1+b2X2+b3X3+b4X12+b5X22+b6X32+b7X1X2+b8X1X3+b9X2X3)为基础进行生成。生成方法主要分3种:一是通过内置生成标准模型,二是通过对标准模型修改生成非标模型,三是通过人机输入生成所需要的模型。
3.2 数据输入
在试验实际操作中,试验结果常非常复杂[4-6],如可能是完全实施的n次重复,可能是部分重复,也可能是部分实施,还可能会出现缺区现象。因此,就某一试验结果的数据输入通过会出现很多情况,在软件设计时都必须给予充分的考虑。但是,不管“3414”试验实施过程中会出现什么样的情况,其结果仍可归纳出一个共同的规律:每个取得有效试验结果数据的小区都有1组与之对应的设计参数,从而数据的输入就可归纳为2种数据组的输入:一是各小区设计参数的输入,二是各小区试验结果数据的输入。在数据的输入方法上,可以通过文本框以字符串的方式输入,也可通过文本文件或电子表格文件导入。数据输(导)入后,再用Split函数分离给设计矩阵(A)变量和依变量矩阵(Y)变量,从而完成数据的输入。对处理小区均相同的多个试验,则可使用相同的设计矩阵参数,将各试验结果数据一并输(导)入,供一并分析,以方便统计和管理人员快速分析审核多点试验资料。
3.3 回归分析
回归分析分3个部分:一是通过设计矩阵A和回归分析模型计算生成结构矩阵X;二是通过X的转置矩阵X′与X的乘积矩阵的求取逆阵C;三是通过依变量矩阵Y、结构矩阵X和逆阵C求取偏回归系数矩阵B,从而完成回归分析,建立试验的回归方程。
3.4 方程分析
方程分析主要包括3个方面:一是方程显著性检验。首先是通过F测验对回归方程进行总体评价;其次是方程F检验显著再对偏回归系数进行显著性检验。二是方程合理性分析。通过对各试验因子(Xi)求导后,分析各因子的一元二次回归方程,看其一、二次项的系数的正负性及其顶点位置,判断其合理性,从而确定回归方程的可用性。三是最高产量和最佳效益参数分析。通过上述2步检验确认方程合理可用时,首先通过对回归方程求导,获取最高产量时的施肥参数方案;其次是通过对试验肥料数量替换为价值因子后,求取最佳经济效益时的施肥参数方案。
3.5 反馈设计
在获得试验的回归方程后,通常会出现方程的边际产量并不出现在设计的2水平,有的偏差较大,甚至超出了试验设计范围(如大于3或小于0),这常给试验分析和下一步试验设计带来困难。通过运用计算机的高效运算效能,通过对方程各因子进行一定级度(精度可调)试验全域(0~3)扫描,求取方程所反映出的实际边际产量水平时的施肥参数,再将此参数反馈给试验设计者,用于作为下一次试验设计2水平的参考,从而可有效加快试验实施的进程,提高试验精度。
4 参考文献
[1] 莫惠东.农业试验统计[M].上海:上海科学技术出版社,1984:151-174.
[2] 张建玲,赵宏儒,马丽萍,等.固阳县旱地马铃薯测土配方施肥田间肥效试验[J].内蒙古农业科技,2011(1):75-77,118.
[3] 张明安,马友华,褚进华,等.基于WebGIS的县域测土配方施肥系统的建立[J].农业网络信息,2011(6):20-23.
[4] 张国峰 贺立源 韩松,等.基于移动GIS的施肥推介系统研发[J].华中农业大学学报,2011(4):484-487.
关键词:防爆电机电磁设计 管理系统
电机的设计包括电磁设计和结构设计。那么电磁设计师作为电机设计的先行者,承担了电机设计的核心工作――电机的电气性能设计。现以防爆电机的电磁设计进行说明。
有经验的设计师在进行系列防爆电机产品的电磁设计时,全新设计要根据电机的防爆结构型式、防护等级、环境温度、海拔高度及其它环境参数等,再结合工厂的工艺制造水平和自己的工作经验来选取适合的参数进行电磁方案设计,而对于派生系列产品进行电磁设计时,可参照成熟产品的电磁参数进行个别计算参数调整达到技术要求以满足用户的需要。由于大多数的电磁设计软件的功能主要是方案设计,而对于方案的管理、存档方面的功能就显得苍白无力。大多数的电磁设计师一般会利用Windows操作系统加个人帐本进行管理。每个计算方案通过操作系统保存到本地磁盘,根据流水号分类进行管理,然后将流水号记录到账本上,方便以后查阅使用。这样的管理对于数据量小、设计种类少的小企业还是可行的。但对于系列产品多,种类杂的大企业来说,这样的管理满足不了企业及管理者的要求。每每查阅设计资料都需要从厚厚的账本中查出,然后到计算机上找到相应的文件。如果频繁使用查阅,就可能造成账本的老化和损坏,那么电磁设计师还需要对这些帐本数据重新整理,既费时又费力。那么如何简化劳动使电磁设计师有更多的精力和时间投入到新产品开发呢?于是我们开发了一个防爆电机电磁设计数据管理的软件系统,本文以哈尔滨理工大学孟大伟教授开发的几个电磁设计计算功能模块的输入、输出数据进行管理为例进行说明。
1 系统设计
为了使防爆电机电磁设计更加快捷,同时在功能上有可靠和保障,采用了后台数据库与前台应用程序相结合的方式来实现。
数据库方面,选择微软的Access桌面型数据库作为电磁数据管理系统的支撑平台。
应用程序设计方面,分两部分构成:
①系统数据库环境定制软件(YBDJConfig.exe)。
②电磁设计数据管理软件(YBDJProject.exe)。
2 开发语言的选择
能实现对数据库系统(信息管理系统)开发工具很多,目前主流的开发工具有Visual Basic 6.0、Visual C++、Delphi等。其中Visual Basic以其简洁易懂的语法、直观强大的IDE(集成开发环境)、丰富强大的数据库操作特性获得了大部分程序员的青睐,所以我们使用Visual Basic 6.0进行电磁设计数据管理软件开发。
3 功能模块的划分
就本例而言的防爆电磁设计管理软件需要包括:
①产品的分类分级管理,方便用户查阅。
②对不同类型的电磁单需要有单独的界面进行新增,编辑,保存等操作。
③对每个电磁单都应该有它的属性以及特征描述信息。
④具有条件查询的能力,实现对数据库进行快速的定位查找。
⑤能够输出电机的性能曲线,方便提供给用户曲线图。
⑥为其他系统(如:清华英泰PDM)提供存档的计算单。
下面对各功能模块分别进行叙述:
①对于产品的分类分级管理。这里我们采用目录树(TreeView控件)结构来实现。如下图1:这样通过目录树进行分类分级就可以把电磁数据分层次管理起来,查看时只需点击[+]号,系统会逐级展开直至找到所需要查看的数据方案。
②对于每一种类型如小型鼠笼电磁设计数据信息都有单独的界面进行输入,编辑,保存以及察看输出计算单的功能。如下图2为正在编辑的YB2隔爆电机电磁方案:
③对于在编辑界面中新增的计算单都可以为其添加一些描述信息,以方便设计师管理方案。如下图3为YB2-280-2 75kW 500V的描述信息内容:④为了更好的方便查询,程序满足对各个描述信息或具体的防爆电机电磁方案的设计参数进行数据查找,减少人工的检索提高工作效率。下图4为对描述信息进行的查找的结果:下图5为对防爆电机电磁方案的设计参数进行方案查找的结果:⑤能够自动输出电机的性能曲线到文件中,方便提供给用户曲线图。
由于核心的防爆电磁设计程序是DOS版,曲线输出是在显示屏上绘制的。这就导致无法将其保存为图片格式的文件。所以,在给用户提供防爆电机的特性曲线时,往往采用的手工的方式,通过电子表格(Excel)的图表功能进行曲线输出,显得十分繁琐,而且制作时间长,曲线显示不光滑,很难满足企业快速发展的需要。为了解决上述问题,防爆电磁管理系统对防爆电机的特性曲线各点数据利用三次样条曲线原理解析出曲线方程,然后在绘图容器中进行图形的绘制,并支持保存为位图文件。同时系统利用微软的ActiveX与OLE技术输出到Micro Word文档中(外供用)。并且曲线各点连接光滑,完全能够满足用户的需要。
下图6为系统输出的YB2-132M-4 9kW 440V 60Hz特殊设计防爆电机的[效率、功率因数VS输出功率]特性曲线图:⑥ 为其他系统(如:清华英泰PDM)提供存档的计算单。
该系统支持对于每个防爆电机的电磁方案的存档输出,满足企业对防爆电磁数据的整体管理存档的需要。
4 结束语
工欲善其事,必先利其器。在电子技术迅速发展的今天,利用电子计算机对电机进行设计和管理已经被广泛接受和采用。随着科学技术的发展,越来越多的技术被应用到电机设计中来,如:采用有限元法对电磁场进行仿真分析,可以解决传统方法解决不了的瞬态问题,对防爆电机结构进行强度、刚度、扭矩、剪切等受力分析,大大减少了设计过程中难以控制的技术难题。我们开发的防爆电机电磁设计管理系统软件已在我公司得到应用,并取得了良好的效果,受到了公司的嘉奖。但由于我们理论水平有限,本文难免出现疏漏,敬请见谅。
参考文献:
[1]计算机辅助电机设计.北京:机械工业出版社,1990.
[2]Visual Basic 数据库开发及工程实例.北京:人民邮电出版社,2003.
【关键词】 1B1H编解码 PRBS MSTP
一、前言
当前,随着光纤通信技术的飞速发展,SDH、MSTP设备在城域网、电信网等领域发挥着重要的作用。同时,鉴于历史因素,以前搭建的光纤传输网络中仍然有部分PDH设备。且SDH、MSTP设备成本较高,带宽利用率相对较小,所有在传输带宽要求不高的光通信传输网络中,PDH还在发挥着作用。本文提出了一种能够测试指定厂商生产的PDH光接口和标准STM-1、STM-4光接口的通用光数据分析仪的解决方案。
二、硬件设计
硬件总体设计如图 1所示。
如图,测试仪的光接口接收方向经一2×2电平交叉开关芯片的输入,电平交叉开关芯片的输出一路直接进入FPGA,另外一路则连接到E1映射/解映射集成电路上。同理,光接口发送方向硬件连接与接收方向类似。通过FPGA控制电平交叉开关芯片的选通引脚,可实现光接口在FPGA和E1映射/解映射芯片之间的切换,也就是光接口在PDH和SDH之间的类型切换,这样设计节约了硬件开销。
为了对集成电路进行配置和提供可视化界面,测试仪采用一颗32位的嵌入式CPU芯片,实现显示屏的显示和按键的扫描。同时提供了一个串口用于测试仪软件的升级和维护。
三、软件设计
本设计软件部分由FPGA模块、CPU底层2部分组成。FPGA模块
FPGA模块主要有两个功能,一是实现PDH的E1信号复用和解复用、1B1H编解码;二是实现E1信号的HDB3编解码;三是实现PRBS的插入与误码检测。
PRBS 插入与误码检测
本设计使用的PRBS(伪随机序列)速率为标准2.048Mb/ s,速率等级采用215-1,相位“正”、“反”可选。检测部分电路采用帧头检测法,在伪随机序列中插入固定的帧头“0011011”,这也是PCM标准帧头,在接收端通过检测帧头信号实现同步,当连续16次在正确位置检测到帧头信号则认为帧同步,当帧同步后,将信号送入比较器,比较器本地生成一个与发送PRBS模块一样的PRBS,并将本地PRBS序列和同步后的信号进行比较,以1024个bit为一个比较序列,设置数据正确指示信号,用于指示当前比较的结果。另外设置误码计数器,用于存储错误发生时,产生的误码bit数。
E1信号成帧
本设计将PRBS封装到标准的E1信号,复用进PDH光通道中,或映射到SDH的VC-12中。从而实现PDH光通道的性能监控和对SDH低阶支路状态的监控。通常,E1有5种帧格式:非成帧、PCM30、PCM30CRC、PCM31、PCM31CRC。对这5种帧格式,本设计做了较为灵活的处理,将设计主要分成3个通用模块:帧头生成电路、复帧生成电路、CRC校验电路。对这三个模块进行简单的配置,即可实现相应的帧格式。
HDB3编解码
在二进制消息代码序列中,HDB3码的编码规则:
(1)当连“0”的数量不大于3时,HDB3编码规律与AMI码相同;(2)当出现4个或超过4个连“0”时,将每4连“0”小段的第4个0变换成与前一非0符号(+1或-1)同极性的符号,用“V”脉冲表示,以破坏AMI码极替规律.所以,“V”脉冲称为破坏脉冲,“V”脉冲和前3个连“0”(“000V”)称为破坏节;(3)为了使脉冲序列不含直流分量,必须使相邻的破坏点V脉冲极性也交替;(4)当相邻V符号之间有奇数个非0符号时,能保证(2)和(3)条件成立;当有偶数个非0符号时,则得不到保证,这时应将该小段的第1个“0”变换成“+B”或“-B”,B符号的极性与前一非0符号相反,并让后面的非0符号从V符号开始再交替变化[1]。本设计采用D触发器和与门、或门等门级电路实现HDB3编码和解码。
1B1H编解码
1B1H码:把B1~B4、H1~H4交替按顺序编排,以同步复接方式形成线路码流。码速率约为68Mb/s,B1-B4各传输120个话路,H1、H3各传输120个话路,H2可传输60或90个话路,因此1B1H线路码可传输780至810个话路。比普通(34Mb/s)多传输330个话路,传输速率提高了一倍。电路简单,最大连“0”、“1”为4,具有良好的传输特性,可靠性高,误码检测精度高,缺点是码速率提升大,灵敏度代价高。
1B1H帧结构如下:
图 2 1B1H码结构
本设计编解码模块采用读写脉冲速率差异的方法实现H码的插入。读出脉冲速率比写入脉冲速率高,这样B码分组后出现多余的空位,在此多余空位插入H码。
软件设计框图如图 3、图 4所示。
CPU底层程序设计
CPU底层程序主要由以下模块组成: 显示控制模块、按键扫描模块、性能监控模块。
本设计采用了一个65K色的TFT显示屏,显示屏通信方式为串口,显示屏与CPU之间数据吞吐量较大,因此底层软件设计了一个环形缓冲器,环形缓冲器定长256byte。另外,为矩阵键盘设计了一个专门的扫描算法,设计了一个状态机,将正确的按键路径存储在一个查找表中,状态机根据查找表的内容做出相应的操作或者提示。同时查找表中有无效操作项,当用户采用了无效操作后,给出提示,让用户重新操作。
底层软件设计了一个性能监控模块,创建了一个告警监控任务,该任务即时监控FPGA送出的当前E1信道上的误码情况,从而实现对PDH光口和SDH光口低阶的监控。FPGA同时将E2复用和1B1H编解码的信道误码和告警报告给CPU,由CPU显示控制。为了监控SDH再生段、复用段误码情况,底层软件创建了一个分析任务,读取E1映射/解映射芯片的B1、B2字节,通过B1、B2字节的情况判断当前光接口再生段、复用段是否误码。
底层软件设计了一个SDH开销字节监控模块,并在显示屏上设计了一个可视化窗体,用于显示当前SDH开销字节的具体值,并能通过可视化窗体向被测设备开销字节中插入数值。
四、总结
本设计提出的光数据分析仪解决方案完美的将对PDH设备光接口和SDH设备光接口的测试功能集成在了一个体积小巧、功耗较低的便携式仪器上。设计完成的样机有美观简洁的可视化窗体和灵活的功能按键,这使仪器具有很高的操作性。
文献标识码:A 文章编号:1672-7800(2015)005-0098-02
作者简介:陈冠星(1984-),男,广东揭阳人,硕士,海南软件职业技术学院网络工程系助教,研究方向为数据库、网络技术与物联网。
1 数据仓库简介
数据仓库(Data Warehouse,DW)是随着关系数据库、并行处理和分布式技术的飞速发展而产生的[1], W?H?Inmon出版了《Building the Data Warehouse》一书,给出了数据仓库的定义:数据仓库是一个面向主题的、集成的、非易失的、随时间变化的用来支持管理人员决策的数据集合[2]。数据仓库包含的是整个企业视图的粒度化数据。
数据仓库系统通常对多个异构数据源有效集成,集成后按照主题进行重组[3]。存放在数据仓库中的数据通常不再修改,用作进一步的分析型数据处理。
数据仓库系统的建立和开发以企事业单位的现有业务系统和大量业务数据的积累为基础 [4],其开发是一个循环迭代过程,通常需要企业有一定的业务数据积累,开发人员将这些历史数据通过ETL输入到数据仓库中,进行分析和统计,以建立决策支持辅助系统,为企事业单位管理者提供决策支持。
2 保险业需求分析
随着保险业发展及保险市场竞争的加剧,保险公司在管理和运营方面面临着更高的要求,来自监管、竞争、技术更新及全球化等各方面的压力不断考验着保险企业。保险业发展的核心动力表现在以下几个方面:①进入新分市场及提高业务质量;②巩固客户忠诚度,适应客户多变的需求;③高效的运营;④精确的风险及成本控制;⑤消除各种技术壁垒。
要做到上述目标并不容易。对高层管理者来说,由于统计口径的关系,很难获取一致性数据进行比对,很难及时监控到业务状况,不能有效地进行决策支持。对于业务部门主管与业务分析员,所需报表难以及时获取,即使取得的数据也难用于多视角、全方位地分析业务问题。对于IT部门来说,要不断帮助业务部门制作报表,时间相对较长,而且开发的报表越多,特别是分析型的报表越多,业务系统性能越受影响。
以某人寿保险有限公司为例,该公司的数据支持情况如下:
(1)保单管理系统中大致有50张左右的报表在运行,但随着公司业务的发展,数据分析及用于日常管理的制式报表与日俱增,报表数量将很快无法满足业务发展需求。
(2)各业务管理部门有各自的制式报表及统计需求,但在将数据汇总时,时常出现因统计时点不同、指标定义的理解差异等原因造成数据不一致,导致额外的数据校验工作。
(3)当前报表的IT实现基本上是按照单个报表需求来设计的,造成IT设计无法复用,报表开发缺乏整体规划,呈一种临时性状态,随着报表及统计需求的增加,IT相应的工作将与日俱增。
(4)因当前报表及数据统计都在保单管理系统中运行,随着需求数量的增加,保单管理系统将面临沉重的夜间批处理压力并严重影响日间日常业务操作的效率及稳定性。
针对上述系统现状,在建设中决定采用数据建模、ETL、数据分析以及数据展现等技术,实现风险管控分析、客户服务分析、客户维持分析、市场销售分析、综合分析和综合管理6大功能,达到以下目标:①代替原有手工报表方式,为业务人员节省时间;②提供精细的分析数据。业绩分析可以从营业部,钻取到营业组,甚至每个FC(理财顾问),保全分析可以分析每种保全项目的明细;③统一的分析口径。各部门统计指标,可以在统一的时间点上进行公司级汇总;名称一致的统计口径,可以唯一定义一种统计方式;④唯一的报表平台。从报表需求获取到报表需求分析以及最后的实现都在一个体系下完成,公司数据分析工作逐步系统化和实用化。
3 系统设计
统计分析系统采用灵活架构,在构建一个统一、稳定的企业级数据仓库基础上,分步构建各个独立的分析应用数据集市,满足灵活性、扩展性要求,系统架构如图1所示。
保险数据仓库是一个中央的知识数据库,包含来自寿险系统、团险系统、短期险系统和电话销售系统等源系统的源数据,数据模型分为3层:
(1)数据准备层(Staging Layer): 采用同源系统相似的数据结构存储源系统的每日增量数据。
(2)保险企业模型层(Insurance Enterprise Models Layer): 作为保险数据仓库的核心,相应的保险企业模型部署在该层。根据保险行业的业务视图,保险企业模型分为10个主题,根据保险信息的特性而非事务处理的目的来设计,企业级上所有保险业务信息根据历史版本进行记录。在数据准备层通过ETL(数据抽取转换装载程序)进行数据批处理,采用增量机制装载进入保险企业模型。
(3)分析数据模型层(Analysis Data Models Layer): 各种各样的数据分析需求归类到不同的数据集市,如市场及销售数据集市、运营效能数据集市、风险管控数据集市等。分析数据模型即为满足数据集市需求而采用维度建模方法特别设计的模型。分析数据模型从保险企业模型衍生而来,数据通过ETL 批处理,采用增量机制装载进入保险企业模型。
ETL采用增量机制,每日从源系统抽取变更数据至Staging层,接着将Staging层数据转换至企业模型和分析模型。在ETL批处理完成后,系统运行报表批处理生成报表并到相应的报表文件服务器上。
OLAP元数据管理工具: 提供OLAP 元数据管理工具,用于管理所有OLAP 业务元数据,包括指标定义、维度层次定义、指标与维度的关系及分析需求。通过使用这个工具可帮助保险企业统一KPI 定义及促进企业标准化管理,同时其管理的内容可作为统计分析系统所支持的知识库来使用。
OLAP平台:选择微软的SQL Server 2008作为OLAP平台。OLAP 工具支持分析的类型包括管理仪表盘、平衡记分卡、制式化管理报表、临时查询、数据挖掘等。
4 系统实现
4.1 ETL实现
ETL采用SQL Server集成服务来实现。Microsoft Integration Services 是一个可以生成高性能数据集成解决方案(包括为数据仓库提取、转换和加载ETL包)的平台。Integration Services包括生成和调式包的图形工具和向导;执行工作流函数操作和执行SQL脚本等任务;提取和加载数据的数据源和目标;清除、聚合、合并和复制数据的转换;管理包执行和存储的管理服务,即Integration Services;用于Integration Services对象模型编程的应用程序编程接口(API)。
4.2 多维数据实现
创建报表之前,需要通过SQL Server分析创建多维数据模型。之所以使用SQL Server分析服务创建多维模型,主要是为了实现对业务数据的即席查询。系统开发人员创建多维数据集以支持快速响应,并提供单个数据源以进行业务报告。商业智能的重要性不断提高,使用单一的分析数据源可确保将差异减到最小(如果无法完全消除差异)。
4.3 报表系统实现
报表系统实现使用了SQL Server报表服务,报表服务包含一整套管理报表的工具。报表工具在微软的开发环境中工作,并与SQL Server无缝衔接。通过报表服务,可以从多种不同的数据源创建各种不同样式的报表。
5 应用效果
该系统目前已经在某人寿保险有限公司正式投入使用,结果显示,该系统使业务数据的分析效率、分析能力大大提高,在一定程度上简化了业务人员数据统计工作,对公司决策支持起到很大的帮助作用,系统良好的应用价值体现在以下几个方面:①数据集成。数据仓库能够把来自多个不同子系统的数据进行有效集成,提供统一的、一站式的业务报表系统;②查询灵活方便。统计分析系统能够根据不同的需求进行条件过滤,并支持数据向上向下钻取,数据查询方式更加灵活,追溯更加简单直接,为业务分析人员提供了很大的便利;③安全性高。为了保证数据的安全性和可靠性,对数据仓库中的数据实行统一管理;④降低成本。统计分析系统的建立,可以代替原来的手工汇总操作,一次创建,只需要进行简单的维护就可长期使用。
6 结语
本系统开发及系统运行工作得到如下经验及启示:
(1)理念的转变。在数据分析上,需要从清单和简单汇总上升到数据分析,从单个部门分析到全局分析,从数据库到数据仓库进行分析设计。
关键词:油品运输物联网;日志文件;My SQL;PowerDesigner
中图分类号:G250.74 文献标识码:A 文章编号:1009-3044(2017)08-0274-03
油品运输物联网是由机械结构、传感器、计算机网络、计算机软硬件等部分组成的高科技产品。管理人员通过油品运输物联网可以控制油品运输车辆各个阀门的开启,并可以获取各个阀门的开启状态、车辆位置等实时信息,实现对油品运输过程的实时跟踪和监控。油品运输物联网的作用首先是提高了油品运输的安全性。汽柴油属于易燃易爆物质,而加油站多在城市中心、高速路旁、建筑物边等人口密集区,一旦发生燃烧爆炸事故,将严重危害到人民的生命财产安全。油品运输物联网的第二个作用是,通过向管理人员提供实时信息,管理人员可实现最优调度,提高运输效率。油品运输物联网的第三个作用是,各个阀门的开启动作由管理人员通过互联网操作,各个阀门的开启状态受到管理人员监督,防止了油品盗窃现象的发生,给企业带来经济效益。应市场之需,车载油罐智能锁被研发出来,该产品由车载智能控制设备以及后台管控软件组成,通过对油罐车进油口、出油口在配送运输途中的全程锁闭控制,以及在油库、加油站的定点开启控制等控制机制,结合全过程流程操作规程和库、站、运输公司管理机关处室各级管理规则,相互配套,相互制约与监督,为客户构建起油罐车在油库装油、配送运输、加油站卸油、油罐车返空各环节的全程管控体系,可有效防范油品配送过程中的偷盗油问题。但是关于每部车的异常情况以日志文件的形式进行记录,需要工作人员自己通过日志文件进行判断,但这种方式相对而言,准确性,高效性,及时性都很难达到。所以油品运输物联网日志分析系统来完成文件的分析和数据的记录。
1日志文件数据分析
1.1油品运输物联网智能车罐锁的日志文件产生
油品运输物联网智能车罐锁是将司机与油罐分开,所有的开关都由操作人员进行操作。在油罐车上有中控主机,人孔盖控制器和海底阀控制器,如图1所示。油罐车只会在到达油库或加油站时,通过申请开锁,即向中心管控发送指令,然后由中心管控发送开锁指令,才能进行装油或卸油的操作,具体流程
在这个过程中,车辆运行过程中,锁和中控机的状态都被记录到日志文件中,如果i被异常打开,我们就要去判断是本身故障,还是司机实施盗油。通过对日志文件的分析,得出合理的判断。
1.2日志文件数据分析
在日志文件中,不仅存在可以分析盗油问题的数据还有一些对设备的正常记录,所以要进行筛选。日志文件部分数据如图3所示,剩余的部分以14秒的间隔不停记录。在图中,我们首先获取车辆的相关信息,车牌号,设备编号,传输通道,通讯设备,通讯协议版本,密码版本,IP地址,因为要确定司机在运油过程中是否盗油,关键的就是记录以上车辆的相关信息;其次车上的锁都有几个是什么类型的,锁的状态,对应参数气压,线圈和仓门状态,这些是辅助人员对车辆进行判断的依据;然后就是车辆的位置,经度,纬度,以及当前的速度这些状态,对于所打开时的状态,对应仓门状态和报警的信息,以上就得到了所有必要的数据信息。
2数据库表设计与实现
数据库的选用,当然是开源的My SQL。原因有三:1)轻小便捷;2)降低总成本;3)有较高的插入和查询速度。
数据库设计工具为Power Designer。Power Designer最初由Xiao-Yun Wang(王晓昀)在SDP Technologies公司开发完成。Power Designer是Sybase的企业建模和设计解决方案,采用模型驱动方法,将业务与IT结合起来,可帮助部署有效的企业体系结构,并为研发生命周期管理提供强大的分析与设计技术。PowerDesigner是Sybase公司的CASE工具集,是能进行数据库设计的强大的软件,是一款开发人员常用的数据库建模工具。并J~Power Designer有以下优点:
1)Power Designer系列产品提供了一个完整的建模解决方案、它将对象设计、数据库设计和关系数据库无缝的集成,在一个集成的工作环境中能够完成面向对象的分析设计和数据库建模工作;
2)支持开发生命周期的所有阶段、在软件的生命周期内,提供了完整的分析设计和建模解决方案、它提供了三级建模功能,即概念数据建模、物理数据建模、面向对象建模,同时它还可以生成模型报告;
3)具有良好的性价比,更能迎合市场潮流、已经有许多成功的案例。
鉴于此,我们选择了PowerDesigner作为数据库设计的工具软件。
2.1概念模型设计
概念数据模型描述的是独立于数据库管理系统(DBMS)的实体定义和实体关系定义。根据概念模型的定义,确定具体的实体个数和它们之间的关系。打开PowerDesigner工具,点击菜单“File”“New Model”,然后选择“Conceptual Data Model”。
依据第一部分日志文件分析所得,实体确定如下:日志文件本身,车辆,车辆锁。各个实体的属性如下:日志文件(id,名称,车辆,文件日期),车辆(id,车牌号码,设备号码,车辆锁,车辆的仓门,通讯协议,通讯版本,密码版本,车辆的经度,车辆的纬度,车辆的速度,车辆,车辆ip地址,仓门的状态与报警,配送单号,配送订单号),车辆锁(id,车辆锁编号,车辆锁的类型,车辆锁仓门的状态,线圈的状态,气压的状态,时间)。
分析日志文件我们得出:一个车辆在运油过程中会产生多个位置需要我们去记录,其中包含锁的状态,仓门的状态和车辆的速度会一直发生变化,每个时间段都需要记录;一辆车有多个锁和多个仓门,而且仓门的状态与报警会随着时间不停地变换,并且每个仓门对应唯一的订单号和配送号,所以一辆车就有多个配送单号和订单号。依据数据库的设计原则满足第三范式,不能有数据的冗余。日志文件不存在数据冗余,对于实体车辆而言不仅有大量的数据冗余,而且不符合第一范式(原子陛,表中字段不可再分解),故重新确定实体及其属性:车辆(id,车牌号码,设备编号,传输通道,通讯协议,通讯设备,密码版本,IP地址,状态),车辆锁(id,车辆锁类型id,仓门id,编号,气压,线圈,时间,状态),车辆锁类型(id,类型名称),车辆仓门(id,编号,订单号,配送号),仓门状态(id,仓门id,状态,报警),车辆位置(id,车辆id,经度,纬度,速度,时间)。据以上实体属性关系确定完毕,概念模型CDM设计如图4所示。
2.2物理模型设计
物理数据模型是在概念数据模型的基础上针对目标数据库管理系统的具体化。PDM和CDM中的对象之间的对应关系如表1所示。
我们通过CDM转为PDM时,遵循文献里所涉及的原则,得到物理模型PDM后,将具体的id(主键)重新命名建立相关表之间的索引,则物理模型PDM如图5所示。
2.3数据库建立
Power Designer建模工具支持将PDM模型生成对应的mysql可以运行的文件。打开Power Designer,点击Database菜单,选择Generate Database选项,先点击Preview,查看SQL语句,回到General选项卡下,做两项工作:第一,设置好С龅sql文件存放路径;第二步,设置好导出脚本文件名;最后确定执行,可以执行的文件就导出了。
接下来打开My SQL通过第三方软件Sqlyog可视化工具打开,执行导出的文件,得到空间数据库后,右键新建好的数据库找到属性值,进行编码设置,通常都是“UTF-8”,最终日志数据的空间数据库如图6所示。
【关键词】 “互联网+” 大数据 “三角服务”模型 智能医疗服务系统
在人口快速老龄化、家庭规模日益小型化和机构养老发展不足等多重因素的影响下,发展社区养老逐渐成为一种必然选择。建立起基于“互联网+”和大数据分析的社区老人智能医疗服务系统,在市区大医院、社区医疗站以及社区老年人三者之间建立起信息网络,使社区老年人的健康问题得到更好的保障。
一、系统概述
现如今,大型医院普遍存在床位紧张、人员调配效果不佳、管理体系不健全等问题。建立社区老人智能医疗服务系统是完善现有医疗体系急需解决的主要问题,同时,随着物联网技术的不断发展,将互联网与大数据分析技术用于社区医疗服务系统,已成为该方面的一项新技术。
二、技术分析
根据上述分析,需要开发一套基于“互联网+”和大数据分析的社区老人智能医疗服务系统,此系统可以最优化利用资源,帮助老人方便、快捷的解决突发状况。为满足需求,该方案需要具备以下技术:1)概率统计。收集社区老人的体温、心率等生命体征数据。以河师大社区为例,运用概率统计技术采集社区老人的生命体征数据。2)大数据分析。分析老人生命体征数据。在信息协作平台上,利用大数据分析、数据挖掘和人工智能中不确定性推理技术,对采集到的老年人信息进行分析及推断。3)互联网技术。构建“三角服务”模型。运用互联网技术,构建一个以老人为中心,社区家庭、社区医疗站、市区医院三大子系统相互连接的“三角服务”模型,实现智能管理。
三、设计方案
1、总体流程。整个医疗服务系统可分为线上和线下两种服务方式。线上:系统按照固定方案进行老人身体数据采集;线下:社区医疗站会定期派专业人士到老人家里对其进行全方位检查以及相关医疗知识的普及。
2、数据采集与处理。首先利用智能手环采集社区部分老年人的身体数据,通过社区中建立的互联网网络把数据传输到手机APP以及信息协作平台上。分析老人生命体征数据。在信息协作平台上,利用大数据分析和不确定性推理技术,对采集到的老年人信息进行分析及推断。
3、“三角服务”模型。“互联网+”社区养老中最为核心的就是系统模型的构建,运用互联网技术,构建一个以老人为中心,社区家庭、社区医疗站、市区医院三大系统相互连接的“三角服务”模型(如图1所示)。
若采集到的老人的身体数据发生了变化,则会通过报警系统反馈到社区医疗站,社区医疗站则做出最快的反应,一方面,会到老人家中对老人进行急救,另一方面,会及时将老人的存档发送给医院,并联系医院进行一系列的急救措施,从而节约了救援时间。
4、构建智能医疗服务系统。开发社区老人智能医疗服务系统。即开发一个集智能医疗设备、智能医护终端设备和带有功能模块的智能医护平台为一体的服务系统。将采集到的老人身体数据存于专门的数据库中,在信息协作平台上将社区老人、社区医疗站和市区大医院三者建立成一个相互共享的网络,实现数据信息的共享。手机APP与信息协作平台相联系,能够通过移动设备查看网络平台的信息,市区大医院的医疗系统与社区医疗站的数据库相连接,从而便于实现信息的共享。
结语:本系统是基于“互联网+”和大数据分析的社区老人智能医疗服务系统,是物联网在医疗领域的应用,目的是为社区老人提供更便捷的医疗服务。将大数据分析技术与智能医疗服务系统相结合,在概率统计的基础上,将手机APP与信息协作平台相联系,通过移动设备查看网络平台的信息,便于实现信息的共享与交流,医疗服务更趋于智能化。
参 考 文 献
[1] 赵静. 基于物网发展的智能化社区医疗服务研究[D].燕山大学,2013.
[2]潘峰,宋峰. 互联网+社区养老:智能养老新思维[J]. 学习与实践,2015,09:99-105.
[3]王蔚,邵磊,杨青. 基于大数据体系下的城市住宅区养老模式研究[J]. 住区,2016,01:35-41.
关键词:Web数据库 设计 实现
中图分类号:TP311.1 文献标识码:A 文章编号:1007-9416(2015)11-0000-00
Web服务中大多是以文件传输的形式来进行管理和运营的,但是随着社会发展信息量的加大,系统的反应速度受到很大影响,并且Web的应用领域逐渐扩大,已经不能够满足人们对于信息实时性的要求;另外,数据库近几年的发展十分迅猛且数据库的功能强大,能够快速检索查询大批量的数据,达到高效运行的目标。所以Web数据库就将Web技术与数据库技术相结合,这不仅能够将二者的优势相互结合,最重要的是可以将数据库的重要资源放到网络平台进行检索和浏览,使用户能够在浏览器轻松跨平台实现多媒体的服务。Web数据库作为研究设计的方向,与传统的数据库有明显的不同,比如体系结构以及访问方式等等。
1 Web数据库系统的体系结构
数据库系统的体系结构是涵盖了系统硬件、软件以及语言和算法的综合性概念,具体指的就是组成计算机系统的各部分之间的相互关系。对Web数据库系统结构的研究主要就是对其硬件分布及软件功能分配方面的内容。一个逻辑性清晰、开发容易和便于维护的数据库系统的建立必然是以一个统一的体系结构为指导,同时还要对系统的软件功能分配及硬件分布进行科学的规划。
数据库系统体系结构是随着计算机模式的改变而不断的改变,与计算机体系结构有着紧密的联系。伴着计算体系的集中模式和C/S模式以及三层C/S模式的演变,数据库体系结构也历经了集中式的主机结构和C/S结构以及多层的C/S结构演变。
2 Web数据库应用编程模型
Web数据库经过两种技术的结合,需要解决的就是各个模块之间复杂的信息传输交换方式以及对于数据库的管理和运行,另外还有在设计应用编程中模块和层次间的衔接和整合中存在的问题。
2.1 MVC模型
不管是什么样的应用程序都需要对相关的流程进行控制,根据这些就能够总结出常用的设计模型,在MVC模型中应用程序由三部分组成:模型:是程序的核心逻辑,面对应用领域的抽象对象,对其传输的信息要求进行检索和浏览,实现完成业务的目的。视图:这部分主要是面向用户的应用程序,负责用户与数据库应用程序的链接作用。一方面,视图能够为用户提供所需要的信息输入方式,并能够将需求以最快的速度传输给逻辑应用领域;另一方面,在传出形式上,将逻辑结果以一定的方式呈现给用户。控制:就是将逻辑程序与视图之间进行模式切换,方便两者的信息数据接收和传出。一方面,能够将视图传来的信息进行解读,以一种系统能够接受理解的方式传送出去;另一方面,将逻辑结果和模型的转变的执行进行处理,反馈给用户。
针对MVC模型应用程序的优化设计,包括对用户界面、流程控制以及逻辑方面的设计,将各部分进行分离,然后设计开发出个部分之间的接口,根据不同部分的主要功能,选择最合适的接口技术进行开发设计,最终形成完美结合,突出模型的技术细节和重要功能。
2.2 Web数据库应用系统设计开发中存在的问题
Web数据库的设计开发主要包括三个方面,分别是网页的设计、业务逻辑的设计以及数据库的管理设计。这些实际都是由多个开发人员应用不同的技术来结合成一个完整的程序的,所以编程技术很多,对应的客户的主机也要进行不断地升级才能够接受高功能的程序逻辑。在开发Web数据库的应用程序时,要考虑到运行速度、效率以及逻辑功能等多方面问题,同时各种技术自身都存在一定的不足,如果只采用一种技术来连接Web数据库各部分之间的接口会带来很大的运行困难,所以需要采用多种技术共同设计开发,保证Web数据库的高效率运行。
目前的Web数据库存在的种种问题,主要是编程模型的开发问题,从而造成的网页、逻辑和数据库之间的交流不顺畅。在设计开发的过程中引用系统、合理有效的编辑模型,要求设计和开发人员务必按照一定程序来对各部分接口进行独立的设计和开发维护,并保证不影响整体之间的交流和链接。
3 Web数据库的安全性设计分析
在对Web数据库进行设计的过程中首先需要对其工作环境进行最优化的系统安全配置,进而有效避免非法人员对Web站点的攻击,其具体包括了对操作系统、相关服务器的安全配置,只有将相关工作有效的结合起来,才能为Web数据库的建立提供一个安全的工作环境。3.1服务器的安全配置
对系统不同层次的运行环境要提供出具有较强针对性的安全机制。(1)操作系统的安全设置及措施。在用户进行使用系统之前首先需要做的就是登录,对于一些不能成功登录的用户,系统禁止其使用服务器的一切资源;对系统所有的默认账号和密码进行删除,同时限制用户尝试登录系统的次数;将系统磁盘设置为只读模式;对于系统中一些重要的目录要进行及时的备份,避免丢失;对用户的硬盘使用空间进行限制;对于允许访问系统的用户,对该用户资源访问权限进行设置。(2)数据库的安全设置。Oracle的安全模式设置为标准的安全模式,设置用户只能通过登录ID号以及相关口令进行数据库服务器的访问;对不同的用户在数据库的管理系统中给予不用的用户名设置;同时赋予不同的用户不同的权限;对系统中的用户名和对应口令进行定时的更改;定期的对应用程序中的用户进行审计。
3.2数据库应用程序的安全性设计及实现
对于服务端的应用程序采取了以下几种安全性措施,如下所述:(1)程序连接数据库的应用,Oracle中对数据库的连接用户进行用户名的设置,并赋予其相应的访问权限。同时在应用程序中设置了用户的登录名和登录口令。在应用程序进行数据库链接时,利用系统赋予的用户名和口令方能进行数据库的访问,随后实现Oracle原有的全部用户以及管理权限才能得以实现。具体实施方案:对于每一个数据库的应用程序设置一个相应的数据库账号,该账号对所有的数据信息都具备了操作的所有权限。另外,这对于系统的操作人员还需要创建一个系统账号。这样一来,当用户在访问数据库时,必然会以真正的数据库账号进行登录,然后是相关登录程序的执行过程。这一安全体系直接造成的结果就是整个应用系统成为了数据库的直接用户,而系统的所有操作人员却成为了数据库的间接用户。也就是应用系统在完成了相应的逻辑基础之上,还彻底的分割开了数据库和系统用户,为数据的安全提供了一道坚固的“防火墙”。(2)有效的增强用户的授权机制。在系统中不仅对Oracle的数据用户采用了授权机制,对系统账号也采用了手段机制,在上述的安全体系中,应用程序有效的为数据库和用户之间提供了一道安全防火墙,这对应用程序本身的要求就需要具备足够的安全特性。由于用户授权管理机制的严密性将对整个系统的安全将产生直接的影响,所以强化用户授权机制就显得尤为重要。本文研究的系统中将整个系统根据其功能特性将其划分为了多个最小的权限单元,这些单元同时都具备了可分配的特性,单元权限主要也就表现在了对数据库相应表格属性以及视图文件的操作等内容的划分上,然后再有效的结合相关系统操作人员的工作性质,运用工作组或角色的概念,完成了应用系统账号基本等级的创建工作,如根据等级的不同可将用户分为普通游客、初级会员、高级会员等,同时赋予了不同等级的用户群不同的使用权限,由此以来使得系统权限管理工作得到了有效的简化。为了使系统安全管理的灵活性有效提高,对系统某一等级的用户的权限,授权管理模块需要做进一步的限制工作,以实现所有权限均能达到任意组合的应用效果。除此之外,为了保证相关管理工作人员工作效率的有效提高,对所有的系统权限和每一种等级的用户群体以及不同用户所对应的不同组合权限,建立一部完善的数据词典,为的就是能够保证在任何一种工作环境下,工作人员都能够方便的对用户等级进行添加或者对不同等级的用户权限进行修改等操作;为了能够有效的限制某一系统应用账号的继续使用,该系统还需要设置相应的账号封锁或解冻的功能。(3)系统的审计和检测。系统的检测和审计工作对整个系统的安全稳定具有重要的意义。系统中的日志系统具有良好的数据库操作数据的采集以及记录功能。日志系统能够有效的记录某一用户在登录系统直到退出系统这一访问时间段内的所有操作,包括了用户在登录过程中的失败操作以及在成功登录系统后所执行的增、删、查、改等一系列的操作行为。日志记录的内容还包括了用户的IP地址以及名称、操作类型及操作对象等多项内容。为充分保证系统的安全性和稳定性,系统管理工作人员就需要对日志记录的文件内容进行必要的审计和检测工作,及时的找出系统中存在的不安全因素,并做出及时的处理。
4结语
近几年来,随着网络信息铺天盖地的传播,人们对信息的及时性和有效性的要求越来越高,Web技术的静态网页内容已经远远满足不了人们对于信息的追求。本文将数据库技术与Web技术完美设计结合,实现了全球信息资源的交流和共享,促进了各行业的迅猛发展。同时Web数据库的设计成功,也激励了企业单位的创新精神,建立自己的Web数据库系统以积极适应信息的快速发展。
参考文献
[1] 王小影.基于物联网的Web信息数据库系统的设计与分析[D].北京邮电大学,2012.
Xu Junfang; Cui Jing
(Shangqiu Polytechnic,Shangqiu 476000,China)
摘要: 本文根据证券企业目前的管理水平只限于办公自动化管理的阶段,没有更深层次的挖掘计算机技术给企业发展带来的价值,而证券企业的竞争环境对企业的客户关系管理提出了更高层次的要求的现实需要,对企业客户进行细分,并对其过程进行深入的分析和研究,结合客户细分理论和客户价值理论,构建了证券业客户价值分类模型,采用数据挖掘的方法和贝叶斯算法对分析系统进行实现。通过本文的研究,力图对证券企业客户按照价值理论进行分类,从而为精准营销提供借鉴意义和参考价值。
Abstract: At present, the management level of securities enterprise is only restricted in the stage of office automation management, and does not deeply excavate the value which is brought by computer technology to enterprise development, however, the negotiable securities enterprise's competition environment propose higher request to enterprise's customer relations management. According to this realistic need, this article carries on the segmentation to the enterprise customer, and carries on the thorough analysis and research to its process, combining with the customer segmentation theory and the customer value theory, has constructed the classification model of securities business customer value, uses the data mining method and the Baye algorithm to carry on the realization to the analysis system. Through this article's research, the authors try hard to carry on the classification of the securities enterprise customer according to the value theory, thus provide the model significance and the reference value for the fine accurate marketing.
关键词: 客户价值 数据挖掘 贝叶斯算法 客户细分
Key words: customer value;data mining;Baye algorithm;customer segmentation
中图分类号:TP39 文献标识码:A文章编号:1006-4311(2011)21-0141-02
1绪论
研究背景和意义:随着科学技术的发展,越来越多的企业使用计算机技术对本公司的业务进行管理,但是目前的管理水平没有更深层次的挖掘计算机技术给企业发展带来的价值。面对这种状况,专家学者力图从多学科理论相互交叉的角度来挖掘计算机的应用价值,于是促进了人工智能领域的发展。而数据挖掘作为人工智能的一个重要应用越来越得到更多人的重视和认可。数据挖掘技术在证券业也得到了极大的应用,对于证券公司来说,由于股市走势的不确定性,公司对未来利润的预测极其重要。如何发现客户交易之间的内部规律,成为公司进行战略决策的重要依据。这个时候,数据挖掘技术就起到了关键的作用。证券公司可以利用数据挖掘技术发现目前存在的问题和未来业务发展趋势。要想在市场中获得竞争优势,就必须提供差异化的服务。为客户提供个性化的服务。这就要求证券公司要不断挖掘市场交易信息,为投资者提供更加专业的决策支持和帮助。因此,如何利用数据挖掘技术为公司管理企业的客户和为客户提供高附加值的服务,成为所有证券企业面临的首要问题。数据挖掘的基础是数据,证券市场是一个数据丰富的交易市场,多年来积攒下来了丰富的交易数据。其中包括客户的数据,交易的数据,股市变动的数据等等。无论是在理论上,客观需要上,还是在挖掘条件上都为数据挖掘提供了条件。我国证券公司起步较晚,但是发展速度比较快,在快速的发展中,形成了一些工作过粗过快的问题。给证券业的发展留下来问题。在此,基于数据挖掘技术的客户价值可以帮助国内证券企业来了解客户需要,从而提供其他企业无法超越的核心竞争力。本文就是基于以上的事实,在调查分析的基础上,结合本人的工作实践,利用数据挖掘技术对证券业的客户价值进行深入的分析。希望对证券企业提供一点借鉴和参考。
2客户细分与数据挖掘相关理论分析
2.1 客户细分的概念所谓客户细分,就是根据客户的不同需求和差异性,对客户进行分类,并且针对某一类的特点提供差异化的服务和产品。对于企业来说,根据客户的某些特征和需求,对客户进行细致化分类,提供更加专业的服务和产品,有利于保持良好的客户关系,防止客户流失。同时尤其差异化的提供服务和产品,也可以客观上减少企业的经营成本。在如今以客户为中心的市场竞争中,客户细分发挥了不可替代的作用。
2.2 数据挖掘的定义在1995年的美国计算机年会上,第一次正式提出了数据挖掘的概念。该会议对数据挖掘的定义为:“数据挖掘就是从大量的、有噪声的、不完全的、随机的、模糊的数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。”这个定义一直沿用到今。
2.3 数据挖掘过程数据挖掘过程可分为数据预处理(数据清理、数据选择和数据集成)、数据变换、数据挖掘模式评估和表示。数据挖掘过程如图1。
2.3.1 数据预处理数据预处理包括数据清理、数据选择和数据集成。任何数据由于某种原因都会存在误差。这些误差包括缺失值,数据定义不统一等问题。这些问题通称为数据噪声。数据挖掘的第一项认为就是对这些噪声进行清理。
2.3.2 数据变换将数据转换成适合于挖掘的形式。主要内容可能包括:①聚集:及对一段时期内的数据进行汇总,目的是使用数据挖掘算法的需要。②数据归纳,对需要的数据进行归纳,把高层数据挖掘算法需要的数据概念模型转化为底层的数据层面的字段需求。③属性处理:对数据的属性进行规范化处理,对数据进行缩放。填写数据挖掘所需要的新的字段属性。对于连续型变量要进行离散化处理,及数据分层。
2.3.3 数据挖掘利用以上处理的数据,并且在数据挖掘模型的指导下,利用数据挖掘软件产生候选的数据模式。
2.3.4 模式评估和表示针对数据挖掘的结果,过滤掉那些和数据挖掘目标不相关的数据模式,把真正和企业有关系的挖掘结果显示出来。
3证券业客户价值评价指标体系的建立
客户价值在一定程度上,反映了客户对企业的贡献,这种共享主要体现在对企业的利润上,因此,本文在建立证券业客户价值评价指标体系的时候,主要采用了客户的交易对证券公司的利润的贡献作为主要的参考标准,本文对客户类型进行如下的分析。
3.1 当客户交易量比较小,但是客户却有较高的收益,虽然对企业利润的贡献力度有限,但是活动正收益,他们有追加资本的客观可能,因此他们对企业的贡献也处于不断的增长之中,因此可以归类为长期增长的客户,叫做高成长型。
3.2 当客户交易量比较小,并且收益为严重亏损。严重影响到他们对股市的信心,他们更可能退出股市,进行其他的投资。因此,本论文叫这类客户为退出型客户。
3.3 作为证券公司,只考虑的是交易量的多少,并且根据交易量的情况提取佣金。所以把交易量作为衡量标准,更能直接的反映客户对企业的贡献情况。当客户交易量比较大,且活动正收益的时候,说明他们正在直接的为证券企业创造大量的佣金价值,体现了客户的价值所在,我们称他们为明星型客户。明星客户由于对企业共享巨大,所以可以当作企业的VIP客户来对待,提供方便的证券交易环境,采用积极的刺激策略,刺激他们的交易。保证明星客户为企业提供持续的经济效益。
3.4 当客户的交易量比较大,但是收益为严重亏损的时候,虽然给企业带来了佣金价值,但是他们对股市的信心受到影响。客户的操作策略可能是较少交易量,或者持仓待变,所以这些客户的未来对企业的贡献肯定是出于下滑的趋势通道中,他们的未来的客户价值也会在不断的减小。所以,我们叫他们为萎缩型客户。(图2)
4基于DM的证券业客户价值分析系统的分析
4.1 数据库模型分析数据挖掘需要对大量的数据进行反复的读取和查询,因此需要设置良好的数据库模型来保证查询的效率。但是以往的数据仓库的建立,都很少考虑到数据挖掘的发展,给数据挖掘带来了困难。面对这种情况,本文提出的了一种新型的数据库模型,即在原始的数据库与分类器之间加上一个标准化层面,这个层面的功能就是对数据库的存储进行转化,抓取分类器需要的分析数据和字段,进而提高分类器的处理速度。相关的数据库模型如图3所示。
4.2 系统功能设计数据挖掘系统,主要是实现从现有的大量数据中,发现挖掘出企业所需要的数据。因此针对这样的系统功能,要求系统可以对现在的数据进行存储和处理,可以合理的把现在的数据与系统的分析算法结合起来,并且经过分析,把分析结果显出出来,为了完成以上的分析挖掘功能,要需要一些辅助的功能模块,比如数据管理模块,模型管理模块,客户管理模块以及一些登陆管理模块等。因此系统的详细功能模块如下所示:
4.2.1 登陆模块,一个企业系统,必须有良好的登陆管理和权限管理功能。只有这样,才能保证数据使用和访问的安全性。在本数据挖掘系统中,用户需要输入正确的用户名和密码才能进入系统,并且自动判断用户的权限,显示用户功能菜单。
4.2.2 客户管理模块,主要记录了客户的所有数据。包括客户的基本信息,客户交易数据,客户账目等详细的管理内容,它是数据挖掘系统的重要模块,是核心数据的来源,是进行数据分析的基础模块。
4.2.3 模型管理模块,是系统的算法核心部分,通过前期数据挖掘的结果,自动判断并且记录相关的中间数据资料,并且在后续的使用中,可以对前期自动形成的模型数据进行修正处理,保证了模型的正确性。
4.2.4 数据分析模块,是对前期数据进行分析的基础模块。操作者可以利用先前的数据,经过数据分析模块,形成判断的模型数据。分析模块主要是把前期的数据经过贝叶斯分类算法的计算形成结果,这些分析的结果数据记录在模型管理模块中。
4.2.5 客户价值分类模块,主要是实现对客户价值的判断分类,根据上文提到的分类标准模型和数据模型中的结果数据对未来的客户价值进行判断,并且对未来的客户价值进行详细的分类,为企业提供详细的客户价值管理提供结果数据。
4.2.6 数据维护模块,解决的问题是原始数据是如何进入系统的。他通过导入和导出功能把原始的数据格式统一化成数据挖掘系统可以识别的数据格式,存到数据挖掘系统的数据表中,为后期的分析和判断提供数据标准。
4.2.7 数据报表功能,提供对检验结果的输出和报表打印。用户可以很方便的形成对数据挖掘结果报告,方便用户操作,提供了人机交互的接口。
4.2.8 操作员管理功能,主要是对操作员的用户名、密码和权限的管理。管理员拥有全部的功能使用权限,而其他用户只能在管理员赋予的权限内进行操作。管理员给操作员授权,动态分配他们使用系统的权利。详细的功能模块图如图4所示。
4.3 系统流程设计业务流程图是一种表明系统内各单位人员之间业务关系,作业顺序和管理信息流动的流程图。它可以帮助分析人员找出业务流程中的不合理过程等。证券公司管理业务流程如图5所示,客户价值分析模块业务流程图如图6所示。
在以上客户价值判断的过程中。我们可以看出,算法的作用有二个。一个是在前期确定模型参数的时候,算法起到了对前期数据进行归纳的作用,通过最大拟合现有的数据,确定模型的参数数值。这些参数数值,将会成为未来判断新客户未来价值的标准,系统输入的部分数据的含义是对新客户的不完全数据。二是新客户由于缺乏原始数据,算法可以在先前数据挖掘的参数的基础上,做出判断,判断客户未来的客户价值。实现数据挖掘的功能。
4.4 客户价值分类模块的实现客户价值分类是本系统的一个核心功能,这个功能的任务是对新老客户的数据价值进行判断,把上文所说的客户价值评价标准作为判断的核心模型。通过对现有的数据进行统计分析,找到判定客户价值分类临界概率值。这个模型参数将作为判断客户价值的重要参数输入。在系统实现上,采用按钮的方式,当用户激活这个功能的时候,系统会对客户的数据进行算法分析,判断客户的类型,然后在客户表的客户类型属性上自动填写上客户的类型。这些判断数据,操作者可以通过报表的形式进行输出。设计界面如图7所示。
5结束语
本文主要利用了数据挖掘中的贝叶斯分类算法对证券公司客户价值进行了详细的细分。本文以客户生命周期价值为理论核心,通过数据挖掘技术,详细的设计了一套符合证券公司实际操作的客户价值判断方法。系统在设计的过程中,利用交易量和盈亏情况作为两个判断的坐标体系,通过详细的数据分析,找到判定不同客户价值的细分标准。对客户进行详细的分类处理。最后利用JSP语言和数据库技术对客户价值分类算法进行实现。为企业判断客户价值,施行客户细分管理提供借鉴作用。
参考文献:
[1]刘晨,孙秀杰,李响.电信企业客户维系挽留应用数据挖掘探讨[J],商场现代化,2008,549:29.
[2]蒋良孝,蔡之华.CRM中的数据挖掘及其应用[J],微型机与应用,2009,3:44-46.
[3]朱梅.客户关系管理中的客户价值及客户组合研究[D],河北工业大学,2002,11:18-20.
[4]梅朗.KY移动通信公司的客户价值分析与探讨[D],重庆大学,2009.
[5]钱锋,徐麟文.基于数据挖掘的客户价值评价[J],商场现代化,2009,1:164-165.
[6]王爱玲.客户价值的综合评价[J],河北省科学院学报,2006,19:47-51.
[7]陈明亮.客户生命周期模式研究[J],浙江大学学报,2009,11.
[8]Suzanne Donner.What can Customer Segmentation accomplish[J].Bankers Magazine,Mar./Apr.1992,VOL.175 Issue 2:72-81.