厦门大学博硕士论文摘要库 - connecting repositories ·...

学校编码：10384 分类号_______ 密级 ______

学号：X2012230842 UDC ______

硕士学位论文

基于Web的金融报文分析与统计系统的设计与实现

Design and Implementation of

Web-based Financial Packets Statistical Analysis System

陈杰

指导教师姓名：杨律青副教授

专业名称：软件工程

论文提交日期： 2 0 1 4 年 1 0 月

论文答辩日期： 2 0 1 4 年 1 1 月

学位授予日期：年月

答辩委员会主席：

评阅人：

2014年 11月

厦门大学博硕士论文摘要库

厦门大学学位论文原创性声明

本人呈交的学位论文是本人在导师指导下,独立完成的研究成

果。本人在论文写作中参考其他个人或集体已经发表的研究成果，均

在文中以适当方式明确标明，并符合法律规范和《厦门大学研究生学

术活动规范（试行）》。

另外，该学位论文为（）课题（组）

的研究成果，获得（）课题（组）经费或实验室的

资助，在（）实验室完成。（请在以上括号内填写课

题或课题组负责人或实验室名称，未有此项声明内容的，可以不作特

别声明。）

声明人（签名）：

年月日


厦门大学学位论文著作权使用声明

本人同意厦门大学根据《中华人民共和国学位条例暂行实施办

法》等规定保留和使用此学位论文，并向主管部门或其指定机构送交

学位论文（包括纸质版和电子版），允许学位论文进入厦门大学图书

馆及其数据库被查阅、借阅。本人同意厦门大学将学位论文加入全国

博士、硕士学位论文共建单位数据库进行检索，将学位论文的标题和

摘要汇编出版，采用影印、缩印或者其它方式合理复制学位论文。

本学位论文属于：

（）1.经厦门大学保密委员会审查核定的保密学位论文，

于年月日解密，解密后适用上述授权。

（）2.不保密，适用上述授权。

（请在以上相应括号内打“√”或填上相应内容。保密学位论文

应是已经厦门大学保密委员会审定过的学位论文，未经厦门大学保密

委员会审定的学位论文均为公开学位论文。此声明栏不填写的，默认

为公开学位论文，均适用上述授权。）

声明人（签名）：

年月日厦门大学博硕士论文摘要库

摘要

随着互联网金融的兴起和发展，基于 IP网络的银行交易日益普及，对这些

业务的业务量监测、分析与统计是银行业运营过程中的重要需求。在金融界和

ISO组织的推动下，1987年 ISO8583规划得以面世。该规范是一个金融交易的

信息规范。ISO8583定义了交易双方之间交换信息的报文格式、报文结构和内容。

本文的工作目标是设计并开发面向 ISO8583规范的金融网络交易行为监测

工具，该工具能够对网络中的 ISO8583交易业务流进行捕获、分析和展示，为互

联网金融的监控和管理提供支撑工具。本文的主要研究内容包括：

（1）研究 ISO8583规范，研究 ISO8583交易细节，组包和解包方法，设计

捕获交易数据包的工具，并将其部署在金融业务服务器之上。

（2）设计并开发捕获交易数据包并且解析、输出的工具：设计了Web服务

器，对收集到的金融数据报文进行存储，并对外提供查询接口和分析报表接口。

形成了一套基于Web的金融报文数据分析系统。

论文的成果已在某金融企业投入使用，通过不断的迭代开发和对金融业务数

据模型的分析和完善，系统正逐步完善。目前系统已完成业务指标查询、系统管

理、综合分析等功能。本系统将为决策分析等系统提供共享数据。

关键词：ISO8583规范；金融数据包；数据分析


Abstract

With the rise and development of the Internet banking, IP network-based bank

transaction increasing popularity, traffic monitoring of these operations, analysis and

statistics are important in the process of banking operations demand. International

finance and international standardization organizations developed an international

standard ISO8583 financial transaction card information exchange norms in

1987(hereinafter referred as ISO8583 specification). ISO8583 specification provides a

public interface that can exchange message between the agent and the issuer, including

the message structure, format and content, data elements and data element values.

Objectives of this paper is to design and develop the trading behavior of financial

network monitoring tools of the ISO8583 specification, the tool is able to ISO8583

trading network traffic capture, analysis and display, providing financial support tools

for the monitoring and management of the Internet. Given the real transaction banking

network traffic flows are difficult to obtain, this paper will design and develop

an ISO8583 protocol simulation interactive process tool, used to simulate real ISO8583

message and transaction flow. The main contents are listed as follows:

(1). Study of ISO8583 specification, the ISO8583 transaction details, packing and

unpacking method, design and development of transaction data packet capture and

restore tool. This tool has been deployed on financial server.

(2). Design and develop capture the transaction data packets and the tool of

analytic, output: Using C and WinPcap development package capture network traffic

generated by the tool (1) arising, and parse packets, output logs.

The Implementation of this system has come into service in an anonymous

Financial Enterprise. This system is in gradual improvement as iterative develops; the

data model is also improving. At present, the system has realized KPI query, System

manages, Statistical chart functionalities. This system will provide data for Decision

Analysis Systems.

Key Words: ISO8583 Specification; Transaction data packets; Data analysis


目录

第一章绪论.................................................................................................. 1

1.1 研究背景............................................................................................................1

1.2 论文选题的意义................................................................................................1

1.3 本论文的主要工作............................................................................................2

1.4 论文的结构........................................................................................................2

第二章系统相关技术介绍..........................................................................4

2.1 ISO8583 报文格式............................................................................................4

2.2 报文网络传输原理............................................................................................8

2.2.1 TCP/IP 协议族组包原理........................................................................8

2.2.2 ISO8583 报文组包、解析原理..............................................................9

2.3 报文捕获技术...................................................................................................10

2.3.1 Windows 数据包捕获原理....................................................................11

2.3.2 WinPcap 报文捕获技术........................................................................13

2.4 报文分析技术..................................................................................................15

2.5 基于 Web 的分析结果展示技术......................................................................17

2.5.1 html+CSS 静态页面设计......................................................................17

2.5.2 Java Script 动态页面设计...............................................................18

2.5.3 JDBC 后台数据访问技术......................................................................18

2.6 本章小结...........................................................................................................19

第三章需求分析........................................................................................ 20

3.1 需求概述..........................................................................................................20

3.2 功能需求分析..................................................................................................21

3.3 非功能性需求分析..........................................................................................24

3.4 本章小结..........................................................................................................25


第四章系统设计........................................................................................ 26

4.1 系统总体设计..................................................................................................26

4.2 系统功能模块设计..........................................................................................27

4.2.1 报文预处理功能模块...........................................................................28

4.2.2 查询功能模块.......................................................................................29

4.2.3 统计分析功能模块...............................................................................33

4.2.4 风险分析功能模块...............................................................................37

4.2.5 用户界面设计.......................................................................................40

4.3 数据库设计......................................................................................................42

4.4 系统性能设计..................................................................................................46

4.5 本章小结..........................................................................................................47

第五章系统实现........................................................................................ 48

5.1 系统开发环境..................................................................................................48

5.2 报文捕获和存储..............................................................................................49

5.2.1 报文捕获原理.......................................................................................49

5.2.2 捕获与存储功能实现...........................................................................50

5.3 登陆界面..........................................................................................................57

5.4 查询功能实现..................................................................................................64

5.5 统计分析功能模块..........................................................................................67

5.6 风险分析功能模块..........................................................................................69

5.7 本章小结..........................................................................................................70

第六章系统测试........................................................................................ 71

6.1 测试环境..........................................................................................................71

6.2 功能测试..........................................................................................................71

6.2.1 登陆场景测试.......................................................................................71

6.2.2 查询场景测试.......................................................................................72

6.2.3 统计分析场景测试...............................................................................73


6.2.4 Bug 分析................................................................................................73

6.3 性能测试...........................................................................................................73

6.3.1 登陆压力测试.......................................................................................73

6.3.2 统计分析压力测试...............................................................................74

6.4 本章小结...........................................................................................................75

第七章总结与展望....................................................................................76

7.1 总结..................................................................................................................76

7.2 展望..................................................................................................................76

参考文献...................................................................................................... 78

致谢.............................................................................................................. 79


Contents

Chapter 1 Introduction................................................................................ 1

1.1 Introduction.......................................................................................................... 1

1.2 Topic Research Significance................................................................................ 1

1.3 Topic Primary Coverage.......................................................................................2

1.4 Structure of Thesis................................................................................................2

Chapter 2 Related Techniques.................................................................... 4

2.1 ISO8583 Standard................................................................................................ 4

2.2 Network Transport Principle................................................................................ 8

2.2.1 TCP/IP Protocols........................................................................................ 8

2.2.2 ISO8583 Analysis.......................................................................................9

2.3 Packet Capture....................................................................................................10

2.3.1 Packet Capture in Windows......................................................................11

2.3.2 WinPcap Packet Capture.......................................................................... 13

2.4 Packet Analysis...................................................................................................15

2.5 Web Based Result Display Techniques.............................................................. 17

2.5.1 Html/Css Static Page Design....................................................................17

2.5.1 Java Script Dynamic Page Design............................................................18

2.5.3 JDBC Database Access.............................................................................18

2.6 Chapter Summary...............................................................................................19

Chapter 3 System Requirements Analysis............................................... 20

3.1 Introduction to Requirements............................................................................. 20

3.2 Functional Requirements Analysis..................................................................... 21

3.2.1 Packets Interface.......................................................................................21

3.2.2 Business Function Requirements Analysis...............................................23

3.3 Non-Functional Requirements Analysis.............................................................24


3.3.1 Performance Requirements Analysis........................................................24

3.3.2 Scalability Requirements Analysis........................................................... 25

3.3.3 Robust Requirements Analysis.................................................................25

3.4 Chapter Summary...............................................................................................25

Chapter 4 System Designer....................................................................... 26

4.1 Overall Design....................................................................................................26

4.2 Functional Module Design................................................................................. 27

4.2.1 Packets Preprocessing Module................................................................. 28

4.2.2 Query Function Module........................................................................... 29

4.2.3 Chart Analysis Modules........................................................................... 33

4.2.4 Risk Analysis Module...............................................................................37

4.2.5 UI Design..................................................................................................40

4.3 Database Design................................................................................................. 42

4.4 Performance Design........................................................................................... 46

4.5 Chapter Summary...............................................................................................47

Chapter 5 System Implementation........................................................... 48

5.1 Development Environment.................................................................................48

5.2 Packet Capture and Restore................................................................................49

5.3.1 Bottom Structure...................................................................................... 49

5.3.2 Bottom Modules....................................................................................... 50

5.3 Interface Implementation....................................................................................57

5.4 Query Module Implementation.......................................................................... 64

5.5 Chart Analysis Implementation.......................................................................... 67

5.5 Risk Analysis Implementation............................................................................69

5.7 Chapter Summary...............................................................................................70

Charpter 6 System Test..............................................................................71


6.1 Test Environment................................................................................................71

6.2 Functional Test................................................................................................... 71

6.2.1 Login Test................................................................................................. 71

6.2.1 Login Test................................................................................................. 72

6.2.3 Chart Analysis Test...................................................................................73

6.2.4 Bug Analysis.............................................................................................73

6.3 Performance Test................................................................................................ 73

6.2.1 Login Test................................................................................................. 73

6.3.2 Chart Analysis Load Test..........................................................................74

6.2.1 Login Test................................................................................................. 74

6.4 Chapter Summary...............................................................................................75

Chapter 7 Conclusions and Prospects......................................................76

7.1 Conclusion..........................................................................................................76

7.2 Prospect.............................................................................................................. 76


第一章绪论

1

第一章绪论

1.1 研究背景

随着计算机网络技术的发展与成熟，目前金融行业步入了信息化时代，金融

交易通过计算机高速网络，可以实现跨地区、跨系统的交易。在信息化大势所趋

的背景下，各银行、金融机构仍按照自身业务特性构造自己的银行卡业务处理系

统，这使得系统之间各自处于独立的状态，无法进行互联互通，缺乏统一性，对

不容金融机构之间的信息交换造成了巨大障碍。随着信息化潮流的推进，金融机

构与金融机构客户对于在不同银行卡之间跨地区、跨系统、跨国界的进行交易提

出了迫切的需求，以扩大业务的范围。

国际标准化组织（ISO）定义并公布了在公共和私营部门的许多公司所采用的

数据标准。对于银行和金融服务领域的常用 ISO标准是 ISO8583，它指定描述信

用卡和发卡机构之间交换的借记卡数据的消息格式。该标准通常用于销售点的装

置和自动取款机。消息本身通常包含有关交易的价值，来源，信用卡账户号码，

以及银行的排序代码信息。该数据被发送到的应用程序可以有多种用途，诸如银

行账户之间转账，支付账单，或购买移动电话信用卡等。

通过电路交换、网络传输方式的金融业务有相应的应用规范，然而规范通常

是局限于金融行业的[1]，在不同应用系统之间难以转换。ISO8583设计了不同系统

间进行报文交换的接口规范，这使得各应用系统能够保持专业型，而报文能够在

不同系统之间遵循统一接口格式完成信息交换，提高了各应用设计者的灵活性[2]。

本论文在学习和研究软件工程的理论、方法，在研究 ISO8583的基础上，利

用开发包瓦按成了网络流量的采集和在线分析，并形成了基于Web的金融数据分

析系统，能够对收集到的数据进行查询与分析，结合金融业分析人员常用的功能，

形成了一套协助分析的软件系统。

1.2 论文选题的意义

ISO8583规范定义了一组公共接口，其主要内容即双方交换的信息的形式、结

构、数据元和数据元的定义。数据在该规范下以报文的形式进行交换。遵从统一


基于Web的金融数据分析系统的设计与实现

2

的 ISO8583规范，不同的系统可以将各自的报文转化为统一格式的 ISO8583报文，

为跨行、跨地域的交易处理提供了标准，实现了系统之间的互联互通和可扩展性。

基于此基础上的交易数据分析将汇集不同行业、不同领域的信息，为全局的数据

分析提供了支持。基于此，开发一套数据分析系统就成为了可能，设计一套金融

数据分析系统能够有效地提高分析人员工作效率，为金融行业提供决策支持。

1.3 本论文的主要工作

本课题的主要目标是设计并开发模拟 ISO8583协议交互过程的工具，以及捕

获交易数据包并解析、输出的工具。通过网络交易日志系统，深入了解 ISO8583

的构成和内容。

本课题的研究内容正是围绕以上的目标，主要包括了以下几个方面：

1. 研究 ISO8583规范

通过研究 ISO8583规范，能够做到实现生成模拟交易数据包的工具，并实现

网络流量的识别和过滤，并从中提取出 ISO8583报文相关的指标。

2. 报文捕获技术的研究

为实现金融报文的获取，本文研究了网络抓包原理，分析了相关的抓包技术，

对现行Windows下的抓包工具包WinPcap进行分析，最终实现了金融数据的获取[3]。

3. Web开发技术

对现有软件系统的Web技术进行学习和研究，分析Web系统的设计原则、开

发方法和适用环境。

4. 开发相应的原型系统对金融交易进行分析

综合上述研究的结果，进行网络流量采集和在线交易协议分析、信息提取工

作，在获取数据的基础上，开发了以查询和生成报表功能为主的金融数据分析系

统的开发。

1.4 论文的结构

本论文内容安排如下

第一章，绪论。主要介绍课题的研究背景和意义、作者的主要工作和本课题


第一章绪论

3

研究的内容与目标。

第二章，相关技术研究。本章先是对 ISO8583规范进行了介绍，包括它的产

生、用途和使用场合等等。接着分别对 ISO8583的报文结构和内容进行了介绍，

包括 ISO8583报文的构成和具体每部分的内容和作用。伺候，研究了金融交易相

关的通信协议，包括以太网，IP协议，UDP协议及对它们各自首部的介绍。然后

分析和实现了有关 ISO8583的组包过程，包含对 ISO8583业务数据的分析和最后

生成 ISO8583交易报文的流程。

第三章，需求分析。本章通过从 ISO8583能够获得的数据和金融业分析人员

的日常工作需求两方面，提出了本系统功能上和性能上的需求。最终形成了需求

分析报告。

第四章，系统的设计。本章首先确定了系统的功能需求和系统构架，再根据

需求对系统进行了设计，绘制了主要的功能模块流程图，定义了不同模块工作的

层次。

第五章，系统的实现。根据需求分析与系统设计，对系统的主要功能模块进

行了实现，并在工程执行的过程中考虑了用户友好的设计。

第六章，系统测试。通过对系统各功能模块进行黑盒测试，用大量测试用例

来测试系统的有效性。同时，本文第六章对系统的主要功能模块进行了实现，并

对系统进行测试。

第七章，总结与展望。总结了本系统的优点和不足，提出了未来可能有潜力

的地方和改进方向。


基于Web的金融数据分析系统的设计与实现

4

第二章系统相关技术介绍

2.1 ISO8583 报文格式

ISO8583标准的正式名称是“产生报文的金融交易卡-交换报文规范[4]”。ISO

在 1993那年通过了本规范的最新版，该版本定义了金融交易产生的报文格式。在

该标准之下，不同机构可以方便地进行信息交换。在金融界和 ISO组织的推动下，

1987年 ISO8583规划得以面世，该规范在 1993年得到完善，成为现行的版本。

ISO8583规范是一个金融交易的信息规范，它定义了交易双方之间交换信息的报文

格式、报文结构和内容。ISO8583可以将不同的交易系统之间的交易报文转换成统

一的格式，因此不同系统指要遵从同一报文接口，在这一约束之下，各系统内部

设计依然保持了设计开发上的灵活性。

对 ISO8583进行推广为跨系统交易、网间交易提供了可能性。由于这样的一

致性，ISO8483被不同的机构采用作为网间交易标准。例如建行龙卡、广东银联

ATM等机构均采用了这一标准。

ISO8583报文格式是由一系列字段排列而成的数据序列。主要由以下三个部分

构成：

MTI报文类型标识符（Message Type Identifier）；

64位或 128位的位图；

依据位图指示的信息域字段。

图 2-1展示了 ISO8583的两种报文结构。


第二章系统相关技术介绍

5

图 2-1 报文结构

（1）报文类型标识符MTI，也称为信息码，长度为 4位 10进制码（通常使

用 BCD码）该字段区分出了报文的类别，并标记处了其功能。报文起始都是一个

MTI，其内容的结构定义如下：

前两位数字标识报文类型

00XX标识预留给 ISO使用

01XX标识授权信息

02XX标识金融交易信息

03XX标识文件更新信息

04XX标识撤消信息

05XX标识对帐控制信息

06XX标识管理信息

07XX标识预留给 ISO使用

08XX标识网络管理信息

09XX~79XX标识预留给 ISO使用

80XX~89XX标识预留给国家使用

90XX~99XX标识预留给民间使用

前两位数字的定义是：当这两位属于 01~08时，接下来的两位（第 3、4位）

合起来表示信息的功能。其分配如下：


Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Fulltexts are available in the following ways: 1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submitrequests online, or consult the interlibrary loan department in your library. 2. For users of non-CALIS member libraries, please mail to [email protected] for delivery details.


http://etd.xmu.edu.cn/

http://etd.calis.edu.cn/

mailto:[email protected]

厦门大学博硕士论文摘要库 - connecting repositories ·...

Documents