teched 2005 2005 9 30 10 50 dat324 integration...

TechEd 2005 2005年9月30日10时50分

© 2005 Microsoft Corporation. All rights reserved.This presentation is for informational purposes only. Microsoft makes no warranties, express or implied, in this summary. 1

DAT324DAT324SQL Server 2005SQL Server 2005Integration ServiceIntegration Service开发与部署开发与部署

黄春雷黄春雷高级顾问高级顾问顾问咨询部顾问咨询部微软（中国）有限公司微软（中国）有限公司

从数据源获取与从数据源获取与整理数据整理数据

数据转换与整合数据转换与整合

结合业务逻辑和结合业务逻辑和分层次的多维视分层次的多维视图进行数据分析图进行数据分析

通过数据挖掘进通过数据挖掘进行数据发现行数据发现

数据展现与分发数据展现与分发

数据访问数据访问

IntegrateIntegrate AnalyzeAnalyze Report Report

商业智能平台商业智能平台

议程议程

什么是什么是Integration ServiceIntegration Service（（SSISSSIS））

与与DTSDTS的对比的对比

SSISSSIS的主要工具集的主要工具集

实战实战SSISSSIS新功能新功能

目标：对目标：对SSISSSIS有一个全面的了解，并能够开有一个全面的了解，并能够开始轻松上手！始轻松上手！

一个全新的一个全新的SQL SQL ServerServer商业智能应商业智能应用组件用组件

上一个版本的上一个版本的SQL SQL ServerServer中中DTSDTS的替的替代应用代应用

新一代的高性能数新一代的高性能数据整合技术平台据整合技术平台

什么是什么是SSISSSIS？？ SSISSSIS的技术架构的技术架构

控制流控制流（（Control FlowControl Flow））

并行的工作流引擎并行的工作流引擎

执行执行““容器容器””与与““任务任务””

数据流数据流（（Data FlowData Flow））

SSISSSIS的核心组件的核心组件

高性能的数据管道高性能的数据管道

图形化的数据转移流程设计图形化的数据转移流程设计

包括包括““源源””，，““目标目标””和和““数据转数据转换换””等组件等组件

智能并行操作智能并行操作

TechEd 2005 2005年9月30日10时50分


SSISSSIS的运作方式的运作方式

支持各种数据源，用户甚至可以自定义开发数据源适配器支持各种数据源，用户甚至可以自定义开发数据源适配器

数据转换组件通过各种方式对数据进行加工和处理数据转换组件通过各种方式对数据进行加工和处理

在数据转换过程中，数据流可以根据规则进行条件判断和路由在数据转换过程中，数据流可以根据规则进行条件判断和路由

数据处理流程可以按照真实的业务规则进行复杂的定义数据处理流程可以按照真实的业务规则进行复杂的定义

后，数据可以被并行地加载到各种不同的目标数据源中后，数据可以被并行地加载到各种不同的目标数据源中

一些其他的说明一些其他的说明…………

通过通过SQL AgentSQL Agent来进行调度来进行调度

““PackagePackage”” 是工作的基础单元是工作的基础单元

一个一个SSISSSIS的的PackagePackage是一个是一个XML XML PackagePackage可以保存在文件系统或者可以保存在文件系统或者SQL SQL ServerServer中中

SSISSSIS是一个独立的功能组件是一个独立的功能组件

与与SQL ServerSQL Server的其他功能组件有很好的集的其他功能组件有很好的集成成

SSISSSIS的特点的特点

性能性能

能够高效地处理海量并且复杂的数据流程能够高效地处理海量并且复杂的数据流程

功能功能

具有许多内建的数据源适配器和转换工具具有许多内建的数据源适配器和转换工具

灵活的对象模型允许用户通过定制开发对其进灵活的对象模型允许用户通过定制开发对其进行扩展行扩展

可视化的开发与调试环境可视化的开发与调试环境

智能智能

智能处理复杂无规则的数据智能处理复杂无规则的数据

SSIS PackageSSIS Package的主要组成部分的主要组成部分

Control Flow

Loop

FTP Task

Send Mail

Execute SQL

Data Flow Task

Data Flow

Flat File Source SQL Data Source

Merge

Multi-cast

Derive Column

SQL Server Flat File

SSISSSIS开发环境概貌开发环境概貌

快速浏览快速浏览SSISSI的开发环境的开发环境————BI StudioBI StudioControl Flow & Data FlowControl Flow & Data Flow

议程议程






TechEd 2005 2005年9月30日10时50分


DTSDTS与与SSISSSIS的比较的比较

DTSDTS SSISSSIS数据源数据源

与与

数据目标数据目标

OLEDBOLEDBAccessAccessExcelExceldBase 5dBase 5HTML File (Source)HTML File (Source)Paradox 5.XParadox 5.XText File (Source)Text File (Source)Text File (Destination)Text File (Destination)ODBC for OracleODBC for Oracle

DataReaderDataReader SourceSourceExcel SourceExcel SourceFlat File SourceFlat File SourceOLE DB SourceOLE DB SourceRaw File SourceRaw File SourceScript Component SourceScript Component SourceXML SourceXML SourceData Mining Model Training Destination Data Mining Model Training Destination DataReaderDataReader DestinationDestinationDimension Processing DestinationDimension Processing DestinationExcel DestinationExcel DestinationFlat File DestinationFlat File DestinationOLE DB DestinationOLE DB DestinationPartition Processing DestinationPartition Processing DestinationRaw File DestinationRaw File DestinationRecordsetRecordset DestinationDestinationScript Component DestinationScript Component DestinationSQL Server Mobile DestinationSQL Server Mobile DestinationSQL Server DestinationSQL Server Destination


DTSDTS SSISSSIS数据传输数据传输

与与

数据库维护数据库维护

Copy SQL Server ObjectsCopy SQL Server ObjectsTransfer DBTransfer DBTransfer Master SPTransfer Master SPTransfer JobTransfer JobTransfer LoginTransfer LoginTransfer Error MessagesTransfer Error Messages

Transfer ObjectsTransfer ObjectsTransfer DBTransfer DBTransfer Master SPTransfer Master SPTransfer JobTransfer JobTransfer LoginTransfer LoginTransfer Error MessagesTransfer Error MessagesBack Up Database TaskBack Up Database TaskCheck Database Integrity Task Check Database Integrity Task Execute SQL Server Agent Job TaskExecute SQL Server Agent Job TaskExecute TExecute T--SQL Statement TaskSQL Statement TaskHistory Cleanup TaskHistory Cleanup TaskNotify Operator Task Notify Operator Task Rebuild Index TaskRebuild Index TaskReorganize Index TaskReorganize Index TaskShrink Database TaskShrink Database TaskUpdate Statistics TaskUpdate Statistics Task


DTSDTS SSISSSISBusiness IntelligenceBusiness Intelligence

Fuzzy Grouping TransformationFuzzy Grouping TransformationFuzzy Lookup TransformationFuzzy Lookup TransformationTerm Extraction TransformationTerm Extraction TransformationTerm Lookup TransformationTerm Lookup TransformationData Mining Query TransformationData Mining Query Transformation

RowRowCharacter Map TransformationCharacter Map TransformationCopy Column TransformationCopy Column TransformationData Conversion TransformationData Conversion TransformationDerived Column TransformationDerived Column TransformationScript ComponentScript ComponentOLE DB Command TransformationOLE DB Command Transformation

RowsetRowsetAggregate TransformationAggregate TransformationSort TransformationSort TransformationPercentage Sampling TransformationPercentage Sampling TransformationRow Sampling TransformationRow Sampling TransformationPivot TransformationPivot TransformationUnpivotUnpivot TransformationTransformation

Split and JoinSplit and JoinConditional Split TransformationConditional Split TransformationMulticast TransformationMulticast TransformationUnion All TransformationUnion All TransformationMerge TransformationMerge TransformationMerge Join TransformationMerge Join TransformationLookup TransformationLookup Transformation

OtherOtherExport Column TransformationExport Column TransformationImport Column TransformationImport Column TransformationAudit TransformationAudit TransformationRow Count TransformationRow Count TransformationSlowly Changing Dimension TransformationSlowly Changing Dimension Transformation

Custom TransformationsCustom Transformations

数据数据转换转换

Transform DataTransform DataData DrivenData Driven

DTSDTS与与SSISSSIS技术架构的不同技术架构的不同

DTSDTS SSISSSIS数据转移数据转移数据转换（数据转换（ELTELT））数据转换数据转换数据加载（数据加载（ETLETL））串行串行//顺序处理顺序处理并行并行//异步处理异步处理

工作流驱动工作流驱动数据流驱动数据流驱动

磁盘磁盘IOIO压力密集型压力密集型内存压力密集型内存压力密集型

全部执行全部执行//全部未执行全部未执行事务管理下的断点续延事务管理下的断点续延

脚本编写脚本编写内建的灵活性内建的灵活性

1:11:1的源的源::目标目标 n:nn:n的源的源::目标（合并目标（合并//拆分拆分//复制）复制）

个人开发模式个人开发模式团队开发模式团队开发模式

SSISSSIS的新功能的新功能

流程控制流程控制可视化设计复杂的数据可视化设计复杂的数据处理流程处理流程

根据规则和条件进行分根据规则和条件进行分支判断支判断

配置信息配置信息XMLXML数据库表数据库表

环境变量环境变量

断点续延断点续延CheckpointsCheckpoints事务事务

分离级别分离级别

开发开发Source SafeSource SafeSolution / ProjectSolution / Project

数据源数据源在在PackagePackage之间共享之间共享

部署部署文件系统文件系统

数据库数据库

功能扩展功能扩展自定义适配器，任务和自定义适配器，任务和转换功能转换功能

…………

DTS To SSISDTS To SSIS原则原则

Migrate what we can, wrap what we canMigrate what we can, wrap what we can’’t.t.

策略策略通过迁移工具将通过迁移工具将DTS PackageDTS Package导入导入SSISSSIS中，并保存中，并保存成成SSISSSIS的格式，允许用户修改和编辑的格式，允许用户修改和编辑

通过迁移工具将通过迁移工具将DTS PackageDTS Package导入导入SSISSSIS中，但无法中，但无法保存成保存成SSISSSIS的格式，以的格式，以Intermediate SQL Server Intermediate SQL Server 2000 Packages2000 Packages的形式保存在的形式保存在SSISSSIS中，用户不能直中，用户不能直接修改和编辑接修改和编辑

无法导入无法导入SSISSSIS中，仍然维持原有的中，仍然维持原有的DTSDTS格式和状格式和状态，通过态，通过SQL Server 2000 DTS RuntimeSQL Server 2000 DTS Runtime来运行来运行

有时，在有时，在SSISSSIS中体验重新设计开发也十分简单有趣！中体验重新设计开发也十分简单有趣！

TechEd 2005 2005年9月30日10时50分


议程议程






SSISSSIS生命周期管理工具生命周期管理工具//功能功能

设计设计SSIS PackageSSIS PackageBusiness Intelligence Studio (BI Studio)Business Intelligence Studio (BI Studio)PackagePackage迁移向导迁移向导

Visual Source SafeVisual Source Safe集成集成

部署与执行部署与执行

部署工具部署工具

命令行执行工具（命令行执行工具（dtutil.exe/dtutilui.exedtutil.exe/dtutilui.exe））配置信息管理配置信息管理

运行与支持运行与支持

日志管理日志管理

状态监控（状态监控（SQL Server Management StudioSQL Server Management Studio））断点管理断点管理

SSISSSIS工具集工具集

SSIS packagespackages

BI Studio

SSIS Service

Mgt Studio

导入/导出向导

部署

安装文件包

Dtexec.exe

Dtexecui.exe

Dtutil.exe

执行查看Package的运行和导入导出状态

部署

SSISSSIS服务器规划示例服务器规划示例

目标数据

源数据

错误行日志

存储在服务器上的Package

执行

SSIS支持

服务器

保存在文件系统的Package

议程议程







.Net.Net功能组件集成功能组件集成

日志日志

断点续延断点续延

条件判断条件判断

配置管理配置管理

SSISSSIS项目部署项目部署

TechEd 2005 2005年9月30日10时50分


.Net.Net功能组件集成功能组件集成

真正的真正的.Net.Net开发环境开发环境 ———— Script TaskScript Task.Net.Net功能组件集成功能组件集成

SSISSSIS新功能介绍新功能介绍 ———— 日志日志

记录记录PackagePackage运行的详细的状态及结果运行的详细的状态及结果

可以明细到每个可以明细到每个PackagePackage，每个流程对象，每个流程对象

允许选择日志字段允许选择日志字段

定义多个日志提供者（定义多个日志提供者（Log ProviderLog Provider））在调试状态有在调试状态有““日志窗口日志窗口””供开发人员随时观察供开发人员随时观察

日志功能日志功能

定义多个日志提供者（定义多个日志提供者（Log ProviderLog Provider））记录日志记录日志

日志窗口日志窗口


创建Checkpoint文件加载Package

删除Checkpoint文件执行完成

写入Checkpoint数据流任务

写入Checkpoint数据流任务


执行执行PackagePackage并强制出错并强制出错

从断点处重新启动从断点处重新启动


控制执行的顺序控制执行的顺序

状态：成功状态：成功, , 失败失败, , 完成完成

属性表达式属性表达式

AND / ORAND / OR

Dataflow Task

SendMail Task

Success

Completion

Failure

Success & expression

TechEd 2005 2005年9月30日10时50分



定义不同的分支流程定义不同的分支流程

根据不同的条件执行不同的流程根据不同的条件执行不同的流程

配置信息管理配置信息管理

对对PackagesPackages进行动态的初始化进行动态的初始化

配置信息源的种类配置信息源的种类

SQL, XMLSQL, XML文件文件, , 注册表注册表, , 环境变量环境变量, , 父父PackagePackage

一个一个PackagePackage允许有多个配置信息允许有多个配置信息

多个多个PackagePackage可以共享同一组配置信息可以共享同一组配置信息

部署与配置信息部署与配置信息

开发DB

多组配置信息

Dev测试生产

测试DB 生产DB

开发

Package的交接

配置信息管理配置信息管理

为为PackagePackage定义配置信息定义配置信息

更改配置信息察看更改配置信息察看PackagePackage运行的变化运行的变化

部署流程部署流程

用于方便地组织用于方便地组织和拷贝和拷贝PackagePackage及相关的文件的及相关的文件的工具工具

• 设计Package• 添加配置信息• 添加其他文件• 设置项目部署属性• Build

• 选择部署目标• 修改保护级别• 选择相关支持文件的保存位置• 修改配置信息• 执行 Installation WizardInstallation Wizard

BI StudioBI Studio

• 拷贝/移动部署文件夹/文件 UserUser

• 创建所需的任务代理 SQL AgentSQL Agent

SSISSSIS项目部署项目部署

为为SSISSSIS项目制作安装文件项目制作安装文件

将将SSISSSIS项目部署到指定位置项目部署到指定位置

TechEd 2005 2005年9月30日10时50分


SQL Management StudioSQL Management Studio

使用使用SSIS serviceSSIS service可以监控正在执行的可以监控正在执行的PackagePackage维护维护PackagePackage的存储结构的存储结构

随时手动执行随时手动执行PackagePackage

SQL Server SQL Server Management StudioManagement Studio

监控监控PackagePackage的运行的运行

观察观察PackagePackage的保存情况的保存情况

总结总结

丰富的开发和管理功能丰富的开发和管理功能

兼具灵活性和可扩展性兼具灵活性和可扩展性

内建的安全机制和部署功能内建的安全机制和部署功能

SQL ServerSQL Server功能组件的重要组成部分功能组件的重要组成部分

SQL Server Integration Services public site SQL Server Integration Services public site –– Links Links to to blogsblogs, whitepapers, etc.:, whitepapers, etc.:http://http://msdn.microsoft.com/SQL/sqlwarehouse/SSIS/default.aspxmsdn.microsoft.com/SQL/sqlwarehouse/SSIS/default.aspx

SQL Server Business Intelligence public site:SQL Server Business Intelligence public site:http://www.microsoft.com/http://www.microsoft.com/sql/evaluation/bi/default.aspsql/evaluation/bi/default.asp

SSIS MVP community site:SSIS MVP community site:http://http://www.sqlis.comwww.sqlis.com

Newsgroups: Newsgroups: Microsoft.private.sqlserver2005.dtsMicrosoft.private.sqlserver2005.dts

TechNet and MSDN TechNet and MSDN WebcastsWebcasts我的邮件地址：我的邮件地址：[email protected]@microsoft.com

teched 2005 2005 9 30 10 50 dat324 integration...

Documents