SSIS数据校验

最近在开发一个数据校验、转换的项目，使用的是Mirosoft的sqlServer 20005 Intergration Service  － 简称SSIS，感觉到SSIS的功能的确很强大。通过自己的学习研究和咨询微软的MVP徐老师，熟悉了SSIS的使用方法并已经开发出成型可用的东西。

    我在这里说一下我们通过SSIS完成的功能，如果各位也有类似的功能需求，可以借鉴此套解决方案。如在SSIS开发中遇到问题，可以与我联系。我们一起学习。

    使用工具：Microsoft Visual Stuidio 2005,Microsoft sqlServer 2005,Intergraion Service.

    技术：VB.NET,WebService,sqlServer 存储过程

    系统运行流程：
    1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
    2 B/S业务管理系统把用户上传的文件路径（一个或多个文件）、业务参数通过WebService（VB.NET编写）发送给ETL子系统（我负责的数据转换、校验系统）
    3 ETL子系统接收到参数之后，通过TFTP去B/S业务管理系统服务器上获取需处理的源文件，下载到本地的一个目录。
    4 VB.NET程序到数据表里查询预先定义好的配置信息，选择需要执行的DTS包（或称为SSIS包）路径，然后执行DTS包
    5 DTS包中完成了对源文件（可以是DBF、EXCEL、TXT等）的校验和数值转换。符合业务规则的数据保存到一个标准格式的TXT，不符合业务规则的数据（例如：字段值为空，字段值没有对应标准值等）保存到错误清单。
    6 把生成后的结果通过TFTP上传到B/S业务管理系统的服务器。

    大致就是这个流程，其中还包含VB.NET程序对处理流程的细节控制以及DTS包中的细节处理，也许你会说：用××实现就能实现这个功能而且还简单，但是我想你的××工具不会像这个解决方案灵活。SSIS做数据ETL的数据整合还是很不错的。

   有兴趣的程友可与我联系，一起学习讨论数据整合的相关技术。随着IT技术的发展，企业需要对企业内部的各业务系统的数据进行整合，也需要与其他企业的业务系统的数据进行整合，Microsoft BizTalk Server可以完成消息的整合，但是大数据量的ETL数据整合，用SSIS实现起来效果还是比较好的。