connector 属于Castled 一个比较核心的东西,包含了核心部分的datawarehouse数据poll 处理,同时也包含了对于不同外部服务集成的处理
当然才代码中我们也可以看到一部分基于stream 的处理(文件,jdbc,s3.。。。),auth部分基于了oauth目前更多是关注认证,但是没有授权的处理
以下主要说明下关于jdbc 的处理以及数据poll的处理,关于外部集成部分后边单独介绍(属于一个重点)
代码结构
├── LICENSE.md
├── javadoc
│ └── README.md
├── pom.xml
└── src
├── main
│ └── java
│ └── io
│ └── castled
│ ├── OptionsReferences.java
│ ├── apps
│ ├── cache
│ ├── commons // 异常以及模型,同时包含了stream 的处理(主要处理csv以及json格式的)
│ ├── constants
│ ├── dtos
│ ├── exceptions
│ ├── filestorage // 基于对象存储的处理(目前主要是aws 以及gcs)
│ ├── jdbc // jdbc 访问处理,包含链接管理以及ssh tunnel 的集成
│ ├── models
│ ├── oauth
│ ├── optionsfetchers
│ ├── services
│ ├── utils
│ └── warehouses // 包含了关于基于pg datawarehouse 的处理,核心
└── test
└── java
└── io
└── castled
├── AppTest.java
└── warehouses
代码说明
- 核心组件
包含了connector 以及poller
connector 组件关系
poller
poller 依赖的RecordInputStream
RecordInputStream类继承关系
说明
以上主要简单介绍关于connector以及poller说明,后边会详细说明下内部实现细节
参考资料
https://github.com/castledio/castled
https://oss-docs.castled.io/getting-started/Pipelines/overview
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。