StreamSets 的管道 在运行过程中,会记录某些组件的状态,那这会影响啥呢?
1、数据持久化
当你停止管道时, StreamSets会记录它停止位置时的处理组件的位置。当你重新启动管道时,它会从中断的地方继续。
有哪些组件会被保留状态呢?
以下是这些组件的列表:
- Amazon S3
- Azure Data Lake Storage Gen1
- Azure Data Lake Storage Gen2
- Directory
- Elasticsearch
- File Tail
- Google Cloud Storage
- Groovy Scripting
- Hadoop FS Standalone
- HTTP Client
- JavaScript Scripting
- JDBC Multitable Consumer
- JDBC Query Consumer
- Jython Scripting
- Kinesis Consumer
- MapR DB JSON
- MapR FS Standalone
- MongoDB
- MongoDB Oplog
- MySQL Binary Log
- Salesforce
- SAP HANA Query Consumer
- SFTP/FTP/FTPS Client
- SQL Server 2019 BDC Multitable Consumer
- SQL Server CDC Client
- SQL Server Change Tracking
- Teradata Consumer
<