Apache Hop-Pipeline Editor（管道编辑器）

文章目录

• Pipelines（管道）
• • Pipeline Editor（管道编辑器）
  • • TOOLBAR
  • Create a Pipeline（创建管道）
  • • How pipelines work（管道如何工作）
    • Concepts(概念）
    • Create a pipeline（创建管道）
    • Add Transform to your pipelines（将Transform添加到管道中）
    • Add a Hop between transforms（在转换之间添加跳转）
    • Pipeline properties（管道属性）
  • Run,Preview and Debug a Pipeline
  • • Running a Pipeline（运行管道）
    • Preview a pipeline（预览管道）
    • Debug a pipeline（调试管道）
  • Error Handling（错误处理）
  • Getting started with Apache Beam（开始使用Apache Beam）
  • • What is Apache Beam?
    • How does it work?
    • How is Hop using Beam?
    • What software versions are supported
    • How are my pipelines executed?
    • • Beam specific transforms
      • Universal transforms
      • Unsupported transforms
      • All others
    • Fat jars?
    • Beam File definitions
    • Current limitations
  • Pipeline Run Configurations（管道运行配置）
  • Pipeline Unit Tests（管道单元测试）
  • • The need for unit testing（单元测试的必要性）
    • Main components of a unit test（单元测试的主要组成部分）
    • Unit tests in runtime（运行时的单元测试）
    • Create unit tests（创建单元测试）
    • • Unit test and data set options（单元测试和数据集选项）
      • Create and add data sets（创建和添加数据集）
      • Run the unit test（运行单元测试）
      • Remove and bypass transforms in unit tests（在单元测试中删除和绕过转换）
    • Automate unit test execution（自动执行单元测试）
    • • Run unit tests in a workflow（在工作流中运行单元测试）
      • Run unit tests in a pipeline（在管道中运行单元测试）
  • Metadata Injection
  • Partitioning
  • Transforms
  • • Abort（取消）
    • • DESCRIPTION（描述）
      • OPTIONS（选择项）
    • Add a checksum
    • Add Constants
    • Add Sequence
    • Add value fields changing sequence
    • Add XML
    • Analytic Query
    • Apache Tika
    • Append Streams
    • Avro Decode
    • Avro Encode
    • Avro File Input
    • Azure Event Hubs Listener
    • Azure Event Hubs Writer
    • Beam BigQuery Input
    • Beam BigQuery Output
    • Beam GCP Pub/Sub : Publish
    • Beam GCP Pub/Sub : Subscribe
    • Beam Input
    • Beam Kafka Consume
    • Beam Kafka Produce
    • Beam Output
    • Beam Timestamp
    • Beam Window
    • Blocking transform
    • Blocking until transforms finish
    • Calculator
    • Cassandra Input
    • Cassandra Output
    • Cassandra SSTable Output
    • Call DB procedure
    • Change file encoding
    • Check if file is locked
    • Check if webservice is available
    • Clone row
    • Closure
    • Coalesce
    • Column exists
    • Combination lookup/update
    • Concat Fields
    • Copy rows to result
    • Credit card validator
    • CSV File Input
    • Database Join
    • Database Lookup
    • Data Grid
    • Delay row
    • Delete
    • De-Serialize From File
    • Detect Empty Stream
    • Dimension lookup/update
    • Dummy (do nothing)
    • Dynamic SQL row
    • Edi to XML
    • Email Messages Input
    • Enhanced JSON Output
    • Excel input
    • Excel writer
    • Execute a process
    • Execute row SQL script
    • Execute SQL script
    • Execute Unit Tests
    • Fake data
    • File exists
    • File Metadata
    • Files from result
    • Files to result
    • Filter Rows
    • Formula
    • Fuzzy match
    • Generate Random Value
    • Get Data From XML
    • Get filenames
    • Get files rowcount
    • Get records from stream
    • Get Rows from Result
    • Get ID from slave server
    • Get SubFolder names
    • Get System Info
    • Get table names
    • Get variables
    • Group By
    • HTTP client
    • HTTP Post
    • Identify last row in a stream
    • If Null
    • Injector
    • Insert / Update
    • Java Filter
    • JavaScript
    • Join Rows
    • JSON Input
    • JSON Output
    • Kafka Consumer
    • Kafka Producer
    • LDAP Input
    • LDAP Output
    • Load file content in memory
    • Mail
    • Mapping Input
    • Mapping Output
    • Memory Group By（内存分组依据）
    • • Description（描述）
      • Options（选项）
      • Metadata Injection Support（元数据注入支持）
    • Merge Join
    • Merge rows (diff)
    • Metadata Injection
    • Metadata Input
    • Metadata structure of stream
    • Microsoft Access Output
    • MonetDB Bulk Loader
    • MongoDB Input
    • MongoDB Output
    • Multiway Merge Join
    • Neo4j Cypher
    • Neo4j Generate CSVs
    • Neo4j Get Logging Info
    • Neo4j Graph Output
    • Neo4j Import
    • Neo4j Output
    • Neo4j Split Graph
    • Null If
    • Number range
    • Parquet File Input
    • Parquet File Output
    • PGP decrypt stream
    • PGP encrypt stream
    • Pipeline Executor
    • PostgreSQL Bulk Loader
    • Process files
    • Properties file Input
    • Properties file Output
    • Regex Evaluation
    • Replace in String
    • Reservoir Sampling
    • REST Client
    • Row Denormaliser
    • Row Flattener
    • Row Generator
    • Row Normaliser
    • Run SSH commands
    • Salesforce Delete
    • Salesforce Input
    • Salesforce Insert
    • Salesforce Update
    • Salesforce Upsert
    • Sample Rows
    • SAS Input
    • Select Values
    • Serialize To File
    • Server Status
    • Set field value to a constant
    • Set field Value to a field
    • Set Variables
    • Simple Mapping
    • Sort Rows
    • • Description(描述)
      • Options（选项）
      • Metadata Injection Support（元数据注入支持）
    • Sorted Merge
    • Split Fields
    • Split fields to rows
    • Splunk Input
    • SQL File Output
    • Standardize Phone Number
    • Stream Lookup
    • Stream Schema Merge
    • String cut
    • String operations
    • Switch / Case
    • Synchronize after merge
    • Table Compare
    • Table Exists
    • Table Input
    • • DESCRIPTION（说明）
      • OPTIONS（选择项）
      • • GENERAL（基本项）
        • FILE TAB（文件选项卡）
        • CONTENT TAB（内容选项卡）
        • ERROR HANDLING TAB(错误处理选项卡)
        • FILTERS TAB(过滤器选项卡)
        • FIELDS TAB（字段选项卡）
      • ADDITIONAL OUTPUT FIELDS TAB（其他输出字段选项卡）
      • BUTTONS（按钮）
      • METADATA INJECTION SUPPORT（元数据注入支持）
    • Table Output
    • Teradata Bulk Loader
    • Text File Input
    • Text File Output
    • Token Replacement
    • Unique Rows
    • Unique Rows (HashSet)
    • Update
    • User Defined Java Class
    • User Defined Java Expression
    • Value Mapper
    • Web services lookup
    • Workflow Executor
    • Write to log
    • XML Input Stream (StAX)
    • XML Join
    • XML Output
    • XSD Validator
    • XSL Transformation
    • Yaml Input
    • Zip file