组件分享之后端组件——基于Golang实现的高性能和弹性的流处理器benthos

背景

近期正在探索前端、后端、系统端各类常用组件与工具，对其一些常见的组件进行再次整理一下，形成标准化组件专题，后续该专题将包含各类语言中的一些常用组件。欢迎大家进行持续关注。

组件基本信息

• 组件：benthos
• 开源协议：MIT license
• 官网：www.benthos.dev

内容

本节我们分享的是基于Golang实现的高性能和弹性的流处理器benthos，它能够以各种代理模式连接各种源和接收器，并对有效负载执行水合、浓缩、转换和过滤。

它带有强大的映射语言，易于部署和监控，并且可以作为静态二进制文件、docker 映像或无服务器函数放入您的管道，使其成为云原生。

image.png

Benthos 是完全声明性的，流管道在单个配置文件中定义，允许您指定连接器和处理阶段列表：

input:
  gcp_pubsub:
    project: foo
    subscription: bar
 
pipeline:
  processors:
    - bloblang: |
        root.message = this
        root.meta.link_count = this.links.length()
        root.user.age = this.user.age.number()
 
output:
  redis_streams:
    url: tcp://TODO:6379
    stream: baz
    max_in_flight: 20

支持的源和接收器

Apache Pulsar, AWS (DynamoDB, Kinesis, S3, SQS, SNS), Azure (Blob storage, Queue storage, Table storage), Cassandra, Elasticsearch, File, GCP (Pub/Sub, Cloud storage), HDFS, HTTP (server and client, including websockets), Kafka, Memcached, MQTT, Nanomsg, NATS, NATS JetStream, NATS Streaming, NSQ, AMQP 0.91 (RabbitMQ), AMQP 1, Redis (streams, list, pubsub, hashes), MongoDB, SQL (MySQL, PostgreSQL, Clickhouse, MSSQL), Stdin/Stdout, TCP & UDP, sockets and ZMQ4.

具体使用方式如下：

1、docker安装

# Using a config file
docker run --rm -v /path/to/your/config.yaml:/benthos.yaml jeffail/benthos
 
# Using a series of -s flags
docker run --rm -p 4195:4195 jeffail/benthos \
  -s "input.type=http_server" \
  -s "output.type=kafka" \
  -s "output.kafka.addresses=kafka-server:9092" \
  -s "output.kafka.topic=benthos_topic"

具体使用方式可以参见该文档
有关如何配置更高级的流处理概念(例如流连接、扩充工作流等)的指导，请查看说明书部分。

有关在 Go 中构建您自己的自定义插件的指导，请查看公共 API。

本文声明：

88x31.png