AWS DAS认证考点整理（Kinesis篇）

1. Kinesis Data Stream = KDS
2. Kinesis Data Firehose = KDF
3. Kinesis Data Analytics = KDA
4. Kinesis Producer Library=KPL
5. Kinesis Consumer Library=KCL

KDF vs KDS

1. KDS=realtime, KDF=near-real-time。
2. KDS&KDF最大消息=1MB， SQS最大消息=256KB，Kafka最大消息=15MB。
3. KDS支持排序，SQS只有FIFO队列支持排序，普通SQS不支持。
4. KDS 写入消息偏慢：1. 基于吞吐量优化消息生产者，2. 基于吞吐量优化service limit。
5. KDS的destination包括KDF，KDA和Lambda。
6. KPL对KDS读写，KCL是KDS的消费者，Kinesis agent写入KDF。

KDF

1. KDF+Amazon Opensearch+Kibana=near-real-time analytics。
2. KDF有Opensearch、 S3、Redshift作为destination。KDA也可以分析KDF数据流。
3. KDF data latency = 1min
4. KDF改善性能，调整buffer size/buffer intervals。

KDS

1. KDS重复数据：1. Producer有网络延迟，2. Shards、Record Processors有增减。
2. 由于网络等不可抗力造成的KDS数据重复可以通过加入唯一码（Unique ID）来去重解决。
3. KCL ExpiredIteratorExceptions=增加DynamoDB的写入单元（write capacity units）。
4. KCL Poll delay=1sec，通过修改propagation delay in KCL default setting可以降低。
5. KDS的每个shard可以用一个Lambda进行处理，如果处理过慢可以增加shard。此外当一个stream有多个消费者时可以使用fan-out提升性能。还有一种提升性能的办法叫HTTP/2,这种协议比HTTP读取速度更快。但这两种办法都要额外收费。
6. 一个KDS可以有多个消费者。一个KDS fan-out lambda支持最多20个终端。
7. KDS实际吞吐量小于assigned streams throughput：shard分配不平衡。
8. KDS可以保留数据长达一年。
9. KDS encrypted at rest = Server-side encryption with CMK in KMS
10. KDS有VPC Endpoint保证流量不用走公网
11. KDS + API Gateway = Kinesis Proxy
12. KPL会buffer records，如果要最快，直接调用PutRecord/PutRecords。
13. KDS stream resize后，通过process parent shard去避免记录乱序。
14. KDS throttle write requests：increase shards（UpdateShardCount API）,choose partition key.
15. CloudWatch Subscription Filter跨account传给KDS= IAM Role and Trust policy.

KDA 

1. KDA from S3/MCK/KDS to S3/MCK/KDS。KDA还能分析KDF数据流。
2. KDA使用S3文件，reference data source，自动推测结构。
3. KDA for SQL不支持MSK，不支持schema改变。
4. KDA基于Flink，open-source兼容。

MSK

1. MSK支持storage auto scale up。
2. Kafka Topic权限控制=Kafka ACL