架構

basicFirehose.jpg

今日架構,會建立一個 Firehose 和 S3,並透過 AWS CLI 傳送資料到 Firehose 裡面,最後 Output 到 S3 中。

S3 建置

  • 進入到 S3 畫面,並點下 “Create Bucket” 按鈕
    s3-creation-step1

  • 填寫 Bucket name(注意 S3 Bucket 是 Global Unique,所以跟別人重複了是不能建立的),並滑到頁面最下面按 “Create Bucket” 按鈕
    s3-creation-step2

  • 建立完成,會在頁面最下面看到 S3 Bucket
    s3-creation-step3

Firehose 建置

  • 進入到 Firehose 頁面,點擊 “Create Delivery Stream”
    firehose-creation-step1

  • Source 的部分選 “Direct Put”,然後 Destination 選 “S3”,接著會展開更多資訊要填寫
    firehose-creation-step2

  • 滾動到頁面最下面,然後點選 “Create Delivery Stream”,就會開始建置
    firehose-creation-step3

  • 選擇 Configuration,可以看到 Service access,AWS 已經預設建立好 Service Role
    firehose-creation-step4

  • 在 IAM Role 裡面可以看到,已經有權限可以讓 Firehose output 資料到 S3
    firehose-creation-step5

透過 AWS CLI 上傳

1aws firehose put-record \
2    --delivery-stream-name Basic-Firehose \
3    --record "{\"Data\":\"SGVsbG8gd29ybGQh\"}"

Firehose 預設 Buffer Size 是300 秒,所以五分鐘後可以到 S3 裡面去看檔案。