架構
今日架構,會建立一個 Firehose 和 S3,並透過 AWS CLI 傳送資料到 Firehose 裡面,最後 Output 到 S3 中。
S3 建置
進入到 S3 畫面,並點下 “Create Bucket” 按鈕
填寫 Bucket name(注意 S3 Bucket 是 Global Unique,所以跟別人重複了是不能建立的),並滑到頁面最下面按 “Create Bucket” 按鈕
建立完成,會在頁面最下面看到 S3 Bucket
Firehose 建置
進入到 Firehose 頁面,點擊 “Create Delivery Stream”
Source 的部分選 “Direct Put”,然後 Destination 選 “S3”,接著會展開更多資訊要填寫
滾動到頁面最下面,然後點選 “Create Delivery Stream”,就會開始建置
選擇 Configuration,可以看到 Service access,AWS 已經預設建立好 Service Role
在 IAM Role 裡面可以看到,已經有權限可以讓 Firehose output 資料到 S3
透過 AWS CLI 上傳
1aws firehose put-record \
2 --delivery-stream-name Basic-Firehose \
3 --record "{\"Data\":\"SGVsbG8gd29ybGQh\"}"
Firehose 預設 Buffer Size 是300 秒,所以五分鐘後可以到 S3 裡面去看檔案。
評論