Elastic Cloud - Kibana 入門介紹
Kibana 是一個資料數據展示的系統，一般會用來管理 Elasticsearch 數據分析。在這裡我們會介紹如何在 Elastic Cloud 建立集群，如何啟動 Kibana 及配置說明，以及相關功能介紹。
開源的部分：
-
可以製作各種圖表
-
管理Elasticsearch集群
商業部分：
-
機器學習
-
數據關聯分析
-
監控警告
-
多集群監控
-
報表
-
高級別安全
解決方案主要有：搜尋，地理位置，日誌，指標，安全及APM
Elastic Cloud
如何在 ESC 建立一個集群
說明如何快速體驗 Elastic Cloiud，如何一件部署。
對於有建立過集群經驗的人而言，基本上就是選擇一些選項，在幾分鐘之內就可以完成建立集群。
這裡說明剛使用 Elastic cloud 的說使用者該如和開使：
[評估成本]
在開始前，在 Elastic cloud 官方有提供費用估算服務，可以先在上面推估你會使用的規格及成本：
https://cloud.elastic.co/pricing
[創建集群]
首先，前往 https://www.elastic.co/ 註冊帳號後，可以先採14 天免費的試用額度，
登入後，在 dashboard 可以找到 [Create deployment]，點選並開始建立集群。
在畫面一開始，會有四種類型可以直接選擇，一般多數情況都會選取 Elast stack (ELK) ，可以自行配置一些設定。
| What do you want | description |
|---|---|
| Elastic stack (推薦) | Deploy Elasticsearch and Kibana. Search, analyze, and visualize data from any source, in any format. |
| Elastic Enterprise Search | Easily implement powerful search experiences for your website, app, or workplace with refined APIs and tools. |
| Elastic Observability | Consolidate your logs, metrics, application traces, and system availability with purpose-built UIs. |
| Elastic Security | Prevent, collect, detect, and respond to threats for unified protection across your infrastructure. |
這裡說明 Elastic stack 的一些相關設定：
首先，關於 Select hardward profile 的各種類型比較表如下：
| hardware profile | description | 重點 |
|---|---|---|
| I/O Optimized （推薦) | Use for for all-purpose workloads, including time-series data like logs and metrics. | |
| Memory Optimized | Perform memory-intensive operations efficiently, including workloads with frequent aggregations. | |
| Cross Cluster Search | Search data across one or more associated remote deployments. | |
| Compute Optimized | Run CPU-intensive workloads or run smaller workloads cost-effectively when you need less memory and storage. | |
| Hot-Warm Architecture(推薦) | Useful for time-series analytics that benefit from automatic index curation. | 基本上，Hot, Warm 都是儲存在記憶體中，Code 則是disk： Hot 可寫入及查詢。 Warm 僅提供查詢。 另外，Code 則是備存用，僅提供查詢且速度較慢。 |
接著，選擇 Cloud provider，可以選擇 Google Cloud, Azure, Amazon Web Services, 接著在
Version 則可以有非常多的版本可以選取，跟其他雲廠商提供的項目相比，選擇更多。
原則上，選擇好之後，就可以點選 Create deployment。
啟用 Kibana
建立好 Deployments 後，進入到 Deployment 好的集群頁面，在頁面可以看到 Kibana，點選 ** Launch** 就可前往 Kibana 介面。
接著，在一開始我們先從 Stack Mangement來說明，原則上 Kibana 的重點配置及控制，主力重點都會在這裡進行管理，因此相當值得花時間理解立面的功能。
Stack Management
Stack Management 是 Kibana 的主要配置管理頁，基本上 Kibana 所以的管理設定都會在這裡配置，頁面的功能主要可以分成這幾大類別，接著一項項進行解說：
1. Ingest
可以管理一些 Pipeline 配置，包含了：
| Ingest Node Pipelines | 針對 apm, logs-enpoint, metrics-enpoint, xpack_monitoring..等相關配置處理。 |
| Logstash Pipelines | 可以將 Logstash pipeline centralize，讓遠端的 Logstash 可以使用這裡的配置。 |
| Beats Central | 可將 Beat 中心化管理，讓遠端安裝的 Beat 組態設定可以統一在這裡配置。可以透過 Enroll Beat 來產生一段 enroll command，再到個機器上執行這道 command。然後就可在這裡監控每一個 beat 的執行狀況及配置組態。 |
2. Data
| Index Management | 可以查看每一個 Index 相關的 Health狀態，儲存大小，Mappings 結構等內容及管理。 |
| Index Lifecycle Policies | 在 Elastic cloud 成本主要是根據資料儲存量來決定，因此，在管控 index 的 Lifecycle 是非常重要的事情。，可以在 Stack Management 找到 Index Lifecycle Policies |
| Snapshot and Restore | 建立 Snapshot 及 restore。可以在 Policies 裡面建立要執行 slapshot 的排程策略，或者在 Resotore status 查看目前 resore 進度。 |
| Rollup Jobs | Rollup 通常是把一些不會變更的歷史數據，統一集中壓縮在一個更小的 index中 (將時間的Granularity變大)，增加統計分析的效能，且節省記憶體。 |
| Transform | 可以將 Index 資料透過 Pivot(樞紐)做資料格式內容轉換(group, aggregations..)處理，並且儲存在新的 index。Transform 執行速度快，並且可以搭配 Aggregation 來應用，蛋Aggregation 會較損耗資源；產出的 Transform 資料也可用 Virtualize 來建立圖表。 |
未完待續…
3. Alerts and Insights
| Alerts and Actions | |
| Reporting | |
| Machine Learning Jobs | |
| Watcher |
4. Security
| Users | |
| Roles | |
| API Keys | |
| Role Mappings |
5. Kibana
| Index Patterns | |
| Saved Objects | |
| Spaces | |
| Advanced Settings |
6. Stack
Upgrade Assistant
介紹7.1.0.6.8 之後的 Basic 安全功能
如何配置及開啟集群的基本安全功能，包含創建用戶，角色，space
導入數據
在開啟 Kibana 就可以先帶入一些 demo 數據，也可以做一些關聯查詢。
Index pattern 介紹
整個 Kibana 都是針對 index pattern 來做基礎查詢
Kibanna App 簡介
對Kibana 各種 App 簡介
Discover 介面簡介
如何製作 Dashboard 以及如何做出以下幾種類型的介面
- Visualize
- Dashboard
- Canvas
- Map
- Dev Tools
- Stack Monitoring