Download as PDF, PPTX
Uploaded byShotaro Suzuki
Big query and elasticsearch insight at scale
6/9 6/9（水）12時 「BigQueryからElasticsearch - 有効データインサイト」ウェビナー https://www.elastic.co/jp/webinars/bigquery-and-elasticsearch/?view=1
Big query and elasticsearch insight at scale
- 1. BigQuery & Elasticsearch Insightat Scale 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
- 2. Elastic Technical Product Marketing Manager/Evangelist 内閣官房IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. 1つのスタック、3つのソリューション、多くのユースケース、どこでもデプロイ Elastic Enterprise SearchElastic Security Elastic Observability Kibana Elasticsearch Beats Logstash SaaS SELF-MANAGED Elastic Cloud Elastic Cloud Enterprise (ECE) Standalone Elastic Cloud on K8s (ECK)
- 4. 4 Strategic partner since2017 Operating in 16 regions with 4 deployment options 2,400+ joint customers* “Together, Google Cloud and Elastic share a vision of meeting customers where they are on their journey to the cloud...Our partnership has been inspired by our joint customers who are looking for choice, security, a platform for innovation and integrations that helps them get better insights from their data.” Thomas Kurian, CEO, Google Cloud
- 5.
- 6. 6 ElasticO n Joint CEO presentation Elastic &Google Partnership Timeline Elastic 7.8 G CO S integration Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec CY20 G CP M ontreal G CP Singapore G CP São Paolo G CP M arketplace annual deals G CP S. Carolina G CP M um bai ECK 1.0 G A G CP N etherlands G old and Platinum on G CP M P Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec CY21 Elastic 7.10 Elastic 7.11 + searchable snapshots Elastic 7.13
- 7. 7 Elastic & GooglePartnership Highlights Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec G oogle N ext SF O SS Initiative Announcem ent Elastic 7.8 G CO S integration 6/18/20 G CP N etherlands Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec FY19 FY20 G oogle N ext Tokyo Elastic on G oogle M arketplace Beta ECK 0.9.0 Alpha G CP Sydney G CP Sydney G CP M ontreal G CP Singapore G CP São Paolo G CP M arketplace annual deals G CP S. Carolina G CP M um bai ECK 1.0 G A 16 Regions 4 Ways to deploy
- 8. 8 Elastic Cloud onGoogle Cloud The official managed Elasticsearch and Kibana offering 16 Google Cloud Regions Americas us-west1 (Oregon) us-central1 (Iowa) us-east1 (South Carolina) us-east4 (N. Virginia) northamerica-northeast1 (Montréal) southamerica-east1 (São Paulo) Europe europe-north1 (Finland) europe-west1 (Belgium) europe-west2 (London) europe-west3 (Frankfurt) europe-west4 (Netherlands) Asia Pacific asia-east1 (Taiwan) asia-south1 (Mumbai) asia-southeast1 (Singapore) asia-northeast1 (Tokyo) australia-southeast1 (Sydney)
- 9. ⽐類のない利点 Exclusive integrations Fully managed メンテナンスと維持は Elasticに任せます。API と Elastic CLI を使⽤して、 最適化、Google DevOps ツールと統合します。 Best-in-class security ⾼度なセキュリティ機能と、 暗号化は、グローバルコンプ ライアンス基準を満たして います。 All the Feels ⾃動アップグレード、商⽤ 機能、セキュリティ組み込み、 迅速な展開とサイズ変更が 可能です。 自由でオープンな技術を 通じて革新のために創造 Google クラウド マーケット プレイスに Elastic 検索 サービスを展開します。 Google Cloud Operation Suite からデータにアクセス できます。 Seamless billing Google クラウド マーケット プレイスから、直接 Elastic サブスクリプションを管理し、 1 つの統合請求書を取得し ます。 Pay-per-use 使⽤するリソースに対して のみ⽀払います。
- 10. 10 Elastic と GoogleCloud を⽤いた オブザーバビリティ（可観測性） 参考アーキテクチャ Serverless Cloud Function Operations Cloud Pub/Sub Logstash App Engine Compute Engine Kubernetes Engine Others Filebeat Cloud Storage VPC Flow Logs Custom Logs Elastic Cloud Filebeat or Functionbeat Filebeat or Functionbeat
- 11. 11 Demo Elastic Cloud deploymenton Google Cloud
- 12. 12 In-memory Relational Non-relational Cloud Firestore Cloud Memorystore Cloud Bigtable Cloud SQL Cloud Spanner Managed Redis Serverless, scalable documentstore Managed MySQL & PostgreSQL Scalable mission- critical RDBMS Low latency, scalable wide column store Data warehouse BigQuery Analytics, dashboards Third party Oracle SQL Server Databases & Google Cloud Platform
- 13. 13 BigQuery Google Cloud Platformの 分析⽤エンタープライズ データウェアハウス ギガバイトからペタバイト規模 のストレージと SQL クエリ 暗号化され、耐久性があり、 ⾼可⽤性を持つ Unique 最⼤限の俊敏性と拡張性を実現する、 完全に管理されたサーバレス DWH Unique ストリーミングデータからのリアルタイムの洞察 Unique 組み込みの ML を使⽤する予測的な洞察 Unique ⾼速なインメモリ BI エンジンにより、⾼速な レポート作成と分析が可能
- 14. 1. BigQuery を使⽤したビッグデータとデータウェアハウジング a.クラウドスケールの No Ops SaaS データウェアハウジング b. 豊富な統合、BI、機械学習 2. Elastic Stack を使⽤したライブデータとリアルタイム分析 a. 速度、速度、速度 b. ターンキーソリューション:Observability, Security, Enterprise Search 3. データウェアハウスの他のデータ ソースと統合するために、 BigQuery を使⽤し Elastic Stack データをフェデレーション /転送 4. BigQuery から Elasticsearch に転送された洞察を保存 して、迅速なアクセスと簡単/豊富なリアルタイム分析を実現 BigQuery & Elasticsearch Better together 3 4 1 2
- 15. Elasticsearch to BigQuery •Elasticsearch to BigQuery – Logstash • Logstash Elasticsearch input plugin • Logstash BigQuery output plugin – Custom pipelines - eg. Dataflow pipeline – Potential “one-click” tight integration • リアルタイムの Elastic データを、より広範な BigQuery データポートフォリオと関連付ける • BigQuery での追加データ変換 • BigQuery での機械学習 データウェアハウス⽤の BigQuery Real-time data sources BigQuery
- 16. BigQuery to Elasticsearch •BigQuery to Elasticsearch – Google Cloud Storage を通じて – カスタムパイプライン - 例えばデータフローパイプライン – 潜在的な「ワンクリック」タイトな統合 Elasticsearch as the speed layer • ⾼速クエリ • リッチで簡単なリアルタイム分析とダッシュボード • リアルタイムアラートと Machine Learning • BigQuery 結合の視覚化 • ターンキーソリューション BigQuery データウェアハウジング ⼤規模なデータ分析 リアルタイム分析と ダッシュボード
- 17. Cloud Logging をエクスポートするシナリオ:Elasticsearch https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja • Logging のエクスポートのための設計パターン の⼀部 • Cloud Logging は、Cloud Storage、BigQuery、Pub/Sub、Elasticsearch にエクスポートできる • Beats のより⼀般的な使⽤例の⼀部 • Auditbeat を使⽤した監査データの確認とレポート作成 • Filebeat と Metricbeat を使⽤したログファイルと指標の分析 • サーバーレス Functionbeat を使⽤したクラウドデータのモニタリング（Cloud Functions） • Packet beat を使⽤したネットワーク トラフィックの把握 • Beats を使⽤して Google Operationsの Cloud Logging を Elasticsearch にエクスポート するための基本的なアーキテクチャの例 • Google Cloud 向け Filebeat モジュールは、監査ログ、VPC フロー、ファイアウォール ログを収集 • 環境にコンテナ、サーバーレス機能、VM、アプリが含まれている場合でも、Cloud Logging のシンク は、適切にフィルタリングされたデータを Pub/Sub トピックに送信するよう構成 • このトピックは、ファイル変換のために Elasticsearch に送信し、Kibanaでの検索やレポートのため に取り込みおよび集約を⾏う
- 18.
- 19.
- 20. 20 Elastic と GoogleCloud を⽤いた オブザーバビリティ（可観測性） 参考アーキテクチャ Serverless Cloud Function Operations Cloud Pub/Sub Logstash App Engine Compute Engine Kubernetes Engine Others Filebeat Cloud Storage VPC Flow Logs Custom Logs Elastic Cloud Filebeat or Functionbeat Filebeat or Functionbeat
- 21.
- 22. The GDELT Project グローバルデータベースで世界的に展開されているプロジェクト •⼈類社会の最⼤、最も包括的、最⾼の解決 のオープンデータベース • 印刷、放送、Web フォーマットのほぼすべての 国の世界中から、世界のニュースメディアを 100以上の⾔語で監視 • 1979年1⽉1⽇から現在まで • Vision - 利⽤可能なすべてのオープンな情報 源を使⽤して、地球全体を計算可能な形式 にコーディネート
- 23. Elasticsearch の専⽤のフルテキスト検索インフラストラクチャを備えた BigQuery の膨⼤なペタスケール分析機能と連携することにより、世界 クラスの検索、分析、視覚化機能 BigQuery •ペタスケール分析 • 4 分以下のペタバイトテーブルのスキャン • スケールを気にせずに GDELT の質問 The GDELT Project BigQuery と Elasticsearch を使⽤した惑星スケール データセットの分析と管理 Elasticsearch • 第2世代の全⽂検索 • Google Computing Engine (GCE) にデプロイ • BigQuery との統合
- 24. Zebra Technologiesʼ VisibilityIQ BigQuerybased big data analytics platform • 800万台のデバイス • 43,000のお客様 • 運⽤データとサポートデータ • 機械学習と予測モデリングにより、予防的 対策が可能 • KPI と実⾏可能なインサイト
- 25. Zebra Technologiesʼ VisibilityIQ Elasticsearchas the speed layer • データウェアハウス/データレイクとして の BigQuery • パイプライン – ML & predictive analysis • インサイトサービングスピードレイヤーと しての Elasticsearch • クエリ – Aggregations – Dashboarding https://www.elastic.co/elasticon/archive/2020/global/how-zebra-technologies-delivers-business-intelligence-with-elastic-on-google-cloud
- 26. A Food ServiceCompany G-Suite ログ分析 Email log search BigQuery Reporting Security Analytics with Elastic Security
- 27. リソース Elastic StackとGoogle Cloudオペレーションを使ってGoogleCloudを監視する https://www.elastic.co/jp/blog/monitoring-google-cloud-with-the-elastic-stack-and- google-operations Cloud Logging をエクスポートするシナリオ: Elasticsearch https://cloud.google.com/architecture/exporting-stackdriver-logging-elasticsearch?hl=ja Google BigQuery output plugin https://www.elastic.co/guide/en/logstash/current/plugins-outputs- google_bigquery.html#plugins-outputs-google_bigquery
- 28. アプリケーション開発 オンデマンド ウェビナー特集 https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx •Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) • Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する • ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕
- 29.
- 30. Elastic 7.13 Updateダイジェスト版(6/24) https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/278466633/ 今回のWebinarの詳細は以下の通りです。 ========================== ===================== ■開催⽇時 6/24(⽊)19:30〜21:00 ■内容 登壇 1. ⽇本マイクロソフト 惣道 哲也さん 2. Elastic 鈴⽊章太郎さん 3. 募集中 ========================== ===================== 以上
- 31. Elastic on MicrosoftAzure: インテグレーション強化による価値の創出 https://www.elastic.co/jp/webinars/elastic-on-microsoft-azure-accelerate-time-to-value-with-enhanced-integration
- 32. ElasticON Solution SeriesJapan (7⽉予定) https://www.elastic.co/elasticon/solution-series/(TBD)
- 33. Thank You foryour attention! Search. Observe. Protect.