Download as PDF, PPTX
Uploaded byShotaro Suzuki
Utilizing elasticcloudforallusecases
あらゆるユースケースにElastic Cloudを最大活用 2021.1.20 Webinar https://www.elastic.co/jp/webinars/get-the-most-out-of-elastic-cloud-for-all-use-cases
Utilizing elasticcloudforallusecases
- 1. あらゆるユースケースに Elastic Cloud を最⼤活⽤ Search.Observe. Protect. 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
- 2. Elastic Technical Product Marketing Manager/Evangelist 内閣官房IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist Twitter : @shosuz Shotaro Suzuki
- 3. Elastic is asearch company.
- 4.
- 5. 3 Solutions, 1Stack, Deploy Anywhere Elastic スタックで実現 Kibana Elasticsearch Beats Logstash Elastic エンタープライズサーチ Elastic セキュリティ Elastic オブザーバビリティ 3 つのソリューション SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Elastic Cloud Elastic Cloud Enterprise 豊富なデプロイ選択肢 Kubernetes (クラウド & オンプレ）
- 6. Elastic Cloud デプロイhttps://www.elastic.co/jp/
- 7. Elastic Cloud onAzure デプロイ https://portal.azure.com
- 8.
- 9. Elastic Cloud onAzure デプロイ https://www.elastic.co/jp /
- 10.
- 13. Elastic Enterprise Search WorkplaceSearch App Search Site Search
- 14. Elastic Enterprise Search 最も関連性の⾼いサービスを提供する 検索結果,どこでも 検索を市場に迅速に提供 強⼒かつシンプルなカスタマイズ 簡単にスケール ⾼騰するコストを抑えることができる すべてを、どこでも、検索
- 15. Recommendation engine データ e コマース製品、楽曲、ビデオなどの、リコメンドに使⽤できる データとその使⽤法 ユースケース 当該プラットフォームのユーザーに他のユーザーにとって興味 深いものを表⽰する 何が可能か? ●他の⼈も買った ● 他の⼈も検索した ● あなたも好きかも? ● etc. 例︓⿊いシャツが好きなドイツ⼈が好きなのは..?
- 16. なぜ Elasticsearch なのか︖ •企業では主にリレーショナルデータベースを使⽤してデータを格納 • テーブルを簡単に結合し、必要なデータベースからこのデータを取得できる • しかし、時間の経過とともに、データベースとテーブルが肥⼤化して、数百万のデータセットを含む⼤規模なデータ ベースになると、操作を実⾏できなくなる • ⼀⽅、Elasticsearch は、数百万のドキュメントを数秒で簡単に検索できる • Elasticsearch は、柔軟で強⼒なオープンソースの分散型リアルタイム検索 および分析エンジン • Elasticsearch はドキュメントベースのデータベースでデータを JSON 形式で保存 • Elasticsearch は、アプリケーションの強⼒な検索ツールとして使⽤できる • インデックス、ドキュメント、フィールド等を作成し、データを Elasticsearch にプッシュで、検索の準備が整う • Elasticsearch の2つのユニークで重要な機能 • ⽔平スケール • ⾼可⽤性
- 17.
- 18. アナリストが利⽤する資産運⽤での⾼速情報検索に向け Elasticsearch を導⼊。 35種類のデータソースをElasticsearch に集約し、圧倒的な検索パフォーマンスで業務を⽀援 https://www.elastic.co/jp/customers/smd-am 事例︓三井住友 DS アセットマネジメント株式会社
- 19.
- 20. 膨⼤なデータ処理とリアルタイム性を要求 される配⾞マッチング検索で Elastic を活⽤ 1秒あたりのデータ投⼊件数︓85万から130万メッセージ 1⽇あたりのデータ投⼊量︓ 12TB 1秒あたりのドキュメントスキャン︓ 1億から40億のドキュメント数 データサイズ︓ 1PB クラスターサイズ︓ 700台の Elasticsearch インジェスションパイプライン︓ 100 + Data パイプラインジョブ 2018年4⽉の Qcon での Uber 様 講演より https://www.infoq.com/presentations/uber-elasticsearch-clusters/
- 22.
- 23. ” 以前は、クエリごとに平均 200 ミリ秒を使⽤していました。 Elasticsearchでは、同じデータと機能的に同等のクエリに対して 少なくとも 10 倍の速さでクエリが応答し、1 ⽇に 100 万回以上 の更新がデータベースに追加されるようになりました。 “ ELASTIC ENTERPRISE SEARCH ” “ ELASTIC ENTERPRISE SEARCH
- 24.
- 26. (参考) Hipster ShopDEMO EC site • クラウドネイティブのテクノロジー アーキテクチャ上に構築 • Go、C#、Java、Node.js、 Python 等、様々なプログラミング ⾔語で構築された10層のマイクロ サービスアーキテクチャを使⽤ • メモリ内データキャッシュに Redis を使⽤ • Google クラウド プラットフォーム (GCP) の Kubernetes ベースの コンテナープラットフォーム (GKE) で実⾏ • gRPC 使⽤ https://github.com/GoogleCloudPlatform/microservices-demo
- 27.
- 28.
- 29. Elastic Observability Logs MetricsAPM Uptime
- 30.
- 31.
- 32. Azure で Elasticsearchサービスを選択した理由は、 すべてのログとメトリックを 1 つの統合 UI で利⽤できるようにし、ほとんどのテ クノロジに対して、使⽤できるサポートが必要でした。 Elastic を使⽤して、1 週間以内にデータ漏洩を解消することができました。 弾性がなければ、それはもっと悪かったかもしれません。 “ ” “ ELASTIC OBSERVABILITY
- 33.
- 36.
- 37.
- 38. セキュリティをどのように して確保するか︖ ︓Open Elastic Security は、エンドポイントセ キュリティとSIEM を統合して、インフラス トラクチャ全体での保護を⼀元化するた めの予防、収集、検出、および応答機 能を提供します。 ELASTIC SECURITY
- 39.
- 40.
- 41.
- 42. 3 Solutions, 1Stack, Deploy Anywhere Elastic スタックで実現 Kibana Elasticsearch Beats Logstash Elastic エンタープライズサーチ Elastic セキュリティ Elastic オブザーバビリティ 3 つのソリューション SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Elastic Cloud Elastic Cloud Enterprise 豊富なデプロイ選択肢 Kubernetes (クラウド & オンプレ）
- 44. ソフトウェアスタックを統合する 1つのソリューションでベストオブブリード︕ Application Infrastructure Monitoring Log Monitorin g SLA Monitoring search Reporting Security Alarmierung Application Performance Monitoring (APM) Machine Learning Geo analysis Recommendation engine Database Frauddetection User-Behaviour analytics Presentations Data exchange
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 51.
- 52. 事例︓株式会社リコー すべてのログを Elastic Stack上に集約。35 ノードで1 ⽇２TB のログを監視 「リコーグループ全システムの IT デバイスで発⽣する1 ⽇2 テラバイトにおよぶログが、すべて Elastic Stack に送り込まれます。これを35ノード、約400テラバ イトのクラスターで処理します。インデックス数は約10,000 でサイズは約250 テラバイト。ドキュメント数は3,450 億にも及びますが、これは昨年12 ⽉の話で、 現在はさらに増えている状況です」と話す。Elastic Stack の製品については、Elasticsearch、Logstash、Kibana、Filebeat、Packetbeat、 Winlogbeat、Monitoring、Alerting 等が使⽤されており、特に⾒える化でキーとなる Kibana については、セキュリティ統括部のオフィス室内で、⼤型 モニターに常時チャートが表⽰され、担当者がシステムの状況をリアルタイムかつ直感的に把握できるようになっている。 https://www.elastic.co/jp/customers/ricoh
- 53.
- 54. 事例︓古野電気株式会社 船舶運航の安全・安⼼・効率化を⽀えるサービスを提供 データ・分析結果を得るまでの平均時間（MTTR）の短縮率 94％ 差別化されたカスタマーエクスペリエンス 古野電気は、同社の Elasticオブザーバビリティソリューショ ンの⼀部として Kibana と Elastic Maps を採⽤したこと で、船上でのデータ使⽤に関するデータ・分析結果をより多 く得られるようになっています。それらのデータ・分析結果は、 お客様の船舶と陸上の接続コストとパフォーマンスの改善に 役⽴ちます。 コストパフォーマンスに優れたプロアクティブなサービスを提 供 今後発⽣しそうな機器の障害、予兆を検知し、予防保守 を⾏う必要があれば、修理内容を特定し、部品を迅速に⼿ 配することで費⽤を抑えながら効果的な対応をご⽀援しま す。 安全で効率的な航⾏を実現 古野電気は、Elastic Cloud の Elasticsearch Service を活⽤することで、ライフサイクルソリューションを効 果的に多くのお客様へ展開することができます。また、お客 様のニーズにより最適なサービスプランをパッケージ化し販売 することで、安全で効率的な航⾏へ貢献します。 https://www.elastic.co/jp/customers/furuno
- 55.
- 56. オンライン決済サービスの監視を⽀える Elastic Stack ECサイト向けに様々な決済⼿段を提供/ 加盟店に決済画⾯は決済APIを提供するシステム(年間取引額２兆円、２億件以上のトランザクション） https://www.elastic.co/jp/customers/softbank-payment-service 事例︓ソフトバンク・ペイメント・サービス株式会社 オンライン決済サービスの状況をほぼリアルタイムで可視化 • ダッシュボードで、成功した決済はグリーン、失敗したものはレッド、決済⼿段ごと に OK/NG の⽐率の推移を俯瞰。「1. グリーンが急激に少なくなったら要注意。2. レッ ドが急激に多くなったら要注意。」 • 誰でも、いつでも、どこでも、簡単に、サービスの状況を把握 • 障害以外でも、爆売れ、不正利⽤といった、加盟店の変化に気がつく • エンジニアの決済トランザクションへの関⼼が⾼まる Machine Learning で決済トランザクションの異常を検知 • 決済トランザクションの合計の⽇次の増減を3周期で学習し、それが予測した範囲 から⼤きく外れれば、異常として検出 • 可視化だけでは埋蔵してしまう変化を ML にて新たに発⾒ 可視化をビジネスデータにまで広げる • 2年分の売上推移を部署別・案件別に表現。ヒートマップで営業部⾨や個⼈の⽬標 達成率を表現。年間の加盟店契約の獲得状況を都道府県マップに表⽰ • サービスサイト閲覧状況を、アクセス元の IP アドレスから企業名を推定し、契約 済み企業からのアクセス、未契約企業からのアクセスランキングを作成 • ⾮エンジニアでもデータ投⼊からダッシュボードの作成までできる
- 57. 事例︓スイス・ライフ Elasticsearch が⽣み出す360°の顧客管理 Elasticsearch で1000万⼈の顧客データのインデックス作成から分析、パブリッシュまでリアルタイムに実⾏ スイス・ライフにおける課題 スイス・ライフは保険や資産管理サービスを⼿掛ける⼤⼿企業で、フランスでは個⼈向け保険商品を主⼒に⾼いシェアを持つ スイス・ライフ・フランスの1000万⼈の顧客情報に対し、さまざまなフォーマットや、さまざまなタイプのユーザアクセスにより、データへの均質なアクセスを 維持することが難しくなり、情報が「サイロ化」していた Elasticsearchによる解決 スムーズな運⽤と、情報への均質なアクセスを実現させるため、スイス・ライフ・フランスはElasticsearch で顧客データのインデックスとパブリッシュを⾏った あらゆる顧客の窓⼝となる Web サイトとモバイルアプリケーションにデータを提供するため、まず Elasticsearch ですべての顧客データを1か所に集約 顧客記録、契約データ、マーケット分類データ、年⾦と保険スコアのすべての情報を横断してリアルタイムにクエリ。 すべての顧客がポータルサイトにアクセスでき、顧客情報と契約情報をすばやく取得できる機能を提供。また、情報が更新された場合、ソースシステムで 10秒以内にインデックスを作成。 https://www.elastic.co/jp/customers/swiss-life “スピードと信頼性は不可⽋です。Elasticsearch がデータをリアルタイムにインデックスするようになり、すべてが進 化しました。" – クリスチャン・ファン・チョン, スイス・ライフ・フランス、チーフエンタープライズアーキテクト
- 58. 事例︓PSCU（⽶国有数の信⽤組合サービス組織） Elastic は信⽤組合に対する数百万ドル相当の不正⾏為被害を防⽌することでリスク回避を実現 Elastic 製システムをデプロイしてからわずか18か⽉間で、3,500万ドルもの不正⾏為を阻⽌ PSCUにおける課題 PSCUは、⽶国有数の信⽤組合サービス組織で1,500の信⽤組合にサービスを提供し、年間38億件もの取引を扱う。 会員に対して⽀払い処理、リスク管理、データ分析、オンラインバンキング、モバイルプラットフォームなどさまざまな⾦融サービスを提供 年⽉が経つにつれデータベースが巨⼤化しデータ⼊⼒が困難になり、前⽇のデータを読み込むのに丸1⽇かかる状態で適切なタイミングで不正検知 ができていなかった。 Elasticsearch による解決 会員のオンラインログイン、IP アドレス、住所、サポートセンターへの問い合わせ履歴など、数多くのデータソースを Elasticsearch に集約しログを可視化 当初は内部の不正⾏為検知が⽬的であったが問題なく稼働したため、さらに全⽶1500の信⽤組合の外部からの不正⾏為を阻⽌できるよう、幅広い⾦ 融関連データソースからのログを追加 機械学習を使⽤した不正検知を導⼊し導⼊後18ヶ⽉で3,500万ドルもの不正⾏為を阻⽌ 単なる不正検知にとどまらず、災害発⽣時の地域で検知された平時と異なる⾏動（⾼価な発電機、⼤量の⽸詰などを突然購⼊するなど）をブロックしな い機能なども追加 https://www.elastic.co/jp/customers/pscu "Elastic Stackを構築したことで、不正⾏為を従来よりもはるかに簡単に検知できるようになりました。Elasticプラットフォームに⼊⼒ するデータベースを⼤幅に増やしたことで、従来は決して気付かなかったデータの特徴をとらえられるようになりました。現在では、発⽣中 の不正⾏為を検知できるだけでなく、発⽣前にそれを検知できるようになりました。" – ジョナソン・ロビンソン氏, PSCU、不正インテリジェンス部門マネージャー
- 59.
- 60.
- 61.
- 62. Vendor impacted S1 Handoverpresence ベンダーが S1 ハンドオーバープレゼンスに 与える影響 Machine Learning による 無線回線モニタリング 電話会社のユースケース
- 63. 事例︓⽇本経済新聞社 ⽇経電⼦版の記事検索およびログ解析の両⽅を1つの仕組みで実現 利⽤範囲の広さで Elasticsearch を採⽤ Elasticsearchを選定したのは、記事検索とログの可視化の両⽅に 使える利⽤範囲の広さが最⼤の理由 15台のクラスタ構成で、1秒あたり9000リクエスト以上という⾼い 性能を発揮 記事検索とログ解析に Elasticsearch を活⽤ ⽇経電⼦版の記事は、5年分で約200万件、データサイズは5GB。記事の更新は、1⽇あたり数千回、ピーク時には1分間に300件程度の記事が更 新。検索における利⽤者からのアクセスは、1秒あたり100回程度だが、1秒あたり数千回のアクセスも想定 ログ解析で Elasticsearch を利⽤した最⼤のメリットは、専⾨的な深い知識がなくてもログ解析が可能になること。Elasticsearch と Kibana を利⽤ したログ解析により、たとえば、記事検索のレスポンスにどれくらいの時間がかかっているかを容易に解析でき、アプリケーションのどこにボトルネックがあるのか、 改善するべき機能はどこなのかを迅速に把握できる https://www.elastic.co/jp/customers/nikkei “Elasticsearch と Kibana を活⽤することで、エンジニア秘伝の“タレ（ shell 芸）”を使って可視化していたログ解析を URL や、画 像で即座に社内共有できるようになりました。これまではログ解析ができるエンジニアが2⼈しかいなかったのですが、Elasticsearch と Kibana を利⽤することで、秘伝のタレが不要になり、ログ解析ができるエンジニアを6⼈以上に増やすことができましたようになりました。" – 日本経済新聞社 デジタル編成局 編成部 梅崎裕利氏
- 65. LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE 基本トレーニング 特別トレーニング 今度はあなたの番です! 私たちはユーザーのために多くのことを⾏います. deepdive セッションを⾒る Observability int the cloud 2020.10.22 Security int the cloud 2020.10.29 Search Engine in the Enterprise 2020.11.5 無料のトレーニングをぜひご覧ください https://www.elastic.co/training/free 新しいクラウド クラスターを開始する https://cloud.elastic.co/ 詳細が必要ですか? Elastic に相談する
- 66. 今度はあなたの番です! 私たちはユーザーのために多くのことを⾏います. deep dive セッションを⾒る Observabilityint the cloud 2020.10.22 Security int the cloud 2020.10.29 Search Engine in the Enterprise 2020.11.5 無料のトレーニングをぜひご覧ください https://www.elastic.co/training/free 新しいクラウド クラスターを開始する https://cloud.elastic.co/ 詳細が必要ですか? Elastic に相談する Questions?
- 67. Elastic x CircleCIで始める DevOps ⼊⾨ https://www.elastic.co/jp/webinars/getting-started-with-devops-with-elastic-x-circleci
- 68. Elastic Learn, Build,and Scale with Elastic - Elastic Cloud で快適なアプリ開発を実現しよう︕ https://event.shoeisha.jp/devsumi/20210218/session/3062/
- 69. アプリケーション開発 オンデマンド ウェビナー特集 https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx •Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) • Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する • ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕
- 70. Elastic is aSearch Company. www.elastic.co Thank you for your attention!
- 71.