AIやIoTが実用化フェーズに入りつつあるのみならず、デジタルトランスフォーメーション（DX）への注目の高まりによって、事業やサービスを取り巻くデータを分析・活用・管理するためのインフラであるデータ基盤の重要性が増しています。 データ基盤を構築するにあたり、先行する事例から、Google Cloud（Google Cloud Platform, GCP）はデータ領域に強みがある、あるいは、BigQueryは高速に動作するデータウェアハウスである、と聞いたことがある方は多いでしょう。

本書では「データ基盤」そのものを体系的に整理しながら、Google Cloudの各サービスをどのように活用することで実用的なデータ基盤を構築できるか、また発展的なデータ分析ニーズに答えるデータ基盤をどのように設計できるか、といった点について解説しています。 特にGoogle Cloudはマネージドサービスを中心として提供されているため、その特性を正しくとらえることで、最大限の価値を発揮できるようになります。 実際にGoogle Cloudやオンプレミス、他のクラウドサービスを用いたデータ基盤の構築や設計に携わってきた筆者らによる一歩踏み込んだ解説が本書の特徴です。

本書は以下のような方におすすめです。

・これからデータ基盤の構築に関わる可能性があるエンジニア
・Google Cloudや他のクラウドサービスを利用しており、これからデータ領域での活用を広げようとしている方

また、すでにGoogle Cloudを利用しているエンジニアやデータ基盤に携わっているエンジニアにとっても、より洗練されたデータ基盤の設計を行うための知識やノウハウを得ることができるでしょう。

本書は近年のビジネス要件の変化からデータ基盤に求められる要件、一般的なデータ基盤のアーキテクチャを紹介した後、Google Cloudでの設計として以下のようなトピックを取り扱います。

・データウェアハウス
・データレイク/ETL/ELT
・データパイプラインマネジメント/データ統合
・データ基盤のセキュリティとコスト管理（アクセス制御、データ持ち出しの防止、重要データ検知）
・BI、データの可視化
・発展的な分析（地理情報分析、機械学習、リアルタイム分析）

第1章　データ基盤の概要
1.1 データ基盤に取り組む意義
1.2 データ基盤とは？
1.3 Google Cloud上で構築するデータ基盤
1.4 まとめ

第2章　BigQueryのコンセプトと利用方法
2.1 DWHとは
2.2 Googleのデータ処理を支える技術
2.3 BigQueryの内部アーキテクチャを理解する
2.4 DWHとしてのBigQueryの基本操作
2.5 BigQueryユーザー向けのクエリの最適化
2.6 まとめ

第3章　データウェアハウスの構築
3.1 データウェアハウスに求められるさまざまな要件
3.2 高可用性、Disaster Recovery計画
3.3 用途別の影響隔離
3.4 サイジング
3.5 目的環境別の影響隔離
3.6 テーブルを設計する
3.7 データの投入
3.8 バックアップとリストア
3.9 BigQueryにおけるトランザクションとパーティションを用いたDMLの最適化
3.10 DMLをまとめる／パーティションの利用
3.11 外部接続の最適化 - Storage APIの利用とBI Engineの利用
3.12 データマートジョブの設計最適化
3.13 まとめ
Column マルチクラウドでのクラウドデータ基盤の利用

第4章　データレイクの構築
4.1 データレイクとは
4.2 Hadoopとは
4.3 Google Cloudで構築するデータレイク
4.4 Google Cloudのおもなデータレイク関連のサービス
4.5 Google Cloudでデータレイクを中心としたデータ分析基盤を構築することのメリット
4.6 オンプレミス環境からGoogle Cloudへのデータレイクの移行
4.7 まとめ

第5章　ETL／ELT処理
5.1 ETL／ELTとは
5.2 ETL／ELT 処理を実施するサンプルシナリオ
5.3 サンプルシナリオ実施用の環境の構築
5.4 BigQueryでのELT
5.5 BigQueryでのETL
5.6 DataflowでのETL
5.7 DataprocでのETL
5.8 サンプルシナリオ実施用の環境の破棄
5.9 その他のETL／ELT処理の実施方法
5.10 ETLとELTの各手法の使い分け
5.11 まとめ
Column Apache BeamとDataflow の関係は？

第6章　ワークフロー管理とデータ統合
6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス
6.2 Cloud Composerの特徴
6.3 Cloud Composerでのワークフロー管理
6.4 Cloud Data Fusionの特徴
6.5 Cloud Data Fusionでのワークフロー管理
6.6 Cloud ComposerとCloud Data Fusionの比較と使い分けのポイント
6.7 まとめ
Column Google Cloudにおけるジョブオーケストレーションの選択肢

第7章　データ分析基盤におけるセキュリティとコスト管理の設計
7.1 Google Cloud Platformのセキュリティサービス
7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能
7.3 IAMを利用したBigQueryのアクセス制御
7.4 IAMとAccess Control List（ACL）を利用したCloud Storageのアクセス制御
7.5 VPC Service Controlsを利用したアクセス制御とデータ持ち出し防止
7.6 監査
7.7 Security Command Centerを利用したデータリスクの検知と自動修復
7.8 組織のポリシーサービスの適用
7.9 アクセス管理とコスト管理の設計
7.10 まとめ
Column データ暗号化とデータ損失防止

第8章　BigQuery へのデータ集約
8.1 BigQueryへデータ集約を行うメリット
8.2 BigQueryへのデータ集約の方法
8.3 BigQuery Data Transfer Service（BigQuery DTS）
8.4 BigQueryへのデータパイプライン構築
8.5 サービス間連携によるBigQueryへのデータ連携
8.6 まとめ
Column BigQueryのデータ取り込み方法の使い分け
Column Firebaseを用いたデータ分析の活用方法

第9章　ビジネスインテリジェンス
9.1 BIとBIツール
9.2 コネクテッドシート
9.3 データポータル
9.4 Looker
9.5 BIツールと親和性の高いBigQueryの機能
9.6 まとめ

第10章　リアルタイム分析
10.1 リアルタイム分析とユースケース
10.2 リアルタイム分析基盤に求められるもの
10.3 Google Cloudを利用したリアルタイム分析基盤のアーキテクチャ
10.4 Pub/Sub
10.5 Dataflow
10.6 BigQuery
10.7 リアルタイムタクシーデータを用いたリアルタイム分析基盤の構築
10.8 まとめ
Column Dataflow のアーキテクチャと分散処理におけるコンピュート、ストレージ、
メモリの分離

第11章　発展的な分析
11.1 Google Cloudによる発展的な分析
11.2 BigQueryによる地理情報分析
11.3 BigQuery上での機械学習
11.4 AutoML Tables
11.5 AI Platformを活用したデータサイエンスと機械学習
11.6 まとめ
Column Pub/Subのアーキテクチャ

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]

Google Cloud Platform（GCP）のプレミアムパートナーである株式会社トップゲートが、Webアプリケーションを開発する上で主なアーキテクチャとして採用しているGoogle App Engine（GAE）とその周辺サービスの活用方法について、親しみやすいストーリー仕立てで紹介します。

　本書は、「サーバーレス」という概念が企業に浸透する以前からフルマネージドなアプリケーション構築基盤として洗練を続けたGAEが、テクノロジーの進化に伴い複雑化している要件にも柔軟に適合できることを、開発シミュレーションを通してわかりやすく読者の皆様にお伝えします。トップゲートの新入社員用入門書として配布することも想定していますので、クラウドを活用したアプリケーション開発に親しみのないエンジニアにとっても、良い導入となるでしょう。

　次のような方を対象読者と想定しています。

*   GCPを活用したWebアプリケーションの開発方法について学びたい方

*   GCPのアプリ開発基盤に関する基礎を学びたい方

*   GAEについて具体的な利用方法を学びたい方

*   クラウドの開発基盤としてGCPを検討中の方

■執筆者紹介
・キム ハンソル、担当：3.4「アプリケーションのテスト」。バイオリンが好きなエンジニア

・工藤 雅人（くどう まさと）、担当：前書き、後書き、会話文他、第1章「人物紹介とプロジェクト概要」、3.3「フロントエンドの開発」。2児の父、フルスタックエンジニア（もどき）

・白川 舞（しらかわ まい）、担当：3.2「サーバサイドの開発」、3.5「アプリケーションのデプロイ」。スーパー銭湯を愛するエンジニア

・田中 有作（たなか ゆうさく）、担当：第2章「[基礎] プラットフォームの選択」、4.2「認証機能」。カメラいじりが好きなエンジニア

・對馬 直哉（つしま なおや）、担当：前書き、第1章「人物紹介とプロジェクト概要」、2.1「開発環境の準備」。30歳パパエンジニア

・原 隆太（はら りゅうた）、担当：3. 2「サーバサイドの開発」、第4章「[ 応用] 運用・パフォーマンス改善」、終わりに。App Engineしかできないエンジニア

・渡邊 成樹（わたなべ しげき、担当：第4章「[応用] 運用・パフォーマンス改善」。CIしかできないエンジニア

【2019年12月】GCP Associate Cloud Engineer 取得メモ

はじめに
本書について

Chapter　1　人物紹介とプロジェクト概要
1.1　クラウド活用プロジェクト始動！
1.2　登場人物紹介
1.3　システムの要件を決める

Chapter　2　［基礎］プラットフォームの選択
2.1　アプリケーション層の検証
　2.1.1　サーバレスプラットフォーム
　2.1.2　サーバレス以外のプラットフォーム
2.2　永続化の検証
　2.2.1　構造化データのためのストレージサービス
　2.2.2　非構造化データのためのストレージサービスとBigQuery
　2.2.3　永続化層の選択指針
2.3　アーキテクチャの決定
　2.3.1　アーキテクチャパターン

Chapter　3　［基礎］開発とリリース
3.1　開発環境の準備
　3.1.1　Google Cloud SDKの使用方法
　3.1.2　Cloud Shellによるアプリケーション開発
3.2　サーバサイドの開発
　3.2.1　App Engineランタイム
　3.2.2　サンプルコードを動かしてみよう
　3.2.3　必要な設定を追加しよう
3.3　フロントエンドの開発
　3.3.1　静的コンテンツの配信
　3.3.2　シングルページアプリケーションの開発
3.4　アプリケーションのテスト
　3.4.1　Cloud Emulator を使ってみよう
　3.4.2　クラウドサービス間の統合テスト：Cloud Pub/Sub & Cloud Datastore
　3.4.3　単体テスト：Cloud Bigtable エミュレータ
　3.4.4　エミュレータ以外：サービススタブ
　3.4.5　エミュレータ以外：バージョンフラグ
3.5　アプリケーションのデプロイ
　3.5.1　GAEのデプロイの特徴
　3.5.2　サンプルコードをデプロイしてみよう

Chapter　4　［応用］運用・パフォーマンス改善
4.1　CI/CDの導入
　4.1.1　Cloud Build
　4.1.2　Cloud Buildによるテストの自動化
　4.1.3　Cloud Buildによるデプロイの自動化
4.2　認証機能
　4.2.1　Cloud Identity-Aware Proxy
4.3　ロギング
　4.3.1　Stackdriver Loggingでログを見てみよう
　4.3.2　アプリケーションログを出力しよう
　4.3.3　BigQueryにログをエクスポートしよう
　4.3.4　まとめ
4.4　アラート通知
　4.4.1　Stackdriver Monitoringアラートポリシーを活用しよう
　4.4.2　Stackdriver Error Reportingでエラーを管理しよう
　4.4.3　まとめ
4.5　パフォーマンスの劣化と問題特定
　4.5.1　Stackdriver Traceで問題を発見しよう
　4.5.2　Stackdriver Profilerでリソースを消費している処理を発見しよう
　4.5.3　App Engineダッシュボード
　4.5.4　まとめ
4.6　パフォーマンス改善のソリューション
　4.6.1　時間のかかる処理を非同期で実行しよう
　4.6.2　逐次的に処理を実行しよう
　4.6.3　タスクをスケジューリングしよう
　4.6.4　まとめ
4.7　社内システムとの連携
　4.7.1　プロキシサーバを経由させよう
　4.7.2　イベント処理で外部システムからメッセージを受け取ろう
　4.7.3　まとめ

おわりに

Google Cloud Platform 実践Webアプリ開発 ストーリーで学ぶGoogle App Engine

身近な例からデータサイエンスの深淵を体感し
スケールさせるノウハウを学ぶ

【本書の内容】
「膨大なデータを分析して傾向を探り意思決定に援用する」とはよく耳にするフレーズですが、「膨大なデータ」から「援用する」までの間に、どのようなことがなされているのでしょうか。その各段階における必要な知識や技能やツールやインフラにはなにがあるのでしょうか。
本書はそういった疑問を、身近な例（フライトスケジュールからミーティングの参加・不参加確定）から説き起こします。とはいえ、それは単に米国運輸省のデータをダウンロードし、フライトの傾向を時間軸に合わせて分析し、スケジュールとして提示する、という“シンプル”なストーリーではありません。
「データ分析を実行してビジネスで成果を出す」ことができる人を「データエンジニア」と呼ぶ、Googleならではの文化が色濃く出た1冊です。すなわち、クエリの構築やレポート、グラフ化が最終目標ではなく、それらをひっくるめたスケーラブルで反復可能なシステムを構築できる人材への足がかりとなる1冊であり、肩書としての「データサイエンティスト」から、真に求められているデータサイエンティストへと、自身をスケールしていくための手引書です。

本書は、
Valliappa Lakshmanan,
"Data Science on the Google Cloud Platform: Implementing End-to-End Real-Time Data Pipelines: From Ingest to Machine Learning", O'Reilly Media, January 12, 2018.
の邦訳版です。

【本書のポイント】
・Google Cloud Platformの具体的な活用方法
・データ分析からサービス構築まで、必要な知識
・データサイエンスをスケールするという考え方

【読者が得られること】
・データサイエンスに必要な知識を段階を追って習得できる
・データ収集からサービス構築までの一連の流れを理解できる
・各ステージにおける勘所や肝となる考え方を学べる
・Google Cloud Platformにある一群のツールを使えるようになる
・統計学や機械学習を理解していれば、モデルをコード化できるようになる

【対象読者】
・データエンジニア、データサイエンティスト
・データアナリスト、データベース管理者
・システムプログラマ

第1章　データに基づくより良い意思決定
　1.1　多くの同様な意思決定
　1.2　データエンジニアの役割
　1.3　クラウドで実現するデータエンジニアリング
　1.4　この本の対象読者
　1.5　クラウドで進化したデータサイエンス
　1.6　この本で扱うケーススタディについて
　1.7　確率論的な意志決定
　1.8　データとツール
　1.9　コードに触れてみる
　1.10　まとめ

第2章　クラウドへのデータの取り込み
　2.1　オンタイム・パフォーマンスデータ
　2.2　データの保存場所
　2.3　データの取り込み
　2.4　毎月のダウンロードをスケジュールする
　2.5　まとめ
　2.6　コードに触れてみる

第3章　魅力的なダッシュボードを作成する
　3.1　ダッシュボードでモデルを説明する
　3.2　最初にダッシュボードを作成する理由
　3.3　正確さ、信頼性、良いデザイン
　3.4　Google Cloud SQLにデータを読み込む
　3.5　Google Cloud SQLインスタンスを作成する
　3.6　Google Cloud Platformの操作方法
　3.7　MySQLのアクセス制御
　3.8　テーブルの作成
　3.9　テーブルへのデータインポート
　3.10　第1のモデル
　3.11　ダッシュボードの作成
　3.12　データポータルを使ってみる
　3.13　まとめ

第4章　ストリーミング・データ処理
　4.1　イベントフィードの設計
　4.2　時刻補正
　4.3　Apache Beam/Cloud Dataflow
　4.4　Cloud Pub/Subにイベントストリームを発行する
　4.5　リアルタイムストリーミング処理
　4.6　まとめ

第5章　インタラクティブなデータ探索
　5.1　探索的データ分析
　5.2　フライトデータをBigQueryに読み込む
　5.3　Cloud Datalabによる探索的データ分析
　5.4　データの品質管理
　5.5　出発遅延時間に対応した到着遅延時間
　5.6　モデルの評価
　5.7　まとめ

第6章　Cloud Dataprocによるベイズ分類器
　6.1　MapReduceとHadoopエコシステム
　6.2　Spark SQLを使用した変数の離散化
　6.3　Pigを用いたベイズ分類
　6.4　まとめ

第7章　Sparkによるロジスティック回帰分析
　7.1　ロジスティック回帰
　7.2　特徴量エンジニアリング
　7.3　まとめ

第8章　スライディングウィンドウによる集計処理
　8.1　時間平均の必要性
　8.2　JavaでのDataflow
　8.3　時間平均の計算
　8.4　監視、トラブルシューティング、パフォーマンスチューニング
　8.5　まとめ

第9章　TensorFlowを用いた分類モデル
　9.1　より複雑なモデルへ
　9.2　データをTensorFlowに読み込む
　9.3　Experimentクラスの設定
　9.4　ディープニューラルネットワーク（DNN）モデル
　9.5　まとめ

第10章　リアルタイム機械学習
　10.1　予測サービスの呼び出し
　10.2　フライト情報への予測の追加
　10.3　ストリーミングパイプライン
　10.4　トランザクション、スループット、待ち時間
　10.5　まとめ
　10.6　本書のまとめ

付録A　機械学習データセット内の機密データに関する考慮事項
　A.1　機密情報の取り扱い
　A.2　機密データの識別
　A.3　機密データの保護
　A.4　ガバナンスポリシーの確立

順位	4位
総合点	17点
Googleの検索結果での点数	8点
Qiitaの記事での点数	0点
Twitterでの点数	9点

【GCP】Google Cloud Platform 実践Webアプリ開発ストーリーで学ぶGoogle App Engineの評価
2021-05-03更新

GCP分野での評価

過去の順位の推移

GCP分野での評価？

過去の順位の推移？

GCP分野での評価

過去の順位の推移