AIやIoTが実用化フェーズに入りつつあるのみならず、デジタルトランスフォーメーション（DX）への注目の高まりによって、事業やサービスを取り巻くデータを分析・活用・管理するためのインフラであるデータ基盤の重要性が増しています。 データ基盤を構築するにあたり、先行する事例から、Google Cloud（Google Cloud Platform, GCP）はデータ領域に強みがある、あるいは、BigQueryは高速に動作するデータウェアハウスである、と聞いたことがある方は多いでしょう。

本書では「データ基盤」そのものを体系的に整理しながら、Google Cloudの各サービスをどのように活用することで実用的なデータ基盤を構築できるか、また発展的なデータ分析ニーズに答えるデータ基盤をどのように設計できるか、といった点について解説しています。 特にGoogle Cloudはマネージドサービスを中心として提供されているため、その特性を正しくとらえることで、最大限の価値を発揮できるようになります。 実際にGoogle Cloudやオンプレミス、他のクラウドサービスを用いたデータ基盤の構築や設計に携わってきた筆者らによる一歩踏み込んだ解説が本書の特徴です。

本書は以下のような方におすすめです。

・これからデータ基盤の構築に関わる可能性があるエンジニア
・Google Cloudや他のクラウドサービスを利用しており、これからデータ領域での活用を広げようとしている方

また、すでにGoogle Cloudを利用しているエンジニアやデータ基盤に携わっているエンジニアにとっても、より洗練されたデータ基盤の設計を行うための知識やノウハウを得ることができるでしょう。

本書は近年のビジネス要件の変化からデータ基盤に求められる要件、一般的なデータ基盤のアーキテクチャを紹介した後、Google Cloudでの設計として以下のようなトピックを取り扱います。

・データウェアハウス
・データレイク/ETL/ELT
・データパイプラインマネジメント/データ統合
・データ基盤のセキュリティとコスト管理（アクセス制御、データ持ち出しの防止、重要データ検知）
・BI、データの可視化
・発展的な分析（地理情報分析、機械学習、リアルタイム分析）

第1章　データ基盤の概要
1.1 データ基盤に取り組む意義
1.2 データ基盤とは？
1.3 Google Cloud上で構築するデータ基盤
1.4 まとめ

第2章　BigQueryのコンセプトと利用方法
2.1 DWHとは
2.2 Googleのデータ処理を支える技術
2.3 BigQueryの内部アーキテクチャを理解する
2.4 DWHとしてのBigQueryの基本操作
2.5 BigQueryユーザー向けのクエリの最適化
2.6 まとめ

第3章　データウェアハウスの構築
3.1 データウェアハウスに求められるさまざまな要件
3.2 高可用性、Disaster Recovery計画
3.3 用途別の影響隔離
3.4 サイジング
3.5 目的環境別の影響隔離
3.6 テーブルを設計する
3.7 データの投入
3.8 バックアップとリストア
3.9 BigQueryにおけるトランザクションとパーティションを用いたDMLの最適化
3.10 DMLをまとめる／パーティションの利用
3.11 外部接続の最適化 - Storage APIの利用とBI Engineの利用
3.12 データマートジョブの設計最適化
3.13 まとめ
Column マルチクラウドでのクラウドデータ基盤の利用

第4章　データレイクの構築
4.1 データレイクとは
4.2 Hadoopとは
4.3 Google Cloudで構築するデータレイク
4.4 Google Cloudのおもなデータレイク関連のサービス
4.5 Google Cloudでデータレイクを中心としたデータ分析基盤を構築することのメリット
4.6 オンプレミス環境からGoogle Cloudへのデータレイクの移行
4.7 まとめ

第5章　ETL／ELT処理
5.1 ETL／ELTとは
5.2 ETL／ELT 処理を実施するサンプルシナリオ
5.3 サンプルシナリオ実施用の環境の構築
5.4 BigQueryでのELT
5.5 BigQueryでのETL
5.6 DataflowでのETL
5.7 DataprocでのETL
5.8 サンプルシナリオ実施用の環境の破棄
5.9 その他のETL／ELT処理の実施方法
5.10 ETLとELTの各手法の使い分け
5.11 まとめ
Column Apache BeamとDataflow の関係は？

第6章　ワークフロー管理とデータ統合
6.1 Google Cloudのワークフロー管理とデータ統合のためのサービス
6.2 Cloud Composerの特徴
6.3 Cloud Composerでのワークフロー管理
6.4 Cloud Data Fusionの特徴
6.5 Cloud Data Fusionでのワークフロー管理
6.6 Cloud ComposerとCloud Data Fusionの比較と使い分けのポイント
6.7 まとめ
Column Google Cloudにおけるジョブオーケストレーションの選択肢

第7章　データ分析基盤におけるセキュリティとコスト管理の設計
7.1 Google Cloud Platformのセキュリティサービス
7.2 Google Cloudのリソース構成とエンタープライズ向けの管理機能
7.3 IAMを利用したBigQueryのアクセス制御
7.4 IAMとAccess Control List（ACL）を利用したCloud Storageのアクセス制御
7.5 VPC Service Controlsを利用したアクセス制御とデータ持ち出し防止
7.6 監査
7.7 Security Command Centerを利用したデータリスクの検知と自動修復
7.8 組織のポリシーサービスの適用
7.9 アクセス管理とコスト管理の設計
7.10 まとめ
Column データ暗号化とデータ損失防止

第8章　BigQuery へのデータ集約
8.1 BigQueryへデータ集約を行うメリット
8.2 BigQueryへのデータ集約の方法
8.3 BigQuery Data Transfer Service（BigQuery DTS）
8.4 BigQueryへのデータパイプライン構築
8.5 サービス間連携によるBigQueryへのデータ連携
8.6 まとめ
Column BigQueryのデータ取り込み方法の使い分け
Column Firebaseを用いたデータ分析の活用方法

第9章　ビジネスインテリジェンス
9.1 BIとBIツール
9.2 コネクテッドシート
9.3 データポータル
9.4 Looker
9.5 BIツールと親和性の高いBigQueryの機能
9.6 まとめ

第10章　リアルタイム分析
10.1 リアルタイム分析とユースケース
10.2 リアルタイム分析基盤に求められるもの
10.3 Google Cloudを利用したリアルタイム分析基盤のアーキテクチャ
10.4 Pub/Sub
10.5 Dataflow
10.6 BigQuery
10.7 リアルタイムタクシーデータを用いたリアルタイム分析基盤の構築
10.8 まとめ
Column Dataflow のアーキテクチャと分散処理におけるコンピュート、ストレージ、
メモリの分離

第11章　発展的な分析
11.1 Google Cloudによる発展的な分析
11.2 BigQueryによる地理情報分析
11.3 BigQuery上での機械学習
11.4 AutoML Tables
11.5 AI Platformを活用したデータサイエンスと機械学習
11.6 まとめ
Column Pub/Subのアーキテクチャ

Google Cloudではじめる実践データエンジニアリング入門[業務で使えるデータ基盤構築]

インフラ基礎知識とセットで学ぶ！
Google Cloud Platformの機能＆システム構築パターン！

本書は、Google Cloud Platform（GCP）でシステム、アプリケーションを
構築するための実践的な入門書です。

GCPを初めて利用する開発者をメインターゲットとし、GCPの提供する
サービス（コンポーネント）の全体像と、サービスを組み合わせて最適な
アプリケーションアーキテクチャを実現する方法を、具体的なサンプルを
使ってわかりやすく解説します。

Webアプリケーションを動かす具体的な手順の解説に加えて、コンテナ、
オーケストレーションといったテーマもカバーするため、業務で本格的な
利用を考えている方にも適しています。

単にGCPの使い方を説明する手順書にとどまらず、GCPを利用する上で
理解しておきたいインフラの基礎技術などを解説することで、技術動向の
変化が激しいクラウドの解説書でありながらも陳腐化を最小化するよう
工夫しています。

また、GCPの強みであるクラウドネイティブなアーキテクチャによる
アプリケーション実行環境の構築をサンプルとして挙げているのも
大きな特徴です。本書の強みは、具体的なサンプルを使って丁寧に
説明することで、GCPの良さを体得してもらえるところにあります。

GCPの利用や導入を検討している／初めて使う、あるいは、AWSなど
他のクラウドを使ったことがあるプログラマ／開発者の方におすすめの
一冊です。

GCP Professional Data Engineerに2週間で合格したので勉強方法を共有

第1章　Google Cloud Platformの概要
1.1　Google Cloud Platformへようこそ
　　1.1.1　GCPがもたらすシステムアーキテクチャ
　　　　本書で扱うGCPのサービス
　　　　Google App EngineとGCPの歴史
　　1.1.2　GCPのコンセプト
1.2　Google Cloud Platformを支えるインフラ
　　1.2.1　GCPの全体像
　　1.2.2　ユーザーアカウントとプロジェクト
　　1.2.3　仮想ネットワーク
1.3　はじめてのGoogle Cloud Platform
　　1.3.1　アカウント登録
　　　　［1］登録の開始
　　　　［2］アカウント情報の登録
　　1.3.2　プロジェクトの作成
　　　　［1］プロジェクトの作成
　　　　［2］プロジェクト名の設定
　　1.3.3　Cloud Consoleの使い方
　　　　［1］ツールとサービス
　　　　［2］ダッシュボード
　　　　［3］Cloud Shell
　　1.3.4　Google Cloud Platformの開発／運用管理ツール
　　　　アプリケーション開発ツール
　　　　デバッグ／トレース／分析ツール
　　　　ロギング／モニタリング
　　　　自動デプロイ

第2章　Webアプリケーション実行基盤を構築しよう
2.1　知っておきたいWebシステムを支える技術
　　2.1.1　Webアプリケーションの基礎
　　　　Webアプリケーションとネイティブアプリケーション
　　　　リクエストとレスポンス
　　　　HTTP通信の仕組み
　　2.1.2　データベースの基礎
　　　　データベース
　　　　データ操作言語
　　　　トランザクション処理
　　2.1.3　サーバ仮想化技術の基礎
　　　　ホスト型仮想化
　　　　ハイパーバイザー型仮想化
　　　　コンテナ型仮想化
2.2　Webシステムで利用する主なGCPサービス
　　2.2.1　Google Compute Engine（GCE）
　　　　仮想マシンのスペック
　　　　ストレージ
　　　　ネットワーク
　　　　無停止での仮想マシン運用　　2.2.2　Google Cloud Storage
　　2.2.3　Google Cloud SQL
2.3　GCPを使ったWebシステムのアーキテクチャ
2.4　Webアプリケーションの実行基盤構築
　　2.4.1　要件定義とアーキテクチャ設計
　　　　GCEを使ったサンプルアプリケーション実行環境の構築（v1.0）
　　　　Cloud SQLを使ったデータの管理（v2.0）
　　　　Cloud Storageを使った画像データの保存（v3.0）
　　2.4.2　GCEを使ったサンプルアプリケーション実行環境の構築
　　　　Compute Engineの仮想マシン起動
　　　　Pythonの実行環境構築
　　　　サンプルアプリケーションのデプロイ（v1.0）
　　2.4.3　Cloud SQLを使ったデータの管理
　　　　Cloud SQLのインスタンス作成
　　　　データベースの作成
　　　　サンプルアプリケーションのデプロイ（v2.0）
　　2.4.4　Cloud Storageを使った画像データの保存
　　　　Cloud Storageのバケット作成
　　　　サンプルアプリケーションのデプロイ（v3.0）

第3章　止まらないWebアプリケーション基盤を構築しよう
3.1　知っておきたいネットワーク技術
　　3.1.1　物理ネットワークと仮想ネットワーク
　　3.1.2　IPアドレス
　　3.1.3　ネットワーク通信プロトコル
　　3.1.4　ファイアウォールとルーター
　　3.1.5　DNSの基礎
　　3.1.6　負荷分散の基礎
　　3.1.7　仮想ネットワークの基礎
　　　　物理ネットワークの基礎
　　　　仮想ネットワーク
　　　　仮想ネットワークを実現する技術
3.2　知っておきたいGCPのネットワークの仕組み
　　3.2.1　GCPのネットワーク構成
　　3.2.2　グローバルIPアドレス
　　3.2.3　GCPのファイアウォール機能
　　3.2.4　Cloud Load Balancingによる負荷分散機能
　　3.2.5　Cloud DNSによる名前解決
3.3　Cloud Load Balancingでの負荷分散システム構築
　　3.3.1　負荷分散システムのインフラアーキテクチャ概要
　　3.3.2　仮想マシン起動イメージの作成
　　　　［1］スナップショットの作成
　　　　［2］ディスクの作成
　　　　［3］イメージの作成
　　3.3.3　複数インスタンスの自動生成
　　　　［1］インスタンステンプレートの作成
　　　　［2］インスタンスグループの作成
　　3.3.4　ロードバランサの作成
　　　　［1］バックエンドの設定
　　　　［2］ホストとパスのルール
　　　　［3］フロントエンドの設定
　　3.3.5　動作確認
3.4　Cloud DNSを使った名前解決
　　3.4.1　独自ドメイン名でのアクセス
　　　　［1］ゾーンの作成
　　　　［2］レコード設定
　　　　［3］レジストラへの登録
　　　　［4］動作確認

第4章　コンテナ実行環境でマイクロサービスアーキテクチャを体験しよう
4.1　知っておきたいDocker／Kubernetesの基礎
　　4.1.1　Dockerを利用したアプリケーション開発
　　　　Dockerとは
　　　　Dockerが解決する課題
　　　　Dockerの基本機能
　　4.1.2　Kubernetesによるコンテナオーケストレーション
　　　　クラスタリングとは
　　　　コンテナオーケストレーションツールとは
　　　　Kubernetesの基本構成
　　　　Kubernetesによるコンテナオーケストレーション
4.2　コンテナ環境で利用する主なGCPサービス
　　4.2.1　Google Container Engine
　　4.2.2　Google Container Registry
　　4.2.3　Google Cloud Datastore
4.3　GCPを使ったコンテナ実行環境のアーキテクチャ
4.4　オンラインゲームのコンテナ実行環境構築
　　4.4.1　要件定義／設計
　　4.4.2　GKEによるコンテナクラスタ構築
　　4.4.3　ランダム対戦機能のDockerイメージ作成（v1.0）
　　　　Dockerfileの用意
　　　　Dockerイメージの作成
　　　　ローカル環境での動作確認
　　　　Dockerイメージの公開
　　4.4.4　ランダム対戦機能のデプロイ（v1.0）
　　　　バックエンド機能のアプリケーションデプロイ
　　　　フロントエンド機能のアプリケーションデプロイ
　　　　ランダム対戦機能の動作確認
　　4.4.5　AI機能へのバージョンアップ（v1.1）
　　　　AI機能のDockerイメージ作成
　　　　バックエンド機能のバージョンアップ
　　　　AI対戦機能の動作確認
　　4.4.6　コンテナクラスタの停止と削除

第5章　機械学習を用いたGAEアプリケーション
5.1　機械学習と関連サービスの概要
　　5.1.1　機械学習、ディープラーニング、人工知能
　　5.1.2　GCPの機械学習関連サービス
　　5.1.3　APIサービスの利用方法
　　　　JavaScriptからAPIサービスを呼び出す
5.2　Google App Engine入門
　　5.2.1　Google App Engineの概要
　　5.2.2　Cloud Datastoreの概要
　　5.2.3　Cloud Datastoreを使用する際の注意点
　　5.2.4　GAEのその他の機能
5.3　写真アルバムサービスのデプロイ
　　5.3.1　サンプルアプリケーションの仕組み
　　　　Cloud Vision APIによる画像のラベル付け
　　　　Cloud Translation APIによるテキスト翻訳
　　　　Cloud Datastoreでのデータ管理
　　5.3.2　アプリケーションのデプロイ
　　5.3.3　動作確認
5.4　［参考］Cloud Machine Learning Engineによる機械学習モデルのトレーニング
　　5.4.1　事前準備
　　5.4.2　Cloud MLEによる学習処理の実施
　　5.4.3　学習済みモデルによる予測処理の実施

付録A　Stackdriverによるシステム運用
　　A.1　Stackdriverの初期設定
　　A.2　Stackdriverによるアプリケーション監視
　　　　［1］監視対象インスタンスの作成
　　　　［2］監視エージェントのインストール
　　　　［3］稼働時間チェックの設定とアラートポリシーの作成
　　　　［4］監視グラフの作成
　　　　［5］ログの確認

付録B　Cloud IAMによるアカウント管理
　　B.1　Cloud IAMの基本機能
　　B.2　サービスアカウントの作成

付録C　GCPの最新技術情報の入手

プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで

注目度の高いアーキテクチャ「マイクロサービス」を解説！
本書は「最近良く聞く“マイクロサービス”っていったい何？」という疑問に答える本です。マイクロサービスとは、ThoughtWorksのジェームス・ルイスが提唱するアーキテクチャです。モノリシック（一枚岩）なアーキテクチャでは、変更やメンテナンスも大変なため、複数の小さいサービスに分割してそれを連携させたアーキテクチャにして、開発やメンテナンスの負担軽減を図ろうとするものです。マイクロソフトをはじめ採用する企業が現れてきており、ますます浸透が期待される技術です。

順位	10位
総合点	17点
Googleの検索結果での点数	16点
Qiitaの記事での点数	0点
Twitterでの点数	1点

【GCP】プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築までの評価
2021-07-02更新

GCP分野での評価

過去の順位の推移

【GCP】プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築までの評価2021-07-02更新

GCP分野での評価？

過去の順位の推移？

【GCP】プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築までの評価
2021-07-02更新

GCP分野での評価

過去の順位の推移