■本書について
　Google BigQuery（ビッグクエリ）は、Googleが自社で保有している膨大なデータを効率的かつ高速に分析するために構築した社内データ分析基盤を一般提供したサービスです。その内部ではBorg、Colossus、Jupiter、DremelなどのGoogle独自のコアテクノロジーが活用されており、実行されたクエリはGoogleの保有する膨大なインフラリソース上で瞬時に並列・分散処理されます。

　その処理速度は1000億行のデータセットに対してインタラクティブに数十秒で結果を返してしまう程です。

　本書では、社内に蓄積されているビッグデータを、新人さんがBigQueryを駆使してその優れた機能に感動しながらも悪戦苦闘し、分析基盤として利用していくサンプルケースを通して、BigQueryの利用方法を具体的に解説していきます。まずは気を楽にして物語を楽しみながら、登場人物達と共にBigQueryや関連するGCPサービスについて理解を深めていただければと思います。

■執筆者紹介
・工藤 雅人（くどう まさと）、担当：前書き、後書き、第1章「人物紹介とプロジェクト概要」、会話文他。2児の父。フルスタックエンジニア（もどき）

・鈴木 達彦（すずき たつひこ）、担当：第2章「BigQueryによるデータ分析」、第3章「BigQueryの基本と特徴」、第6章「ストリーミング処理でのデータ収集」他。インフラからアプリまで幅広くやるエンジニア

・上野山 顕（うえのやま あきら）、担当：第3章「BigQueryの基本と特徴」、第4章「パフォーマンスと費用」。うさぎ好き。BigQuery信仰エンジニア

・高木 智春（たかぎ ともはる）、担当：第5章「データ収集の自動化」。犬好き。下町を愛するエンジニア

【2019年12月】GCP Associate Cloud Engineer 取得メモ

■Chapter 1 人物紹介とプロジェクト概要

1.1 ビッグデータ活用プロジェクト始動！
1.2 登場人物紹介
1.3 データ分析の要件を決める

■Chapter 2 BigQueryによるデータ分析

2.1 BigQueryを使ってみよう
2.1.1 BigQueryのコンソール画面
2.1.2 クエリ可能なデータ量の上限を設定
2.2 データの読み込み
2.2.1 データの準備
2.2.2 データセットの作成
2.2.3 テーブルの作成
2.3 データの加工
2.4 データの可視化
2.4.1 データポータルとの接続
2.4.2 Googleスプレッドシートとの接続
2.5 その他のデータの読み込み方法
2.5.1 bqコマンド
2.5.2 Google Cloud Storage
2.5.3 複数ファイルのデータ読み込み
2.5.4 Googleスプレッドシートをクエリする

■Chapter 3 BigQueryの基本と特徴

3.1 BigQueryの仕組み
3.2 BigQueryのアーキテクチャ
3.3 カラム指向ストレージ
3.4 ツリーアーキテクチャ
3.5 データ型
3.6 パーティションとクラスタ
3.6.1 パーティション分割テーブル
3.6.2 クラスタ化テーブル
3.7 ジョブ
3.8 ビュー

■Chapter 4 パフォーマンスと費用

4.1 BigQueryのチューニング
4.1.1 費用・パフォーマンスチューニング共通
4.1.2 費用チューニング
4.1.3 パフォーマンスチューニング
4.1.4 BigQuery のスロット
4.2 BigQueryをより深く知る
4.2.1 bq query コマンドのオプション
4.2.2 BigQuery の割り当て
4.2.3 BigQueryのセキュリティ

■Chapter 5 データ収集の自動化

5.1 Data Warehouseの構築
5.1.1 DWH構築の意義
5.1.2 アーキテクチャの決定
5.2 データソースとGCPの連携
5.2.1 データソースからGCSへの連携
5.2.2 GCSからBigQueryへ
5.2.3 BigQuery Data Transfer Service
5.3 BigQuery内でデータをTransformする
5.3.1 ファイルフォーマット
5.3.2 Schema
5.3.3 クエリ
5.3.4 クレンジング
5.3.5 履歴テーブル作成
5.3.6 分析目的に沿ったテーブルの作成
5.4 ワークフローのオーケストレーション
5.4.1 Cloud Composerとは？
5.4.2 簡単なサンプルを動かして理解する
5.4.3 'Operation'を実現するOperator
5.4.4 DWH構築のためのDAGを作ろう
5.4.5 モニタリング
5.4.6 Composerのチューニング

■Chapter 6 ストリーミング処理でのデータ収集

6.1 ストリーミング要件の確認
6.2 アーキテクチャの検討
6.2.1 マスタとの結合をBigQueryで行うパターン
6.2.2 マスタとの結合をDataflowで行うパターン
6.2.3 アーキテクチャの比較
6.3 ストリーミングパイプラインの実装
6.3.1 リアルタイムデータのデータ収集
6.3.2 Dataflow SQLの実装
6.3.3 結果の確認

Google Cloud Platform 実践ビッグデータ分析基盤開発 ストーリーで学ぶ Google BigQuery

インフラ基礎知識とセットで学ぶ！
Google Cloud Platformの機能＆システム構築パターン！

本書は、Google Cloud Platform（GCP）でシステム、アプリケーションを
構築するための実践的な入門書です。

GCPを初めて利用する開発者をメインターゲットとし、GCPの提供する
サービス（コンポーネント）の全体像と、サービスを組み合わせて最適な
アプリケーションアーキテクチャを実現する方法を、具体的なサンプルを
使ってわかりやすく解説します。

Webアプリケーションを動かす具体的な手順の解説に加えて、コンテナ、
オーケストレーションといったテーマもカバーするため、業務で本格的な
利用を考えている方にも適しています。

単にGCPの使い方を説明する手順書にとどまらず、GCPを利用する上で
理解しておきたいインフラの基礎技術などを解説することで、技術動向の
変化が激しいクラウドの解説書でありながらも陳腐化を最小化するよう
工夫しています。

また、GCPの強みであるクラウドネイティブなアーキテクチャによる
アプリケーション実行環境の構築をサンプルとして挙げているのも
大きな特徴です。本書の強みは、具体的なサンプルを使って丁寧に
説明することで、GCPの良さを体得してもらえるところにあります。

GCPの利用や導入を検討している／初めて使う、あるいは、AWSなど
他のクラウドを使ったことがあるプログラマ／開発者の方におすすめの
一冊です。

GCP Professional Data Engineerに2週間で合格したので勉強方法を共有

第1章　Google Cloud Platformの概要
1.1　Google Cloud Platformへようこそ
　　1.1.1　GCPがもたらすシステムアーキテクチャ
　　　　本書で扱うGCPのサービス
　　　　Google App EngineとGCPの歴史
　　1.1.2　GCPのコンセプト
1.2　Google Cloud Platformを支えるインフラ
　　1.2.1　GCPの全体像
　　1.2.2　ユーザーアカウントとプロジェクト
　　1.2.3　仮想ネットワーク
1.3　はじめてのGoogle Cloud Platform
　　1.3.1　アカウント登録
　　　　［1］登録の開始
　　　　［2］アカウント情報の登録
　　1.3.2　プロジェクトの作成
　　　　［1］プロジェクトの作成
　　　　［2］プロジェクト名の設定
　　1.3.3　Cloud Consoleの使い方
　　　　［1］ツールとサービス
　　　　［2］ダッシュボード
　　　　［3］Cloud Shell
　　1.3.4　Google Cloud Platformの開発／運用管理ツール
　　　　アプリケーション開発ツール
　　　　デバッグ／トレース／分析ツール
　　　　ロギング／モニタリング
　　　　自動デプロイ

第2章　Webアプリケーション実行基盤を構築しよう
2.1　知っておきたいWebシステムを支える技術
　　2.1.1　Webアプリケーションの基礎
　　　　Webアプリケーションとネイティブアプリケーション
　　　　リクエストとレスポンス
　　　　HTTP通信の仕組み
　　2.1.2　データベースの基礎
　　　　データベース
　　　　データ操作言語
　　　　トランザクション処理
　　2.1.3　サーバ仮想化技術の基礎
　　　　ホスト型仮想化
　　　　ハイパーバイザー型仮想化
　　　　コンテナ型仮想化
2.2　Webシステムで利用する主なGCPサービス
　　2.2.1　Google Compute Engine（GCE）
　　　　仮想マシンのスペック
　　　　ストレージ
　　　　ネットワーク
　　　　無停止での仮想マシン運用　　2.2.2　Google Cloud Storage
　　2.2.3　Google Cloud SQL
2.3　GCPを使ったWebシステムのアーキテクチャ
2.4　Webアプリケーションの実行基盤構築
　　2.4.1　要件定義とアーキテクチャ設計
　　　　GCEを使ったサンプルアプリケーション実行環境の構築（v1.0）
　　　　Cloud SQLを使ったデータの管理（v2.0）
　　　　Cloud Storageを使った画像データの保存（v3.0）
　　2.4.2　GCEを使ったサンプルアプリケーション実行環境の構築
　　　　Compute Engineの仮想マシン起動
　　　　Pythonの実行環境構築
　　　　サンプルアプリケーションのデプロイ（v1.0）
　　2.4.3　Cloud SQLを使ったデータの管理
　　　　Cloud SQLのインスタンス作成
　　　　データベースの作成
　　　　サンプルアプリケーションのデプロイ（v2.0）
　　2.4.4　Cloud Storageを使った画像データの保存
　　　　Cloud Storageのバケット作成
　　　　サンプルアプリケーションのデプロイ（v3.0）

第3章　止まらないWebアプリケーション基盤を構築しよう
3.1　知っておきたいネットワーク技術
　　3.1.1　物理ネットワークと仮想ネットワーク
　　3.1.2　IPアドレス
　　3.1.3　ネットワーク通信プロトコル
　　3.1.4　ファイアウォールとルーター
　　3.1.5　DNSの基礎
　　3.1.6　負荷分散の基礎
　　3.1.7　仮想ネットワークの基礎
　　　　物理ネットワークの基礎
　　　　仮想ネットワーク
　　　　仮想ネットワークを実現する技術
3.2　知っておきたいGCPのネットワークの仕組み
　　3.2.1　GCPのネットワーク構成
　　3.2.2　グローバルIPアドレス
　　3.2.3　GCPのファイアウォール機能
　　3.2.4　Cloud Load Balancingによる負荷分散機能
　　3.2.5　Cloud DNSによる名前解決
3.3　Cloud Load Balancingでの負荷分散システム構築
　　3.3.1　負荷分散システムのインフラアーキテクチャ概要
　　3.3.2　仮想マシン起動イメージの作成
　　　　［1］スナップショットの作成
　　　　［2］ディスクの作成
　　　　［3］イメージの作成
　　3.3.3　複数インスタンスの自動生成
　　　　［1］インスタンステンプレートの作成
　　　　［2］インスタンスグループの作成
　　3.3.4　ロードバランサの作成
　　　　［1］バックエンドの設定
　　　　［2］ホストとパスのルール
　　　　［3］フロントエンドの設定
　　3.3.5　動作確認
3.4　Cloud DNSを使った名前解決
　　3.4.1　独自ドメイン名でのアクセス
　　　　［1］ゾーンの作成
　　　　［2］レコード設定
　　　　［3］レジストラへの登録
　　　　［4］動作確認

第4章　コンテナ実行環境でマイクロサービスアーキテクチャを体験しよう
4.1　知っておきたいDocker／Kubernetesの基礎
　　4.1.1　Dockerを利用したアプリケーション開発
　　　　Dockerとは
　　　　Dockerが解決する課題
　　　　Dockerの基本機能
　　4.1.2　Kubernetesによるコンテナオーケストレーション
　　　　クラスタリングとは
　　　　コンテナオーケストレーションツールとは
　　　　Kubernetesの基本構成
　　　　Kubernetesによるコンテナオーケストレーション
4.2　コンテナ環境で利用する主なGCPサービス
　　4.2.1　Google Container Engine
　　4.2.2　Google Container Registry
　　4.2.3　Google Cloud Datastore
4.3　GCPを使ったコンテナ実行環境のアーキテクチャ
4.4　オンラインゲームのコンテナ実行環境構築
　　4.4.1　要件定義／設計
　　4.4.2　GKEによるコンテナクラスタ構築
　　4.4.3　ランダム対戦機能のDockerイメージ作成（v1.0）
　　　　Dockerfileの用意
　　　　Dockerイメージの作成
　　　　ローカル環境での動作確認
　　　　Dockerイメージの公開
　　4.4.4　ランダム対戦機能のデプロイ（v1.0）
　　　　バックエンド機能のアプリケーションデプロイ
　　　　フロントエンド機能のアプリケーションデプロイ
　　　　ランダム対戦機能の動作確認
　　4.4.5　AI機能へのバージョンアップ（v1.1）
　　　　AI機能のDockerイメージ作成
　　　　バックエンド機能のバージョンアップ
　　　　AI対戦機能の動作確認
　　4.4.6　コンテナクラスタの停止と削除

第5章　機械学習を用いたGAEアプリケーション
5.1　機械学習と関連サービスの概要
　　5.1.1　機械学習、ディープラーニング、人工知能
　　5.1.2　GCPの機械学習関連サービス
　　5.1.3　APIサービスの利用方法
　　　　JavaScriptからAPIサービスを呼び出す
5.2　Google App Engine入門
　　5.2.1　Google App Engineの概要
　　5.2.2　Cloud Datastoreの概要
　　5.2.3　Cloud Datastoreを使用する際の注意点
　　5.2.4　GAEのその他の機能
5.3　写真アルバムサービスのデプロイ
　　5.3.1　サンプルアプリケーションの仕組み
　　　　Cloud Vision APIによる画像のラベル付け
　　　　Cloud Translation APIによるテキスト翻訳
　　　　Cloud Datastoreでのデータ管理
　　5.3.2　アプリケーションのデプロイ
　　5.3.3　動作確認
5.4　［参考］Cloud Machine Learning Engineによる機械学習モデルのトレーニング
　　5.4.1　事前準備
　　5.4.2　Cloud MLEによる学習処理の実施
　　5.4.3　学習済みモデルによる予測処理の実施

付録A　Stackdriverによるシステム運用
　　A.1　Stackdriverの初期設定
　　A.2　Stackdriverによるアプリケーション監視
　　　　［1］監視対象インスタンスの作成
　　　　［2］監視エージェントのインストール
　　　　［3］稼働時間チェックの設定とアラートポリシーの作成
　　　　［4］監視グラフの作成
　　　　［5］ログの確認

付録B　Cloud IAMによるアカウント管理
　　B.1　Cloud IAMの基本機能
　　B.2　サービスアカウントの作成

付録C　GCPの最新技術情報の入手

プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築まで

Googleが提供するクラウドサービス
AWSとの違いを軸に徹底解説

　「Google Cloud Platform」(GCP)は、Amazon Web Services(AWS)や
Microsoft Azureと同じく、企業向けのクラウドサービスとして提供されている。
後発であることは否めないが、後発であるからこその特徴を備えている。

　一般的な用途では「マネージドサービス」の充実が特徴と言える。
そのほか、今注目の「機械学習」「ビッグデータ」関連のサービスが特に充実しており、
AI関連のシステム基盤として要注目であることは間違いない。

　本書では、「コンピューティング」「ストレージ」「ネットワーキング」「ビッグデータ」
「機械学習」「アカウント管理」「運用監視」という7つのカテゴリーに分類し、
GCPの特徴を、AWSとの違いを軸に解説している。

　また、GCPのサービスを解説するほか、エンタープライズ用途のユースケースに基づいて、
GCPを用いた設計ガイドをまとめている。技術力に定評のあるGoogleのクラウドサービスを
検討するのに最適な1冊である。

【GCP/AWS資格対策】Cloud初学者が、Google-Professional Cloud Architect(PCA)、AWS ソリューションアーキテクト アソシエイト(SAA)+1を１か月で合格した方法

◎第1章　Google Cloud Platformの特徴
1-1　GCPが注目を集める理由
1-2　AWSやAzureにはないGCPの特徴
1-3　現時点のGCPの懸念点
1-4　AWSとGCPの大まかな違い

◎第2章　コンピューティングサービス
2-1　コンピューティングサービスの種類
2-2　Compute Engine
2-3　App Engine
2-4　Kubernetes Engine
2-5　Cloud Functions（ベータ版）

◎第3章　ストレージサービス
3-1　ストレージサービスの種類と使い分け
3-2　Cloud Storage
3-3　Bigtable
3-4　Datastore
3-5　Cloud SQL
3-6　Spanner

◎第4章　ネットワーキングサービス
4-1　ネットワーキングサービスの種類
4-2　VPC
4-3　Cloud Load Balancing
4-4　Cloud CDN
4-5　Cloud DNS
4-6　Cloud Interconnect

◎第5章　ビッグデータサービス
5-1　ビッグデータサービスの種類と使い分け
5-2　Cloud Pub／Sub
5-3　BigQuery
5-4　Cloud Dataflow
5-5　Cloud Dataproc
5-6　Cloud Datalab

◎第6章　機械学習サービス
6-1　機械学習関連サービスの概要
6-2　学習済みAPI
6-3　独自モデル作成支援サービス

◎第7章　アカウント管理・請求管理
7-1　アカウント／請求管理の概要
7-2　請求アカウント管理
7-3　Cloud IAMによるアカウント管理
7-4　GCPにおける監査証跡

◎第8章　運用監視サービス
8-1　運用監視サービスの種類と使い分け
8-2　Stackdriverの基本概念
8-3　運用監視業務を行うためのStackdriver
8-4　効率的なアプリケーション開発を実現するStackdriver

◎第9章　シナリオ　「GCPを活用したWebシステムの設計／構築」
9-1　Lift＆Shift方式で移行
9-2　マネージドサービスを活用

◎第10章　シナリオ　「GCPを活用したハイブリッドクラウド環境の構築」
10-1　導入前の検討内容
10-2　システムアーキテクチャー

◎第11章　シナリオ　「Webサイトと業務システムのデータ統合／分析を小さく始める」
11-1　データをためる場所を作る
11-2　分析のための環境を用意する
11-3　データの入力から加工、蓄積までの流れを作る
11-4　アプリケーションのログを集約する

●Appendix　機械学習サービスの使い方
A-1　学習済みAPIの基本的な使い方
A-2　Cloud Machine Learning Engineの基本的な使い方

順位	2位
総合点	72点
Googleの検索結果での点数	70点
Qiitaの記事での点数	0点
Twitterでの点数	2点

【GCP】プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築までの評価
2021-03-01更新

GCP分野での評価

過去の順位の推移

【GCP】プログラマのためのGoogle Cloud Platform入門 サービスの全体像からクラウドネイティブアプリケーション構築までの評価2021-03-01更新

GCP分野での評価？

過去の順位の推移？

【GCP】プログラマのためのGoogle Cloud Platform入門サービスの全体像からクラウドネイティブアプリケーション構築までの評価
2021-03-01更新

GCP分野での評価

過去の順位の推移