目次

まえがき

第１部　Web スクレイピングのために
I データサイエンスとは
　１　コンピュータとのコミュニケーション
　２　データサイエンスを学ぶ理由
　３　Web スクレイピングを学ぶ

II Anaconda
　１　Anaconda のインストール
　２　Jupyter Notebook の起動
　　（1）Anaconda の起動
　　（2）Jupyter Notebook の起動
　３　Jupyter Notebook の操作方法
　４　コードの表示

III Python の基本
　１　特徴
　２　データの形式
　　（1）リスト（List）形式
　　（2）シリーズ（Series）形式
　　（3）データフレーム（Data Frame）形式
　３　よく使う演算子と書き方
　　（1）代入演算子
　　（2）算術演算子
　　（3）比較演算子
　４　ライブラリのインストールと読み込み
　５　条件文と繰り返し文
　　（1）if 文
　　（2）for 文
　　（3）while 文

IV Web スクレイピングに向けた準備
　１　Selenium の導入
　２　Chrome driver の追加
　３　Chrome driver manager の便利な使い方
　４　正規表現の基本
　　（1）数字の抽出
　　（2）文字の抽出
　　（3）url の抽出


第２部　実務データの収集
V 離島経済新聞社の日本の有人離島情報
　１　html 文の確認
　２　html 文とタグ
　３　タグ内情報の収集
　　（1）ライブラリのインストール
　　（2）必要ライブラリのインポート
　　（3）スクレイピングするurl を変数に代入
　　（4）url 内の情報をサーバーにrequest
　　（5）html 文の解析
　　（6）html 文のタグ情報からデータ収集
　　　1）タグの構造とタグ属性　　2）1つのタグから情報収集
　　　3）複数タグから情報取得（url リストの作成）
　　　4）島ごとの情報の収集（分割・データ列の操作）

VI Amazon 商品検索情報の収集
　１　url の取得
　２　商品情報の収集
　　（1）html 文の解析
　　（2）product 情報の収集
　　　1）商品名の取得　　2）評価情報の収集　　3）レビュー数の収集
　　　4）商品の価格情報の収集　　5）product 情報の関数化
　　（3）次ページの確認とurl 取得
　３　繰り返しとmain 変数の適用
　　（1）関数化コード文の構造
　　（2）while 文による繰り返し
　　（3）main 関数化

VII Amazon 商品レビューの収集
　１　url の取得
　　（1）html 文の構造把握
　　　1）レビュー文の表示　　2）レビュー文のurl の確認
　　（2）html 文全体の解析
　２　レビューデータの収集
　　（1）コードの解析とデータの収集
　　（2）データ型の変換：文字列型から日付型へ
　　（3）収集データの保管
　　（4）コードの関数化
　３　繰り返し文の検討と作成
　　（1）次ページの確認とurl の取得
　　（2）繰り返し文の作成
　４　main 関数化
　　（1）ASIN とは
　　（2）User Agent
　　　1）requests の動作確認　　2）User Agent の確認
　　（3）main 関数文

VIII Tripadvisor の観光地レビューの収集
　１　url の取得
　　（1）html 文の構造把握
　　（2）html 文の解析
　２　レビューデータの収集
　　（1）コードの解析とデータの収集
　　　1）投稿者名の抽出　　2）居住地の抽出（正規表現の応用）
　　　3）レビュータイトルの抽出　　4）レビュー文の抽出
　　（2）データ型の変換：文字列型から実数型へ
　　　1）評価点の抽出
　　（3）データ型の変換：文字列型から日付型へ
　1）訪問日の抽出
　　（4）コードの関数化
　３　繰り返し文とmain 関数化
　４　繰り返し文の変更（for 文からwhile 文へ）
　　（1）次ページの有無確認とurl の取得
　　（2）main 関数の作成
　５　英文レビューの収集
　　（1）評価点の取得コード修正
　　（2）訪問日の取得コード修正
　　（3）英文レビュー用のparse 関数コード

IX 楽天トラベルの宿泊施設情報の収集
　１　API
　　（1）API とは
　　（2）楽天アプリID の取得（発行）
　２　json 形式のデータの取り扱い
　　（1）json 形式とは
　　（2）json 形式の書き方
　３　楽天トラベル地区コードの収集
　　（1）楽天トラベル地区コードAPI
　　（2）地区コードの取得 … 123
　　　1）largeClass　　2）middleClass　　3）smallClass
　　　4）detailClass
　　（3）Class ごとのデータの取得
　　　1）middleClass の取得　　2）smallClass の取得　　
　　　3）detailClass の取得
　　（4）すべてのClassCode の取得
　　　1）middleClass データ取得のためのfor 文
　　　2）smallClass データ取得のためのfor 文
　　　3）detailClass データ取得のためのfor 文
　　（5）コードの関数化
　４　楽天トラベル宿泊施設情報の収集
　　（1）地区コード
　　（2）フィルタリング（都道府県の指定）関数
　　（3）情報の掲載ページ数の取得
　　（4）すべての宿泊施設情報の取得
　　（5）必要な宿泊施設情報の取得
　　（6）save 関数の作成
　　（7）main 関数の作成

X タウンページからの検索情報の収集
　１　検索とリターンデータのurl 取得
　２　json データから必要なデータの取得
　　（1）json データのリターンurl の検査
　　（2）検索用url の作成
　　（3）検索件数と表示ページの確認
　　（4）検索された各ページのurl リスト作成
　　（5）json データから必要項目の取得
　　（6）すべての検索結果の取得
　　（7）取得データの保存
　３　関数化とmain 関数の作成
　　（1）関数化
　　　1）ページごとのurl 作成　　2）ページ内の必要項目の取得
　　　3）取得データの保存
　　（2）main 関数の作成

　索　引