【Python・スクレイピング】Googleキーワードプランナーを使ってGoogle検索結果を自動取得

import time
from urllib.robotparser import RobotFileParser
from urllib.parse import urlparse
import requests
from bs4 import BeautifulSoup
import pandas as pd

#必要な列に持ったDataFrameを作成
columns = ["key", "min", "max", "title", "url"]#列名
df = pd.DataFrame(columns=columns)#データフレーム作成

keyword_list = []#キーワード用リスト
mins = []#最小検索ボリューム数用リスト
maxs = []#最大検索ボリューム数用リスト

# User-Agent
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
             AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100"



#キーワードプランナーCSVファイルからキーワードを取得
with open("【キーワードプランナー】python.csv", encoding='utf-8') as f:#キーワードファイル
    for row in f:
        data = row.rstrip().split(",")
        keyword_list.append(data[0])
        mins.append(data[3])
        maxs.append(data[4])

def get_html(url, params=None, headers=None):
    """ get_html
    ＃指定したURLのサイトのデータを取得
    url: データを取得するサイトのURL
    [params]: 検索サイトのパラメーター {x: param}
    [headers]: カスタムヘッダー情報
    """
    try:
        # 待機
        time.sleep(1)#サイトにアクセスする間隔
        # データ取得
        resp = requests.get(url, params=params, headers=headers)
        resp.encoding = resp.apparent_encoding
        # 要素の抽出
        soup = BeautifulSoup(resp.text, "html.parser")
        return soup
    except Exception as e:
        return None



def get_search_url(word, engine="google"):
    """ get_search_url
    検索エンジンの検索結果（URL）を取得
    word: 検索するワード
    [engine]: 使用する検索サイト（デフォルトは google）
    """
    try:
        if engine == "google":
            # google 検索
            search_url = "https://www.google.co.jp/search"
            search_params = {"q": word}#検索ワード(word)
            search_headers = {"User-Agent": user_agent}
            # データ取得
            soup = get_html(search_url, search_params, search_headers)#指定検索ワードでのgoogle検索結果ページのHTMLを取得。上記のget_html()関数を使用
            if soup != None:#HTMLデータが空白でないならば
                tags = soup.select(".r > a")#div cass = r のaタグを取得
                urls = [tag.get("href") for tag in tags]#tagsからひとつずつtagを取り出す→tagからurlを取得→urlsに代入
                h3_tags = soup.select(".r > a > h3")#div cass = r のaタグのh3を取得
                page_titles = [h3_tag.get_text() for h3_tag in h3_tags]#h3タグのテキストを取得→リストに格納
                return urls, page_titles #urls, page_titlesを返す
            else:
                raise Exception("No Data")
        else:
            raise Exception("No Engine")
    except Exception as e:
        return None


try:
    for key, min1, max1 in zip(keyword_list, mins, maxs):
        print ("{} 処理中".format(key))#処理中のキーワードを表示
        urls, page_titles = get_search_url(key)#指定キーワードのGoogle検索結果のurls（複数）を取得
        if urls != None:#もしurlsが空白でなければ
            for url, page_title in zip(urls, page_titles):#urlsとpage_titlesからurl, page_titleをひとつずつ取得
                se = pd.Series([key, min1, max1, page_title, url], columns)
                df = df.append(se, ignore_index=True)
except Exception as e:
    print("エラーになりました")
    print(e)

#実行結果をcsvファイルで保存
df.to_csv("【結果】python.csv" ,encoding="utf_8_sig")
print("完了")

#必要な列に持ったDataFrameを作成
columns = ["key", "min", "max", "title", "url"]#列名
df = pd.DataFrame(columns=columns)#データフレーム作成

keyword_list = []#キーワード用リスト
mins = []#最小検索ボリューム数用リスト
maxs = []#最大検索ボリューム数用リスト

# User-Agent
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \
             AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100"

with open("【キーワードプランナー】python.csv", encoding='utf-8') as f:#キーワードファイル
    for row in f:#csvファイルから一行ずつ取り出す
        data = row.rstrip().split(",")
        keyword_list.append(data[0])
        mins.append(data[3])
        maxs.append(data[4])

def get_html(url, params=None, headers=None):
    """ get_html
    ＃指定したURLのサイトのデータを取得
    url: データを取得するサイトのURL
    [params]: 検索サイトのパラメーター {x: param}
    [headers]: カスタムヘッダー情報
    """
    try:
        # 待機
        time.sleep(1)#サイトにアクセスする間隔
        # データ取得
        resp = requests.get(url, params=params, headers=headers)
        resp.encoding = resp.apparent_encoding
        # 要素の抽出
        soup = BeautifulSoup(resp.text, "html.parser")
        return soup
    except Exception as e:
        return None

def get_search_url(word, engine="google"):
    """ get_search_url
    検索エンジンの検索結果（URL）を取得
    word: 検索するワード
    [engine]: 使用する検索サイト（デフォルトは google）
    """
    try:
        if engine == "google":
            # google 検索
            search_url = "https://www.google.co.jp/search"
            search_params = {"q": word}#検索ワード(word)
            search_headers = {"User-Agent": user_agent}
            # データ取得
            soup = get_html(search_url, search_params, search_headers)#指定検索ワードでのgoogle検索結果ページのHTMLを取得。上記のget_html()関数を使用
            if soup != None:#HTMLデータが空白でないならば
                tags = soup.select(".r > a")#div cass = r のaタグを取得
                urls = [tag.get("href") for tag in tags]#tagsからひとつずつtagを取り出す→tagからurlを取得→urlsに代入
                h3_tags = soup.select(".r > a > h3")#div cass = r のaタグのh3を取得
                page_titles = [h3_tag.get_text() for h3_tag in h3_tags]#h3タグのテキストを取得→リストに格納
                return urls, page_titles #urls, page_titlesを返す
            else:
                raise Exception("No Data")
        else:
            raise Exception("No Engine")
    except Exception as e:
        return None

try:
    for key, min1, max1 in zip(keyword_list, mins, maxs):
        print ("{} 処理中".format(key))#処理中のキーワードを表示
        urls, page_titles = get_search_url(key)#指定キーワードのGoogle検索結果のurls（複数）を取得
        if urls != None:#もしurlsが空白でなければ
            for url, page_title in zip(urls, page_titles):#urlsとpage_titlesからurl, page_titleをひとつずつ取得
                se = pd.Series([key, min1, max1, page_title, url], columns)
                df = df.append(se, ignore_index=True)
except Exception as e:
    print("エラーになりました")
    print(e)

df.to_csv("【結果】python.csv" ,encoding="utf_8_sig")