Selenium | リョクちゃの電脳日記

プログラムでブラウザの操作が自動化できればいいな？って思ったことはありませんか？今回は、Pythonでブラウザ操作を自動化してくれるSeleniumというライブラリをインストールする方法を紹介しています。章立てて連載していきます。何かしらの参考になれば嬉しいです。

dreamparadaisu.com

2021-08-26 06:54

今回、動作環境ですが、Jupyter Notebookを使用して検証を行います。

検証程度であれば、こちらの方が早いため、活用しています。

ブラウザには、Google Chromeを使用しています。

準備編：Seleniumの準備

Jupyter Notebookを起動し、Seleniumをインポートし使える形にします。

実行すると、別ウィンドウでブラウザが立ち上がるかと思います。

対象となるページのURLを開く

ブラウザが立ち上がったら、今回対象となるWebページのURLを開きます。

対象のURL：https://www.google.com/?hl=ja

上図のIn[2]でurl変数に対象のURLを代入し、In[3]で立ち上がったブラウザに対して、

url変数を渡すことで、Webページを開いています。

以下、実行後のブラウザの状態になります。

ここまでで検索をするまでの状態に整えることができました。

以降では、実際に検索をSeleniumを用いて実行し、検索結果を取得していきます。

Google検索をする

検索キーワードには、「今日の献立」としておきます。

まず、Google上で検索をするには、

検索ボックスの要素を取得
1.で取得した検索ボックスに検索したいワードを入力
検索ボタンの要素を取得し実行

1~3の処理を行うことで、Google検索をすることができます。

実際に、これらの処理をPythonで書いていきます。

検索ボックスの要素を取得

まず、Googleの検索ページで、検索ボックスとは何か？

これは下図の赤枠で示されるオブジェクトが検索ボックスになります。

では、この検索ボックスはどうやって表されているのでしょうか。

それは、HTMLといわれる言語で表されています。

HTMLはWebページを構成するのに使われる言語になります。

HTMLでは検索ボックスは、

上図のHTMLの構成で表されています。

ここではHTMLについては深くは紹介しませんが、

Seleniumを扱う場合は、HTMLの理解もある程度必要になってきます。

検索ボックスが表されているHTMLがわかったので、

これより検索ボックスを取得してみます。

取得するには、

elem_searchBox = browser.find_element_by_name('q')

とすることで、検索ボックスを取得することができます。

ここでは、elem_searchBoxと定めた変数に、find_element_by_nameメソッドで

返ってきた結果を代入しています。

browser変数には、先ほど立ち上げたブラウザ情報が代入されています。

ちなみにbrowser変数の型としては、

となり、WebDriberのfind_element_by_nameメソッドを使用して、

検索ボックスを取得します。

find_element_by_nameメソッドに引数として、対象のWebページ内で

検索ボックスを表すタグの値を渡してあげます。

検索ボックスを構成するHTMLでは、nameというタグがありました。

また、nameというタグには”q”といった値が代入されていました。

したがって、nameタグのqと指定してやれば、検索ボックスが取得できます。

検索ボックスにキーワードを入力

取得できた検索ボックスに対して、キーワードを入力するには、

取得した要素オブジェクトのsend_keysメソッドを使用することで、

検索ボックスに対して入力ができます。

こんな風になります。

elem_searchBox.send_keys("[検索したいキーワード]")

例えば、検索したいキーワードに”今日の献立”と入力したい場合、

elem_searchBox.send_keys("今日の献立")

実行してみると、

検索ボタンの要素を取得し実行

ここまでできたら、後は実際に検索をするのみです。

検索ボックスを取得した要領で、検索ボタンを取得していきます。

ちなみに検索ボタンは、以下のようにGoogleのページでは構成されています。

同様に、find_element_by_nameメソッドを使用して、検索ボタンを取得します。

コードで表すと

elem_btnSearch = browser.find_element_by_name('btnK')

となります。

これで検索ボタンを取得することができました。

次は、取得した検索ボタンを押すにはどうしたらいいでしょうか？

これもseleniumでサポートされているメソッドである、click()メソッドを使用することで、

押すことができます。

こんな風に

elem_btnSearch.click()

実行すると

検索ボタンを押して、検索をすることができました。

さて、ここからが本題です。

検索した結果を、取得していきたいと思います。

検索した結果をまとめて取得

1件1件の検索結果は、調べてみると、

class=”MjjYud”

どうやら、classタグの”MjjYud”で統一されているようです。

つまり、これを複数取得すれば、検索結果をまとめて得ることができそうです。

複数取得するには、find_elements_by_class_nameメソッドを使います。

先ほどとは違い、find_elementの後にsが付いています。

sが付くことで同名のオブジェクトを複数取得することができます。

また、class_nameでは、classタグの引数に渡された値を持つオブジェクトを

取得してくれます。

したがって、MjjYudを持つ同名のオブジェクトをまとめて取得することができます。

コードで表すと

elems_rec = browser.find_elements_by_class_name('MjjYud')

結果がいくつ収められているか確認してみます。

elems_rec = browser.find_elements_by_class_name('MjjYud')
len(elems_rec)

elems_recには11個のMjjYudを持つオブジェクト(検索結果)が

代入されているのがわかります。

ここまでで検索結果をまとめて、取得することができました。

最後に、ここからタイトルとページのURLを取得して、一覧を作成していきます。

検索結果のタイトルとページのURLを取得

下図におけるタイトルとURLを取得していきます。

先ほどの複数取得した結果の1つから、タイトルとページのURLを抜き出してみます。

まず、タイトルについては、

どうやら、h3タグに収められているようです。

※今回の検索では、いずれもh3タグに収められていました。

URLについては、

aタグのhref属性にURLが記述されているようです。

もしくは、

citeタグからもURLが取得できそうです。

タイトルもURLもいずれもHTML構成でいうとaタグの中に含まれていますね。

そのため、aタグを起点にそれぞれの情報を抽出していきます。

タイトルの取得

elem_title = elems_rec[0].find_element_by_tag_name('a').find_element_by_tag_name('h3')

URLの取得

elem_Url = elems_rec[0].find_element_by_tag_name('a').get_attribute('href')

検索結果が代入されたelems_rec変数の1番目の検索結果から、

タイトルとURLを抽出しています。

タイトルでは、aタグを起点にh3タグの情報を取得しています。

一方でURLは、aタグに含まれるhref属性の情報を取得しています。

最終的には、結果を辞書変数に代入していきます。

dictRec = {elem_title.text:elem_Url}

あとは、これをループ処理を駆使すれば、検索結果一覧が取得できます。

dictRec = {}
for elem_tag in elems_rec:
    try:
        elem_Url = elem_tag.find_element_by_tag_name('a').get_attribute('href')
        elem_title = elem_tag.find_element_by_tag_name('a').find_element_by_tag_name('h3')
        dictRec[elem_title.text] = elem_Url
    except Exception as e:
        continue

※一部でエラーが発生するため、try~exceptで例外をキャッチし、

ループ内を全ての検索結果が1回は処理されるようにしています。

結果は下図のようになります。

ちなみにエラーとなっていたのが、下図の赤枠の部分です。

こちらは、MjjYudは同じなのですが、以降のタグ構成が変わっており、

正しく取得ができないため、エラーとなってしまいます。

※もう少し検証が必要ですね……。

エラーは出ましたが、何とか、まとめて取得することができました。

まとめ

Python + Seleniumを活用して、Google検索した結果をまとめて取得し変数に格納しておく

方法について簡単に紹介していきました。

外部ファイルへの出力も、複数取得した検索結果から、最終的にタイトルとURLを取得した、ペアを1行ずつに落とし込めば、ファイル出力も可能です。

本記事で、Seleniumを扱う場合の工夫など参考にできる部分があると嬉しいです。

最後までお読みいただきありがとうございます。

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

確かな力が身につくPython「超」入門

【Python勉強会】さくらサーバで.pyファイルを実行する～レンタルサーバを活用しよう～

The post 【Python勉強会】Seleniumを使ってGoogle検索した結果を取得 first appeared on リョクちゃの電脳日記.

【Python勉強会】Web上の表をExcelに出力してみた

リョクちゃ — Mon, 18 Jul 2022 21:00:35 +0000

どうも！リョクちゃです！

大変ご無沙汰しております。記事が更新できないまま、1カ月以上経過していました。

生活が激変(転職による影響)してから全然でした、、、。

とはいうものの、転職してからプログラミングする機会がなくなってしまい、

全然触れていませんでした。。。

さて、今回はSeleniumとPandasを活用してWeb上に表示されている表を取得し、

最終的にExcel形式で保存する方法について簡単に紹介していきます。

ちなみに前回はこちら

前回に続き(https://dreamparadaisu.com/python_39/)さくらサーバで実際にPythonを実行してみたので記事にしています。レンタルサーバの中でもさくらサーバを活用して、Pythonを定時実行したい場合の参考になれば嬉しいです。

dreamparadaisu.com

2022-01-14 03:21

Web上に表示されているテーブルデータ(表)

下図のような表をテーブルデータと、ここでは扱っています。

※一例として、Yahooファイナンスのページを引用しております。

Web上では、図のように表示された表をテーブルデータといいます。

今回は、これを取得して、Excel形式で保存をしていきます。

テーブルデータ取得への道

Web上の表を取得するには、ざっと下のような流れで作業を細分化できます。

①　Web上で取得したい表を形成するtableタグを探し・抽出

②　抽出した情報のHTMLを取得

③　PandasでHTMLを読込み、listに変換

④　listからDataFrameへ変換

⑤　DataFrameからExcel形式に出力(保存)

①～⑤の流れを進めることで、最終的にExcel形式に出力することができちゃいます。

1つ1つ順を追って説明していきます。

※取得したい表が掲載されているURLの選定はここでは作業の流れに含んでおりません。

各々でURLは見つけてみて下さい。

Web上で取得したい表を形成するtableタグを探し・抽出

今回は、”とうもろこしの生産量ランキング(都道府県別)“のページから

都道府県別にまとめられたとうもろこしの生産量の表を取得していきます。

こちらの表を取得したいと思います。

まずはこの表がどんな構成でWebページ上に表示されているかを解析していきます。

ここではブラウザをChromeとして説明していきます。

Chromeで対象のURLを開き、右クリックし「検証」を押します。

下図のようなイメージになります。

「検証」をクリックすると、ページを構成するHTMLがブラウザ上に表示されます。

HTMLから取得したい表を形成するtableタグを探していきます。

今回取得したい”都道府県別とうもろこしの生産量”の表は、

下図に示すtableタグで表が形成されていました。

このtableタグを取得するには、tableタグ上で右クリックをし、「Copy」にカーソルを当て、

表示される項目から今回は、「Copy selector」を選びます。(下図)

これでtableタグを取得することができました。

ここまでをSeleniumを活用してプログラムを書くと、以下のようになります。

from selenium import webdriver

# Chromeを立ち上げる
browser = webdriver.Chrome()

# URLを設定
url = "https://kisetsumimiyori.com/toumorokoshiranking/"

# URLを表示
browser.get(url)

#　対象のURLからTable情報をゲットする
elem_tableTag = browser.find_element_by_css_selector('#entry > section > table')

抽出した情報のHTMLを取得

抽出したTableタグを含むHTML情報を取得するには、

取得したTableタグのouterHTMLプロパティを取得します。

この作業は、、、

Tableタグだけでは後続で活用するPandasでは使えないため、

outerHTMLで取得した情報を渡す必要があります。

outerHTMLプロパティを取得するには

# TableタグからouterHTMLプロパティを取得する
html = elem_tableTag.get_attribute('outerHTML')

PandasでHTMLを読込み、listに変換

次にouterHTMLの情報をPandasのread_htmlメソッドを使って、list形式に変換します。

※当初、read_htmlメソッドで変換される形式はDataFrameかと勘違いしていました。

# Tableタグから抽出したouterHTML情報をPandasでlist形式へ変換
lstTable = pd.read_html(html)

# 念のため、型を確認
print(type(lstTable))

# Tableタグが取得できているか確認
print(lstTable)

※　import Pandas as pdを忘れずに。

ここまでで、表情報の取得ができています。

listからDataFrameへ変換

ここまででExcelへ保存することをしたかったのですが、、、

list形式からExcelに出力するのがPandasで用意されているto_excelメソッドでは

できないため、DataFrameへ変換をします。

list形式からDataFrameへの変換は

# list形式からDataFrameへ変換
df = pd.DataFrame(data=lstTable[0])

# 念のため、型を確認
print(type(df))

DataFrameへ変換するには、Pandas.DataFrameメソッドを使用します。

ここでは、Pandasをインポートする際にpdと呼称しているので、

pd.DataFrameとなっています。

引数として、前述でlist形式に変換されたTable情報の0番目を渡しています。

※Web上に複数の表があれば、もしかしたらインデックスを指定して、

一度のアクセス(Seleniumからの)で好きな表を取得できると思います。

DataFrameからExcel形式に出力(保存)

最後にDataFrameからExcel形式に出力をしていきます。

ここでは、to_excelメソッドを使います。

# Excel形式で出力
df.to_excel('output_test.xlsx')

output_test.xlsxという名前でExcelファイルとして出力がされます。

下図のような形で出力がされています。

まとめ

Web上のテーブルデータ(表)をSeleniumとPandasを活用して、

Excel形式に出力する方法を簡単に紹介していきました。

SeleniumではTableタグとそれのouterHTMLプロパティを取得し、

Pandasでは取得した情報をDataFrameへと変換し、Excel形式に出力

といった作業をそれぞれ行わせています。

わざわざPandasを使わなくてもExcelへの出力はできますが、

モジュールを活用することで、コードを書く工数を削減できるため便利です。

他にもこれを応用して様々なテーブルデータを取得することができれば、

Excelに出力することも可能かと思います。

※Tableタグがあるもの

参考になれば嬉しいです。色々活用していただけたらと思います。

最後までお読みいただき、ありがとうございます。

これからも継続して書きつづっていきます。

よろしくお願いします！

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

確かな力が身につくPython「超」入門

The post 【Python勉強会】Web上の表をExcelに出力してみた first appeared on リョクちゃの電脳日記.

【Python勉強会】Seleniumのインストールをしてみた～Firefox編～

リョクちゃ — Wed, 08 Sep 2021 20:40:20 +0000

どうも！リョクちゃです。

今回は、Seleniumというライブラリをインストールし、

ブラウザ操作の自動化が行えるようになる準備となります。

前々回ぐらいからGoogleChrome、Microsoft Edgeに続き、

Forefoxでの紹介になります。

Google Chrome編

【Python勉強会】Seleniumのインストールをしてみた～Microsoft Edge編～

dreamparadaisu.com

2021-08-26 06:54

Microsoft Edge編

プログラムでブラウザの操作が自動化できればいいな？って思ったことはありませんか？今回は、Pythonでブラウザ操作を自動化してくれるSeleniumというライブラリをインストール～ブラウザでURLを開くまでをMicrosoft Edgeで紹介しています。何かしらの参考になれば嬉しいです。

dreamparadaisu.com

2021-09-06 03:36

Seleniumとは

Webサイトにおけるブラウザ操作に自動化の支援をしてくれる、

ブラウザ操作の自動化に特化したライブラリとなっています。

最近ではRPAが一般的に認知されてきたことから、

ブラウザでの操作自動化に関する知見も広まり、

Seleniumも認知されるようになってきました。

RPAとSeleniumは近しいようで中身は異なります。

※気になる方、詳しくはRPAで検索してみてください。

基本的にSeleniumはブラウザ操作に特化したもので、

RPAはコンピュータ上で行われる業務プロセスを自動化してくれます。

そのため、ブラウザ操作のみならず、Excel操作の自動化なども得意とします。

RPAが気になる方は、こちらで価格の規模など参考にしてみてください。

→定型業務を自動化する【RPA】

一方でSeleniumは、ブラウザ操作に関してはお手の物です。

例えば、ログイン処理やクリック作業などの作業を自動化できたりします。

余談は置いておいて、早速使っていきます。

Seleniumを使う

インストール

下記コマンドでインストールを行います。

pip install selenium

これだけでインストールが行えます。

特に大きな設定はないので、簡単にインストールができます。

使い方

下記コマンドで使えるようにします。

from selenium import webdriver

ブラウザの設定

Seleniumでは、ブラウザを指定することでお気に入りの環境(ブラウザ)で

操作の自動化が行えます。

まず、使うブラウザの自身の環境のバージョンを確認しておきます。

Firefoxの場合

Firefoxを起動します。
オプションを押します。
バージョンの確認

Firefoxを起動します。

下図のアイコンをダブルクリックして起動します。

※Firefoxをインストールしていない方は、まずFirefoxのインストールをしてください。

インストールはこちらから

Firefox をダウンロード

www.firefox.com

オプションを押します。

Firefoxを起動したら、右上のバーをクリックします。

オプションをクリックします。

バージョンの確認

バージョン情報が出るまでスクロールします。

環境によってバージョンは違うので確認は忘れずに行っておきましょう。

バージョンがわかったら、下記サイトからドライバーをインストールしてきます。

https://github.com/mozilla/geckodriver/releases

Firefoxのバージョンとドライバーのバージョンの比較を下図に示します。

参考:URL https://firefox-source-docs.mozilla.org/testing/geckodriver/Support.html

minと記述されているバージョンより自身のFirefoxのバージョンが上であれば、適用します。

自身の環境に合わせたドライバーをインストールしてください。

zip形式でのインストールになります。

インストールが終わったら、解凍をしましょう。

解凍をすると、

geckodriver.exeというファイルがあると思います。

このファイルを、seleniumを使うPythonファイルが保存されている

フォルダに入れておきます。

下記のようなイメージになります。

これでSeleniumを使ってブラウザ操作を行う準備ができました。

ブラウザを立ち上げるまで、進めていきます。

ブラウザ起動

FirefoxをSeleniumで立ち上げるには、

変数名 = webdriver.Firefox()

今回変数名には、以下のように設定しました。

browser = webdriver.Firefox()

とすることでFirefoxを立ち上げることができます。

立ち上げると下図のようになります。

Seleniumを使って立ち上げると、ChromeやEdgeと違って

“自動テストソフトウェアによって制限されています。”が表示されません。

試しに、GoogleのURLを開いてみます。

https://www.google.co.jp/

URLを開くには、

変数名.get(‘開きたいURL’)

変数名には、webdriver.Firefoxで作成した変数名になります。

browser.get(‘https://www.google.co.jp/’)

実行すると、下図の画面になるかと思います。

以上の操作でSeleniumでFirefoxの制御が行えます。

お疲れ様です。

まとめ

Seleniumをインストールして、ブラウザを立ち上げてURLを開くまでを紹介していきました。今回で主要なブラウザについてはすべて紹介ができたと思います。

※ほかにもあれば、紹介していこうと思います。

Operaとかあるのかな……。

最後までお読みいただきありがとうございます。

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

確かな力が身につくPython「超」入門

The post 【Python勉強会】Seleniumのインストールをしてみた～Firefox編～ first appeared on リョクちゃの電脳日記.

【Python勉強会】Seleniumのインストールをしてみた～Microsoft Edge編～

リョクちゃ — Sun, 05 Sep 2021 18:36:57 +0000

どうも！リョクちゃです。

今回は、Seleniumというライブラリをインストールし、

ブラウザ操作の自動化が行えるようになる準備となります。

実際のブラウザ操作自動化については以降の記事で紹介していきます。

前回は、GoogleChromeでの方法を紹介したので、

Microsoft Edgeについての紹介となります。

Google Chrome編はこちらです。

【Python勉強会】Seleniumを活用してGoogle検索した画像を取得し保存してみた

dreamparadaisu.com

2021-08-26 06:54

前回の記事はこちら

検索サイトで画像を検索し、気に入った画像を保存したい！そんな時はありませんか？今回はSeleniumというライブラリを使って、Googleで検索してヒットした画像を取得し、指定の場所に保存する方法を紹介していきます。Webサイトを通じて画像を検索～取得を行いたい方におススメです。

dreamparadaisu.com

2021-08-29 06:32

Seleniumのインストール

下記コマンドでインストールを行います。

pip install selenium

これだけでインストールが行えます。

特に大きな設定はないので、簡単にインストールができます。

これに関しては、ブラウザが変わっても同じです。

使い方

下記コマンドで使えるようにします。

from selenium import webdriver

ブラウザの設定

Seleniumを使う上で、ブラウザのバージョン確認を最初に行う必要があります。

Microsoft Edgeの場合

Microsoft Edgeを起動します。
設定を押します。
“Microsoft Edgeについて”をクリック
バージョンの確認

1.Microsoft Edgeの起動

下図のアイコンをデスクトップ上もしくはWindowsアイコンを押下してから探します。

設定を押します。

“Microsoft Edgeについて”をクリック

バージョンの確認

環境によってバージョンは違うので確認は忘れずに行っておきましょう。

バージョンがわかったら、下記サイトからドライバーをインストールしてきます。

https://developer.microsoft.com/en-us/microsoft-edge/tools/webdriver/#downloads

該当のバージョンをクリックすると、ダウンロードが開始されます。

自身の環境に合わせたドライバーをインストールしてください。

※筆者の場合は、Version93.0961.38のx64になります。

zip形式でのインストールになります。

インストールが終わったら、解凍をしましょう。

解凍をすると、

msedgedriver.exeというファイルがあると思います。

このファイルを、seleniumを使うPythonファイルが保存されている

フォルダに入れておきます。

下記のようなイメージになります。

これでSeleniumを使ってブラウザ操作を行う準備ができました。

ブラウザを立ち上げるまで、進めていきます。

ブラウザ起動

MIcrosoft EdgeをSeleniumで立ち上げるには、

変数名 = webdriver.Edge(‘msedgedriver.exeの絶対パス or 相対パス’)

とすることでEdgeブラウザを立ち上げることができます。

立ち上げると下図のようになります。

Seleniumを使って立ち上げると、”自動テストソフトウェアによって制限されています。”

と表示された、Edgeブラウザが立ち上がります。

コードは下図になります。

browser = webdriver.Edge(‘./msedgedriver.exe’)

試しにURLを開いてみる

今回は、GoogleをEdgeで開いてみます。

開き方は、

変数名.get(‘開きたいサイトのURL’)

変数名には、先に宣言したwebdriver.Edge()を代入した変数になります。

開きたいサイトのURLは、https://www.google.comになります。

URLを設定すると、

browser.get(‘https://www.google.com’)

実行すると、

Googleを開くことができました。

まとめ

Seleniumをインストールして、

Microsoft Edgeブラウザを立ち上げ、サイトを紹介していきました。

ブラウザによって、必要となるドライバーが変わってくるので、

起動させたいブラウザによって環境を整備して行うようにしていきましょう。

最後までお読みいただきありがとうございます。

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

確かな力が身につくPython「超」入門

The post 【Python勉強会】Seleniumのインストールをしてみた～Microsoft Edge編～ first appeared on リョクちゃの電脳日記.

【Python勉強会】Seleniumを活用してGoogle検索した画像を取得し保存してみた

リョクちゃ — Sat, 28 Aug 2021 21:32:21 +0000

どうも！リョクちゃです。

今回はGoogle検索でヒットした画像を取得するといった作業(動作)を、

Seleniumを使って自動化してみる方法を紹介していきます。

ちなみに前回の記事はこちら

【Python勉強会】Pythonとは～はじまり編①～

dreamparadaisu.com

2021-08-26 06:54

ここでは既にPythonとSeleniumがインストールできている状態として話を進めていきます。

インストールがまだの方は、インストールをしておいていただければ嬉しいです。

以下の記事でインストール方法についても触れています。

最近流行りのプログラミング言語であるPython、今回はPythonを使う上で必要となる環境の準備について簡単に。 Pythonってどんな言語？Pythonのインストール～環境構築までをざっくりと触れています。

dreamparadaisu.com

2020-08-17 01:20

Python勉強～はじまり編②～

前回に続き、今回は開発環境の構築について紹介していきます。開発環境の構築もいろいろあるので、自分が構築した環境と、最近になって使い始...

dreamparadaisu.com

2020-08-18 02:29

動作環境

筆者の環境は、Python 3.6.1になります。

古いですね……。

Seleniumのバージョンは、3.141.0になります。

Seleniumのインポート

まず最初にSeleniumのインポート(使う準備)をします。

from selenium import webdriver

GoogleChromeブラウザを起動

browser = webdriver.Chrome()

※browserは変数名になるので、各自任意の変数名で問題ありません。

今回は、browserといった変数名にGoggleChromeブラウザを使用する旨を伝えています。

これを実行すると、

GoogleChromeブラウザが新たに起動します。

URLを開く

今回は画像の検索をGoogleで行うので、以下のURLをブラウザ上で開きます。

Google 画像検索

Google 画像検索ウェブ上の画像を縦横無尽に検索

www.google.co.jp

URLを開くには、

browser.get(‘ブラウザ上で開きたいURL’)

と書きます。

実際にURLを当てはめると、

browser.get(‘https://www.google.co.jp/imghp?hl=ja&ogbl‘)

となり、実行すると

画像の検索を行う

ここからは取得する画像の検索を行います。

今回は猫の画像を取得し、検索することとします。

画像を検索するにあたって、

まずは開いたページの構成がどうなっているのか理解する必要があります。

今回は、下図の赤枠で囲われた部分を使って検索をしたいので……

これには以下の手順でページを構成する要素を調べていきます。

開いたWebページの”検証”を行う。
検証タブの”Select an element ~”をクリックする。
カーソルを調べたい要素に合わせる。
要素のxpathをコピーする。

といった流れで要素の検出を行います。

ここでいう”要素”とは、ページ上の見出し、ボタンや段落などを指します。

詳細に言うと、WebページはHTMLと呼ばれる、

マークアップ言語で書かれたファイルに基づき、構成がされています。

いわゆるhtmlファイルと呼ばれるものになります。これがWebページの顔となります。

Webページは、主に下図のような感じで構成されています。

※あくまで一例です。だいたいはもっと多くのコードが書かれていたりします。

これはただ単に”Hello World”と表示されているだけのページになります。

例のように、や

などが要素を表します。

だと見出し1になります。

ブラウザを操作する上では、このHTMLの各要素を知ることから始まります。

今回では、検索ボックスと検索ボタン(虫眼鏡アイコン)の要素を知ることになります。

これらを知るには、ページ内で右クリックを押し、検証ボタンを押します。

※GoogleChromeの場合、各ブラウザで違います。

検証ボタンを押すと、

赤枠で囲まれた部分が展開されます。(検証タブと呼ぶことにします。)

これが現在開いているページを構成する中身になります。

いろいろとコードが書かれていますね。

これを元に要素の検索をしていきます。

検索をするには、

赤丸で囲んだ矢印アイコンをクリックします。

クリックした状態で、カーソルを検索ボックスと検索ボタンに合わせます。

※合わせるだけでクリックは、まだしません。

カーソルを合わせると、青く選択され、その上にパラメータが表示されるかと思います。

このパラメータが、それぞれの要素となります。

ここからさらに調査をし、どの位置(場所)に要素があるのか掴んでいきます。

楽しくなってきましたね。

ここで検索ボックスの要素の場所を取得していきます。

検索ボックスにカーソルを合わせた状態でクリックをします。

すると、この要素がどこにあるのか検証タブ内で教えてくれます。

※検証タブ内で青く選択される場所になります。

青く選択されたら、右クリックをします。

ウィンドウが開くので、Copyを押し、Copy xPathを押します。

下の図のような感じです。

xPathとは、XML Path Languageの略になります。

HTMLドキュメントからの要素や属性値などを指定するための簡潔な言語となっています。

覚えておくと便利です。

実際に検索ボックスをコピーしたxpathは、こちらになります。

//*[@id=”sbtc”]/div/div[2]/input

同様に、検索ボタンもxpathをコピーすると、

//*[@id=”sbtc”]/button

となります。

これを使って、実際に検索ボックスにはキーワードの入力、

検索ボタンでは押下するといった各動作を行わせていきます。

まずは、各変数を作成し、検索ボックスと検索ボタンの要素を代入しておきます。

要素の抽出には、

browser.find_element_by_xpath(‘取得する要素のxpath’)

と書きます。

検索ボックス

elem_keyword = browser.find_element_by_xpath('//*[@id="sbtc"]/div/div[2]/input')

検索ボタン

elem_button = browser.find_element_by_xpath('//*[@id="sbtc"]/button')

各変数に要素を収めることができました。

検索ボックスにキーワードを入力するには、

.send_keys(‘検索したいワード’)

と書きます。

今回だと、

elem_keyword.send_keys(‘猫’)

となります。

これを実行すると、

入力されているのがわかります。

次いで、検索ボタンを押下していきます。

押下するには、

.click()

と書きます。

今回だと、

elem_button.click()

となります。

これを実行すると、

画面が切り替わり、猫の画像が表示されるようになりました。

これで検索ができるようになりました。

ここまでで要素を取得し、検索ボックスへの入力、

検索ボタンの押下ができるようになりました。

以降は、実際に画像の取得をしていきます。

サムネイルの画像のリンクを取得

検索できた結果から1枚目の画像を取得していきます。

まずは1枚目のサムネイルの画像のリンクを取得します。

リンクを取得するには、

elem_pic = browser.find_element_by_xpath('//*[@id="islrg"]/div[1]/div[1]/a[1]/div[1]/img')

とします。

上述した取得したい要素のxpathを取得し、変数に要素を代入しています。

取得したリンクをクリックします。

elem_pic.click()

実行すると、

1枚目の画像のサムネイルをクリックした状態です。

サムネイルの画像のURLを取得

クリックしたサムネイルの画像を取得するためには、画像のURLを取得する必要があります。

画像のURLを取得するには、まずは要素の検出を行い、xpathを見つけます。

サムネイルの画像のxpathは

//*[@id=”Sva75c”]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[2]/div[1]/a/img

となることがわかりました。

この要素を変数に代入していきます。

elem_imgUrl = browser.find_element_by_xpath('//*[@id="Sva75c"]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[2]/div[1]/a/img')

これだけでは画像のURLを取得することができないので、

さらに要素内のURLを格納している属性まで絞り込みます。

調べてみると画像のURLの属性は、”src”と呼ばれる属性に格納されているようです。

つまりはsrc属性を取得すれば、画像のURLを取得することができます。

src属性を取得するには、

.get_attribute(‘取得したい属性’)

と書きます。

今回だと、

elem_imgUrl.get_attribute(‘src’)

これを変数に代入しておきます。

img_url = elem_imgUrl.get_attribute('src')

変数の中身をのぞいてみると、

https://tk.ismcdn.jp/mwimgs/7/6/1140/img_761783d94524387445e94d79e99b739a80657.jpg

見事に画像のURLを取得することができました。

画像を読込む

取得した画像のURLから画像を読み込んでみます。

画像を読み込むには、新たにrequestsライブラリと

ioライブラリ、PILライブラリをそれぞれインポートします。

requestsライブラリ

これはHTTP通信用のライブラリで、HTMLファイルからデータを取得するのに使われます。

ioライブラリ

ストリームを扱うコアツール

で今回は、バイナリIOとして扱います。

画像データをメモリ上でバイトデータで読取るために使用します。

こちらは標準でインストールされています。

PILライブラリ(=Pillow)

画像処理用のライブラリで、画像の表示と保存に今回使います。

インストールされていない場合は、

pip install requests

pip install Pillow

でインストールができます。

インポートは、

import requests

import io

from PIL import Image

まずは画像のURLから画像データのバイト列を取得していきます。

取得するには、

requests.get(‘画像のURL’).content

今回だと、

requests.get(img_url).content

となり、これも変数に代入しておきます。

img = requests.get(img_url).content

次に、BytesIOを使って、画像を読み込みます。

io.BytesIO(画像データ)

今回だと、

img_file = io.BytesIO(img)

とし、変数に代入しておきます。

いよいよ、取得した画像データをPILライブラリを使って表示させていきます。

表示させるには、

Image.open(“画像ファイル”)

今回だと、

img_rec = Image.open(img_file)

とし、読み込んだ画像を変数に入れておきます。

実行すると、

はい、検索結果の1枚目の画像の猫が表示されています。

かわいいですね。

画像の保存

画像も表示できたので、最後に保存をしていきます。

画像の保存をするには、

.save(‘画像ファイルの保存先+ファイル名’)

とすることで保存が行えます。

今回だと、

img_rec.save('imgCat01.jpg')

と書きます。

ファイル名のみの場合、

現在プログラムが実行されている場所(カレントフォルダ)に保存がされます。

これで画像の保存ができました。

ここまでで画像の検索から取得、表示、保存を行ってきました。

お疲れ様でした。

まとめ

今回は、Seleniumを使って実際にGoogle検索してヒットした画像を取得し、

保存する方法について紹介しました。

この方法を応用することで複数の画像を取得出来たり、

他にも動画の取得にも活かすことができるようになるかと思います。

ただし、一度に大量の画像を間隔なしに取得するのは、

サーバに負荷がかかるのでやめましょう。

最後までお読みいただきありがとうございます。

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

確かな力が身につくPython「超」入門