大変ご無沙汰しております。記事が更新できないまま、1カ月以上経過していました。

生活が激変(転職による影響)してから全然でした、、、。

とはいうものの、転職してからプログラミングする機会がなくなってしまい、

全然触れていませんでした。。。

さて、今回はSeleniumとPandasを活用してWeb上に表示されている表を取得し、

最終的にExcel形式で保存する方法について簡単に紹介していきます。

ちなみに前回はこちら

【Python勉強会】さくらサーバで.pyファイルを実行する～レンタルサーバを活用しよう～

前回に続き(https://dreamparadaisu.com/python_39/)さくらサーバで実際にPythonを実行してみたので記事にしています。レンタルサーバの中でもさくらサーバを活用して、Pythonを定時実行したい場合の参考になれば嬉しいです。

dreamparadaisu.com

2022-01-14 03:21

Web上に表示されているテーブルデータ(表)

下図のような表をテーブルデータと、ここでは扱っています。

※一例として、Yahooファイナンスのページを引用しております。

Web上では、図のように表示された表をテーブルデータといいます。

今回は、これを取得して、Excel形式で保存をしていきます。

テーブルデータ取得への道

Web上の表を取得するには、ざっと下のような流れで作業を細分化できます。

①　Web上で取得したい表を形成するtableタグを探し・抽出

②　抽出した情報のHTMLを取得

③　PandasでHTMLを読込み、listに変換

④　listからDataFrameへ変換

⑤　DataFrameからExcel形式に出力(保存)

①～⑤の流れを進めることで、最終的にExcel形式に出力することができちゃいます。

1つ1つ順を追って説明していきます。

※取得したい表が掲載されているURLの選定はここでは作業の流れに含んでおりません。

各々でURLは見つけてみて下さい。

Web上で取得したい表を形成するtableタグを探し・抽出

今回は、”とうもろこしの生産量ランキング(都道府県別)“のページから

都道府県別にまとめられたとうもろこしの生産量の表を取得していきます。

こちらの表を取得したいと思います。

まずはこの表がどんな構成でWebページ上に表示されているかを解析していきます。

ここではブラウザをChromeとして説明していきます。

Chromeで対象のURLを開き、右クリックし「検証」を押します。

下図のようなイメージになります。

「検証」をクリックすると、ページを構成するHTMLがブラウザ上に表示されます。

HTMLから取得したい表を形成するtableタグを探していきます。

今回取得したい”都道府県別とうもろこしの生産量”の表は、

下図に示すtableタグで表が形成されていました。

このtableタグを取得するには、tableタグ上で右クリックをし、「Copy」にカーソルを当て、

表示される項目から今回は、「Copy selector」を選びます。(下図)

これでtableタグを取得することができました。

ここまでをSeleniumを活用してプログラムを書くと、以下のようになります。

from selenium import webdriver

# Chromeを立ち上げる
browser = webdriver.Chrome()

# URLを設定
url = "https://kisetsumimiyori.com/toumorokoshiranking/"

# URLを表示
browser.get(url)

#　対象のURLからTable情報をゲットする
elem_tableTag = browser.find_element_by_css_selector('#entry > section > table')

抽出した情報のHTMLを取得

抽出したTableタグを含むHTML情報を取得するには、

取得したTableタグのouterHTMLプロパティを取得します。

この作業は、、、

Tableタグだけでは後続で活用するPandasでは使えないため、

outerHTMLで取得した情報を渡す必要があります。

outerHTMLプロパティを取得するには

# TableタグからouterHTMLプロパティを取得する
html = elem_tableTag.get_attribute('outerHTML')

PandasでHTMLを読込み、listに変換

次にouterHTMLの情報をPandasのread_htmlメソッドを使って、list形式に変換します。

※当初、read_htmlメソッドで変換される形式はDataFrameかと勘違いしていました。

# Tableタグから抽出したouterHTML情報をPandasでlist形式へ変換
lstTable = pd.read_html(html)

# 念のため、型を確認
print(type(lstTable))

# Tableタグが取得できているか確認
print(lstTable)

※　import Pandas as pdを忘れずに。

ここまでで、表情報の取得ができています。

listからDataFrameへ変換

ここまででExcelへ保存することをしたかったのですが、、、

list形式からExcelに出力するのがPandasで用意されているto_excelメソッドでは

できないため、DataFrameへ変換をします。

list形式からDataFrameへの変換は

# list形式からDataFrameへ変換
df = pd.DataFrame(data=lstTable[0])

# 念のため、型を確認
print(type(df))

DataFrameへ変換するには、Pandas.DataFrameメソッドを使用します。

ここでは、Pandasをインポートする際にpdと呼称しているので、

pd.DataFrameとなっています。

引数として、前述でlist形式に変換されたTable情報の0番目を渡しています。

※Web上に複数の表があれば、もしかしたらインデックスを指定して、

一度のアクセス(Seleniumからの)で好きな表を取得できると思います。

DataFrameからExcel形式に出力(保存)

最後にDataFrameからExcel形式に出力をしていきます。

ここでは、to_excelメソッドを使います。

# Excel形式で出力
df.to_excel('output_test.xlsx')

output_test.xlsxという名前でExcelファイルとして出力がされます。

下図のような形で出力がされています。

まとめ

Web上のテーブルデータ(表)をSeleniumとPandasを活用して、

Excel形式に出力する方法を簡単に紹介していきました。

SeleniumではTableタグとそれのouterHTMLプロパティを取得し、

Pandasでは取得した情報をDataFrameへと変換し、Excel形式に出力

といった作業をそれぞれ行わせています。

わざわざPandasを使わなくてもExcelへの出力はできますが、

モジュールを活用することで、コードを書く工数を削減できるため便利です。

他にもこれを応用して様々なテーブルデータを取得することができれば、

Excelに出力することも可能かと思います。

※Tableタグがあるもの

参考になれば嬉しいです。色々活用していただけたらと思います。

最後までお読みいただき、ありがとうございます。

これからも継続して書きつづっていきます。

よろしくお願いします！

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

ナオミ・セダー, 新丈径

3,080円(04/18 05:45時点)

楽天ブックス

確かな力が身につくPython「超」入門

鎌田正浩

2,728円(04/18 05:45時点)

楽天ブックス

今回はGoogle検索でヒットした画像を取得するといった作業(動作)を、

Seleniumを使って自動化してみる方法を紹介していきます。

ちなみに前回の記事はこちら

【Python勉強会】Seleniumのインストールをしてみた～Google Chrome編～

プログラムでブラウザの操作が自動化できればいいな？って思ったことはありませんか？今回は、Pythonでブラウザ操作を自動化してくれるSeleniumというライブラリをインストールする方法を紹介しています。章立てて連載していきます。何かしらの参考になれば嬉しいです。

dreamparadaisu.com

2021-08-26 06:54

ここでは既にPythonとSeleniumがインストールできている状態として話を進めていきます。

インストールがまだの方は、インストールをしておいていただければ嬉しいです。

以下の記事でインストール方法についても触れています。

【Python勉強会】Pythonとは～はじまり編①～

最近流行りのプログラミング言語であるPython、今回はPythonを使う上で必要となる環境の準備について簡単に。 Pythonってどんな言語？Pythonのインストール～環境構築までをざっくりと触れています。

dreamparadaisu.com

2020-08-17 01:20

Python勉強～はじまり編②～

前回に続き、今回は開発環境の構築について紹介していきます。 開発環境の構築もいろいろあるので、自分が構築した環境と、 最近になって使い始...

dreamparadaisu.com

2020-08-18 02:29

動作環境

筆者の環境は、Python 3.6.1になります。

古いですね……。

Seleniumのバージョンは、3.141.0になります。

Seleniumのインポート

まず最初にSeleniumのインポート(使う準備)をします。

GoogleChromeブラウザを起動

URLを開く

今回は画像の検索をGoogleで行うので、以下のURLをブラウザ上で開きます。

Google 画像検索

Google 画像検索 ウェブ上の画像を縦横無尽に検索

www.google.co.jp

URLを開くには、

と書きます。

実際にURLを当てはめると、

browser.get(‘https://www.google.co.jp/imghp?hl=ja&ogbl‘)

となり、実行すると

画像の検索を行う

ここからは取得する画像の検索を行います。

今回は猫の画像を取得し、検索することとします。

画像を検索するにあたって、

まずは開いたページの構成がどうなっているのか理解する必要があります。

今回は、下図の赤枠で囲われた部分を使って検索をしたいので……

これには以下の手順でページを構成する要素を調べていきます。

1. 開いたWebページの”検証”を行う。
2. 検証タブの”Select an element ~”をクリックする。
3. カーソルを調べたい要素に合わせる。
4. 要素のxpathをコピーする。

といった流れで要素の検出を行います。

ここでいう”要素”とは、ページ上の見出し、ボタンや段落などを指します。

詳細に言うと、WebページはHTMLと呼ばれる、

マークアップ言語で書かれたファイルに基づき、構成がされています。

いわゆるhtmlファイルと呼ばれるものになります。これがWebページの顔となります。

Webページは、主に下図のような感じで構成されています。

※あくまで一例です。だいたいはもっと多くのコードが書かれていたりします。

これはただ単に”Hello World”と表示されているだけのページになります。

例のように、や

などが要素を表します。

だと見出し1になります。

 

ブラウザを操作する上では、このHTMLの各要素を知ることから始まります。

今回では、検索ボックスと検索ボタン(虫眼鏡アイコン)の要素を知ることになります。

 

これらを知るには、ページ内で右クリックを押し、検証ボタンを押します。

※GoogleChromeの場合、各ブラウザで違います。

 

 

検証ボタンを押すと、

赤枠で囲まれた部分が展開されます。(検証タブと呼ぶことにします。)

 

これが現在開いているページを構成する中身になります。

いろいろとコードが書かれていますね。

 

これを元に要素の検索をしていきます。

検索をするには、

赤丸で囲んだ矢印アイコンをクリックします。

クリックした状態で、カーソルを検索ボックスと検索ボタンに合わせます。

※合わせるだけでクリックは、まだしません。

 

カーソルを合わせると、青く選択され、その上にパラメータが表示されるかと思います。

このパラメータが、それぞれの要素となります。

 

ここからさらに調査をし、どの位置(場所)に要素があるのか掴んでいきます。

楽しくなってきましたね。

 

ここで検索ボックスの要素の場所を取得していきます。

検索ボックスにカーソルを合わせた状態でクリックをします。

 

すると、この要素がどこにあるのか検証タブ内で教えてくれます。

※検証タブ内で青く選択される場所になります。

 

青く選択されたら、右クリックをします。

ウィンドウが開くので、Copyを押し、Copy xPathを押します。

下の図のような感じです。

 

 

xPathとは、XML Path Languageの略になります。

HTMLドキュメントからの要素や属性値などを指定するための簡潔な言語となっています。

覚えておくと便利です。

 

実際に検索ボックスをコピーしたxpathは、こちらになります。

//*[@id=”sbtc”]/div/div[2]/input

 

同様に、検索ボタンもxpathをコピーすると、

//*[@id=”sbtc”]/button

となります。

これを使って、実際に検索ボックスにはキーワードの入力、

検索ボタンでは押下するといった各動作を行わせていきます。

まずは、各変数を作成し、検索ボックスと検索ボタンの要素を代入しておきます。

要素の抽出には、

browser.find_element_by_xpath(‘取得する要素のxpath’)

と書きます。

検索ボックス

elem_keyword = browser.find_element_by_xpath('//*[@id="sbtc"]/div/div[2]/input')

 

検索ボタン

elem_button = browser.find_element_by_xpath('//*[@id="sbtc"]/button')

 

各変数に要素を収めることができました。

 

検索ボックスにキーワードを入力するには、

.send_keys(‘検索したいワード’)

と書きます。

 

今回だと、

elem_keyword.send_keys(‘猫’)

となります。

 

これを実行すると、

入力されているのがわかります。

 

次いで、検索ボタンを押下していきます。

押下するには、

.click()

と書きます。

 

今回だと、

elem_button.click()

となります。

 

これを実行すると、

画面が切り替わり、猫の画像が表示されるようになりました。

これで検索ができるようになりました。

 

ここまでで要素を取得し、検索ボックスへの入力、

検索ボタンの押下ができるようになりました。

 

以降は、実際に画像の取得をしていきます。

 

 

サムネイルの画像のリンクを取得

検索できた結果から1枚目の画像を取得していきます。

まずは1枚目のサムネイルの画像のリンクを取得します。

リンクを取得するには、

elem_pic = browser.find_element_by_xpath('//*[@id="islrg"]/div[1]/div[1]/a[1]/div[1]/img')

とします。

上述した取得したい要素のxpathを取得し、変数に要素を代入しています。

取得したリンクをクリックします。

elem_pic.click()

実行すると、

1枚目の画像のサムネイルをクリックした状態です。

サムネイルの画像のURLを取得

クリックしたサムネイルの画像を取得するためには、画像のURLを取得する必要があります。

画像のURLを取得するには、まずは要素の検出を行い、xpathを見つけます。

サムネイルの画像のxpathは

//*[@id=”Sva75c”]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[2]/div[1]/a/img

となることがわかりました。

この要素を変数に代入していきます。

elem_imgUrl = browser.find_element_by_xpath('//*[@id="Sva75c"]/div/div/div[3]/div[2]/c-wiz/div/div[1]/div[1]/div[2]/div[1]/a/img')

これだけでは画像のURLを取得することができないので、

さらに要素内のURLを格納している属性まで絞り込みます。

調べてみると画像のURLの属性は、”src”と呼ばれる属性に格納されているようです。

つまりはsrc属性を取得すれば、画像のURLを取得することができます。

src属性を取得するには、

と書きます。

今回だと、

これを変数に代入しておきます。

img_url = elem_imgUrl.get_attribute('src')

変数の中身をのぞいてみると、

https://tk.ismcdn.jp/mwimgs/7/6/1140/img_761783d94524387445e94d79e99b739a80657.jpg

見事に画像のURLを取得することができました。

画像を読込む

取得した画像のURLから画像を読み込んでみます。

画像を読み込むには、新たにrequestsライブラリと

ioライブラリ、PILライブラリをそれぞれインポートします。

requestsライブラリ

これはHTTP通信用のライブラリで、HTMLファイルからデータを取得するのに使われます。

ioライブラリ

ストリームを扱うコアツール

で今回は、バイナリIOとして扱います。

画像データをメモリ上でバイトデータで読取るために使用します。

こちらは標準でインストールされています。

PILライブラリ(=Pillow)

画像処理用のライブラリで、画像の表示と保存に今回使います。

インストールされていない場合は、

でインストールができます。

インポートは、

まずは画像のURLから画像データのバイト列を取得していきます。

取得するには、

今回だと、

となり、これも変数に代入しておきます。

img = requests.get(img_url).content

次に、BytesIOを使って、画像を読み込みます。

今回だと、

img_file = io.BytesIO(img)

とし、変数に代入しておきます。

いよいよ、取得した画像データをPILライブラリを使って表示させていきます。

表示させるには、

今回だと、

画像の保存

画像も表示できたので、最後に保存をしていきます。

画像の保存をするには、

とすることで保存が行えます。

今回だと、

img_rec.save('imgCat01.jpg')

と書きます。

ファイル名のみの場合、

現在プログラムが実行されている場所(カレントフォルダ)に保存がされます。

これで画像の保存ができました。

ここまでで画像の検索から取得、表示、保存を行ってきました。

お疲れ様でした。

まとめ

今回は、Seleniumを使って実際にGoogle検索してヒットした画像を取得し、

保存する方法について紹介しました。

この方法を応用することで複数の画像を取得出来たり、

他にも動画の取得にも活かすことができるようになるかと思います。

ただし、一度に大量の画像を間隔なしに取得するのは、

サーバに負荷がかかるのでやめましょう。

最後までお読みいただきありがとうございます。

・こちらの書籍を参考にPythonの理解を深めました。

空飛ぶPython即時開発指南書

ナオミ・セダー, 新丈径

3,080円(04/18 05:45時点)

楽天ブックス

確かな力が身につくPython「超」入門

鎌田正浩

2,728円(04/18 05:45時点)

楽天ブックス