ナノトイラボ 
今回は、Pythonのスクレイピングという技術を用いて、Webページの見出しをすべて抽出する方法を解説していきます。
また、CSVファイルに書かれたURLから各ページのすべての見出しを抽出する方法も解説していますので参考にしていただけると幸いです。
ゲーム制作に興味があるなら無料オンライン相談を活用しよう！
TECH STADIUM（テックスタジアム） は、数少ないゲーム制作を学べるスクールの中でもかなり評判がよくオススメできるスクールです。
TECH STADIUM（テックスタジアム） を利用し、就職が決まった場合、受講料がすべて返金されるため実質無料でゲーム制作が学べます！
ライブラリのインストール
まずはスクレイピングに必要なライブラリをインストールします。
ローカルの環境でプログラムを実行する場合は、コマンドプロンプトやターミナルを開いてください。
また、Google Colaboratoryで行う場合はColab上で次のプログラムを実行してください。
|
1 2 |
pip install requests pip install BeautifulSoup |
スクレイピングでURLから情報を取得する
まずは、対象となるURLの設定と、そのURLに対してリクエストを送り、HTMLを取得しましょう。
|
1 2 3 4 5 6 7 |
import requests from bs4 import BeautifulSoup import re # URLを設定し、リクエストを送る url = "https://nano-toy-lab.com/python/pyscript/" rest = requests.get(url) |
次にBeautifulSoupを利用し、HTMLを解析します。正規表現を用いて、H1~H6の見出しをすべて抽出してみました。
プログラムを読めば直感的にわかるので初心者でも安心です。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 |
# BeautifulSoupにページ内容を読み込ませる soup = BeautifulSoup(rest.text, "html.parser") # 見出しとurlの情報を取得して出力する pattern = re.compile('h[1-6]') data_list = soup.find_all(pattern) for data in data_list: print(("{} : {}").format(data.name, data.text)) """ h1 : 【PyScript】HTMLファイルに書くPythonを徹底解説！ローカルサーバでWebブラウザで実行してみよう！ h2 : PyScriptの実行手順 h3 : ローカルサーバを立てる h3 : Webブラウザ上で出力 h2 : 外部ライブラリの使い方 h2 : HTMLタグを利用して出力 h2 : 自作モジュールのインポート h3 : 自作モジュールの作成 h3 : HTMLタグから自作モジュールを呼び出す h2 : グラフを表示してみる h2 : まとめ h3 : コメントを残す コメントをキャンセル h4 : スポンサーリンク h4 : フォローお願いします！ h4 : ブログ村参加しています！ h4 : カテゴリー h4 : スポンサーリンク h4 : 人気記事 h4 : スポンサーリンク h4 : 最新記事 h4 : アーカイブ h4 : 目次 """ |
csvファイルに書かれたURLの見出しをすべて抽出する
先ほどとの違いは、csvファイルのデータをpandasというモジュールを新たにインストールし、「read_csv」という関数を用いて、データを扱うことです。
今回扱うCSVファイルの中身はURLが書かれたものになっています。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 |
import requests from bs4 import BeautifulSoup import re import pandas as pd # CSVファイルの読み込み df = pd.read_csv('urls.csv', header=None, names=['urls'], encoding="utf-8") # CSVファイルを最終行まで繰り返す for i in range(len(df)): # CSVデータのi行0列目のデータを取得 url = df.iloc[i, 0] # 対象のURLにリクエストを送る rest = requests.get(url) # BeautifulSoupにヤフーニュースのページ内容を読み込ませる soup = BeautifulSoup(rest.text, "html.parser") # 見出しとurlの情報を取得して出力する pattern = re.compile('h[1-6]') data_list = soup.find_all(pattern) for data in data_list: print(("{} : {}").format(data.name, data.text)) print("「{}」 の記事は終了===============\n".format(soup.find('title').text)) """ h1 : 【Python】for文で合計を求める方法！数学的処理を用いた計算コストも解説！ h2 : sum関数を用いる h2 : for文を用いる h2 : 数学的に考えて計算コストを抑える h3 : 処理時間の計測 h3 : 合計を求めてみる h2 : キー入力した整数の合計を求める h2 : まとめ h3 : コメントを残す コメントをキャンセル h4 : スポンサーリンク h4 : フォローお願いします！ h4 : ブログ村参加しています！ h4 : カテゴリー h4 : スポンサーリンク h4 : 人気記事 h4 : スポンサーリンク h4 : 最新記事 h4 : アーカイブ h4 : 目次 「【Python】for文で合計を求める方法！数学的処理を用いた計算コストも解説！ | ナノトイラボ」 の記事は終了=============== (以下省略) """ |
まとめ
最後まで読んでいただきありがとうございます。
今回は、Pyhonのスクレイピングで、URLから記事やサイトの見出しをすべて抽出する方法を解説しました。
案外簡単に見出しを抽出できるんだなと思ったと思います。本記事が少しでも皆様の役に立てば幸いです。
ゲーム制作に興味があるなら無料オンライン相談を活用しよう！
TECH STADIUM（テックスタジアム） は、数少ないゲーム制作を学べるスクールの中でもかなり評判がよくオススメできるスクールです。
TECH STADIUM（テックスタジアム） を利用し、就職が決まった場合、受講料がすべて返金されるため実質無料でゲーム制作が学べます！
