PythonでYahooファイナンスから優良高配当株データを自動取得しExcelに保存する方法

概要

このプログラムは、Pythonを使用してYahooファイナンスから優良高配当株のデータ（いわゆるにわとりリスト）を取得し、Excelファイルに書き出すものです。プログラムは5ページ分のデータを取得し、各ページのデータを結合して最終的に1つのデータフレームにまとめます。また、特殊な銘柄名称（例：４℃ホールディングス）も正しく処理できるようにしています。

使用するライブラリ・バージョン等

• Python 3.11.1
• pandas 2.0.3
• re: （Pythonの標準ライブラリ）

プログラムのコード

以下にプログラムの完全なコードを示します。

import pandas as pd
import re

def mks_re(x):
    mks_d = re.search(r'\d{4,}', x)  # 銘柄コードが4桁以上の数字であると仮定
    if mks_d:
        dks_c = mks_d.group()  # コード
        dks_m = x[0:mks_d.start()].strip()  # 名称
        dks_s = x[mks_d.end():].strip()  # 市場
        return dks_m, dks_c, dks_s
    else:
        return x, None, None  # コードが見つからない場合、名称だけを返す

def bunkatu(df):
    df[['名称', 'コード', '市場']] = df['名称・コード・市場'].apply(lambda x: pd.Series(mks_re(x)))

dfa = pd.DataFrame()

for p in range(1, 6):
    dfw = pd.DataFrame()
    url_kh = 'https://finance.yahoo.co.jp/stocks/screening/highdividend' + '?page=' + str(p)  # 優良高配当株 1～5ページ
    dfs = pd.read_html(url_kh)  # データフレームの準備
    df = dfs[0]  # 1つ目のテーブルを取得
    bunkatu(df)  # 繋がった文字列を分割
    dfw = df.reindex(columns=['名称', 'コード', '市場', '配当利回り', 'PER', 'PBR', 'ROE', '自己資本比率', '時価総額', '最低購入代金'])
    dfa = pd.concat([dfa, dfw], ignore_index=True)  # 1ページごとに結合

dfa.to_excel('優良高配当株.xlsx')  # エクセルへ書き出し

プログラムの説明

import pandas as pd
import re