URL一覧からMeta情報とOGP画像を自動収集するツールをPythonで作ってみたSftQube

🧠 概要：

概要

この記事では、Pythonを使用してWebサイトのMeta情報やOGP画像を自動的に収集するツールを作成したことが紹介されています。このツールは、SEO分析やSNS共有における最適化を目的としており、具体的にはURLの一覧から必要な情報をCSV形式で出力します。

要約

• ツールの目的: WebサイトのMeta情報やOGP画像を一括取得するため。
• 入力: URLが1行ずつ書かれた「urls.txt」ファイル。
• 出力:
  • ページタイトル
  • メタディスクリプション
  • H1タグ
  • Canonicalタグ
  • Open Graphタグ (og:title, og:description, og:image)
  • HTTPステータスコード
  • リンク切れの判定
• 使用技術:
  • Python 3.11
  • ライブラリ: requests, BeautifulSoup4, csv
  • 環境: Docker
• 背景: SEO初期分析やSNSでの表示確認を効率化するために必要性を感じた。
• 出力結果: CSV形式で情報が整理され、例としてURLに関連する各種Meta情報が含まれる。
• 実行方法: Dockerコマンドで簡単に実行可能。
• 今後の計画:
  • ChatGPTとの連携によるMetaタグの改善提案
  • OGP画像のローカル保存
  • Web UI化（Flaskなど）での提供を検討
• 結論: PythonとBeautifulSoupを使って簡単に実用的な自動化ツールが作成できることが強調されています。ソースコードはGitHubで公開されており、改良も自由。

こんにちは、SftQube（ソフト・キューブ）です。
今回は「WebサイトのMeta情報やOGP画像を一括取得したい！」というニーズから、Pythonを使って簡単な自動収集ツールをDocker環境で作ってみました。

SEOチェックやSNS共有の最適化、クライアントWebサイトの簡易分析などに使える汎用ツールです。

作ったものの概要

• 入力：URLを1行ずつ書いた「urls.txt」

• 出力：各ページの以下の情報をCSVで出力

  • ページタイトル（<title>）

  • メタディスクリプション（<meta name=”description”>）

  • H1タグ

  • canonicalタグ

  • Open Graph（OGP）タグ：`og:title` / `og:description` / `og:image`

  • HTTPステータスコード

  • リンク切れ（404など）の判定

使用技術・ライブラリ

• Python 3.11（Dockerで構築）

• requests

• BeautifulSoup4

• csv

• docker

なぜ作ったのか？

Web制作の現場やSEOの初期分析では、「URL一覧からtitle・description・OGPが全部見れたら便利なのに…」

と思うことが多かったからです。

特にSNSでの表示確認などは、目視やChrome拡張に頼ることも多く、非効率でした。

出力結果イメージ

CSVでこのような形式になります👇

URL,Title,Meta Description,H1,Canonical,OG Title,OG Description,OG Image,HTTP Status,Broken Linkhttps://example.com,Example Title,This is a test.,Main Heading,https://example.com/,OG Title,OG Desc,https://example.com/img.jpg,200,No

Docker環境での実行方法（超シンプル）

docker build -t meta-scraper . docker run --rm -v $PWD:/app meta-scraper

今後やってみたいこと

• ChatGPTと連携して「Metaタグの改善提案」まで自動化

• OGP画像のローカル保存 → 一括サムネイル管理

• Web UI化（Flaskなど）して非エンジニアにも提供

最後に

PythonとBeautifulSoupだけでも、実用的な自動化ツールは驚くほど手軽に作れます。
少しでも作業の時短や副業ネタとして参考になれば嬉しいです！

今回のツールは、PythonとChatGPTの支援を使いながら「自分でつくるWeb分析ツール」として組み立ててみました。
実際にCSVとして出力されると、思ったより見やすくて、現場でもすぐに使えそうです。

ツールのソースコードはこちら（GitHub）

ご自由にclone・改良していただいてOKです！Starもぜひ。

本記事は、ChatGPTを活用しながら自動化スクリプトを作成・整備した内容をまとめたものです。ツールの仕様や動作は環境に依存する部分もあるため、ご利用の際はご自身の環境に合わせてご確認ください。

ご質問や改善のご提案などあれば、お気軽にコメントください。

続きをみる

Views: 0