Pythonを学ぶと単純作業を自動化できるので勉強しよう

最近、Pythonで久々にスクレイピングしていました。思い出しがてらいろいろ調べたので、メモがわりにここに残しておきます。本当に初心者級の基本を調べるところから始めましたが、2時間ぐらいで目的は達成しました。

スクレイピングの基本

HTMLの取得・パースは、BeautifulSoupが神です。これを使えばとりあえず問題ないです。

URLリストの読み込みや、スクレイピング結果の出力にはCSVで。CSVを取り扱う基本的な操作を習得しましょう。データ処理するなら、pandasが良いです。

CSVにデータを書き込むときに、空行が勝手に出力されて困っていましたが、これで解決。

スクレイピングと関係ないといえば関係ないのですが、URLを加工したりCSV出力時のファイル名を生成するのに、文字列加工が必要だったので。

Pythonとかプログラミング言語をちょっとでも覚えておくと良いのは、こういう単純作業を、効率的にできるからです。今回は2時間ぐらいかかりましたが、一方で手作業でページアクセスしてコピペしていたら3時間以上はかかったでしょう。

そして一度覚えれば、またコマンドを思い出したりは必要ですが、原理的なものはすぐに思い出せます。

こういう本でスクレイピング＆クローリングを学ぶと良いです。

あるいはPythonでの自動化という広い意味であれば、こういう本も良いのではないでしょうか。

今回はスクレイピングの例だけでしたが、Pythonはデータサイエンスや機械学習も盛んになっています。データを分析するなら、こういうネタを勉強するのも良いと思います。