【Python】txtファイル読み込みガイド：一行ずつ、まとめて読む方法

By /

Pythonでtxtファイル読み込みガイド：一行ずつ、まとめて読む方法

テキストファイル（.txtファイル）は、プログラミングにおいて最も一般的で基本的なデータ形式の一つです。設定情報、ログ、単純なデータセットなど、様々な情報をテキスト形式で保存し、プログラムから読み込んで処理することがよくあります。Pythonは、その簡潔さと強力な標準ライブラリにより、テキストファイルの読み込みを非常に簡単に行うことができます。

しかし、一口に「読み込み」といっても、ファイルのサイズや処理の目的によって、最適な方法は異なります。小さなファイルを一度にまとめて読み込むのが便利な場合もあれば、巨大なファイルをメモリに負荷をかけず、一行ずつ処理する必要がある場合もあります。

この記事では、Pythonを使ってtxtファイルを読み込む際の基本的な方法から、ファイル全体を「まとめて」読む方法、そしてファイルを「一行ずつ」読む方法まで、それぞれの詳細な手順、メリット・デメリット、そして実践的なテクニックを徹底的に解説します。この記事を読めば、Pythonでのテキストファイル読み込みに自信を持つことができるでしょう。

1. はじめに：なぜファイル読み込みが重要なのか

現代のソフトウェア開発では、多くの情報がファイルとして永続化されます。データベースやネットワーク通信など、より複雑なデータのやり取りももちろんありますが、シンプルな設定情報、プログラムの実行ログ、一時的なデータ保存などには、テキストファイルが手軽で非常に有用です。

Pythonプログラムがこれらのファイルを操作できるようになることは、様々なアプリケーションを作成する上で不可欠なスキルです。例えば：

  • ユーザーの設定をファイルから読み込んでプログラムの動作を変更する。
  • プログラムの実行中に発生したイベントをログファイルに記録し、後で分析する。
  • 外部から提供されたCSV形式（テキスト形式の一種）のデータを読み込んで処理する。
  • 古い形式のテキストデータを読み込み、新しい形式に変換する。

このように、ファイル操作は多岐にわたる用途で必要とされます。特にテキストファイルは、人間が内容を確認しやすく、構造が単純であるため、多くの場面で利用されます。この記事では、その中でも最も基本的な「読み込み」に焦点を当てて解説します。

2. ファイルの基本：Pythonでのファイル操作の前提知識

Pythonでファイルを扱う前に、いくつかの基本的な概念を理解しておく必要があります。

2.1. ファイルとは何か

コンピュータシステムにおけるファイルは、情報を記録するための基本的な単位です。ファイルは通常、名前（ファイル名）と、そのファイルが格納されている場所（ディレクトリ/フォルダ）によって一意に特定されます。

ファイルには様々な種類がありますが、大きく分けて以下の2つがあります。

  • テキストファイル: 人間が読める文字（テキスト）が格納されているファイルです。改行によって行が区切られていることが多く、文字コード（エンコーディング）によって文字が表現されます（例: .txt, .csv, .py, .html, .cssなど）。
  • バイナリファイル: テキストとして直接読むことのできない、特定のプログラムだけが理解できる形式でデータが格納されているファイルです。画像ファイル、音声ファイル、実行可能ファイルなどがこれにあたります（例: .jpg, .mp3, .exe, .zipなど）。

この記事で扱うのは、主にテキストファイルです。

2.2. Pythonでのファイル操作の基本概念：ファイルオブジェクトとモード

Pythonでファイルを操作する際には、まずそのファイルを表す「ファイルオブジェクト」を作成します。このファイルオブジェクトを通じて、ファイルの読み書きや閉じるといった操作を行います。ファイルオブジェクトは、組み込み関数 open() を使って作成します。

open() 関数は通常、少なくとも2つの引数を取ります。

  1. ファイルパス: 操作したいファイルの場所と名前を指定します。絶対パスでも相対パスでも指定できます。

  2. モード: ファイルをどのような目的で開くかを指定します。モードは文字列で指定し、代表的なものに以下があります。

    • 'r': 読み込みモード (read)。ファイルが存在しない場合はエラーになります。ファイルの先頭から読み込みが始まります。
    • 'w': 書き込みモード (write)。ファイルが存在しない場合は新しく作成されます。ファイルが既に存在する場合は、内容が全て消去され、ファイルの先頭から書き込みが始まります。
    • 'a': 追記モード (append)。ファイルが存在しない場合は新しく作成されます。ファイルが既に存在する場合は、内容の最後に追記されます。ファイルの先頭から書き込みたいわけではない場合に便利です。
    • 'x': 排他作成モード (exclusive creation)。ファイルが存在しない場合のみ新しく作成されます。ファイルが既に存在する場合はエラーになります。
    • 't': テキストモード (text)。デフォルトのモードです。テキストファイルとして扱われ、エンコーディングの指定が可能です。
    • 'b': バイナリモード (binary)。バイナリファイルとして扱われます。テキストモードとは異なり、エンコーディングの概念はなく、バイト列としてデータを扱います。

読み込みを行う際は、主に 'r' モードを使用します。テキストファイルを読み込む場合は、モードに 'r' または 'rt' を指定します（'t' はデフォルトなので、'r' だけでテキスト読み込みになります）。

2.3. エンコーディングの重要性

テキストファイルは、文字をコンピュータが扱える数値（バイト列）に変換するための規則（エンコーディング）に従って保存されています。代表的なエンコーディングには、UTF-8, Shift_JIS, EUC-JP などがあります。

Pythonでテキストファイルを読み込む際には、このエンコーディングを正しく指定することが非常に重要です。もしファイルが保存されたエンコーディングと異なるエンコーディングを指定して読み込もうとすると、文字化けが発生したり、UnicodeDecodeError というエラーが発生したりする可能性があります。

特に日本語のファイルは、UTF-8以外にもShift_JISやEUC-JPで作成されている場合が多いので注意が必要です。現代ではUTF-8が最も一般的で推奨されるエンコーディングですが、古いシステムや特定のアプリケーションで作成されたファイルを読む際には、そのファイルがどのエンコーディングで保存されているかを確認し、open() 関数の encoding 引数で正しく指定する必要があります。

open('ファイル名', 'r', encoding='utf-8') のように使用します。

3. ファイルを開く/閉じる：open() と close()、そして with open

ファイル操作の基本は、ファイルを開き、操作を行い、そしてファイルを閉じることです。

3.1. open() 関数によるファイルオブジェクトの作成

先ほど説明したように、open() 関数を使ってファイルオブジェクトを作成します。

“`python

ファイルを開く（読み込みモード、テキストモード）

file_path = ‘my_text_file.txt’ # 読み込みたいファイル名を指定
try:
f = open(file_path, ‘r’, encoding=’utf-8′) # ファイルを開いてファイルオブジェクトを得る
print(f”ファイル ‘{file_path}’ を開きました。”)
# ここでファイル操作（読み込みなど）を行う
# …
finally:
# ファイルを閉じる
f.close()
print(f”ファイル ‘{file_path}’ を閉じました。”)
“`

このコードは、my_text_file.txt というファイルをUTF-8エンコーディングで読み込みモードで開いています。open() が成功すると、ファイルオブジェクトが変数 f に代入されます。

3.2. close() メソッドの重要性

ファイルを開いたら、操作が終わった後は必ずファイルを閉じる必要があります。これは close() メソッドを呼び出すことで行います。

ファイルを閉じることは非常に重要です。閉じないと、以下のような問題が発生する可能性があります。

  • リソースリーク: オペレーティングシステムがファイルに割り当てたリソース（メモリ、ファイルディスクリプタなど）が解放されず、システム全体のパフォーマンスに悪影響を与えたり、新しいファイルを開けなくなったりする可能性があります。
  • データの破損や不整合: 特に書き込みの場合、バッファリングされたデータがファイルに書き込まれずに失われたり、ファイルが不完全な状態になったりすることがあります。
  • 他のプログラムからのアクセス問題: ファイルが開かれたままになっていると、他のプログラムがそのファイルにアクセスできなくなることがあります。

上記コード例のように try...finally ブロックを使うことで、ファイル操作中にエラーが発生した場合でも、finally ブロック内の f.close() が必ず実行されるため、ファイルを確実に閉じることができます。これはエラー発生時でもリソースを解放するための一般的なパターンです。

3.3. with open(...) as f: 構文（推奨）

しかし、ファイル操作においては try...finally を使うよりも、さらにPythonicで安全な方法があります。それが with ステートメントと open() 関数を組み合わせた構文です。

“`python

ファイルを開く（読み込みモード、テキストモード）

file_path = ‘my_text_file.txt’
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
print(f”ファイル ‘{file_path}’ を開きました。（withステートメント使用）”)
# ここでファイル操作（読み込みなど）を行う
# このブロックを抜けるときに、ファイルの閉じ処理が自動的に行われる
# …
print(f”withブロックを抜けました。ファイル ‘{file_path}’ は自動的に閉じられました。”)
except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)

この時点ではファイルは既に閉じられています

f オブジェクトは閉じられているため、アクセスしようとするとエラーになります

print(f.read()) # これを実行すると ValueError が発生します

“`

with open(...) as f: 構文を使うと、with ブロックの処理が完了したときに、ファイルの閉じ処理 (f.close()) が自動的に行われます。これは、with ステートメントが、コンテキストマネージャーと呼ばれる特殊なオブジェクト（open() 関数が返すファイルオブジェクトがこれにあたります）を扱うために設計されているからです。with ブロックに入るときにコンテキストマネージャーの __enter__ メソッドが呼ばれ、ブロックを抜けるとき（正常終了でも例外発生でも）に __exit__ メソッドが呼ばれます。ファイルオブジェクトの場合、__exit__ メソッドの中で close() が呼ばれるように実装されています。

この構文を使うことで、ファイルを閉じ忘れる心配がなくなり、コードも簡潔になります。ファイル操作を行う際は、常に with open(...) as f: 構文を使用することを強く推奨します。

以降のコード例では、全て with open(...) as f: 構文を使用します。また、特に断りがない限り、ファイルはUTF-8エンコーディングで、読み込みモード 'r' で開くものとします。

4. txtファイルを「まとめて」読む方法

ファイルをまとめて読む方法は、ファイルの内容全体またはその一部を一度にメモリに読み込む方法です。これは、ファイルサイズが比較的小さく、ファイル全体の内容にアクセスして処理を行う場合に便利です。主に read() メソッドと readlines() メソッドを使用します。

4.1. read() メソッド

read() メソッドは、ファイルの内容全体、または指定したバイト数分のデータを文字列（テキストモードの場合）として読み込みます。

“`python
file_path = ‘sample.txt’ # 読み込みたいファイル名

sample.txt の内容を仮定します

————–

Hello, World!

This is a sample file.

It has multiple lines.

————–

try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# ファイル全体を読み込む場合（引数なし）
content = f.read()
print(“— ファイル全体をread()で読み込み —“)
print(content)

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)

“`

上記のコードを実行すると、sample.txt の内容が全て読み込まれ、1つの長い文字列として変数 content に格納されます。改行文字 (\n など) も含めて読み込まれます。

read() メソッドの引数

read() メソッドはオプションで引数を取ることができます。これは読み込むバイト数（または文字数、テキストモードの場合）を指定します。

“`python
file_path = ‘sample.txt’
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# 最初の10文字（UTF-8の場合、10バイトとは限らない）を読み込む
first_10_chars = f.read(10)
print(“\n— read(10)で最初の10文字を読み込み —“)
print(first_10_chars)

    # 続けてread()を呼び出すと、前回の読み込み位置から再開される
    remaining_content = f.read()
    print("\n--- 続けてread()で残りの内容を読み込み ---")
    print(remaining_content)

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

引数を指定した場合、read(n) はファイルポインタ（次に読み込む位置）を n 文字/バイト分進めます。次に read() を呼び出したときは、その新しい位置から読み込みが再開されます。引数を省略した read() は、現在のファイルポインタからファイルの最後まで全てを読み込みます。

read() メソッドの利点

  • コードがシンプルで、ファイルの内容全体を一つの文字列として手軽に扱える。
  • ファイルサイズが小さい場合は、一度に読み込む方が処理が速い場合がある。

read() メソッドの欠点

  • メモリ使用量: ファイル全体をメモリに読み込むため、ファイルサイズが大きいと多くのメモリを消費します。非常に大きなファイルの場合、メモリ不足（MemoryError）を引き起こす可能性があります。
  • 大きいファイルへの非効率性: ファイルのごく一部だけが必要な場合でもファイル全体を読み込んでしまうのは非効率的です。

read() メソッドを使うべき状況

  • ファイルサイズが小さく（数百MB以下など、メモリに収まる範囲）、ファイルの内容全体にアクセスして処理を行いたい場合。
  • ファイル全体を一つの文字列として扱う方がコードが書きやすい場合。

4.2. readlines() メソッド

readlines() メソッドは、ファイルの内容を行ごとに読み込み、その各行を要素とする文字列のリストとして返します。各要素（各行を表す文字列）には、行末の改行文字 (\n など) が含まれたままになります。

“`python
file_path = ‘sample.txt’ # 読み込みたいファイル名

sample.txt の内容を仮定します

————–

Hello, World!

This is a sample file.

It has multiple lines.

————–

try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# ファイルを行ごとに読み込み、リストとして取得
lines = f.readlines()
print(“— readlines()でファイルを読み込み —“)
print(lines)

    print("\n--- リストの各行を順に表示 ---")
    for line in lines:
        print(f"行: '{line}'") # 各行に改行文字が含まれていることに注意

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

上記のコードを実行すると、lines 変数には ['Hello, World!\n', 'This is a sample file.\n', 'It has multiple lines.\n'] のようなリストが格納されます。

readlines() メソッドの利点

  • ファイルの内容を行単位でリストとして手軽に取得できる。
  • 後続の処理で行ごとにアクセスしやすい（リストのインデックスやループで）。

readlines() メソッドの欠点

  • メモリ使用量: read() と同様に、ファイル全体の内容（行ごとに分割された文字列）を全てメモリ上のリストとして保持するため、ファイルサイズが大きいとメモリを大量に消費し、MemoryError を引き起こす可能性があります。
  • 改行文字の扱い: 各行の文字列に改行文字が含まれたままになるため、通常は line.strip() などで改行文字や不要な空白を削除する前処理が必要になります。

readlines() メソッドを使うべき状況

  • ファイルサイズが小さく、ファイル全体を行単位で処理したい場合。
  • ファイル全体を行のリストとして取得し、後で何度もアクセスしたり、並べ替えたりといったリスト操作を行いたい場合。

5. txtファイルを「一行ずつ」読む方法

ファイルを一行ずつ読む方法は、ファイルから一度に一行だけを読み込み、その行の処理が終わったら次の行を読み込む、という処理を繰り返す方法です。この方法は、ファイルサイズが大きい場合や、ファイルの内容全体を一度にメモリに保持する必要がない場合に非常に効率的です。主にファイルオブジェクトのイテレーションと readline() メソッドを使用します。

5.1. ファイルオブジェクトのイテレーション（推奨）

Pythonでは、ファイルオブジェクト自体がイテレーター（iterable）として設計されています。これは、for ループを使ってファイルオブジェクトを直接繰り返すことで、ファイルを一行ずつ読み込むことができる、非常に便利でPythonらしい機能です。

“`python
file_path = ‘sample.txt’ # 読み込みたいファイル名

sample.txt の内容を仮定します

————–

Hello, World!

This is a sample file.

It has multiple lines.

————–

print(“— ファイルオブジェクトのイテレーションで一行ずつ読み込み —“)
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# ファイルオブジェクトを直接forループで回す
for line in f:
# 各行は文字列として取得され、改行文字が含まれる
print(f”読んだ行: ‘{line.strip()}'”) # strip()で改行文字を削除して表示

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

このコードを実行すると、for line in f: のループの中で、ファイルから一行ずつ読み込みが行われ、その行の内容が変数 line に代入されます。ファイルが終わりに達すると、ループは自動的に終了します。

ファイルオブジェクトのイテレーションの仕組み

for line in f: という構文が実行されるとき、内部ではファイルの readline() メソッドが繰り返し呼び出されています。ただし、Pythonのランタイムが効率的にバッファリングを行いながら読み込みを進めるため、非常に効率的な処理が実現されます。メモリには一度に一行分とその周辺のバッファだけが保持されるため、ファイルサイズに依存せず、安定したメモリ使用量で処理を進めることができます。

ファイルオブジェクトのイテレーションの利点

  • メモリ効率: ファイル全体をメモリに読み込むことなく、一度に一行ずつ処理するため、メモリ使用量を低く抑えることができます。これは巨大なファイルを扱う場合に特に重要です。
  • シンプルさ: コードが非常に簡潔で直感的です。
  • 効率性: 内部的なバッファリングにより、readline() を手動でループするよりも効率が良い場合があります。
  • 遅延評価: ファイルの最後まで読み込む必要がなく、必要になった行だけを順番に読み込む（遅延評価）ため、無駄な読み込みが発生しません。

ファイルオブジェクトのイテレーションの欠点

  • 特にありません。ほとんどの場合、ファイルを一行ずつ読むのに最適な方法です。

ファイルオブジェクトのイテレーションを使うべき状況

  • ファイルサイズが大きい場合（数百MB以上など）。
  • ファイルの内容を一行ずつ順番に処理したい場合。
  • ファイル全体をメモリに保持する必要がない場合。

5.2. readline() メソッド

readline() メソッドは、ファイルから次の一行だけを読み込み、文字列として返します。このメソッドをループの中で繰り返し呼び出すことで、ファイル全体を一行ずつ読むことができます。

“`python
file_path = ‘sample.txt’ # 読み込みたいファイル名

sample.txt の内容を仮定します

————–

Hello, World!

This is a sample file.

It has multiple lines.

————–

print(“— readline()をループで使って一行ずつ読み込み —“)
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
while True:
line = f.readline()
# readine()はファイルの終端に達すると空文字列 ” を返す
if not line:
break # 空文字列が返されたらループを終了

        # 各行は文字列として取得され、改行文字が含まれる
        print(f"読んだ行: '{line.strip()}'") # strip()で改行文字を削除して表示

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

このコードでは、while True: の無限ループの中で f.readline() を呼び出し続けています。readline() はファイル終端に達すると空文字列 ('') を返すため、その条件で break することでループを終了させています。

readline() メソッドの引数

readline() メソッドもオプションで引数を取ることができます。これは読み込むバイト数（または文字数）の最大値を指定します。例えば readline(10) は、一行の最初の10文字だけを読み込むか、あるいは一行が10文字より短い場合は一行全体を読み込みます。通常、一行全体を読みたい場合は引数なしで使用します。

readline() メソッドの利点

  • 一度に一行だけを読み込むため、メモリ効率が良い。
  • ファイルオブジェクトのイテレーションと同様に、巨大なファイルを扱うのに適している。
  • ループの制御を細かく行いたい場合に便利（例: 特定の条件を満たすまで読み続ける）。

readline() メソッドの欠点

  • ループを自前で記述する必要があるため、コードがファイルオブジェクトのイテレーションと比べてやや複雑になる。
  • ファイル終端の判定（空文字列 '' が返されること）を明示的に行う必要がある。
  • ほとんどの場合、ファイルオブジェクトのイテレーションの方がシンプルで推奨される。

readline() メソッドを使うべき状況

  • ファイルオブジェクトのイテレーションで十分なことが多いですが、何らかの理由でループの制御をより詳細に行いたい場合や、特定のバイト数までだけを読み込みたい場合などに考慮できます。しかし、一般的にはイテレーションの方が推奨されます。

5.3. どちらの方法を選ぶべきか？（一行ずつ読む場合）

Pythonでファイルを一行ずつ読む場合、ファイルオブジェクトのイテレーション (for line in f:) を使うのが最も推奨される方法です。

  • コードが最もシンプルで分かりやすい。
  • メモリ効率が良く、大きなファイルを安定して処理できる。
  • Pythonのファイルオブジェクトの設計思想に合致しており、効率的な実装になっている。

readline() メソッドを手動でループする方法は、歴史的な理由や特定のニッチなケースで使われることがありますが、ほとんどの場合において for line in f: に置き換えることができますし、そうすべきです。

6. 実践的なテクニックと応用

ここからは、実際のファイル読み込みで遭遇する可能性のある様々な状況に対処するための実践的なテクニックと応用方法を解説します。

6.1. エンコーディングの指定とエラー処理

前述しましたが、エンコーディングの指定は非常に重要です。特に日本語環境では、UTF-8, Shift_JIS (cp932), EUC-JP などが混在していることがあります。

open() 関数の encoding 引数を使って、ファイルのエンコーディングを正しく指定します。

“`python
file_path_utf8 = ‘utf8_sample.txt’ # UTF-8で保存されたファイル
file_path_sjis = ‘sjis_sample.txt’ # Shift_JISで保存されたファイル
file_path_eucjp = ‘eucjp_sample.txt’ # EUC-JPで保存されたファイル

想定されるファイル内容（例）：

テストファイルです。

こんにちは世界。

UTF-8 ファイルをUTF-8で読む

try:
with open(file_path_utf8, ‘r’, encoding=’utf-8′) as f:
content = f.read()
print(f”‘{file_path_utf8}’ (UTF-8) をUTF-8で読んだ結果:”)
print(content)
except FileNotFoundError:
print(f”‘{file_path_utf8}’ が見つかりません。”)

Shift_JIS ファイルをShift_JISで読む

try:
with open(file_path_sjis, ‘r’, encoding=’shift_jis’) as f:
content = f.read()
print(f”\n'{file_path_sjis}’ (Shift_JIS) をShift_JISで読んだ結果:”)
print(content)
except FileNotFoundError:
print(f”‘{file_path_sjis}’ が見つかりません。”)

Shift_JIS ファイルをUTF-8で読むと… 文字化けまたはエラー

try:
with open(file_path_sjis, ‘r’, encoding=’utf-8′) as f:
content = f.read()
print(f”\n'{file_path_sjis}’ (Shift_JIS) をUTF-8で読んだ結果:”)
print(content) # おそらく文字化けする
except UnicodeDecodeError as e:
print(f”\n'{file_path_sjis}’ (Shift_JIS) をUTF-8で読もうとしてエラーが発生しました: {e}”)
except FileNotFoundError:
print(f”‘{file_path_sjis}’ が見つかりません。”)
“`

エンコーディングの指定を間違えると、UnicodeDecodeError という例外が発生することがあります。これは、読み込んだバイト列を、指定されたエンコーディングの規則に従って文字に変換しようとした際に、無効なバイトシーケンスが見つかった場合に発生します。

このようなエラーが発生した場合、考えられる原因は以下のいずれかです。

  1. encoding 引数で指定したエンコーディングが間違っている。
  2. ファイル自体が破損しているか、特定のエンコーディングの規則に厳密に従っていない。

エンコーディングが不明な場合は、いくつかの一般的なエンコーディング（UTF-8, Shift_JIS, EUC-JP など）を試してみるか、chardet のような外部ライブラリを使ってエンコーディングを推測する方法もあります。

また、open() 関数の errors 引数を使って、エンコーディングエラーが発生した場合の挙動を指定することもできます。

  • 'strict' (デフォルト): UnicodeDecodeError を発生させる。
  • 'ignore': エラーとなる文字を無視して読み飛ばす。
  • 'replace': エラーとなる文字を置換文字（U+FFFD, � など）に置き換える。
  • 'xmlcharrefreplace': エラーとなる文字をXMLの文字参照 (&#...;) に置き換える（主に書き込み時）。

読み込み時には 'ignore' や 'replace' を使うことで、エラーでプログラムが中断されるのを防ぐことができますが、データの一部が失われたり、正確性が損なわれたりすることに注意が必要です。

“`python
file_path_sjis = ‘sjis_sample.txt’

Shift_JIS ファイルをUTF-8で読む際にエラーを無視する

try:
with open(file_path_sjis, ‘r’, encoding=’utf-8′, errors=’ignore’) as f:
content = f.read()
print(f”\n'{file_path_sjis}’ (Shift_JIS) をUTF-8で読み込み (エラー無視):”)
print(content) # エラー部分が無視される
except FileNotFoundError:
print(f”‘{file_path_sjis}’ が見つかりません。”)

Shift_JIS ファイルをUTF-8で読む際にエラーを置換する

try:
with open(file_path_sjis, ‘r’, encoding=’utf-8′, errors=’replace’) as f:
content = f.read()
print(f”\n'{file_path_sjis}’ (Shift_JIS) をUTF-8で読み込み (エラー置換):”)
print(content) # エラー部分が置換文字になる
except FileNotFoundError:
print(f”‘{file_path_sjis}’ が見つかりません。”)
“`

6.2. 改行文字の扱いと strip()

read(), readlines(), readline(), およびファイルオブジェクトのイテレーションで読み込んだ文字列には、通常、行末の改行文字が含まれています。オペレーティングシステムによって改行コードは異なります (\n (LF: Unix/Linux/macOS), \r\n (CRLF: Windows), \r (CR: 古いmacOS)) が、Pythonはテキストモードでファイルを開いた場合、これらを自動的にユニバーサル改行として扱い、読み込み時は通常 \n に変換してくれます（ただし、\r\n はそのまま残る場合もありますし、モードやOSによって挙動が若干異なります）。

多くの場合、行末の改行文字は不要です。また、行頭や行末に空白が含まれている場合もあります。これらの不要な文字を取り除くには、文字列の strip() メソッドを使用するのが一般的です。strip() は、文字列の先頭および末尾から空白文字（スペース、タブ、改行など）を取り除いた新しい文字列を返します。

“`python
lines = [‘Hello, World!\n’, ‘ This is a sample file. \n’, ‘It has multiple lines.\r\n’, ‘\n’]

print(“— 改行文字や空白を含むリスト —“)
print(lines)

print(“\n— strip() を使って整形した結果 —“)
for line in lines:
cleaned_line = line.strip()
print(f”整形前: ‘{line}’, 整形後: ‘{cleaned_line}'”)

“`

ファイルから一行ずつ読む際も、取得した各行に対して strip() を呼び出すのが一般的です。

“`python
file_path = ‘sample.txt’
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
for line in f:
cleaned_line = line.strip()
if cleaned_line: # 空行（改行文字だけ）をstrip()すると空文字列になる。それをスキップする例。
print(f”処理対象の行: ‘{cleaned_line}'”)

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

6.3. エラーハンドリング：ファイルが見つからない場合

ファイルを開こうとしたときに、指定されたファイルが存在しない場合は FileNotFoundError という例外が発生します。プログラムがクラッシュしないように、この例外を適切に処理する必要があります。try...except ブロックを使用します。

“`python
file_path = ‘non_existent_file.txt’ # 存在しないファイル名

try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
content = f.read()
print(“ファイル内容:”)
print(content)
except FileNotFoundError:
# FileNotFoundError が発生した場合の処理
print(f”エラー: 指定されたファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
# その他のファイル関連のエラーが発生した場合の処理
print(f”ファイル読み込み中に予期しないエラーが発生しました: {e}”)

print(“プログラムは続行します。”)
“`

このように try...except FileNotFoundError: を使うことで、ファイルが見つからなくてもプログラムが異常終了せず、代わりに指定したエラーメッセージを表示したり、代替の処理を行ったりすることができます。より汎用的な except Exception: を追加することで、エンコーディングエラーなど、その他のファイル操作中に発生しうる様々なエラーをまとめてキャッチすることも可能です。

6.4. 大きなファイルの扱いに関する再考

前述の通り、read() や readlines() は大きなファイルを扱うのに不向きです。ファイルサイズがコンピュータの利用可能なメモリ容量を超える場合、これらのメソッドを使うとメモリ不足でプログラムがクラッシュします。

一方、ファイルオブジェクトのイテレーション (for line in f:) や readline() をループで使う方法は、一度にメモリに読み込む量が一行分だけ（とバッファ）なので、ファイルサイズにほとんど影響されません。数GB、数十GBといった巨大なファイルでも、これらの方法を使えば安定して処理できます。

例えば、10GBのログファイルから特定のエラーメッセージを含む行だけを抽出したい場合、read() で全てを読み込もうとするとまずメモリが足りなくなります。しかし、一行ずつ読み込む方法であれば、各行を読んでエラーメッセージが含まれているかチェックし、該当する行だけを処理（例えば別のファイルに書き出すなど）することで、メモリを大量に消費することなく目的を達成できます。

これは「ストリーミング処理」や「遅延評価」と呼ばれる考え方です。ファイル全体を一度に扱うのではなく、必要な部分（この場合は一行ずつ）だけを都度処理していくことで、リソースの消費を抑えることができます。

6.5. 特定の行だけ読む / スキップする

ファイル全体ではなく、先頭の数行だけを読みたい場合や、ヘッダー行などをスキップして特定の位置から読み始めたい場合があります。

特定の行数だけ読む

for ループと range()、そして break を組み合わせることで、最初のN行だけを読み込むことができます。

“`python
file_path = ‘sample.txt’
num_lines_to_read = 2 # 最初の2行だけ読む

print(f”— 最初の {num_lines_to_read} 行だけ読み込み —“)
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
for i, line in enumerate(f): # enumerate()で0から始まる行番号を取得
if i >= num_lines_to_read:
break # 指定した行数に達したらループを終了
print(f”行 {i+1}: ‘{line.strip()}'”)

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

enumerate(f) は、ファイルオブジェクトのイテレーターに、0から始まるインデックス（行番号）を付けてくれます。これを利用して、読み込んだ行数が指定した数に達したらループを中断しています。

特定の行数（ヘッダーなど）をスキップする

ファイルの先頭に不要なヘッダー行がある場合、それをスキップしてから本体の読み込みを始めることができます。これは、ファイルオブジェクトの next() メソッドを使うか、単純な for ループで不要な行を読み飛ばすことで実現できます。

“`python
file_path = ‘data_with_header.txt’

data_with_header.txt の内容を仮定

————–

# This is a header line.

# Version: 1.0

Data1,Data2,Data3

A,1,X

B,2,Y

C,3,Z

————–

print(“— ヘッダー行をスキップして読み込み —“)
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# 最初の2行（ヘッダー）をスキップ
for _ in range(2): # スキップする行数だけループ
try:
next(f) # next() でファイルから次の行を読み飛ばす
except StopIteration:
# ファイルが指定した行数より短い場合の対策
print(“警告: スキップしようとした行数よりファイルが短いようです。”)
break # ファイル終端に達したらループを抜ける

    # スキップ後、残りの行を処理
    print("--- ヘッダー後のデータ行 ---")
    for line in f:
        print(f"データ行: '{line.strip()}'")

except FileNotFoundError:
print(f”エラー: ファイル ‘{file_path}’ が見つかりませんでした。”)
except Exception as e:
print(f”ファイル読み込み中にエラーが発生しました: {e}”)
“`

next(f) はファイルオブジェクトの次の行を読み込みますが、その値をどこにも代入しない（_ に代入して無視する）ことで、実質的にその行をスキップしています。StopIteration 例外はイテレーター（この場合はファイル）の終端に達したときに発生するので、ファイルを全て読み飛ばそうとしたが行数が足りなかった場合に備えて例外処理を加えておくと安全です。

6.6. 複数のファイルを処理する

複数のファイルをまとめて処理したい場合は、ファイルパスのリストを作成し、そのリストをループで回しながら各ファイルを開いて処理を行います。

“`python
file_list = [‘file1.txt’, ‘file2.txt’, ‘file3.txt’] # 処理したいファイル名のリスト

print(“— 複数のファイルを順番に読み込み —“)
for file_path in file_list:
print(f”\nファイル ‘{file_path}’ の処理を開始します。”)
try:
with open(file_path, ‘r’, encoding=’utf-8′) as f:
# 各ファイルの内容を一行ずつ読み込んで表示する例
for i, line in enumerate(f):
print(f” 行 {i+1}: ‘{line.strip()}'”)

except FileNotFoundError:
    print(f"  エラー: ファイル '{file_path}' が見つかりませんでした。スキップします。")
except UnicodeDecodeError:
     print(f"  エラー: ファイル '{file_path}' のエンコーディングが不正です。スキップします。")
except Exception as e:
    print(f"  ファイル '{file_path}' 読み込み中に予期しないエラーが発生しました: {e}")

print(f"ファイル '{file_path}' の処理を終了しました。")

print(“\n— 全てのファイルの処理が完了しました —“)
“`

このコードでは、ファイルリストをループし、各ファイルについて with open(...) を使って開き、その内容を処理しています。ファイルごとに try...except ブロックを用意することで、一つのファイルの処理中にエラーが発生しても、他のファイルの処理に影響を与えないようにしています。

7. まとめ：各読み込み方法の比較

ここまで説明してきたtxtファイルの読み込み方法をまとめます。

方法 メソッド/構文 戻り値 メモリ効率 使いやすさ（コードのシンプルさ） 改行文字の扱い 用途
まとめて読む read() 文字列 (str) ファイルサイズに比例（大きいファイルは危険） 簡単 含まれる 小さなファイル全体を文字列で取得
readlines() 文字列のリスト (list[str]) ファイルサイズに比例（大きいファイルは危険） 簡単 含まれる（各リスト要素の末尾） 小さなファイル全体を行リストで取得
一行ずつ読む ファイルオブジェクトのイテレーション (for line in f:) 文字列 (str) 非常に良い（一度に一行分） 非常に簡単（推奨） 含まれる 巨大なファイル、行ごとに順次処理
readline() 文字列 (str) 非常に良い（一度に一行分） やや複雑（手動ループが必要） 含まれる 巨大なファイル、行ごとに順次処理、特定の制御が必要な場合

どの方法を選ぶべきか？

  1. ファイルのサイズを確認する。

    • ファイルが小さい（数十MB〜数百MB程度、利用可能なメモリに余裕がある）場合：read() や readlines() が手軽です。ファイル全体を文字列として扱うなら read()、行リストとして扱うなら readlines() を選びましょう。
    • ファイルが大きい（数百MB以上、またはサイズが事前に分からない）場合：ファイルオブジェクトのイテレーション (for line in f:) を使いましょう。これが最もメモリ効率が良く、コードもシンプルです。readline() をループで使う方法も可能ですが、イテレーションの方が推奨されます。

  2. ファイルのどこまで読むか、どのように処理するかを考える。

    • ファイル全体を一度に処理する必要があるか？ -> 小さなファイルなら read() / readlines()。
    • ファイルを行ごとに順番に処理すれば十分か？ -> ファイルオブジェクトのイテレーション。
    • 特定の行だけ読みたい、またはスキップしたいか？ -> ファイルオブジェクトのイテレーションと enumerate() や next() を組み合わせる。

共通の注意点

  • 必ず with open(...) as f: 構文を使うこと。 ファイルの閉じ忘れを防ぎ、リソースリークを防止できます。
  • エンコーディングを正しく指定すること (encoding 引数)。 文字化けやエラーを防ぐために非常に重要です。特に日本語ファイルでは 'utf-8', 'shift_jis', 'euc_jp' などを試す必要があるかもしれません。
  • 読み込んだ行に含まれる改行文字に注意すること。 多くの場合は strip() メソッドで取り除く必要があります。
  • ファイルが見つからないなどのエラーに備えて、try...except で例外処理を行うこと。

8. よくある質問 (FAQ)

Q: なぜ with open(...) を使うべきなのですか？ open() と close() ではダメなのですか？

open() と close() を手動で使うことも可能ですが、ファイル操作中に例外が発生した場合、close() が呼び出されずにファイルが開かれたままになってしまうリスクがあります。with open(...) as f: 構文は、with ブロックを抜ける際に（正常終了でも例外発生でも）ファイルオブジェクトの __exit__ メソッドが必ず呼び出され、その中で自動的に close() が実行される仕組みになっています。これにより、ファイルの閉じ忘れによるリソースリークやデータの不整合を防ぐことができます。安全で信頼性の高いコードを書くために、常に with open 構文を使用することを強く推奨します。

Q: 読み込んだ行に含まれる改行文字を削除するにはどうすればいいですか？

読み込んだ各行の文字列に対して strip() メソッドを使用します。例えば、for line in f: で取得した line に対して line.strip() とすることで、行頭と行末の空白文字（スペース、タブ、改行など）が削除された新しい文字列が得られます。

Q: ファイルのエンコーディングが分かりません。どうすれば正しく読めますか？

まず、UTF-8 で試してみるのが良いでしょう。多くの新しいテキストファイルは UTF-8 で保存されています。それでエラーになる場合や文字化けする場合は、Shift_JIS や EUC-JP などの他の一般的なエンコーディングを試してみてください。それでもうまくいかない場合や、エンコーディングを自動的に判定したい場合は、chardet のような外部ライブラリを使うことを検討してください (pip install chardet でインストールし、chardet.detect(バイト列) でエンコーディングを推測できます)。

Q: ファイルが大きすぎてメモリに入りきらない場合はどうすればいいですか？

read() や readlines() を使うとメモリ不足になる可能性が高いです。このような場合は、ファイルオブジェクトのイテレーション (for line in f:) を使って一行ずつ読み込み、メモリ使用量を抑えながら処理を進める必要があります。

Q: ファイルの途中で読み取りを止めたい場合はどうすればいいですか？

ファイルオブジェクトのイテレーション (for line in f:) のループ内で、特定の条件が満たされたら break 文を使ってループを終了させることができます。with ブロックを抜けることで、ファイルは自動的に閉じられます。

“`python

例: 特定のキーワードが見つかったら読み取りを終了

with open(‘large_log_file.txt’, ‘r’, encoding=’utf-8′) as f:
for line in f:
if ‘ERROR’ in line:
print(“エラー行が見つかりました。読み取りを中断します。”)
print(line.strip())
break # ループを終了
# with ブロックを抜けるのでファイルは閉じられる
“`

9. おわりに

この記事では、Pythonにおけるtxtファイルの基本的な読み込み方法から、ファイル全体を「まとめて」読む方法 (read(), readlines())、そしてメモリ効率の良い「一行ずつ」読む方法（ファイルオブジェクトのイテレーション for line in f:, readline()) までを詳しく解説しました。さらに、with open 構文の重要性、エンコーディング、改行文字の扱い、エラーハンドリング、大きなファイルの扱いといった実践的なテクニックについても触れました。

Pythonでのファイル読み込みは、様々なデータ処理の基礎となります。この記事で学んだ知識を活用すれば、様々なテキストファイルをPythonで効率的かつ安全に処理できるようになるでしょう。

ファイル操作には、今回解説した読み込みだけでなく、書き込み ('w', 'a' モード) や、より高度なバイナリファイルの扱いなど、さらに多くの機能があります。ぜひこれらの機能についても学びを深め、Pythonプログラミングの幅を広げてください。

この記事が、あなたのPythonファイル操作の助けになれば幸いです。

コメントする

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

上部へスクロール