【ローカルLLM】llama-cpp-pythonで始めるテキスト生成

By /

【ローカルLLM】llama-cpp-pythonで始めるテキスト生成：環境構築から実践まで

近年、自然言語処理（NLP）の分野において、大規模言語モデル（LLM）の進化が目覚ましい。GPT-3を筆頭に、BardやLlamaなど、高品質なテキスト生成能力を持つモデルが次々と登場している。これらのLLMは、文章の作成、翻訳、要約、質問応答など、幅広いタスクをこなすことができる。

しかし、これらのLLMの多くは、クラウド上にデプロイされており、APIを通じて利用する必要がある。そのため、利用料金が発生したり、データプライバシーの問題が懸念されたりする。

そこで注目されているのが、ローカル環境で動作するLLMである。ローカルLLMは、自身のPCやサーバーにモデルをダウンロードして実行するため、インターネット接続が不要で、データプライバシーを確保しながら、LLMの恩恵を受けることができる。

本記事では、ローカルLLMの一つであるLlamaを、llama-cpp-pythonというライブラリを用いて実行する方法について、環境構築から実践的なテキスト生成まで、詳細に解説する。

1. ローカルLLMとは？そのメリットとデメリット

ローカルLLMとは、インターネットに接続せずに、自身のPCやサーバー上で動作するLLMのことである。クラウド上のLLMと比較して、以下のようなメリットとデメリットが存在する。

メリット:

  • プライバシーの保護: データが外部に送信されないため、個人情報や機密情報を扱う際に安全である。
  • オフラインでの利用: インターネット接続が不要なため、場所を選ばずに利用できる。
  • カスタマイズ性: モデルを微調整（ファインチューニング）することで、特定のタスクに特化したモデルを作成できる。
  • 利用料金の削減: API利用料金が発生しないため、長期的な利用コストを抑えることができる。
  • 遅延の削減: インターネット経由での通信が不要なため、応答速度が向上する。

デメリット:

  • 計算資源の制約: 高性能なLLMを実行するには、高性能なCPUやGPUが必要となる。
  • 初期設定の複雑さ: 環境構築やモデルのダウンロードなど、初期設定に手間がかかる。
  • メンテナンスの負担: モデルのアップデートやセキュリティ対策などを自身で行う必要がある。
  • モデルサイズの制限: PCのメモリ容量によっては、大規模なモデルを実行できない場合がある。
  • 知識のアップデート: クラウド上のLLMは常に最新の知識で更新されるが、ローカルLLMは定期的にモデルをアップデートする必要がある。

2. Llamaとは？

Llamaは、Meta AIが開発したオープンソースのLLMである。GPT-3などの大規模言語モデルに匹敵する性能を持ちながら、比較的小規模なモデルサイズで動作することが特徴である。Llamaは、研究目的での利用が許可されており、様々な派生モデルや微調整されたモデルが存在する。

Llamaには、Llama 1とLlama 2が存在し、Llama 2はLlama 1よりもさらに性能が向上している。モデルサイズも7B、13B、70Bなど、様々な種類があり、PCのスペックに合わせて選択することができる。

3. llama-cpp-pythonとは？

llama-cpp-pythonは、LlamaをC++で実装したllama.cppをPythonから簡単に利用できるようにするためのライブラリである。llama.cppは、CPU上でLlamaを実行するために最適化されており、llama-cpp-pythonを用いることで、Pythonで記述されたプログラムからLlamaを呼び出し、テキスト生成などのタスクを実行することができる。

llama-cpp-pythonは、以下の特徴を持つ。

  • CPU最適化: CPU上で効率的にLlamaを実行できる。
  • GGUFフォーマット対応: GGUFフォーマットのモデルファイルをサポートしており、様々な派生モデルを簡単に利用できる。
  • Pythonインターフェース: Pythonから直感的にLlamaを操作できる。
  • 様々なオプション: テキスト生成のパラメータ（temperature, top_pなど）を細かく調整できる。
  • ストリーミング出力: 生成されたテキストをリアルタイムでストリーミング出力できる。

4. 環境構築

llama-cpp-pythonを利用するためには、以下の環境構築が必要となる。

4.1. Pythonのインストール

まず、Pythonがインストールされていることを確認する。Pythonがインストールされていない場合は、Python公式サイト（https://www.python.org/downloads/）から最新版をダウンロードしてインストールする。

4.2. 仮想環境の作成 (推奨)

プロジェクトごとに異なるPythonパッケージを管理するために、仮想環境を作成することを推奨する。仮想環境を作成するには、以下のコマンドを実行する。

bash
python3 -m venv venv
source venv/bin/activate # Linux/macOS
venv\Scripts\activate.bat # Windows

4.3. llama-cpp-pythonのインストール

仮想環境がアクティブになっている状態で、以下のコマンドを実行してllama-cpp-pythonをインストールする。

bash
pip install llama-cpp-python

4.4. モデルファイルのダウンロード

Llamaのモデルファイルをダウンロードする必要がある。GGUFフォーマットのモデルファイルは、Hugging Face Hubなどで公開されている。

例：TheBloke/Llama-2-7B-Chat-GGUF (7Bモデル)

“`bash

例：TheBloke/Llama-2-7B-Chat-GGUFからllama-2-7b-chat.Q4_K_M.ggufをダウンロードする場合

wget https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGUF/resolve/main/llama-2-7b-chat.Q4_K_M.gguf
“`

ダウンロードしたモデルファイルは、任意の場所に保存しておく。モデルファイルのパスは、後でllama-cpp-pythonに指定する必要がある。

4.5. C++コンパイラ (必要な場合)

環境によっては、llama-cpp-pythonのインストール時にC++コンパイラが必要となる場合がある。

  • Windows: Visual Studio Build Toolsをインストールする。
  • macOS: Xcode Command Line Toolsをインストールする。
  • Linux: gccやg++などのコンパイラをインストールする。

5. テキスト生成の実践

llama-cpp-pythonを用いてテキスト生成を行う手順は以下の通りである。

5.1. 必要なライブラリのインポート

まず、llama-cpp-pythonから必要なライブラリをインポートする。

python
from llama_cpp import Llama

5.2. Llamaモデルのロード

Llamaクラスのインスタンスを作成し、ダウンロードしたモデルファイルをロードする。

python
model_path = "llama-2-7b-chat.Q4_K_M.gguf" # モデルファイルのパスを指定
llm = Llama(model_path=model_path, n_ctx=2048) # コンテキストサイズを指定 (n_ctx)

n_ctxは、モデルが一度に処理できるトークン数（単語や記号の単位）を指定するパラメータである。大きい値を指定するほど、長い文章を処理できるようになるが、メモリ消費量が増加する。

5.3. テキスト生成の実行

Llamaオブジェクトの__call__メソッドを呼び出して、テキスト生成を実行する。

python
prompt = "今日の天気は？"
output = llm(prompt, max_tokens=50, stop=["\n"], echo=True)
print(output["choices"][0]["text"])

  • prompt: 生成するテキストのプロンプト（指示文）。
  • max_tokens: 生成するテキストの最大トークン数。
  • stop: 生成を停止する文字列のリスト。
  • echo: プロンプトを結果に含めるかどうか。

__call__メソッドは、生成されたテキストを含む辞書を返す。output["choices"][0]["text"]で、生成されたテキストを取得できる。

5.4. パラメータの調整

テキスト生成の品質を向上させるために、様々なパラメータを調整することができる。

  • temperature: 生成されるテキストのランダム性を制御するパラメータ。高い値を指定するほど、より創造的なテキストが生成されるが、文法的に誤ったテキストが生成される可能性も高くなる。低い値を指定するほど、より保守的なテキストが生成される。
  • top_p: 次のトークンを選択する際に、確率の高いトークンの上位何パーセントを考慮するかを指定するパラメータ。低い値を指定するほど、より予測可能なテキストが生成される。
  • top_k: 次のトークンを選択する際に、確率の高いトークンの上位何個を考慮するかを指定するパラメータ。低い値を指定するほど、より予測可能なテキストが生成される。
  • repeat_penalty: 同じ単語やフレーズの繰り返しを抑制するパラメータ。

以下は、パラメータを調整した例である。

python
prompt = "AIとは？"
output = llm(
prompt,
max_tokens=100,
stop=["\n"],
echo=True,
temperature=0.7,
top_p=0.9,
repeat_penalty=1.1
)
print(output["choices"][0]["text"])

5.5. ストリーミング出力

生成されたテキストをリアルタイムでストリーミング出力することができる。これにより、ユーザーはテキストが生成される過程をリアルタイムで確認できる。

python
prompt = "AIの未来は？"
for output in llm(
prompt,
max_tokens=100,
stop=["\n"],
echo=True,
stream=True
):
print(output["choices"][0]["text"], end="")

stream=Trueを指定することで、llm関数はテキストのチャンクを生成するたびにoutputを返し、イテレーション処理で逐次的に出力される。

6. 実践的な応用例

llama-cpp-pythonは、様々なNLPタスクに適用することができる。以下に、いくつかの応用例を示す。

6.1. 文章生成

プロンプトを与えることで、様々な種類の文章を生成することができる。

python
prompt = "Pythonで簡単なWebアプリケーションを作成する方法を教えてください。"
output = llm(prompt, max_tokens=200, stop=["\n"])
print(output["choices"][0]["text"])

6.2. 質問応答

質問文を与えることで、回答を生成することができる。

python
prompt = "日本の首都はどこですか？"
output = llm(prompt, max_tokens=50, stop=["\n"])
print(output["choices"][0]["text"])

6.3. テキスト要約

長い文章を与えることで、要約文を生成することができる。

python
text = """
大規模言語モデル（LLM）は、自然言語処理（NLP）の分野で急速に発展しており、様々なタスクで優れた性能を発揮しています。LLMは、大量のテキストデータを学習することで、文章の生成、翻訳、要約、質問応答など、幅広いタスクをこなすことができます。
"""
prompt = f"以下の文章を要約してください。\n{text}"
output = llm(prompt, max_tokens=100, stop=["\n"])
print(output["choices"][0]["text"])

6.4. コード生成

プロンプトを与えることで、コードを生成することができる。

python
prompt = "Pythonでフィボナッチ数列を生成する関数を書いてください。"
output = llm(prompt, max_tokens=100, stop=["\n"])
print(output["choices"][0]["text"])

7. トラブルシューティング

llama-cpp-pythonの利用中に発生する可能性のある問題とその解決策を以下に示す。

  • ImportError: DLL load failed: 必要なDLLファイルが見つからない場合に発生する。llama-cpp-pythonのインストール時にC++コンパイラが必要となる場合がある。Visual Studio Build Toolsなどをインストールして、再度llama-cpp-pythonをインストールしてみる。
  • ValueError: Unsupported gguf file version: モデルファイルがllama-cpp-pythonでサポートされていない場合に発生する。最新バージョンのllama-cpp-pythonを使用するか、別のモデルファイルを試してみる。
  • OutOfMemoryError: モデルのロードやテキスト生成中にメモリが不足した場合に発生する。n_ctxパラメータの値を小さくするか、よりメモリ容量の大きいPCを使用する。
  • 生成されるテキストがおかしい: temperatureやtop_pなどのパラメータを調整することで、テキスト生成の品質を改善できる。

8. まとめ

本記事では、ローカルLLMであるLlamaを、llama-cpp-pythonを用いて実行する方法について、環境構築から実践的なテキスト生成まで、詳細に解説した。llama-cpp-pythonは、CPU上でLlamaを効率的に実行できるため、比較的低スペックなPCでも高品質なテキスト生成を行うことができる。

ローカルLLMは、データプライバシーの保護やオフラインでの利用など、様々なメリットがある。llama-cpp-pythonを活用することで、これらのメリットを享受しながら、様々なNLPタスクをこなすことができる。

今後の展望として、より高性能なローカルLLMが登場し、より手軽に利用できるようになることが期待される。また、ローカルLLMの微調整（ファインチューニング）技術が進化することで、特定のタスクに特化したモデルを簡単に作成できるようになることが期待される。

本記事が、ローカルLLMの世界への入門の一助となれば幸いである。

コメントする

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

上部へスクロール