【決定版】llama-cpp-pythonのすべて：導入から実行まで徹底解説

近年、大規模言語モデル（LLM）が急速に進化し、私たちの生活や仕事に大きな変化をもたらしています。しかし、多くの高性能なLLMはクラウドベースのAPIとして提供されており、利用にはコストがかかったり、プライバシーの懸念があったりします。

そんな中、注目を集めているのが、コンシューマー向けのPC環境でも動作する軽量なLLM、そしてそれらを効率的に実行するための技術です。その代表格が、C++で実装された高速な推論エンジンであるllama.cpp、そしてそのPythonバインディングであるllama-cpp-pythonです。

この記事では、llama-cpp-pythonの導入から基本的な使い方、さらにGPU活用、量子化モデル、トラブルシューティング、パフォーマンス最適化まで、「すべて」を網羅的に、そして徹底的に解説します。ローカル環境で自分の手でLLMを動かしてみたい、というあなたのための決定版ガイドです。

1. llama-cpp-pythonとは？なぜ使うのか？

1.1 llama.cppとllama-cpp-pythonの関係

まず、llama-cpp-pythonの根幹をなすllama.cppについて説明します。

llama.cppは、Georgi Gerganov氏によって開発された、LLMの推論をC++で効率的に行うためのプロジェクトです。もともとはMetaのLlamaモデルをターゲットにしていましたが、現在ではMistral, Mixtral, Gemma, Qwen, Phi-2, StableLMなど、多くのオープンな大規模言語モデルをサポートしています。

llama.cppの最大の特徴は、CPU環境での実行に最適化されている点です。一般的なLLMの推論は大量の計算資源、特にGPUメモリを必要としますが、llama.cppはモデルの精度を犠牲にすることなく、量子化（Quantization）という技術を用いてモデルサイズと計算量を大幅に削減し、一般的なPCのCPUや内蔵GPUでも高速な推論を可能にしています。

一方、llama-cpp-pythonは、この高性能なllama.cppライブラリをPythonから簡単に利用できるようにするためのPythonバインディングです。Pythonは扱いやすく、豊富なライブラリエコシステム（データ処理、Webフレームワーク、UIツールキットなど）を持っているため、llama-cpp-pythonを使うことで、Pythonアプリケーションに手軽にLLMの推論機能を組み込むことができます。

1.2 llama-cpp-pythonを使うメリット

llama-cpp-pythonを使ってローカルでLLMを動かすことには、多くのメリットがあります。

プライバシーとセキュリティ: クラウドAPIとは異なり、データが外部に送信されることなく、すべてローカル環境で処理されます。機密性の高い情報を扱う場合や、プライバシーを重視する用途に適しています。
コスト削減: API利用料がかかりません。一度モデルをダウンロードすれば、インターネット接続がなくても推論が可能です。特に大量の推論を行う場合に、長期的に見ればコストを大幅に削減できます。
オフラインでの利用: インターネット接続がない環境でも動作します。
カスタマイズ性: モデルの読み込みパラメータ、推論パラメータ（温度、top_pなど）を細かく制御できます。
ハードウェア活用: CPUだけでなく、GPU（NVIDIA CUDA, AMD ROCm, Apple Metal）も活用して推論を高速化できます。比較的安価なコンシューマー向けGPUでも効果を発揮します。
学習と実験: LLMがどのように動作するのか、様々なモデルやパラメータを試しながら学習するのに最適です。
アプリケーションへの組み込み: Pythonスクリプトやアプリケーションに簡単に組み込み、LLMを活用した機能を追加できます。

1.3 どんなことができるの？

llama-cpp-pythonを使えば、以下のような様々なことができます。

テキスト生成: プロンプトに応じた文章、コード、詩などを生成します。
質問応答: 与えられたテキストや知識に基づいた質問に答えます。
要約: 長いテキストを短く要約します。
翻訳: ある言語から別の言語へ翻訳します（モデルの能力による）。
感情分析: テキストの感情を判定します。
コード生成/補完: プログラミングコードを生成したり、入力中のコードを補完したりします。
チャットボット: 対話形式でのやり取りが可能なチャットボットを実装します。
埋め込み（Embeddings）生成: テキストをベクトル表現に変換し、類似度検索などに利用します。

これらをすべてローカルのPython環境で実現できるのが、llama-cpp-pythonの大きな魅力です。

2. 導入準備：必要なもの

llama-cpp-pythonを導入する前に、いくつか準備が必要です。

2.1 必須環境

Python: バージョン3.8以上が推奨されます。Pythonがインストールされていない場合は、公式サイトからダウンロードしてインストールしてください。python --versionで確認できます。
pip: Pythonのパッケージ管理ツールです。Pythonをインストールする際に通常一緒にインストールされます。pip --versionで確認できます。
基本的なコマンドライン操作の知識: ターミナル（Linux/macOS）またはコマンドプロンプト/PowerShell（Windows）を使ってコマンドを実行する必要があります。

2.2 GPU活用する場合の追加要件

GPUを活用して推論を高速化したい場合は、以下のいずれかが必要です。

NVIDIA GPU: CUDA Toolkitがインストールされ、互換性のあるドライバがインストールされている必要があります。ドライバは最新版が推奨されます。CUDA Toolkitのバージョンは、llama.cppおよびllama-cpp-pythonの対応状況を確認してください。
AMD GPU: ROCmがインストールされ、互換性のあるドライバがインストールされている必要があります。対応しているOSやGPUはROCmの公式サイトを確認してください。
Apple Silicon (Mシリーズチップ): macOS Ventura以降で、Metalパフォーマンスシェーダーが利用可能な環境が必要です。特別なツールのインストールは通常不要ですが、OSバージョンは確認してください。

重要: GPU関連のツールキットやドライバは、llama-cpp-pythonをインストールする前に正しくインストール・設定しておくことが非常に重要です。これが不完全だと、GPUを使ったビルドが失敗したり、実行時にエラーが発生したりします。

2.3 ビルドツール（ソースからビルドする場合）

後述するインストール方法のうち、ソースコードから自分でビルドする場合は、以下のビルドツールが必要になることがあります。

CMake: ビルド設定を生成するために使用されます。
C++ コンパイラ:
- Windows: Visual Studio Build Tools (Desktop development with C++を選択してインストール)
- Linux: GCCまたはClang
- macOS: Xcode Command Line Tools (通常xcode-select --installでインストール可能)

ただし、多くの場合はpip installで配布されているバイナリパッケージを利用できるため、これらのツールは必須ではありません。特にGPUを利用しない場合や、一般的なGPU環境であれば、プリコンパイルされたパッケージで十分です。

3. llama-cpp-pythonのインストール方法

llama-cpp-pythonのインストールは、主にpipを使って行います。CPUのみで使うか、GPUを使うかでコマンドが異なります。

3.1 CPUのみでインストール（最も簡単）

GPUを使わず、CPUのみで推論を行う場合、これが最も簡単な方法です。

bash pip install llama-cpp-python

このコマンドで、llama.cppが内蔵されたllama-cpp-pythonのPythonパッケージがインストールされます。特別なビルドツールは不要です。

3.2 GPUを有効にしてインストール

GPU（NVIDIA CUDA, AMD ROCm, Apple Metal）を有効にしてインストールする場合、pipコマンドに特別なオプションを指定する必要があります。これにより、GPUをサポートするようにllama.cppがビルド（またはビルド済みのパッケージがダウンロード）されます。

注意: これらのオプションは、既に必要なGPUツールキットやドライバがシステムにインストールされていることを前提としています。

NVIDIA CUDAを使用する場合:

bash pip install llama-cpp-python[cuda] --extra-index-url https://jllllll.github.io/llama-cpp-python-cuBLAS-releases/wheels/cuBLAS/

または、特定のCUDAバージョンを指定したい場合（例: CUDA 12.1）：

bash pip install llama-cpp-python[cuda-12-1] --extra-index-url https://jllllll.github.io/llama-cpp-python-cuBLAS-releases/wheels/cuda-12-1/

--extra-index-urlで指定しているのは、cuBLAS（CUDAを使った線形代数ライブラリ）を有効にしたビルド済みホイールファイル（Pythonパッケージ）を提供している非公式のリポジトリです。公式のPyPIには、GPU対応ビルドは含まれていません（または限定的です）。この非公式リポジトリはコミュニティで広く使われています。使用するCUDAバージョンに合わせてURLを変更してください。最新の情報はjllllll/llama-cpp-python-cuBLAS-releasesを確認することをお勧めします。

また、環境によっては --no-cache-dir --force-reinstall --upgrade オプションを付けて、キャッシュをクリアし強制的に再インストール・アップグレードを行った方がうまくいくことがあります。

bash pip install --upgrade --force-reinstall --no-cache-dir llama-cpp-python[cuda] --extra-index-url https://jllllll.github.io/llama-cpp-python-cuBLAS-releases/wheels/cuBLAS/
AMD ROCmを使用する場合:

bash pip install llama-cpp-python[rocm]

または、特定のROCmバージョンを指定する場合（例: ROCm 5.7）：

bash pip install llama-cpp-python[rocm-5-7] --extra-index-url https://jllllll.github.io/llama-cpp-python-rocm-releases/wheels/rocm-5-7/

こちらもNVIDIAと同様に非公式リポジトリを利用することが一般的です。詳細はjllllll/llama-cpp-python-rocm-releasesを確認してください。
Apple Metalを使用する場合 (Apple Silicon Mac):

bash pip install llama-cpp-python[accelerate]

macOSのMetalフレームワーク（CPUとGPUの両方を活用する）を有効にします。これは通常、追加のリポジトリを指定する必要はありません。

3.3 ソースコードからビルドしてインストール（上級者向け）

より細かいビルドオプションを指定したい場合や、特定の環境でプリコンパイル済みパッケージが利用できない場合は、llama.cppのソースコードを取得し、自分でビルドしてインストールすることができます。

llama.cppリポジトリをクローンします。

bash git clone https://github.com/ggerganov/llama.cpp cd llama.cpp
必要なビルドオプションを指定してllama.cppをビルドします。これはお使いのOSや目的によってコマンドが異なります。例えば、GPU (CUDA) を有効にする場合は以下のように環境変数を設定してmakeを実行します。

“`bash

Linux/macOSの場合

export CMAKE_ARGS=”-DLLAMA_CUBLAS=on” # NVIDIA CUDAの場合

export CMAKE_ARGS=”-DLLAMA_HIPBLAS=on” # AMD ROCmの場合

export CMAKE_ARGS=”-DLLAMA_METAL=on” # Apple Metalの場合

export FORCE_CMAKE=1
make # または make -jN で並列ビルド
“`

“`bash

Windows (MSYS2, CygwinなどUnix-like環境) の場合も上記に準じますが、

Visual StudioコマンドプロンプトなどWindowsネイティブ環境の場合はCMakeを使ったビルドになります。

こちらはより複雑なため、llama.cppのリポジトリのBUILD.mdを参照してください。

“`
ビルドしたllama.cppを参照してllama-cpp-pythonをインストールします。

“`bash

llama.cpp ディレクトリ内で実行

pip install .
“`

GPUを有効にしてビルドした場合は、対応するllama-cpp-pythonの機能フラグも指定する必要があります。

“`bash

例: CUDAを有効にした場合

pip install .[cuda]

例: Metalを有効にした場合

pip install .[accelerate]
“`

この方法は最も柔軟ですが、ビルド環境の構築やトラブルシューティングがやや複雑になる可能性があります。特別な理由がない限り、まずは3.1または3.2のpipインストールを試すことをお勧めします。

3.4 インストール確認

インストールが完了したら、Pythonのインタラクティブシェルなどで正しくインポートできるか確認します。

python import llama_cpp print(llama_cpp.__version__)

エラーなくバージョンが表示されれば、インストールは成功です。GPU対応でインストールした場合は、次にモデルをロードする際にGPUが認識されるか確認します。

4. モデルの準備：GGUF形式と量子化

llama-cpp-pythonで使用できるモデルは、llama.cppがサポートする形式であるGGUF（GGML Unified Format）ファイルです。また、GGUFファイルは様々な量子化（Quantization）レベルで提供されます。

4.1 GGUF形式とは

GGUFは、llama.cppのために開発された、LLMのモデルパラメータやメタデータを格納するためのファイル形式です。以前はGGML形式が使われていましたが、GGUFはより柔軟で拡張性が高く、チャットテンプレートなどの追加情報も保持できるようになっています。

GGUF形式のファイルは、通常 .gguf という拡張子を持っています。例えば、some_model-Q4_K_M.gguf のようなファイル名になります。

4.2 量子化（Quantization）とは

大規模言語モデルは、数十億から数千億のパラメータを持っており、これらのパラメータは通常、高い精度（例: 16ビット浮動小数点数 FP16）で保存されています。これによりモデルの精度は高くなりますが、ファイルサイズが非常に大きくなり、推論には大量のメモリ（特にGPUメモリ）と計算能力が必要になります。

量子化は、モデルパラメータの精度を意図的に下げる（例: FP16から4ビット整数 INT4へ）ことで、モデルサイズとメモリ使用量を削減し、計算を高速化する技術です。

精度	説明	サイズ/速度	精度
FP16	通常の学習精度（16ビット浮動小数点数）	最大/遅い	最高
INT8	8ビット整数	中程度/速い	FP16に近い
INT4	4ビット整数	最小/最速	低下する可能性あり

GGUF形式では、様々なレベルの量子化がサポートされています。ファイル名に含まれることが多い Q4_0, Q4_K_M, Q5_0, Q5_K_M, Q8_0 などがそれにあたります。

Q4_0: 最も基本的な4ビット量子化。ファイルサイズは最小だが、精度低下が顕著な場合がある。
Q4_K_M: Q4_0よりも洗練された4ビット量子化。精度低下を抑えつつ、ファイルサイズを小さく保つ。バランスが良いとされ、よく使われる。
Q5_0: 5ビット量子化。Q4_0より大きく精度は高い。
Q5_K_M: Q5_0よりも洗練された5ビット量子化。Q4_K_Mより大きく精度は高い。
Q8_0: 8ビット量子化。ファイルサイズは大きいが、精度低下はほとんどない。

一般的に、数字が大きいほどファイルサイズが大きくメモリを多く消費しますが、精度が高くなります。末尾に _K_M が付くものは、より新しい量子化手法で、同じビット数でも精度を保ちやすい傾向があります。

どの量子化モデルを選ぶべきか？

これはお使いのハードウェア（特にメモリ容量）と、求められる応答の質によって異なります。

メモリが少ない環境 (例: VRAM数GB以下): Q4_K_M や Q5_K_M あたりから試すのがおすすめです。これらのモデルは、サイズが小さく、比較的少ないメモリでも動作しやすいためです。
メモリが多い環境 (例: VRAM 10GB以上): Q5_K_M, Q8_0、あるいは量子化されていないFP16（ただしファイルサイズは最大）なども選択肢に入ります。より高精度な応答が期待できます。
まずは試したい: まずは多くの場合でバランスが良いとされる Q4_K_M を試してみるのが良いでしょう。

複数の量子化レベルのモデルをダウンロードして、自分の環境で実際に試してみるのが最適です。

4.3 GGUFモデルの入手方法

GGUF形式のモデルは、主にHugging Faceのウェブサイトで公開されています。

Hugging Faceにアクセス: https://huggingface.co/ にアクセスします。
モデルを検索: 興味のあるモデル名（例: Mistral-7B, Llama-2-7B, Japanese-Stable-LM など）で検索します。
GGUFファイルを探す: モデルのリポジトリページを開き、「Files and versions」（ファイルとバージョン）タブをクリックします。
ファイルリストの中から、拡張子が .gguf のファイルを探します。通常、ファイル名に量子化レベル（例: Q4_K_M）が含まれています。
目的の .gguf ファイルを見つけたら、ダウンロードボタンをクリックしてダウンロードします。

注意点:

モデルのリポジトリによっては、公式ではなく、コミュニティメンバー（例: TheBloke氏など）が様々な量子化レベルのGGUFファイルを提供している場合があります。コミュニティメンバーの提供するモデルは非常に豊富ですが、利用規約や信頼性を確認してください。
ダウンロードするファイルは数GBから数十GBになることがあります。十分なディスク容量とネットワーク帯域が必要です。

ダウンロードした .gguf ファイルは、任意の場所に保存しておきます。後の手順でこのファイルのパスを指定してモデルを読み込みます。

Hugging Faceのhuggingface_hubライブラリを使うと、Pythonコードからモデルファイルをダウンロードすることも可能です。

“`python
from huggingface_hub import hf_hub_download

model_name = “TheBloke/Mistral-7B-Instruct-v0.2-GGUF”
model_file = “mistral-7b-instruct-v0.2.Q4_K_M.gguf”

model_path = hf_hub_download(repo_id=model_name, filename=model_file)
print(f”Model downloaded to: {model_path}”)
“`

5. llama-cpp-pythonの基本的な使い方

モデルファイルの準備ができたら、いよいよllama-cpp-pythonを使ってモデルをロードし、テキストを生成してみましょう。

5.1 モデルのロード

モデルをロードするには、llama_cpp.Llama クラスのインスタンスを作成します。このとき、ダウンロードしたGGUFファイルのパスを指定します。

“`python
from llama_cpp import Llama

ダウンロードしたGGUFモデルファイルのパスを指定

model_path = “./path/to/your/model.gguf” # 実際のファイルパスに置き換えてください

Llamaインスタンスを作成し、モデルをロード

gpu_layers: GPUにオフロードするレイヤー数を指定

-1: 全てのレイヤーを可能な限りGPUにオフロード（推奨設定）

0: GPUを使用せずCPUのみを使用

N (正の整数): 最初のN個のレイヤーをGPUにオフロード

llm = Llama(
model_path=model_path,
n_gpu_layers=-1, # 例: 可能なら全てGPUにオフロード
n_ctx=2048, # コンテキストウィンドウサイズ (モデルに合わせて調整)
n_batch=512, # バッチサイズ (GPU使用時にパフォーマンスに影響)
verbose=True # モデルロード時のログを表示
)

print(“モデルのロードが完了しました。”)
“`

`Llama` クラスの主なパラメータ

model_path (str): ロードするGGUFモデルファイルのパス。必須。
n_gpu_layers (int): GPUにオフロードするモデルレイヤー数。
- -1: 全てのレイヤーを可能な限りGPUにオフロードします。通常、GPUメモリが十分にあればこれが最も高速です。
- 0: GPUを使用せず、CPUのみで推論を行います。GPUがない環境や、GPUメモリが不足する場合に設定します。
- N (>0): モデルの最初のN個のレイヤーをGPUにオフロードし、残りをCPUで処理します。GPUメモリとモデルサイズのバランスを取るために調整できます。
n_ctx (int): コンテキストウィンドウのサイズ（トークン数）。モデルが一度に処理できる入力と出力の合計の長さを決定します。多くのモデルは4096や8192などの固定値を持っていますが、llama.cppはそれ以上のコンテキストを扱うための機能（例: RoPE scaling）もサポートしています。基本的にはモデルが訓練された最大コンテキストサイズ以上の値を指定しても意味がないことが多いですが、llama.cpp側の機能を使いたい場合は調整します。指定しない場合はモデルのメタデータから自動検出されます。
n_batch (int): プロンプト処理などのバッチサイズ。一度に処理するトークン数を指定します。GPUを使用する場合、この値を大きくするとスループットが向上することがありますが、VRAM消費も増えます。CPUのみの場合はあまり大きな効果はありません。
embedding (bool): 埋め込みモデルとしてロードするかどうか。テキスト生成ではなく、テキスト埋め込みベクトルを取得したい場合にTrueに設定します。詳細は後述。
verbose (bool): モデルロード時や推論時に詳細なログを表示するかどうか。トラブルシューティング時に役立ちます。

n_gpu_layersを-1以外に設定する場合、使用するモデルのレイヤー総数を知っておくと調整しやすいです。モデルの詳細は通常、Hugging Faceのリポジトリなどで確認できます。

モデルのロードには、モデルサイズやハードウェア性能に応じて数十秒から数分かかることがあります。verbose=Trueにしておくと、ロードの進行状況や、どのレイヤーがCPU/GPUに配置されたかなどの情報が表示されます。特にGPUが正しく使われているか確認する上で重要です。

“`

verbose=True の場合のログ出力例

…
llm_load_vocab: missing meta data in model, using default vocab
llm_load_model_from_file: n_gpu_layers = 999
llm_load_model_from_file: n_batch = 512
llm_load_model_from_file: n_ctx = 2048
…
ggml_metal_init: allocating
ggml_metal_init: using device 0 (Apple M1 Pro)
ggml_metal_init: picking default device
ggml_metal_init: default device: Apple M1 Pro
ggml_metal_init: max memory allocated = 8037 MB
ggml_metal_init: SIMD width = 32
ggml_metal_init: number of command buffers = 16
ggml_metal_init: recommended max parallel = 1
ggml_metal_init: parallel_size = 1
ggml_metal_init:
llama_model_load_internal: format = GGUF V3
llama_model_load_internal: arch = llama
llama_model_load_internal: n_vocab = 32000
llama_model_load_internal: n_ctx = 2048
…
llama_model_load_internal: n_gpu_layers = 35 # 実際にGPUにロードされたレイヤー数
llama_model_load_internal: offloading 35 repeating layers to GPU
…
“`

上記の例では、n_gpu_layersを-1（実質999）に指定しましたが、モデルの総レイヤー数が35だったため、35レイヤーがGPUにオフロードされたことがログからわかります。n_gpu_layers = 0と指定した場合、offloading 0 repeating layers to GPU と表示されるはずです。

5.2 テキストの生成

モデルをロードしたら、インスタンスを呼び出すようにプロンプトを渡すことでテキストを生成できます。

“`python

プロンプトを指定

prompt = “日本の首都は？”

テキスト生成を実行

chat() メソッドを使う場合は後述

output = llm(
prompt,
max_tokens=256, # 生成する最大トークン数
temperature=0.8, # 生成のランダム性 (0.0で決定論的、1.0でより多様に)
top_p=0.9, # 上位p%の確率のトークンからサンプリング
top_k=50, # 確率上位k個のトークンからサンプリング
repeat_penalty=1.1 # 同じフレーズを繰り返さないようにするペナルティ
# その他のパラメータは後述
)

生成結果の取得

generated_text = output[‘choices’][0][‘text’]

print(“生成結果:”)
print(generated_text)

生成に関わった情報も取得可能

print(output) # 全体の出力構造を確認

“`

`call` (テキスト生成) メソッドの主なパラメータ

Llamaインスタンスを呼び出す際に指定できる主なパラメータは、テキスト生成の振る舞いを制御します。

prompt (str or list of int): 入力プロンプト。文字列またはトークンIDのリストで指定。
suffix (str or list of int, optional): プロンプトに続くサフィックス。コード補完などで役立つ。
max_tokens (int, optional): 生成する最大トークン数。指定しない場合はコンテキストウィンドウの残りの全てを使用します（無限ではありません）。
temperature (float, optional): 生成のランダム性を制御します。値が大きいほど多様で創造的なテキストになりやすいですが、無意味な出力が増える可能性もあります。0に近づけると、より決定論的で「最も確からしい」テキストが出力されます。
top_p (float, optional): 上位確率累積p％のトークンの中からサンプリングします。top_kと組み合わせて使われることが多いです。
top_k (int, optional): 確率が上位k個のトークンの中からサンプリングします。
repeat_penalty (float, optional): 既に生成されたトークンと同じトークンが再度出現する確率にペナルティをかけます。1.0でペナルティなし。1.0より大きい値でペナルティが強まり、同じフレーズの繰り返しを防ぎます。
presence_penalty (float, optional): 既に生成されたトークンが再度出現するかどうか自体にペナルティをかけます（出現回数に関わらず）。
frequency_penalty (float, optional): 既に生成されたトークンの出現回数に応じてペナルティをかけます。
mirostat_mode (int, optional): Mirostatサンプリングを使用するかどうか。0: 無効, 1: Mirostat 1.0, 2: Mirostat 2.0。temperature, top_p, top_kとは異なるサンプリング手法です。
mirostat_tau (float, optional): Mirostatターゲットエンタピー。
mirostat_eta (float, optional): Mirostat学習率。
stop (str or list of str, optional): 生成を停止する文字列または文字列のリスト。例えば、会話モデルで相手の応答が始まったら停止したい場合などに指定します。
stream (bool, optional): 結果をストリーミングで受け取るかどうか。後述。
echo (bool, optional): 出力にプロンプトを含めるかどうか。
seed (int, optional): 乱数シード。同じシードと同じパラメータであれば、常に同じ結果が得られます。

これらのパラメータを調整することで、モデルの応答のスタイルや特性を変化させることができます。

5.3 ストリーミング出力

長いテキストを生成する場合、結果がすべて揃うまで待つのではなく、生成されたトークンから順に受け取って表示したいことがあります。これはチャットボットなど、対話型アプリケーションで特に重要です。llama-cpp-pythonはストリーミング出力をサポートしています。

テキスト生成時に stream=True を指定すると、メソッドは結果を直接返す代わりに、イテレータを返します。このイテレータをループ処理することで、生成されるトークンをリアルタイムに受け取ることができます。

“`python
from llama_cpp import Llama

model_path = “./path/to/your/model.gguf” # 実際のファイルパスに置き換えてください

llm = Llama(
model_path=model_path,
n_gpu_layers=-1,
n_ctx=2048,
)

prompt = “昔々あるところに、”

print(“生成結果 (ストリーミング):”)

stream = llm(
prompt,
max_tokens=100,
temperature=0.7,
stream=True # ここでTrueを指定
)

ストリームからトークンを順に受け取る

for output in stream:
# 各出力はディクショナリ形式
token = output[‘choices’][0][‘text’]
print(token, end=”, flush=True) # トークンを表示（改行なし）

print(“\n\nストリーミング終了。”)
“`

flush=True を指定することで、トークンが生成されるたびにすぐに画面に表示され、インタラクティブな体験を提供できます。

6. より高度な使い方

llama-cpp-pythonは、基本的なテキスト生成以外にも様々な機能を提供しています。

6.1 チャットインターフェース (`chat()` メソッド)

最近の多くのLLMは、特定のチャットテンプレート（ChatML, Llama 2 Chat, Alpacaなど）に沿って訓練されています。これは、システムメッセージ、ユーザー入力、アシスタント応答などを特定のタグや形式で区切ることで、モデルが会話の文脈を正しく理解できるようにするためです。

llama-cpp-pythonの chat() メソッドは、これらのチャットテンプレートを自動的（または手動で指定）に適用し、より自然な対話を実現します。

chat() メソッドは、対話の履歴をロール（役割、例: system, user, assistant）とコンテンツ（メッセージ本文）のリストとして受け取ります。

“`python
from llama_cpp import Llama

model_path = “./path/to/your/model.gguf” # 実際のファイルパスに置き換えてください

llm = Llama(
model_path=model_path,
n_gpu_layers=-1,
n_ctx=4096, # チャット履歴が長くなる可能性を考慮してコンテキストを広めに
verbose=True
)

対話履歴をリストで定義

messages = [
{“role”: “system”, “content”: “あなたは親切なAIアシスタントです。”},
{“role”: “user”, “content”: “日本の首都について教えてください。”}
]

chat() メソッドで対話を実行

テキスト生成と同様のパラメータを指定可能

response = llm.chat(
messages,
max_tokens=256,
temperature=0.7,
stop=[“ユーザー:”, “Assistant:”] # 必要に応じて停止文字列を指定
)

生成結果の取得

chat() の出力構造は call() と少し異なります

assistant_response = response[‘choices’][0][‘message’][‘content’]

print(“AIアシスタント:”, assistant_response)

対話を続ける場合

messages.append({“role”: “assistant”, “content”: assistant_response})
messages.append({“role”: “user”, “content”: “東京以外に知っている日本の都市はありますか？”})

response_next = llm.chat(messages, max_tokens=256, temperature=0.7)
assistant_response_next = response_next[‘choices’][0][‘message’][‘content’]

print(“AIアシスタント:”, assistant_response_next)
“`

chat() メソッドを使うことで、プロンプトを手動でテンプレート形式に整形する手間が省け、より簡単にチャットボットを構築できます。llama-cpp-pythonは、ロードしたモデルのGGUFメタデータにチャットテンプレート情報が含まれていれば、それを自動的に使用します。もし含まれていない場合や、別のテンプレートを使いたい場合は、chat() メソッドに chat_format パラメータを指定することも可能です。

6.2 埋め込み（Embeddings）の生成

テキストをベクトル表現（埋め込みベクトル）に変換する機能は、テキスト検索、文書分類、類似度計算などのアプリケーションで非常に重要です。llama-cpp-pythonは、一部のモデル（特に埋め込みタスク向けに訓練されたモデル）でこの機能をサポートしています。

埋め込みモデルとしてロードするには、Llama インスタンス作成時に embedding=True を指定します。その後、create_embedding() メソッドを使用します。

“`python
from llama_cpp import Llama

埋め込みタスクに対応したモデルを選択

例: BAAI/bge-small-ja-v1.5 などのGGUFバージョン

Hugging Faceで「embedding GGUF」などで検索

embedding_model_path = “./path/to/your/embedding_model.gguf”

embedding=True でロード

llm_embed = Llama(
model_path=embedding_model_path,
n_gpu_layers=-1, # GPU活用
embedding=True, # 埋め込みモデルとしてロード
verbose=True
)

埋め込みを生成したいテキスト

text1 = “これは最初のテキストです。”
text2 = “これは2番目の文章です。”
text3 = “全く関係ない内容のテキスト。”

create_embedding() メソッドで埋め込みベクトルを生成

embedding1 = llm_embed.create_embedding(text1)
embedding2 = llm_embed.create_embedding(text2)
embedding3 = llm_embed.create_embedding(text3)

print(“テキスト1の埋め込みベクトル:”, embedding1)
print(“テキスト2の埋め込みベクトル:”, embedding2)
print(“テキスト3の埋め込みベクトル:”, embedding3)

埋め込みベクトルの形状を確認

print(“埋め込みベクトルのサイズ:”, len(embedding1))

必要に応じて、ベクトル間の類似度（例: コサイン類似度）を計算

NumPyなどのライブラリが便利

import numpy as np

def cosine_similarity(vec_a, vec_b):
return np.dot(vec_a, vec_b) / (np.linalg.norm(vec_a) * np.linalg.norm(vec_b))

sim1_2 = cosine_similarity(embedding1, embedding2)
sim1_3 = cosine_similarity(embedding1, embedding3)

print(f”テキスト1と2の類似度: {sim1_2:.4f}”) # 似ているはず
print(f”テキスト1と3の類似度: {sim1_3:.4f}”) # 似ていないはず
“`

重要な注意点: すべてのGGUFモデルが埋め込み生成に対応しているわけではありません。埋め込みタスク向けに訓練され、GGUF形式で提供されているモデルを使用する必要があります。モデルのリポジトリの説明を確認してください。

6.3 LangChainやLlamaIndexとの連携

llama-cpp-pythonは、LangChainやLlamaIndexといったLLMアプリケーション開発フレームワークから利用するための統合機能が提供されています。これらのフレームワークを使うと、RAG（Retrieval Augmented Generation、外部知識検索に基づく生成）システムやエージェントなど、より複雑なアプリケーションを容易に構築できます。

LangChainとの連携 (例)

LangChainのLlamaCppクラスを使ってllama-cpp-pythonモデルをロードできます。

“`python

LangChain と llama-cpp-python をインストール

pip install langchain langchain_community llama-cpp-python

from langchain_community.llms import LlamaCpp
from langchain_core.prompts import PromptTemplate

llama-cpp-python の Llama クラスと同様に初期化パラメータを指定

llm = LlamaCpp(
model_path=”./path/to/your/model.gguf”,
n_gpu_layers=-1,
n_ctx=4096,
temperature=0.7,
max_tokens=500,
verbose=True,
streaming=True # ストリーミングもサポート
)

LangChain の PromptTemplate を使ってプロンプトを作成

template = “””質問にだけ答えてください。

質問: {question}

回答:”””

prompt = PromptTemplate.from_template(template)

Chain を作成して実行

chain = prompt | llm

question = “フランスの首都はどこですか？”

ストリーミングで実行する場合

for chunk in chain.stream({“question”: question}):
print(chunk, end=””, flush=True)

print(“\n完了”)

通常実行の場合

print(chain.invoke({“question”: question}))

“`

LangChainを使うことで、プロンプトエンジニアリング、外部ツールとの連携、メモリ管理などを抽象化して扱うことができます。

LlamaIndexとの連携 (例)

LlamaIndexは、カスタムデータを取り込んでLLMに質問応答させる（RAG）ことに特化したフレームワークです。llama-cpp-pythonモデルをLlamaIndexのLLMとして利用できます。

“`python

LlamaIndex と llama-cpp-python をインストール

pip install llama-index llama-cpp-python

from llama_index.llms import LlamaCPP
from llama_index.llms.llama_cpp.llama_utils import (
messages_to_prompt,
completion_to_prompt,
)

llama-cpp-python の Llama クラスと同様に初期化パラメータを指定

LlamaIndex では chat_format や messages_to_prompt/completion_to_prompt が重要

llm = LlamaCPP(
# model_url=model_url, # URLからダウンロードする場合
model_path=”./path/to/your/model.gguf”,
temperature=0.1,
max_new_tokens=500,
# llama.cpp は chat_completion API もサポートしており、
# LlamaIndex はこれを利用するために message_to_prompt や completion_to_prompt が必要
messages_to_prompt=messages_to_prompt,
completion_to_prompt=completion_to_prompt,
model_kwargs={“n_gpu_layers”: -1, “n_ctx”: 4096}, # その他の llama_cpp パラメータ
verbose=True,
)

LlamaIndex のインデックスを作成し、質問応答を行う例（省略）

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader(“./data”).load_data()

index = VectorStoreIndex.from_documents(documents, llm=llm) # llm を指定

query_engine = index.as_query_engine()

response = query_engine.query(“あなたのデータに関する質問”)

print(response)

または、単純なテキスト生成として利用

response = llm.complete(“日本の首都は？”)
print(response)
“`

LlamaIndexを使うことで、PDFファイルやウェブサイトなどの非構造化データを取り込み、それを元にした高度な質問応答システムを簡単に構築できます。

7. トラブルシューティング：よくある問題と解決策

llama-cpp-pythonの導入や実行時には、様々な問題に遭遇することがあります。ここでは、よくある問題とその解決策を解説します。

7.1 インストール時のエラー

コンパイラ関連のエラー (GCC not found, cl.exe not foundなど):
- GPU対応など、ソースコードからビルドしようとしている場合に発生しやすいです。必要なビルドツール（C++コンパイラ、CMake）がインストールされていないか、パスが通っていない可能性があります。OSに応じたC++開発環境をセットアップしてください。
- 簡単なCPUのみのインストール (pip install llama-cpp-python) で試してみてください。これはビルドツール不要です。
GPU関連ライブラリのエラー (CUDA, cuBLAS, HIPblasなど):
- 指定したGPUオプションに対応するツールキット（CUDA Toolkit, ROCm）やドライバが正しくインストールされていない、またはバージョンが合っていない可能性が高いです。
- GPUメーカーの公式サイトから最新のドライバと、llama.cppがサポートするバージョンのツールキットをインストールしてください。
- pip installコマンドの --extra-index-url が正しいか、URL先のホイールファイルがシステム環境（Pythonバージョン、OS、アーキテクチャ、CUDA/ROCmバージョン）と互換性があるか確認してください。
- インストールコマンドに --no-cache-dir --force-reinstall --upgrade を追加して試してください。
pip install がタイムアウトする/ダウンロードが遅い:
- ネットワーク接続の問題か、ダウンロードしようとしているファイル（特に大きなホイールファイル）が大きい可能性があります。安定したネットワーク環境で再度試すか、ダウンロードマネージャーなどを使える場合は検討してください（pipの機能ではありません）。

7.2 モデルロード時のエラー

OSError: [Errno...] No such file or directory: './path/to/your/model.gguf':
- 指定した model_path が間違っています。GGUFファイルがその場所に存在するか、ファイル名が正しいか確認してください。相対パスの場合は、スクリプトを実行しているディレクトリからの相対位置が正しいか確認します。
llama_model_load_internal: format version not supported / llama_model_load_internal: unknown model arch:
- 使用しているllama-cpp-python（またはその内蔵llama.cpp）のバージョンが、ロードしようとしているGGUFファイルのバージョンまたはモデルアーキテクチャをサポートしていない可能性があります。pip install --upgrade llama-cpp-python[...] で最新版にアップグレードしてみてください。
Failed to allocate VRAM / Out of memory:
- GPUメモリ(VRAM)が不足しています。ロードしようとしているモデルが大きすぎるか、n_gpu_layersの設定が高すぎる可能性があります。
- より小さな量子化レベルのモデル（例: Q8_0 -> Q4_K_M）を使用してください。
- n_gpu_layers の値を減らすか、0 に設定してCPUのみで実行してください。
- 他のGPUメモリを使用しているアプリケーション（ゲーム、ウェブブラウザ、他のAIツールなど）を閉じてください。
ggml_metal_init: failed to find suitable device (macOS Metal):
- macOSのバージョンが古いか、Apple Siliconチップでない環境でMetalオプションを指定している可能性があります。
- OSをアップデートするか、Metalオプション ([accelerate]) なしでインストールしてください。
ROCm/HIP error:
- ROCmのインストールまたは設定に問題がある可能性があります。ROCmのドキュメントを参照し、インストールが完了しているか、環境変数などが正しく設定されているか確認してください。

7.3 推論時のエラーまたは異常な出力

Exception: The prompt size exceeds the context window size.:
- 入力プロンプト（および過去のチャット履歴）のトークン数が、モデルロード時に指定した n_ctx の値を超えています。
- プロンプトを短くするか、モデルロード時に n_ctx をより大きな値で指定してください（ただし、モデルがそのコンテキストサイズで訓練されている必要があります）。
出力が無限に繰り返される/意味不明なテキストになる:
- 推論パラメータ（temperature, top_p, top_k, repeat_penaltyなど）が適切でない可能性があります。
- temperature を 0.7 や 0.8 などに設定してみてください。
- repeat_penalty を 1.1 や 1.2 などに設定してみてください。
- モデルのチャットテンプレートが正しく適用されていない可能性があります。chat() メソッドを使用するか、手動でプロンプトをモデルが期待する形式に整形してください。
ストリーミング (stream=True) で何も出力されない:
- max_tokens が小さすぎる可能性があります。max_tokens を増やしてみてください。
- 停止文字列 (stop パラメータ) が意図せずすぐにマッチしてしまっている可能性があります。
GPUを使っているはずなのに遅い/ログでGPUオフロード数が少ない:
- n_gpu_layers が 0 になっているか、GPUメモリが不足して指定したレイヤー数をオフロードできていない可能性があります（verboseログを確認）。
- GPU対応で正しくビルド/インストールされていない可能性があります。インストール手順を見直してください。
- GPUドライバが古い、またはCUDA/ROCmツールキットのバージョンがllama.cppと互換性がない可能性があります。
Pythonのバージョンや環境の問題:
- 仮想環境（venv, condaなど）を使用することをお勧めします。これにより、他のPythonプロジェクトとの依存関係の衝突を防ぐことができます。

8. パフォーマンス最適化のヒント

llama-cpp-pythonを使った推論のパフォーマンスは、ハードウェア構成、モデルの量子化レベル、そしてllama.cppのビルドオプションや実行時パラメータに大きく依存します。パフォーマンスを最大化するためのヒントをいくつか紹介します。

適切な量子化モデルの選択:
- 最も効果的なのは、お使いのハードウェア（特にVRAM容量）に合った量子化レベルのモデルを選択することです。一般的には、より低いビット数の量子化モデル（例: Q4_K_M）ほど高速ですが、精度とのトレードオフになります。いくつかの量子化レベルを試して、最適なバランスを見つけてください。
GPUの活用:
- 可能な限りGPU（NVIDIA, AMD, Apple Metal）を活用してください。n_gpu_layers=-1 を指定し、ログで実際に多くのレイヤーがGPUにオフロードされていることを確認します。
- GPUメモリが不足する場合は、n_gpu_layers の値を調整して、オフロードできる最大のレイヤー数を試してみてください。部分的なオフロードでも、CPUのみの場合より高速になることが多いです。
正しいGPU対応ビルド/インストール:
- GPU対応のインストール（3.2節参照）が正しく行われていることが前提です。pip install llama-cpp-python[cuda] のように、対応するオプションを指定しているか確認してください。
n_batch パラメータの調整 (主にGPU):
- GPUを使用している場合、n_batch パラメータを増やすと、特に長いプロンプトや複数のシーケンスを並列処理する際にスループットが向上する可能性があります。ただし、n_batch を大きくしすぎるとVRAMが不足することがあります。VRAM使用量とパフォーマンスを監視しながら、最適な値を見つけてください。CPUのみの場合は、このパラメータの効果は限定的です。
CPUの活用 (GPUがない場合や部分オフロード時):
- llama.cppはCPU推論も非常に高速です。CPUのみで実行する場合は、n_threads パラメータ（Llama インスタンス作成時または推論時）で利用するCPUコア数を指定できます。通常は物理コア数に近い値を指定すると効果的ですが、環境によって最適な値は異なります。デフォルトは自動検出ですが、明示的に指定することも可能です。
コンテキストサイズ (n_ctx) の最適化:
- 必要以上に大きな n_ctx を設定しないでください。コンテキストが大きくなると、それだけでメモリ使用量が増え、推論速度が低下する可能性があります。使用するアプリケーションに必要な最小限のコンテキストサイズに設定します。
ハードウェア環境の整備:
- 高性能なCPUや、大容量かつ高速なメモリ（RAM）、そして最も重要なVRAMを持つGPUは、推論パフォーマンスに直結します。可能であれば、より高性能なハードウェアを使用することが最大の最適化になり得ます。
- SSDを使用すると、モデルファイルのロード時間が短縮されます。

これらのヒントを参考に、お使いの環境で最も効率的な推論設定を見つけてみてください。

9. 限界と今後の展望

9.1 llama-cpp-pythonの限界

llama-cpp-pythonは非常に強力で柔軟ですが、万能ではありません。いくつかの限界も存在します。

訓練には不向き: llama-cpp-pythonは基本的に推論に特化しており、モデルのファインチューニングやゼロからの訓練には適していません。訓練を行いたい場合は、PyTorch, TensorFlow, JAXなどのフレームワークや、Hugging Face Transformersなどのライブラリを使用する必要があります。
GGUF形式への依存: llama-cpp-pythonはllama.cppをバックエンドとしているため、基本的にGGUF形式のモデルが必要です。他の形式（例: PyTorchの.pthファイル、TensorFlowのSavedModelなど）のモデルを直接ロードすることはできません。これらのモデルを使うには、一度GGUF形式に変換する必要があります（llama.cppのツールやコミュニティツールを利用）。
llama.cppの進化への追随: llama.cppプロジェクトは非常に活発に開発が進んでおり、新しいモデルアーキテクチャのサポートやパフォーマンス改善が頻繁に行われます。llama-cpp-pythonはllama.cppの特定のバージョンに依存するため、最新のllama.cppの機能をすぐに利用できない場合や、互換性の問題が発生する可能性もあります。
大規模モデルや高精度モデルの限界: どんなに最適化されていても、数千億パラメータといった非常に大きなモデルや、量子化されていない高精度モデルをコンシューマー向けハードウェアで動かすのは依然として困難です。

9.2 今後の展望

llama.cppおよびllama-cpp-pythonは、今後もさらに進化していくと予想されます。

新しいモデルアーキテクチャへの対応: 続々と登場する新しいオープンモデル（例: MoEモデルなど）への対応が進むでしょう。
さらなるパフォーマンス最適化: CPU、GPU、その他のアクセラレータ（例: NPU）に対するさらなる最適化が進み、より高速で効率的な推論が可能になるでしょう。
量子化手法の進化: より精度を保ったまま、より低いビット数でモデルを表現する量子化手法が開発される可能性があります。
機能の拡充: マルチモーダル対応（画像入力など）、エージェント機能のサポートなど、より多様なAIタスクへの対応が進むかもしれません。
コミュニティの成長: 活発なコミュニティにより、新しいツール、量子化モデル、アプリケーション例などがどんどん生まれるでしょう。

10. まとめと次のステップ

この記事では、llama-cpp-pythonの導入から基本的な使い方、GPU活用、モデルの選択（量子化とGGUF）、高度な機能（チャット、埋め込み、フレームワーク連携）、そしてトラブルシューティングやパフォーマンス最適化まで、徹底的に解説しました。

llama-cpp-pythonを使うことで、手元のPCで手軽にLLMを動かし、その強力な機能をローカルで、プライバシーを保ちながら利用できることがお分かりいただけたかと思います。

これで、あなたはローカルLLMの世界への第一歩を踏み出しました。

次のステップとして、以下のようなことに挑戦してみてください。

異なる量子化レベルのモデルを試す: Q4_K_Mだけでなく、Q5_K_MやQ8_0などを試して、お使いの環境での速度と精度のバランスを比較してみてください。
様々なモデルアーキテクチャを試す: Mistral, Gemma, Japanese Stable LMなど、様々なベースモデルのGGUF版を試して、それぞれの特性や得意なタスクを比較してみてください。
生成パラメータを色々調整する: temperature, top_p, top_k などを変えて、モデルの応答がどのように変化するか実験してみてください。
ストリーミング出力を使った簡単なチャットボットを作る: コマンドラインや簡単なGUI（例: Streamlit, Gradio）を使って、ユーザー入力に応答するチャットボットを実装してみましょう。
埋め込み機能を使って何か作る: テキスト間の類似度計算、簡単な質問応答システム（RAGの原型）など、埋め込みを活用したアプリケーションを考えてみましょう。
LangChainやLlamaIndexと連携させてみる: これらのフレームワークのチュートリアルなどを参考に、より高度なLLMアプリケーション開発に挑戦してみてください。
llama.cppおよびllama-cpp-pythonのGitHubリポジトリをチェックする: 最新の情報、新しい機能、コミュニティの活動などを追うことで、さらに理解を深めることができます。

ローカルLLMの世界は非常に奥深く、日々進化しています。この記事が、あなたのllama-cpp-pythonを使ったAI開発や探求の旅の強力な一助となれば幸いです。

さあ、あなたのPCでAIの力を解き放ちましょう！

【決定版】llama-cpp-pythonのすべて：導入から実行まで徹底解説

1. llama-cpp-pythonとは？ なぜ使うのか？

1.1 llama.cppとllama-cpp-pythonの関係

1.2 llama-cpp-pythonを使うメリット

1.3 どんなことができるの？

2. 導入準備：必要なもの

2.1 必須環境

2.2 GPU活用する場合の追加要件

2.3 ビルドツール（ソースからビルドする場合）

3. llama-cpp-pythonのインストール方法

3.1 CPUのみでインストール（最も簡単）

3.2 GPUを有効にしてインストール

3.3 ソースコードからビルドしてインストール（上級者向け）

Linux/macOSの場合

export CMAKE_ARGS=”-DLLAMA_HIPBLAS=on” # AMD ROCmの場合

export CMAKE_ARGS=”-DLLAMA_METAL=on” # Apple Metalの場合

Windows (MSYS2, CygwinなどUnix-like環境) の場合も上記に準じますが、

Visual StudioコマンドプロンプトなどWindowsネイティブ環境の場合はCMakeを使ったビルドになります。

こちらはより複雑なため、llama.cppのリポジトリのBUILD.mdを参照してください。

llama.cpp ディレクトリ内で実行

例: CUDAを有効にした場合

例: Metalを有効にした場合

3.4 インストール確認

4. モデルの準備：GGUF形式と量子化

4.1 GGUF形式とは

4.2 量子化（Quantization）とは

4.3 GGUFモデルの入手方法

5. llama-cpp-pythonの基本的な使い方

5.1 モデルのロード

ダウンロードしたGGUFモデルファイルのパスを指定

Llamaインスタンスを作成し、モデルをロード

gpu_layers: GPUにオフロードするレイヤー数を指定

-1: 全てのレイヤーを可能な限りGPUにオフロード（推奨設定）

0: GPUを使用せずCPUのみを使用

N (正の整数): 最初のN個のレイヤーをGPUにオフロード

Llama クラスの主なパラメータ

verbose=True の場合のログ出力例

5.2 テキストの生成

プロンプトを指定

テキスト生成を実行

chat() メソッドを使う場合は後述

生成結果の取得

生成に関わった情報も取得可能

print(output) # 全体の出力構造を確認

__call__ (テキスト生成) メソッドの主なパラメータ

5.3 ストリーミング出力

ストリームからトークンを順に受け取る

6. より高度な使い方

6.1 チャットインターフェース (chat() メソッド)

対話履歴をリストで定義

chat() メソッドで対話を実行

テキスト生成と同様のパラメータを指定可能

生成結果の取得

chat() の出力構造は call() と少し異なります

対話を続ける場合

6.2 埋め込み（Embeddings）の生成

埋め込みタスクに対応したモデルを選択

例: BAAI/bge-small-ja-v1.5 などのGGUFバージョン

Hugging Faceで「embedding GGUF」などで検索

embedding=True でロード

埋め込みを生成したいテキスト

create_embedding() メソッドで埋め込みベクトルを生成

埋め込みベクトルの形状を確認

必要に応じて、ベクトル間の類似度（例: コサイン類似度）を計算

NumPyなどのライブラリが便利

6.3 LangChainやLlamaIndexとの連携

LangChainとの連携 (例)

LangChain と llama-cpp-python をインストール

pip install langchain langchain_community llama-cpp-python

llama-cpp-python の Llama クラスと同様に初期化パラメータを指定

LangChain の PromptTemplate を使ってプロンプトを作成

Chain を作成して実行

ストリーミングで実行する場合

通常実行の場合

print(chain.invoke({“question”: question}))

LlamaIndexとの連携 (例)

LlamaIndex と llama-cpp-python をインストール

pip install llama-index llama-cpp-python

llama-cpp-python の Llama クラスと同様に初期化パラメータを指定

LlamaIndex では chat_format や messages_to_prompt/completion_to_prompt が重要

1. llama-cpp-pythonとは？なぜ使うのか？

`Llama` クラスの主なパラメータ

`call` (テキスト生成) メソッドの主なパラメータ

6.1 チャットインターフェース (`chat()` メソッド)

コメントする返信をキャンセル