【2024年最新】Novel View Synthesis技術の動向と主要論文まとめ

1. はじめに：現実世界をデジタルに再構築する技術

Novel View Synthesis (NVS) は、ある物体やシーンを撮影した複数枚の画像から、未撮影の新しい視点からの画像を生成する技術です。この技術は、私たちの物理世界をデジタル空間に忠実に再構築し、自由な視点から探索することを可能にします。その応用範囲は、3Dコンテンツ制作、バーチャルリアリティ(VR)・拡張現実(AR)、ロボティクス、デジタルツイン、文化遺産のデジタルアーカイブなど、多岐にわたります。

コンピュータビジョンとグラフィックスの分野で長年研究されてきたNVSですが、2020年に登場したNeural Radiance Fields (NeRF) は、その品質と表現力を劇的に向上させ、一大研究ブームを巻き起こしました。そして2023年、3D Gaussian Splatting という新たな技術が発表され、NeRFが築いたパラダイムを塗り替えるほどの衝撃を与えました。リアルタイム性能と高品質を両立させたこの技術の登場により、NVSは新たなフェーズへと突入しています。

本記事では、2024年現在のNVS技術の最新動向を、技術的な背景から詳細に解説します。まず、革命の始まりであるNeRFの基本原理とその後の進化を概観します。次に、現在の主流となりつつある3D Gaussian Splattingの仕組みと、それがもたらしたインパクトを深く掘り下げます。さらに、これらの技術を基盤とした最新の研究動向、主要技術の比較、そして今後の展望までを網羅的にまとめます。

2. NVS技術の基礎：NeRFの登場とインパクト

NVSの歴史は古く、Image-Based Rendering (IBR) や Structure-from-Motion (SfM) と Multi-View Stereo (MVS) を組み合わせた手法などが存在しました。しかし、これらの古典的な手法は、光の反射や半透明な物体の表現に限界がありました。

2.1. Neural Radiance Fields (NeRF) の革命

2020年にECCVで発表された論文 “NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis” (Mildenhall et al., 2020) は、この状況を一変させました。NeRFは、シーンの幾何形状と見た目を、一つのニューラルネットワーク（具体的には多層パーセプトロン、MLP）で表現するという画期的なアイデアを提案しました。

NeRFの基本原理
NeRFの核心は、3次元空間のあらゆる点における「光の放射（Radiance）」をモデル化することにあります。

入力: NeRFのモデル（MLP）は、3次元座標 (x, y, z) と視線方向 (θ, φ) を入力として受け取ります。
表現: このMLPは、入力された座標と視線方向に対して、その点の色（RGB）と密度（σ、その点がどれだけ光を遮るか）を出力します。視線方向を入力に含めることで、見る角度によって色が変わる鏡面反射のような現象も表現できます。
レンダリング: 新しい視点からの画像を生成するには、その視点のカメラから各ピクセルに向かって光線（レイ）を飛ばします。そして、そのレイに沿って多数の点をサンプリングし、各サンプリング点においてMLPを使って色と密度を問い合わせます。最後に、古典的なボリュームレンダリングの手法を用いて、これらの点の色と密度をレイに沿って積分し、最終的なピクセルの色を決定します。
学習: 学習プロセスは非常にシンプルです。既知の視点（入力画像）からレンダリングした画像と、実際の入力画像とのピクセル単位での色の差（二乗誤差）を計算し、この誤差が最小になるようにMLPの重みを最適化します。

NeRFがもたらしたブレークスルー
NeRFは、従来手法では困難だった複雑な形状、細かいディテール、半透明な物質、複雑な光の反射などを、驚くほど高い忠実度で再現することに成功しました。メッシュやボクセルといった明示的なデータ構造を持たず、連続的な関数（ニューラルネットワーク）でシーンを表現する「暗黙的表現（Implicit Representation）」の強力さを示しました。

NeRFの課題
革命的であった一方、初代NeRFにはいくつかの大きな課題がありました。
* 速度: 各ピクセルの色を計算するために、レイに沿って数百回のMLPの計算が必要であり、学習（数日）とレンダリング（1フレームに数秒〜数分）が非常に遅い。
* データ要件: 高品質な結果を得るには、通常、数十枚から百枚以上の、カメラポーズが正確に推定された入力画像を必要とする。
* 静的シーン: モデルは静的なシーンを前提としており、人や物が動く動的なシーンには対応できない。

これらの課題を克服するため、2021年から2023年にかけて膨大な数の後続研究が生まれました。

3. NeRF以降の進化と主要な研究動向 (2021-2023)

NeRFの課題を解決する研究は、主に「高速化」「データ効率の向上」「動的シーンへの対応」「大規模シーンへの拡張」という4つの方向に分かれて進展しました。

3.1. 高速化 (Speed)

NeRFの速度問題を解決するため、計算コストの高いMLPへの問い合わせ回数を減らすアプローチが主流となりました。これは、計算結果をキャッシュする明示的なデータ構造（Voxel Gridなど）を導入することで実現されました。

Plenoxels (Yu et al., 2021): MLPを完全に排除し、シーンをVoxel Gridで表現。各ボクセルには密度と球面調和関数(SH)係数（様々な方向からの色を表現）を直接格納し、最適化します。これにより、リアルタイムに近いレンダリングと高速な学習を実現しました。
Instant-NGP (Müller et al., 2022): NVIDIAから発表され、大きなインパクトを与えた技術です。シーンを表現するためにマルチ解像度ハッシュエンコーディングという新しい入力エンコーディング手法を提案しました。これは、異なる解像度の特徴グリッドをハッシュテーブルで効率的に保持するもので、非常に小さなMLPと組み合わせることで、メモリ効率を保ちつつ高品質な表現を可能にします。その結果、わずか数分での学習完了とリアルタイムレンダリングを達成し、NeRFの高速化におけるデファクトスタンダードの一つとなりました。

3.2. データ効率の向上 (Few-shot NVS)

数枚の画像からでもNVSを可能にするため、事前知識を活用する研究が進みました。

PixelNeRF (Yu et al., 2021): 単一または少数の画像からNeRFを構築する手法。画像からCNN（畳み込みニューラルネットワーク）を用いてピクセルごとの特徴量を抽出し、それを条件としてNeRFのMLPに入力することで、学習データにないシーンへの汎化性能を高めました。
DietNeRF (Jain et al., 2021): 画像とテキストの意味的な関連性を学習した大規模モデルCLIPを活用。レンダリングした異なる視点の画像が、意味的に一貫している（例えば、どちらも「犬の正面からの写真」として認識される）ように正則化をかけることで、少ない画像からでももっともらしい結果を生成します。

3.3. 動的シーンへの対応 (Dynamic NVS)

人や物が動くシーンを扱うために、時間という次元をモデルに組み込む研究が行われました。

D-NeRF (Pumarola et al., 2021): 時間 t を追加の入力とする「変形フィールド（Deformation Field）」を導入。各3D点は、この変形フィールドによって時間ごとに移動します。これにより、物体の動きを捉えた4D表現が可能になりました。
HyperNeRF (Park et al., 2021): シーンのトポロジーが変化するような、より複雑な動き（例：ボールが跳ねて潰れる）に対応するため、高次元の潜在空間（ハイパー空間）上でシーンを表現するアプローチを取りました。

3.4. 大規模・無制限シーンへの拡張 (Large-scale/Unbounded Scenes)

NeRFはもともとオブジェクト中心の限定された空間を想定していましたが、街全体のような広大な空間を扱うための研究も進みました。

Block-NeRF (Tancik et al., 2022): Googleが発表した、都市規模の広大なシーンを扱うための手法。シーンを複数の「ブロック」に分割し、各ブロックを個別のNeRFでモデル化します。ユーザーの視点に応じて必要なブロックのNeRFを動的にロードすることで、広大な環境を効率的にレンダリングします。
Mip-NeRF 360 (Barron et al., 2022): NeRFにおけるエイリアシング（ギザギザやぼやけ）の問題を解決したMip-NeRFを、360度の無制限なシーンに対応させたものです。特殊な座標圧縮とオンラインでの蒸留を用いることで、前景のディテールと遠景の品質を両立させ、屋外シーンのNVSにおける品質基準を大幅に引き上げました。

4. 2024年の最新トレンド：Gaussian Splattingの衝撃

NeRFとその派生技術がNVS研究を牽引してきましたが、2023年のSIGGRAPHで発表された論文 “3D Gaussian Splatting for Real-Time Radiance Field Rendering” (Kerbl et al., 2023) は、新たなパラダイムシフトをもたらしました。この技術は、NeRFの「暗黙的表現」とは対照的な「明示的表現」に分類され、品質、学習速度、レンダリング速度のすべてにおいて既存手法を凌駕する性能を示しました。

4.1. 3D Gaussian Splatting (3DGS) の基本原理

3DGSは、シーンをニューラルネットワークではなく、無数の3Dガウシアン（三次元正規分布）の集合で表現します。それぞれのガウシアンは、シーン内の一つの「色のついた粒子」のようなものと考えることができます。

各ガウシアンが持つパラメータ:
* 位置 (Position): 3D空間内の中心座標 (x, y, z)。
* 形状 (Covariance): ガウシアンの形と向きを定義する3×3の共分散行列。これは、スケール（大きさ）と回転（向き）のパラメータとして保持されます。これにより、細長い板状や平たい円盤状など、様々な形状を表現できます。
* 色 (Color): RGB値。NeRFと同様に球面調和関数(SH)を用いて、見る角度によって色が変わる効果も表現可能です。
* 不透明度 (Opacity): α値。ガウシアンがどれだけ光を透過させないかを表します。

レンダリングプロセス:
3DGSのレンダリングは、NeRFのレイマーチングとは全く異なります。GPUのラスタライゼーションパイプラインと非常に相性の良い、高速なプロセスです。

射影 (Splatting): 観測したいカメラ視点から、すべての3Dガウシアンを2Dの画像平面に射影します。これにより、3Dの楕円体が2Dの楕円（ガウシアン）になります。
ソーティング: ピクセルごとに、そのピクセルに重なるすべての2Dガウシアンを深度（奥行き）順に並べ替えます。
合成 (Alpha Blending): ソートされた順に、手前のガウシアンから奥のガウシアンへと、それぞれの色と不透明度を用いて色を合成していきます。これにより、最終的なピクセルの色が決定されます。

学習プロセスと適応的密度制御:
学習はNeRFと同様に、レンダリング画像と入力画像の差を最小化することで行われます。3DGSのレンダリングパイプラインは全体が微分可能であるため、勾配降下法によって全ガウシアンのパラメータ（位置、形状、色、不透明度）を最適化できます。

3DGSの高品質を実現する鍵は、適応的密度制御 (Adaptive Density Control) です。学習中に、シーンの表現が不十分な領域（誤差が大きい領域）ではガウシアンを複製 (clone) または 分割 (split) して密度を高め、逆に冗長な領域（ほぼ透明なガウシアンなど）では削除 (prune) します。これにより、最初は粗い点群からスタートしても、最終的にはシーンの形状を効率的かつ詳細に表現するガウシアンの集合を自動的に獲得できます。

4.2. Gaussian Splattingの利点とインパクト

超高速レンダリング: レイマーチングやニューラルネットワークの評価が不要なため、レンダリングが極めて高速です。一般的なゲーミングPCで、高解像度（1080p）の画像をリアルタイム（30fps以上、しばしば100fpsを超える）で生成できます。これはVR/AR応用にとって決定的な利点です。
高速な学習: 学習速度もInstant-NGPに匹敵、あるいはそれ以上です。一般的なシーンであれば、30分〜1時間程度で高品質なモデルの学習が完了します。
最高レベルの品質: NeRFベースの手法、特にMip-NeRF 360が達成していた品質を多くのベンチマークで上回りました。特に、シャープなエッジや高周波なディテールの再現性に優れています。

4.3. Gaussian Splattingの課題

一方で、3DGSにもいくつかの課題が存在します。
* ストレージサイズ: シーンを表現するために数百万個のガウシアンを保存する必要があり、そのパラメータを含めるとファイルサイズが数百MBから数GBに達することがあります。NeRFモデル（数MB〜数十MB）と比較して大きい点が欠点です。
* アーティファクト: 明示的な表現であるため、「浮遊物（floater）」と呼ばれる、何もない空間にぼんやりとしたガウシアンが残るアーティファクトが発生しやすい傾向があります。
* 編集の難しさ: ガウシアンの集合は直感的な編集が難しく、物理シミュレーションなどとの統合は、連続的な関数であるNeRFの方が有利な側面もあります。

5. Gaussian Splatting以降の発展と2024年の注目研究

3DGSの登場以降、研究コミュニティの関心は急速にGSベースの拡張へとシフトしました。2024年現在、以下のような方向性で活発な研究が進められています。

動的シーンへの拡張 (Dynamic GS): D-NeRFのように、時間経過に伴うガウシアンの動きをモデル化する研究が多数登場しています。“Dynamic 3D Gaussians” (Luiten et al., 2023) や “4D Gaussian Splatting” (Wu et al., 2023) といった研究では、各ガウシアンに時間依存の変形モデルを適用することで、リアルタイムで高品質な動的シーンのレンダリングを可能にしています。
編集・制御 (Editing & Control): GSの集合を直接操作する研究も盛んです。“GaussianEditor” (Chen et al., 2023) や “GaussianFlow” (Guo et al., 2023) は、ユーザーが指定した領域のガウシアンを移動させたり、形状や色を変更したりするインタラクティブな編集手法を提案しています。また、言語指示による編集（例：「車を赤くして」）も有望な研究分野です。
圧縮と効率化 (Compression & Efficiency): 大きなストレージサイズの問題を解決するため、ガウシアンのパラメータを圧縮する研究が進んでいます。ベクトル量子化(VQ)や低ランク分解などの技術を用いて、品質をあまり損なわずにファイルサイズを1/10以下に削減する試みが行われています。
SLAMとの統合 (GS-SLAM): ロボットが自己位置推定と環境地図作成を同時に行うSLAM技術にGSを統合する研究です。リアルタイムで高忠実度な3D環境マップをGSとして構築することで、ロボットのナビゲーションやAR表示の精度を向上させます。“Gaussian-SLAM” (Keetha et al., 2023) などが代表例です。
生成モデルとの融合 (Generative Models): 単一画像やテキストから3Dシーンを生成するタスクにおいても、GSは強力な表現手法として注目されています。“DreamGaussian” (Tang et al., 2023) は、単一の入力画像からわずか数分でテクスチャ付きの3Dモデル（GS表現）を生成する高速な手法を提案しました。また、“LucidDreamer” (Chung et al., 2024) のような研究は、テキストプロンプトから高品質な3Dシーンを生成するためにGSを活用しています。

6. 主要技術の比較まとめ

これまでの主要なNVS技術を比較すると、その特性の違いが明確になります。

技術名	表現方法	学習速度	レンダリング速度	品質	メモリ使用量	主な特徴
NeRF (初代)	暗黙的 (MLP)	遅い (数日)	非常に遅い	高い	小さい	NVSの品質を飛躍的に向上させた革命的技術
Instant-NGP	ハイブリッド	非常に速い	リアルタイム	非常に高い	中程度	ハッシュエンコーディングによる超高速学習・レンダリング
Mip-NeRF 360	暗黙的 (MLP)	遅い	遅い	最高レベル	小さい	360度無制限シーンでのアンチエイリアシングに強い
3D Gaussian Splatting	明示的 (ガウシアン)	非常に速い	超高速（リアルタイム）	最高レベル	大きい	品質・速度の両面で現行の最高峰。新たなパラダイム

7. 今後の展望と課題

NVS技術は、Gaussian Splattingの登場により、新たな黄金期を迎えています。今後の研究は、以下の方向へ進むと考えられます。

表現のハイブリッド化: NeRFの持つ連続性やトポロジーの柔軟性といった「暗黙的表現」の利点と、Gaussian Splattingの持つレンダリング速度やディテール表現力といった「明示的表現」の利点を融合した、新しいハイブリッド表現が登場するでしょう。例えば、シーンの主要な表面をGSで、雰囲気や半透明な効果を小さなNeRFで補完する、といったアプローチが考えられます。
物理ベースな世界の実現: 現在のNVSは主に「見た目」を再現しますが、今後は材質（マテリアル）や光源（ライティング）といった物理的な特性を分離してモデル化する研究が重要になります。これにより、シーンの再ライティング（光源の位置や色を変える）や、物理シミュレーションとのより深い統合が可能になります。
インタラクティブな世界モデルへ: NVSは単なる視点合成ツールに留まりません。将来的には、ロボットが世界を理解し、操作するための「世界モデル」そのものへと進化していくでしょう。リアルタイムで更新可能、かつ物理法則に従うインタラクティブなデジタルツインの基盤技術として、その重要性はますます高まります。
生成AIとのさらなる融合: テキストや画像、音声など、あらゆるモダリティから3D世界を自動生成する技術は、今後も発展が期待される分野です。GSのような効率的な3D表現は、これらの生成AIの出力先として最適な選択肢の一つであり、誰もが簡単に3Dコンテンツを創造できる未来を加速させるでしょう。

一方で、一般化性能の向上（学習データにない物体やシーンへの対応）、編集・制御の直感性、そして偽情報の生成といった倫理的課題への対策も、技術が社会に普及する上で乗り越えるべき重要な課題であり続けます。

8. まとめ

本記事では、2024年最新のNovel View Synthesis技術の動向を、NeRFの登場からその後の進化、そして現在の主流である3D Gaussian Splattingまで、詳細に解説しました。

2020年のNeRFが「高品質なNVS」の扉を開き、その後の多くの研究が速度や適用範囲といった課題を解決してきました。そして2023年、3D Gaussian Splattingがリアルタイム性能と最高レベルの品質を両立させるというブレークスルーを達成し、研究と応用の両面でパラダイムシフトを引き起こしました。

現在、NVS技術はGSを基盤とした動的シーン対応、編集、圧縮、SLAM統合、生成モデルとの融合など、多岐にわたる研究が爆発的に進展しています。この技術は、VR/AR、エンターテインメント、ロボティクスといった分野に計り知れないインパクトを与えるポテンシャルを秘めており、物理世界とデジタル世界の境界を融解させる核心的なテクノロジーとして、今後も私たちの未来を形作っていくことでしょう。