Sea-thruについて - ご注文は進捗ですか？

ゐゑーーーーーーゐ！
今日読んだ記事について、面白かったのでご紹介。

このエントリのタイトルにある"Sea-thru"は今回紹介する記事に出てくるモデルのこと。

Sea-thruとは

ざっくりいうと、水中の写真において本来の色を再現するモデルのこと。フラッシュなどの人工的な光源を使わずに水中で写真を撮ると光の波長と水の光吸収率の影響で赤系の色は吸収されるため、全体的に青や緑系統の色合いの写真になる。*1
engineer and oceanographer のDerya Akkaynak 及びengineer Tali Treibitzはこの水中写真において本来の色が失われて青系統の色になってしまう"the visual distortion caused by water"を除去するモデルを作成した。実際に記事に再現前後のgifがあるのでみて欲しいが、モデルによって鮮やかな色彩が再現されていることがわかる。
記事中でも言及されているが、photoshopなどの加工ツールは全体的に赤系統の色を増やすことで「美しく見せる」が、このモデルは「本来の色」を再現することを目的としていることに注意。

原理

どのようにして本来の色を再現しているのか、論文abstract*2によると、大気中における光吸収率や光散乱を水中のそれと比較し分析することで色を再現している。水中の光吸収率や光散乱に関しては、

写真内の最も暗いピクセルと既知の距離を使って光の後方散乱を計算する
距離に依存する光の吸収率"the range-dependent attenuation coefficient"を得るために、多様な光源を推測する

という流れで得ているようだ。
そして1100枚以上の光学的に異なる2つの水域*3を使い、いずれの場合においてもSea-thruの方が大気中で撮られた写真の色の再現モデル（おそらく特定の場所で撮られた写真に対する色彩再現モデルではなく、一般的な色彩再現モデルのことを言っていると思われる）よりも良いパフォーマンスを出したとしている。つまり、Sea-thruは従来の（一般的な）色彩修正モデルよりも正確に水中の物体の色を再現したのだ。

最後に：RGBD images との関係

このモデルはRGBD imagesを使ったモデルである。調べてみてもいまいちピントはこなかった。コンピュータグラフィクスにおける色の表現にはRGBというものがあり、これはRed, Green, Blueという3原色の頭文字をとったものである。ここにカメラとオブジェクトの距離を表すdepth channelを加えた表現法がRGBDである。
Sea-thruは写真のピクセルや物体との距離を基に光吸収率や後方散乱などを計算するので深度チャネルは重要である。
幸いにして、どうやら距離情報は写真測量法photogrammetryという手法により既にある写真から得られるようなので、このモデルを使うにあたっての準備はそこまで大変にはならないそうだ。

*1:大阪大学理学研究科理学部Q＆A参照

*2:「Sea-Thru: A Method for Removing Water From Underwater Images」 openaccess.thecvf.com

*3:ここはどういう意味なのか分からなかったので、該当箇所をそのまま直訳した。原文は、>>Using more than 1,100 images from two optically different water bodies, which we make available, we show that our method outperforms those using the atmospheric model.<<となっている。