インターネットには大量の類似画像が存在するため、従来の画像検索の実現は難しくなる。
　近年、ディープラーニングによる画像検索は、画像の高レベルの特徴量まで抽出できるため、ますます注意を集める。識別率、正解率などの性能から見ると、ディープラーニングによる画像検索は従来のアルゴリズムを超えているが、検索効率には、まだ改善の余地がある。そこで既存のディープラーニングモデルを改良し、優れる方法を考慮することは本研究の研究方向である。

4K, 8K放送を始めとする画像・映像の高精細化，高品質化に伴い，コンテンツ制作者としては，ユーザがどこに関心があるかを事前に把握しておくことが大変重要である．実際に，コンテンツ制作者が意図している場合とユーザが意図している場合とでは異なる．また，ヒトによる主観的な評価とコンピュータによる客観的な評価でも異なる．それゆえに，視覚的注意の観点から，どこに着目しているのかという視覚情報を事前に取得可能な画像情報システムの開発とその検証をしていく必要がある．本論文では，3DCG画像の物体領域，背景領域のどこに関心領域があるかを顕著性マップにおける確率的モデルの観点から推定し，定量的な評価及び考察を行った．

点群圧縮は3次元センシング応用技術を実用化するための必須技術である．動き補償と占有予測に基づく従来のフレーム間幾何符号化手法は，フレーム内符号化手法に比べて優れた圧縮性能を達成する．しかし，この手法は正確な動き補償の後であっても，現フレームの点群と参照フレームの点群の間の幾何的誤差によって圧縮性能が制限される．本稿では，この幾何的誤差に対処するために，参照フレームにおける点の拡張手法を提案する．提案手法は測域センサの光線方向によって点を分類し，その分類毎に構築されたオフセット集合を用いて点を生成する．評価実験では，提案手法は従来のフレーム間幾何符号化手法に比べて3.29%優れた圧縮性能を達成した．

ニューラルネットワーク（NN）の普及に伴い，その圧縮符号化が必要不可欠である．しかしながら，NNの構造は極めて複雑であり，特に全結合NNはノード間の関係を表す重みが膨大な情報量を持つため，圧縮が困難である．そこで，NNに対してリッチフローの適用を考える．一般に，リッチフローは多様体を単純な幾何構造に分解できるため，離散的な多様体として解釈できるグラフも単純なサブグラフに分解できる．本研究では，リッチフローを用いて全結合NNをサブグラフに分解し，各サブグラフに属する重みを分析・理解することで，効率的なNNの圧縮符号化を目指す．

近年，野球スポーツにおいて捕手の技術の1つにフレーミングがある．フレーミングとはストライクゾーンの境界線付近の投球や，ストライクゾーンを僅かに外れている投球をミットや体を僅かに動かすことで審判にストライクと判定させる捕球技術のことである．一般的にその計測は，投球の軌道を追跡するトラッキングシステムによりフレーミング技術の評価が行われているが，捕手の捕球技術を評価するための計測技術は確立されていない．そこで本研究では，映像処理によって目視に頼らないフレーミング技術の評価を行うための映像自動抽出システムを開発することを目的とする．

近年、競技スポーツにおいて映像分析が重要視されている。バドミントン日本代表においても、選手のフォームチェックや対戦相手の分析等に用いられているが、バドミントンのショット検出は、ソフトウェアを用いた手動入力が一般的である。そこで、バドミントンの競技映像からショットの自動検出を行うことを目的とする。本研究では、選手のフットワーク軌跡に着目したショット推定手法を提案する。選手は、ショット後にホームポジションへ移動するフットワーク特性を利用し、ショットの自動検出を行う。

近年のテレビ番組ではVTR映像等に小窓で出演者の顔映像等を合成表示するワイプ演出が広く利用されている。この演出を動画配信に適用し、ユーザ操作に応じたスムーズな小窓映像の切り替えを可能とする配信方式を提案した。提案方式は、小窓表示する複数の映像に加え、それらを縮小して連結したサムネイル映像を配信側に用意する。視聴端末では、小窓映像の切り替え操作に応じたストリームを受信し再生可能となるまでの間は、サムネイル映像の該当領域を拡大表示して映像を補完することで操作レスポンスの向上を図ると共に、深層学習を用いた超解像処理を適用し品質劣化を抑制する。本方式をWebアプリとして実装し、性能評価を行ったので報告する。

エッジ(境界線)にぼかし領域がある場合に, エッジの両側の領域全体に対して, 濃度の濃い側の濃度が下がり, 濃度の薄い側の濃度が上がることでコントラストの低下を生じさせる現象が報告されている. 更に, エッジボケが引き起こすコントラスト低下を軽減する手法として, エッジボケ抑制線（Edge Blur Suppression line : EBS-line）を挿入する方法が提案されている. また, 水墨画の技法には輪郭線を描く技法と輪郭線を描かない技法が存在する. 本研究では, 水墨画画像にエッジボケ抑制線を入れることで, 輪郭線の有無による水墨画技法の印象変化, 濃度変化を見ることを目的とし, 評価実験を行う. その結果をもとに, エッジボケ抑制線による印象変化と濃度変化について考察する.

近年3D映画やVR等両眼視差を用いるコンテンツが増えている．これらは立体視により奥行き感と臨場感を実現している．このような3D表現の品質向上においては，経験上記憶されている奥行きの記憶情報と両眼視差との整合性をとることが必須である．これまでに情報量と視差を考慮した主観的評価実験によって，それらの違いがもたらす奥行き感や違和感の影響について述べている．そこで本研究ではオブジェクトの離散的な配置及びスケールの違いと奥行き知覚との関係性を求める．「奥行感」と「違和感」の評価項目に対して，情報量の異なる正視画像と逆視画像（左右の画像を入れ替えて提示）を用いて評価実験を行った．

近年、電子署名はインターネットなどの通信において秘匿性を保証するために広く利用されている。本研究では署名を施した後でも正規の変更者は文書に変更を加えることができるSanitizable Signatureを画像認証に応用する方法を提案する。この方法は、入力画像に対して人物検出を行って変更可能範囲と不可能範囲を自動的に設定し、それぞれに署名を付与する。画像データにphash(perceptual hash)を使って再圧縮に対する耐性を持たせた。変更者は署名後でも変更可能範囲を加工することができる。この機能を有した署名、変更、検証を行うプログラムを実装した。さらに、このプログラムを用いて多様な画像の検証を行い、ほとんどの画像に対して正しく動作することを確認した。

防犯ビデオ上のナンバープレート数字は，画素数が少なく，目視での識別は難し
い．これまでに，低解像度ナンバープレート数字の識別を行う研究として，モー
メント特徴量を使うものやPCAによる固有画像を使うものがある．本研究では，
SparsePCAを用いた固有画像を利用することにより，識別の向上を目指している．

近年，自動車のフロントガラスに注意喚起などを映し出す技術の開発が進められている．その発展への寄与を目的として，これまで，発表者らは，混合エキスパート型モデルに基づいた運転手注視点予測のための動的顕著性マップ構築法の研究を進めてきた．また，その検証に用いるために，様々な運転状況における車載カメラ動画像を3DCGにより再現できるシミュレータも試作してきた．本発表では，発表者らの動的顕著性マップ構築法に対する改善点などを抽出することを目的として，同試作シミュレータを用いて幾つかの運転状況における車載カメラ動画像を再現し，再現した車載カメラ動画像を用いて前述の動的顕著性マップ構築法の検証実験を実施する．

運転支援技術の一つにフロントガラスに注意喚起を表示する技術がある．このような技術の発展に寄与することを最終的な目標として，発表者らのグループでは，運転手注視線予測のための動的顕著性マップ構築法の研究を進めてきた．本発表では，同構築法による動的顕著性マップを用いて，歩行者や対向車などの対象物体に対する運転手の目の行きやすさを定量評価する手法を検討する．なお，本手法では，対象物体の映る画像領域内における正規化後の動的顕著性マップの積分値を算出し，それを定量評価値とする．また，発表者らのグループで試作してきた車載カメラ動画像シミュレータにより再現した動画像を用いて，本手法の初期的検証も行う．

半導体などの製造工程で用いられる画像処理には高速性が求められる。これに対して、視界を限定し処理範囲を削減することにより処理時間を小さくする手法がある。Mnihらは、このような方法で手書き文字を認識するための注視点制御の手法を提案した。本研究では、注視点を動かして複数の物体を検出する機械学習の方法を提案する。一度見つけた物体を消す方法と、見つけた物体をマークして区別する2つの方法を検討した。縦横10ピクセルの領域から特定のパターンを2つ見つける問題に対して従来の技術よりも早く目標の物体を見つけることができた。

計算機が扱える有限の精度で幾何学計算をするとき，丸め誤差による破綻が生じる．それに対して，有限精度の世界における公理系の成り立つ幾何学の構築が計算幾何学において重要なテーマの一つとなっている．本研究ではそのような整合的な半直線 (Consistent Digital Rays; CDR) を半曲線群に拡張したものに対し，対応するユークリッド線分をどの程度よく表しているかをHausdorff距離により評価し，discrepancy theoryで知られる結果を援用することでその理論的上界を改善するものである．また，それを達成するCDRを正の確率で構成するアルゴリズムも提案する．

CG,ＣAD分野では、従来曲線や曲面の処理に関して、交差や変形処理および描画法の研究が多くなされている。本稿では、曲線・曲面間の隙間（ギャップ、クリアランス）の計算法について論じる。この計算は物体の配置・整理・アセンブリや衝突を含むアニメーションなどに有効である。筆者は既に有理ベジエ曲面のレイトレーシング、曲線同士の交差、平面と曲面との距離、曲線と点の距離の計算に有効なベジエクリッピン法の応用について提案してる。n次ベジエ曲線と点との最短距離は2n-1次式を解くことになり、有理曲線なら3n-1次式を解く必要がある｡このように高次多項式を解く必要がある｡有理曲線間の最短距離検出はさらに複雑となる。提案法ではBezier clipping法を適用し、曲線を再帰分割し、線形計算のみの利用の効率いい計算法について提案する。基本的に高次多項式でありながらインタラクティブに曲線処理をできる方法である。この方法は円/球と曲線/曲面間の衝突判定にも有効な方法である。

ホログラフィを電子化した技術（電子ホログラフィ）は，「究極の三次元テレビ」となるものと考えられている．しかし，使用する計算機合成ホログラム（CGH）は計算量が多く，未だ実用化されていない．この問題を打開する方法として，著者らはマルチGPUクラスタによるリアルタイム電子ホログラフィを提案している．本手法では，CGHをリアルタイム計算することを可能とするが，三次元モデルの陰面処理は事前に行っている．三次元テレビを実現するには，再生する三次元物体の陰面処理もリアルタイムに行われなければならない．本研究では，NVIDIA GeForce RTX 3080を用い，パストレーシングによる陰面処理とCGHのリアルタイム計算について検討する．

ARコンテンツの仮想物体のレンダリングにおいて、実物体との光学的な整合性を高めることは、重畳表示される仮想物体の実在感の向上に繋がる。本研究では、光学的整合性を向上させる要素として重要な「影」に注目し、実光源の移動に伴って変化する実影との整合性を維持した仮想影を描画するARシステムをUnity/Vuforiaを用いて開発した。本システムでは、形状が既知の不透明な実物体を実光源で照らして生成される実影をカメラで撮影し、実物体の3次元形状とその影形状の対応付けを実時間で行い、光の直進性をもとに光源位置推定を行う。実物体の表面に仮想物体の影を落とし込むことや、逆に仮想物体の表面に実物体の影を落とすことも可能である。

実空間に溶け込む仮想オブジェクトの描画においては、鏡面反射を生じる実物体に対する仮想オブジェクトの映りこみの処理が必要である。本研究では、複数の鏡面が存在する実空間における仮想オブジェクトの光学的整合性の実現を目的に、遮蔽物によるオクルージョンを考慮した複数の鏡面への映りこみを表現するARシステムをUnity/Vuforiaをプラットフォームに用いて開発した。本システムでは鏡面上に貼り付けられたマーカを用いて仮想オブジェクトを座標変換させることで鏡面への映りこみを実現しているが、合わせ鏡の映りこみにおける多重反射計算のレイテンシーを低減することで、鏡の位置関係の動的変化に対する追従性を高めている。

本研究は書道などの筆記動作を9軸IMUとおよび深度センサを用いて計測することで実際の筆記具を手書き入力デバイスとして利用可能な手法の実現を目指している。加速度・ジャイロ・方位を示すセンサから構成される9軸IMUを筆記具に取り付けることで筆記中の筆記具の姿勢を計測する。また深度センサを搭載したUSBカメラを用いて位置を計測する。求められた姿勢・位置より筆記具の動きを計算し、仮想空間内の筆記面と筆記具の交差から筆跡を生成する。本手法の実現によりコンピュータを用いて書道や習字を再現する仮想書道システムにおいて実際の毛筆を使用することが可能になる。

近年，ファッションアイテム購入の参考情報が得られるコーディネートサイトが登場してきている. しかし，コーディネートサイトには情報量が多く, 不慣れなユーザにとっては，自身の志向に適したコーディネートやコーディネータを見つけることは容易ではない．このような背景を受け, これまで発表者らのグループは，入力されたコーディネート画像から類似コーディネート検索やコーディネータ推奨を行うLINEボットを試作してきた．本発表では，その機能の改良を目的とし，これまで使用してきた身体部位位置推定技術に加え，ファッションアイテム領域抽出技術を導入する. また，本改良に対して，類似コーディネート検索に関する初期的検証実験を行う．

近年、車やロボット、ドローンなどの多様な移動体が普及しつつある。移動体の動きを制御するためには自己運動を認識することが有効であり、加速度は重要な要素である。従来、自動運転のため、センサデータを使用して加速度を推定する研究がある。しかし、ヒトや動物は自己運動の大部分を目の情報から認識していると考えられる。そこで本研究では、動画像のみからニューラルネットワークを用いて加速度を推定した。具体的には、動画像からoptical flowを計算し、３DCNNとLSTMの２つのモデルを用いてそれぞれ加速度を推定する。実験により、走行中の車載カメラで取得した動画像から車の加速度が認識できることを示す。

カメラ幾何に基づく三次元映像生成は，多視点画像からカメラの位置・姿勢を推定し，カメラから三次元物体までの距離を測定して三次元映像を生成する．特徴点の対応関係が正確に求まる場合，高精度に距離を測定できるが，オクルージョンなどの影響によって測定結果が曖昧になり，映像のレンダリングで視覚的なノイズが生じる．そこで，機械学習に基づく単眼深度推定に着目する．この手法は画像に内存する暗黙的な情報のみを利用することで，視覚的矛盾が少ない画素単位の距離推定を実現する．本研究ではカメラの位置・姿勢という明示的な幾何情報に加えて，単眼深度推定器が学習する暗黙的な情報を融合し，視覚的に自然な三次元映像生成を目指す．

現在，自動車内で提示される車速は，トランスミッションの回転に比例した信号によって計測されている．しかし，この方法にはタイヤの空転，摩耗や幅，扁平率によって誤差が生じるという問題がある．この問題に対して，筆者らは道路面の紋様（以下，道路紋様という）を用いることで，単位時間当たりの車の移動量を正確に検出し，車速測定の高精度化を達成する手法を検討している．
　そこで本発表では，その第1段階として，道路紋様の認識性能について検討した結果を報告する．道路面を撮影した2枚の静止画像を対象に，局所特徴量としてSURFを用い，平行移動，回転，輝度変化に対するロバスト性に関して，道路紋様の特徴点マッチング性能を検討した．この結果によれば，正例，負例ともに，正しく認識が可能であることが示唆された.

近年、人工知能(AI)を活用したサービスが注目されている。本研究では、AIと拡張現実(AR)技術と組み合わせたゲームアシストシステムを提案する。ブラックジャックをプレイしているユーザーに強化学習を行ったAIがARグラスを通して次の行動を提示するシステムを開発した。本システムは、ゲームエンジンのunity上で動作する。将来的にはMicrosoftのHoloLens等に搭載することが可能である。また、強化学習の問題として、一度の学習で更新されるパラメータの量が小さく、さらに、経験した部分しか更新が行われないので、学習時間が膨大であることが挙げられる。本研究では、この課題に対して、ユーザーが学習に介入し、手本を示すことで学習時間の短縮を実現している。

インコヒーレントカラーディジタルホログラフィは，LEDなどの一般的な照明を用いて三次元カラー再生像を取得する技術である．手法の一つに従来よりも少ない記録枚数でカラー再生像を取得できる波長多重位相シフトインコヒーレントカラーディジタルホログラフィが提案されている．提案手法によりホログラムの記録時間は短縮されたものの，像再生処理には依然として多くの時間がかかっている．特に，角スペクトル法を用いた回折計算は，伝搬距離を更新して繰り返し計算を行う必要があるため，計算コストが大きい．本研究では，角スペクトル法による回折計算の高速化を目的として，専用ハードウェア開発の検討を行った．

近年、ハイパースペクトルカメラにより得られる高次元分光画像の有用性が注目されている。RGB画像では判別できない違いを識別できる点から様々な分野で実用化が進んでいるが、カメラが高価であることが導入の妨げであるとされる。ハイパースペクトルカメラでは、撮影された像を分光プリズムによって各波長帯域に分光し、高次元分光画像を取得している。本研究では、このプリズムによる分光機能を、Autoencoderによりソフトウェア上で疑似的に構築することで、RGB画像から高次元分光画像を推定する。検証実験において、提案手法により推定された高次元分光画像とリファレンスの高次元分光画像における類似度は0.93を示し、高精度で推定できることを示した。

宇宙に関する話題が多くなり、宇宙旅行が私たちにとって身近なものとなりつつあるため、文化やアートの宇宙時代におけるあり方を考えておく必要がある。筆者らは流体を用いたアートである流体アートの制作を行ってきたが、流体の振る舞いは無重力では重力下とは異なるため、無重力環境下における流体アートの研究を行う必要があると考えている。本報告では筆者らが無重力下で行おうとしている流体アート制作の考え方を述べるとともに、その前段として比較的簡易な装置で微小重力を実現する方法の提案と具体的に装置を組み上げてそれを用いて流体アート制作実験を行った結果について述べる。

新型コロナウイルスの流行により三密回避が社会の課題となっており、屋内における人物の密集度の自動検出が求められている。本研究では、一台で広範囲の撮影が可能となる全周魚眼レンズが採用された監視カメラの活用に着目し、撮影された室内全周魚眼画像をそのまま利用して人物の密集度を検出するシステムの開発を目的とする。具体的には、人物の密集度の検出機能の開発の為に人物検出用の全周魚眼画像と位置推定用のデータセットが必要になるが、今回は、3DゲームエンジンであるUnityを用いることで作成作業の効率化に取り組むととともに、作成したデータセットを用いて開発した人物の自動検出機能及び位置推定機能の評価結果について報告する。

宇宙科学研究所等が整備・提供している各種宇宙科学データは、その主たる研究分野に限らず、幅広い利用が可能な自由度の高いコンテンツが含まれている。しかしながら当該研究分野以外で宇宙科学データの利用を促進するためには、それらのデータを分かり易い形で提供する、もしくはコンテンツ制作等に適した形態で提供する等の、専門家向けとは異なるアプローチが必要となる。これらの状況に鑑み、本稿においては、CGや映像制作等を含む様々な分野に供されることを想定した、宇宙科学データのフォーマット変換や可視化、簡易閲覧用インタフェース等の取り組みについて、進捗状況を報告する。

今日の医療現場では医療技術ならびに情報処理技術の発展に伴って，内視鏡，MRI，レントゲン画像など様々な医療画像を利用する機会が増加しており，このような医療画像を用いた高精度な診断が求められている．先行研究において関節リウマチの早期発見を目的とした診断アプリケーションが開発された．しかし，先行研究の手法ではリウマチが進行した画像に対して測定できない問題がある．そこで本論文では，機械学習により関節リウマチに関しての異常検知を行うアプリケーション開発の検討を行った．

車載カメラ, 監視カメラを代表としてカメラで撮影された映像は撮影環境などが原因でノイズが混入し劣化することが知られている. 例えば, 暗所などで撮影された監視カメラ映像では, 光量不足が原因によるノイズの影響が大きく現れる. そこで本論文では, 学習法を用いて上記のようなノイズを除去し, 画質改善を図る.

本論文では，畳み込みニューラルネットワーク(CNN)を用いたアニメーション動画像の中割り画像の生成手法を提案する．実際のアニメーション制作工程では，動画の中割り描画作業時に線画で行うため，本研究においても線画からの中割り画像生成を試みる．時間的に近傍の2フレームを参照フレームとし，ブロックごとに幾何変換行列をCNNによって推定してフレーム内挿を行い中割り画像を得る．線画では適切な幾何変換行列生成が困難であるため，ガウシアンフィルタを施して線領域を拡散する手法を導入し，中割り画像の推定精度を向上させる．今回，学習時と推定時でフィルタパラメータを変更することで，より精細な中割り画像生成が可能であることを示す．

JPEGなどの離散コサイン変換（DCT）を利用する画像圧縮において，DCT係数に伴う符号情報の圧縮が課題となっている．この問題を解決するために，著者らは位相回復の理論に基づいて，DCT係数の振幅情報から符号情報を復元するSign Retrieval（SR）手法を提案している．SRは画像のスパースモデリングを活用し，エッジ成分やフラットなブロックの符号情報を高精度に復元できる一方，テクスチャを含む複雑なブロックではスパースモデルが破綻し，復元した符号情報に誤差が生じる．そこで本研究では，深層学習による新たな画像生成モデルを構築し，これをSRにおけるスパースモデルに置き換えたDeep SR（DSR）手法を提案する．また，JPEGおよびSRと比較して，レート歪性能の観点からDSRの有効性を検証する．

動画認識に用いられる手法の1つにTwo-stream CNNが存在する．CNNへの入力として，空間情報をとらえるためのRGB値と，動画の時間情報をとらえるためのオプティカルフローが用いられるが，オプティカルフローは算出コストが高いという欠点が存在する. 一方で動画像は，通常H.265/HEVC などの高効率な画像符号化技術で圧縮されて扱われる．本研究では，この圧縮ビットストリームに含まれる動きベクトル情報を時間情報として，DCT係数情報を空間情報として利用するTwo-stream CNNを検討する．使用するDCT係数周波数成分や，エンコードの際の量子化パラメータによる認識率の違いを考察し，従来のTwo-stream CNNとの認識精度の比較を行う．

符号化制御技術の1つであるRD (Rate-Distortion)最適化は，目標ビットレートにおいて歪みを最小化する最適な符号化パラメータを決定するための処理であり，符号化画質を左右する重要な技術である．しかし，最新の映像符号化方式VVC (Versatile Video Coding)の参照ソフトウェアVTM (VVC Test Model)における既存のRD最適化手法は，比較的符号化難度の低い映像を用いて評価されているため，符号化難度の高い映像に対しては性能が十分でない可能性がある．本稿では，符号化難度の高い4K8K映像の符号化に適したRD最適化モデルを新たに提案して符号化制御に組み込むことで，演算量およびレート制御の精度が変わらないまま，画質改善の効果があることを検証する．

LFNST (Low Frequency Non-Separable Transform) is one of the transform coding tools of the latest video coding standard VVC (Versatile Video Coding). LFNST realizes the reduction of the redundancy between coefficients in intra predicted blocks so that improve coding performance. However, operation cost can be increased if LFNST is applied for all blocks. In this paper, LFNST control by signalling syntax is proposed.