本発表は、芸術系の大学2年生向けにデジタルコンテンツ演習としてPygame Zeroを用いたゲーム制作演習の内容を報告する。受講生は、この演習までにプログラミング授業を受けていないかプログラミング授業としてProcessingを学んだ学生である。また、ゲーム制作は、単にプログラムを作るだけでなく、ゲームの仕様などをまとめることができるようにレジメづくりの指導も行っている。学習評価は、プレゼンテーション、デモ動画、プログラム、レジメから行っている。この演習方法は、2020年より3年間継続して行っている。

コンピュータ技術の発達により3DCGなどの手法がアニメ製作に多数取り入れられている。本研究では、キャラクターのカラー画像を参考にした線画に対する自動彩色ネットワークの構築を行った。また、線画の構図が異なる場合にどのように彩色されるのか検証を行った。

近年，防犯や屋内の設備点検を行う目的としてドローンカメラに注目が集まっている．ドローンの自律飛行として，GPSから取得した自己位置情報に基づいた手法が広く用いられているが，建物内や地下などの屋内では電波が遮断されてしまい，正確な位置推定が行えない．
そこで本研究では，急速に普及しているLED照明に着目し，LED照明からの光とイメージセンサを用いた屋内での位置推定手法を検討する．以前はイメージセンサを地面と水平に設置した場合でのみ位置推定を行ったが，角度センサの情報を用いることによりイメージセンサが傾いた状態でも，2つの基準点だけで傾きを考慮した3次元位置推定を行うことが可能になることを示す．

画像符号化において，DCT係数のサインビットの圧縮が課題となっている．著者らはこれまでに，係数の振幅のみからサインビットを復元する手法を二つ提案した．まず，数理最適化による画像復元処理を深層展開した手法（unrolled sign retrieval，USR）では，高い圧縮効率が達成できたが，膨大な計算量が課題であった．一方，深層学習によって振幅からサインビットを直接的に推論する手法（direct sign retrieval，DSR）では，計算量は削減できたが，圧縮効率が不充分であった．本稿では，DSRの枠組みを踏襲しつつ，圧縮効率と計算コストの両立をめざす試みについて報告する．

時間的に頂点の接続関係が変化する動的メッシュは，メタバース等への応用が期待されている．従来手法では，簡素化したメッシュからの変位量で細部を表現し，ウェーブレット変換・量子化することで，効率的に符号化する．符号化対象フレームの変換係数は参照フレームからインター予測し，残差のみを符号化する．しかし，インター予測の前に各フレームの変換係数を量子化するため、参照フレームと符号化対象フレームで2回分の量子化誤差が発生し，残差が大きくなる．本稿では，量子化誤差の発生回数を抑制するため，先にインター予測を行った後に，フレーム間の残差を量子化する手法を提案する．実験では，MPEGにおけるデータセットを用い，従来手法と比較して符号化効率の向上を確認した．

Microsoft HoloLensは現実世界の上に虚像を配置することでAR空間を実装している．本論文では，そのような環境で，虚像の透明度による奥行き視線移動の影響を調べる．この調査を行うために，HTC VIVE Pro Eyeを使用し仮想現実空間にて環境を再現した．実験では，虚像の透明度の割合を変化させて，実像と虚像間の視線移動の記録と見やすさに関する主観評価を行った．結果から，虚像の透明度と奥行き視線移動の変動の関係を明らかにした．

VR空間を移動する方法として，主に実歩行やコントローラ入力が挙げられる．その中でも回転歩行は小空間で実現可能な利点があると同時に，違和感・酔いなどの感覚的な不都合が生じやすいといった欠点が存在する．本研究では，VR空間での視覚上の移動が直線方向であるのに対して，身体方向は回転しているという，不一致の環境下における視線の動きから，身体動きと視線の動きとの関係性を明らかにする．

電子ホログラフィを用いた3Dディスプレイでは，再生像のサイズや観察時の視野がホログラム表示デバイスの性能によって制限されており，実用化がまだ難しい．そこで像のサイズと観察時の視野の両方を拡大する手法として，軸外し凹面鏡の位相分布を持つ透明なHOE (ホログラフィック光学素子)スクリーンと電子ホログラフィを組み合わせたAR-3Dディスプレイが提案されている．本研究ではこの投影型AR-3Dディスプレイの課題である観察可能領域の拡大を目的とする．HOEスクリーンに対して複数のオフアクシス再生光も組み合わせることで，時分割方式により再生像の観察領域を拡大するシステムの構築に成功した．

ホログラフィは視覚疲労なく立体像を様々な角度から眺めることが可能であり,電子化したホログラフィは「究極の三次元テレビ」になると考えられている. 著者らは,計算機合成ホログラムによるホログラフィックプロジェクタと再帰性反射シートを用いて三次元映像を空中表示する空中ディスプレイを提案している. 再生される三次元像は実像であり,観察者は裸眼で目の前に浮かぶ三次元映像を眺めることができる.一方,立体スクリーンからの反射光により，観察者はディスプレイの奥に虚像として三次元像を視認できる.本研究では,実像と虚像を再生することで，観察者の目の前と遠くに同時に視認できる三次元像の空中表示を試みた.

ドライブレコーダーの普及から、科学捜査（法科学）分野においてドライブレコーダーに映る物体（車両または環境）の透視投影モデルに基づく3次元解析の重要性が増している。しかし、カメラの近くに映る高速移動体の場合、画像の上から下へと順に走査しながら記録するローリングシャッター方式による歪みが無視できない。本研究ではこの問題解決のため、3次元カメラキャリブレーションにおいて専用計測装置を用いて計測されたローリングシャッターの走査速度を活用することで、高速移動体の3次元位置・速度を高精度に推定する方法を提案し、ローリングシャッターに加えてレンズ歪み等の実環境を考慮したシミュレーションにより有効性を示した。

人を模した外見特徴や特性をもつCGキャラクタの自然な動作アニメーションを実現するために，環境や状況に即して視線を向ける動作（視線動作）を，任意の動作アニメーションに付与する視線制御モデルが利用されている．しかし，自然な視線動作の生成には，制御モデルのパラメータに対する理解や試行錯誤による調整を要する．一方，モーションキャプチャでは，実際の人の動きから計測したデータをCGキャラクタに適用することで自然な動作表現が可能である．そこで本稿では，計測した視線動作を再現する制御モデルのパラメータを最適化計算により算出することで，計測動作を再現する視線動作アニメーションを構成する手法を提案する．

本研究は深度センサ付きカメラを用いて手に持った物体の立体的な動きを計測し、3次元空間におけるトラッキングを可能とする手法の実現を目指している。対象とする物体はペンや筆などの円筒形の筆記具とする。深度センサ付きカメラで撮影した画像から物体を持つ手の指先位置を検出し、その周辺画素の色および深度情報から手を除いた物体表面の位置を検出し、大きさや形状などの既知の情報と比較することで物体の位置姿勢を求める。マーカやセンサを用いて物体の位置姿勢を求める既存の手法と比較することで本研究の手法の効果を確認する。

今日、建築物から街全体の表現として、広域かつ高精細な大規模3D点群データが計測蓄積され、社会インフラ整備やメタバースなどへの応用が期待されている。本発表では、仮想空間でのアバター制御や実世界でのロボット制御に応用できる高精細な移動経路検出手法を提案する。点群データを八分木構造とし、階層的な構造解析により、高速かつ高精細な経路検出を実現する。

先行研究として，360度カメラ画像においてどの程度の符号化画質であればユーザーが満足するかを主観評価や客観的に研究してきた．結果として，3DCG画像や多視点画像と比較すると，評価値自体は良い結果となり，主観品質評価の方が客観画質に比べて，評価値の増減が激しかった．しかしながら，360度カメラにおける画像領域やカメラとの遠近感と符号化画質との関係は明らかではなかった．本研究では，360度カメラRICOH THETA Z1を用いて，360度カメラ画像を生成し，画像領域の面積や360度カメラからの遠近感を画像処理の観点から考慮し符号化画質評価を行った．また，Xperia Viewを用いてクロスリアリティ (XR)主観品質評価実験を行い，主観品質と客観品質の関係を考察した．

本稿では, 自動車事故の低減を目的として運転手の眼の開き具合（開眼率）を利用して運転手の眠気検出を行う手法を提案する。これまで同一目的を持つ研究はいくつか報告されているが、これらの研究では正面から顔を撮影していることが前提となっていた。そこで、本稿では一般的な車載カメラの位置からでも開眼率を正確に計測できる新手法を提案する。この手法はカメラ設置場所や運転手の頭の動きに影響されず、運転中の眠気を効率的に検出できる。

近年、流通業界でのロボット技術やAI技術を利用した自動化が進んでいる。本稿では、スーパーマーケットで働くヒューマノイド型ロボットに適用することを目的に「様々な商品の重量推定」を行うシステムを開発する。このロボットが商品の荷分けや陳列、レジでの袋詰めまで行うことを想定した場合、どの商品がどのような重量なのかを視覚情報のみから判断する必要があるからである。重量推定に関しては、これまでに1種類の物体だけに限定した場合の開発事例はいくつか報告がなされているが、複数種類の物体に対して重量推定を行う手法については筆者らの知る限り存在しないため、今回その試作結果を報告する。

ゴルフボールの軌道の再現においては，インパクト直後のゴルフボールの初速度，打ち出し角度，バックスピンの初期状態等が重要であり、赤外線センサ，レーザー，ハイスピードカメラによって初期状態を推定する手法が提案されてきた．筆者らはこれまで，ラインスキャンカメラを用いて撮影したインパクト時のラインスキャン画像から初速度，打ち出し角度，バックスピンを推定する手法を提案してきた．本研究では撮影したラインスキャン画像にたいし，2次元フーリエ変換による振幅，位相を用いて初期状態を推定した場合と，ガウス関数，シグモイド関数を基底とした2次元線形基底展開を行い初期状態を推定した場合の推定精度を比較する．

複数物体追跡では、重なった物体がカメラから認識できずに追跡が途絶してしまうこと（以下オクルージョン）が、非常に大きな問題として挙げられている。本研究では、特にオクルージョンが発生しやすい環境である交差点上において、追跡が途中で途切れてしまわないよう、カメラ2台を用いたアルゴリズムを提案する。それぞれのカメラに写る同一車両同士を対応付けすることで、片方のカメラで追跡が途切れても、もう片方のカメラが追跡を継続することにより全体として途切れない追跡を可能としている。ある交差点において撮影した動画像において、MOTAが77.3、IDF1が82.5であり、車両数計測などにおいて応用するには現状ではまだ精度が足りていない。

鍛造部品における傷や打痕の大きさ，およびそれらの発生部位はさまざまであり，検査員による欠陥の見落としが生じる可能性がある．本論文は，鍛造部品メーカーにおける実際の鍛造部品の良品画像および不良品画像を画像識別し，高精度な不良品識別検査の実現を目的とする．基本的には，深層ニューラルネットワーク(DNN)を用いて識別を行うが，前処理としてPCAなどによる欠陥強調および後処理としてMCドロップアウトを用いた推論などについて検討を行う．また，構築した学習モデルを用いてテストデータの良品および不良品を識別する．最後に，真陽性率が1の下で，偽陽性率を低く抑えることを目標に，識別結果に対して検討を行った．

警察の捜査等において要望のある防犯カメラなどの車両の自動車登録番号票は小さく，車両登録番号の画素数が十分でなく，そのまま，人間が数字として読みとることは難しい．本研究では，CNNを用いた識別を行う際に，MCdropoutを用いoverconfident問題の解決を試みた。つぎに，ブラックボックスとも考えられるCNNの識別結果に説明性を持たせるために，Occlusion解析により対象の低解像度ナンバープレート数字のどの部分が識別結果に影響しているかを図解し，また，どのような画像ならばその数字と識別するかという目的で，フェイク画像の生成を行った。

自分の体以外の偽物の体を自分の体であると認識する現象を身体所有感の錯覚という。この現象を引き起こす実験としてラバーハンド実験がある。本研究ではVR上でラバーハンド実験を行い刺激物に使用する音を変更することで身体所有感の錯覚の変化について調査する。VR上の実験ではVR上に自分となるアバターを使用しその左腕に筆の３Dオブジェクトで刺激を与える。筆が触れる際に音が発生させ今実験ではこの音を筆音、生活音、不快な音に変更する。一回実験が終わるごとにアンケートを実施する。結果として被験者は身体所有感の錯覚を引き起こすことが出来、生活音、不快な音によって被験者の身体所有感の錯覚が減少した。

近年zoomをはじめとするオンライン会議システムやインターネット上のメタバースのような遠隔コミュニケーションシステムが普及してきている.本研究では現実空間の要素を仮想空間に添加する拡張仮想（Augmented Virtuality）のアプローチに着目し，以下の2つの機能を特徴とした遠隔コミュニケーションシステムをゲームエンジンUnityおよびPUN(Photon Unity Networking)を用いて実現する．(1)参加者の顔追跡に基づいた視点位置依存の仮想空間レンダリング,(2)参加者が直接操作する実物体を用いた仮想空間内部への干渉.これらの機能の実装により，参加者に仮想空間内への没入感を与える拡張仮想アプローチの新たな遠隔コミュニケーションシステムの可能性を示す．

近年増加している高齢ドライバーによる交通事故を削減するために、自宅で簡単に運転技能を測定できる動画型ドライビングシミュレータ（以下：DS）の自動生成を行う。DSはDriveGANに実車の運転映像と車体のスピードなどのパラメータを学習させることで生成される。しかし、生成されたDSは、横断歩道と信号機が同時に存在するなど一般の道路規則を満たしていないことがある。本稿では一般の道路規則を満たさないシーンを「論理的整合性を満たさないシーン」と定義する。この論理的整合性のチェックは現在、人手によるものであり、コストが高くなっている。本稿では、この問題を解決するために人手に依らない自動評価方法を提案し、これを考察する。

本研究では敵対的生成ネットワーク(GAN)を用いて、ドライビングシミュレータの自動生成を行う。GANを用いることで、異なる運転コースを自動生成することができる。しかし、家庭で得られる運転データの数には限りがあり、運転中の操作に対いてデータから得られる操作パターンが少ない。また、パターンの網羅性が低いとGANによるドライビングシミュレータの生成精度が著しく低下することが予想される。そのため、本研究では自動車の運動モデルを用いたオーバーサンプリング手法により、データのパターンを増やすことでロバストなドライビングシミュレータの自動生成を行う。

現在の車速測定手法ではタイヤの空転，摩耗などによって誤差が生じる．そこで筆者らは，この誤差を軽減するために，道路上に存在する紋様に対する特徴点マッチングにより，車速を推定する手法を検討している．この手法では，車載カメラにより重複するように撮影した２枚の画像上で同じ特徴量を持つ特徴点ペアを抽出し，その相対位置から移動量を算出し，車速を算出する．しかし，車速算出に数秒を要するという問題がある．そこで本研究では，最も時間を要する処理を特定した上で，画像情報の削減手法としてリサイズ処理とトリミング処理を提案し，処理時間の短縮に対する有効性を検討した．

一枚の顔画像とテキストから 360 度の３D顔モデルを自動生成するシステムを提案する。一枚の顔画像のみでは、十分な画像品質がえられない. テキストを併用より画像品質が改善したので報告する。また顔の表情を変えたり、髪型、髪色を変えたりする３D顔モデル修正につても実験結果を報告する。

画像処理において画像圧縮は重要であり，画像圧縮の大きさを決定する上で画質評価は必須である．本研究では，圧縮による符号化劣化における低圧縮時の画像，つまり高画質の画像を対象としたデータセットの構築を行った．一般的に利用されている主観評価のデータセットは，高画質だけでなく汎用的な画像劣化を対象としている．この際，多段階な点数付けで高画質画像の評価は困難である．よって本実験はJND（Just Noticeable difference）に基づいて低圧縮画像を二値評価で評価した．実験の結果，提案するデータセットは既存の客観評価指標との相関があった．

超解像技術は，高解像度のディジタル画像を得るために使用される画像処理技術である。通常，画像に対して拡大を行うと画質が低下してしまう。しかし，超解像技術を用いることで，低解像度の画像から高解像度の画像を生成することができる。超解像技術の研究は，深層学習を用いたアルゴリズムの開発により進歩している。これを用いることで，高解像度の画像を生成するために必要な情報を学習することができる。本論文では，より効率的に高解像度画像を生成することを目的とする。本発表では，深層学習に基づくアンサンブル学習の手法の検討と，本手法により生成された画像の評価を示す。