空は天気を予報するうえで重要な手がかりである.気象会社ウェザーニューズはユーザーから現状の空の写真と天候情報を取得することで予報精度向上を達成した.さらなる精度向上のために,車載カメラの撮影画像を用いた空情報の自動取得を提案する.また,屋内といった空領域が少ない画像は天気判断が困難なため,空領域に応じた取得画像の選抜が必要である.本研究では,セマンティックセグメンテーション用いた空領域の推定結果から,天気判断が可能な画像の選抜を目指す.具体的には,画像全体にする空の占有率が,実験結果から考察された閾値以上ならば選抜する.

太陽フレアは電波障害や停電などを引き起こすため，太陽フレアの予測は重要で ある．しかし，正確な予測は容易ではなく，実際に既存手法は専門家の予測性能 を超えていない．そこで本論文では，物理特徴量と磁場画像を扱う太陽フレア予 測モデルFlareformerを提案する．提案手法では，時系列予測に適したInformer の注意機構，および重要な特徴量を抽出するためにConvNeXtを導入する．また特 定クラスへの過学習を防ぐため分類器の再学習手法を導入する．本研究では Brier skill score, True skill statistics, Gandin-Murphy-Gerrity scoreを 尺度とした比較実験を行い，提案手法がベースライン手法および専門家を超える 予測性能を達成することが示された．

異常気象の増加により自然災害が多発している。その中でも土砂災害では、多数の死者・行方不明者がでている。本研究は土砂災害危険箇所の識別を山の斜面の傾斜角データを用いた教師なし外れ値検出で行った。災害が発生した箇所のデータのみを使用して学習し、将来的に発生する可能性がある未発生箇所のデータを使用しないことで信頼度を高められると考えた。また、傾斜角をヒストグラム化して特徴量を作成した。実験の結果、先行研究である教師あり学習と同等の結果を得られた。このことから、教師なし外れ値検出でも土砂災害の識別が可能であることが分かった。さらに一種類のデータのみの使用であるため先行研究よりモデル学習が効率的である。

豪雨災害時の避難経路を避難者に提示するため，避難経路の長さ，河川および土砂災害危険箇所からの距離，標高の4要素を考慮した強化学習による避難経路探索法を開発した．特に河川氾濫など刻々と変わる災害状況に合わせるため，類似性の低い複数経路の算出を目的とした．従来手法による類似性の低い経路の算出には，地理情報に合わせた道路ネットワークの重みの変更といった個別の操作が必要である．強化学習は確率的に経路選択を行うため，このような個別の操作を必要としない一般性の高いアルゴリズムで類似性の低い経路を複数算出できた．また，求めた経路について安全度を算出すると，最短経路より安全な経路を選んでいることがわかった．

太陽フレアの予測は、社会で重要な役割を果たすインフラへの被害を軽減するた めに不可欠である．しかし，太陽フレアを正確に予測することは非常に困難な課 題である．既存手法は，分類問題として取り組み，専門家予測を超える性能を達 成した．そのため，今後は専門家にとって難しい，太陽フレアのX線強度に対す る回帰予測が重要になる．そこで本論文では，Flare Transformer Regressorを 提案する．Flare Transformer Regressorでは，Masked Autoencoderで事前学習 したVision Transformerを導入し，Informerを参考にした回帰用デコーダを構築 する．平均予測軌道誤差を尺度とした比較実験を行い，提案手法はベースライン 手法を上回るという結果を得た．

Novel view synthesis（NVS）は，与えられた視点映像を基に新たな視点映像を合成する技術である．近年，Multiplane image（MPI）と呼ばれる体積表現を基とした高精度なNVS手法が登場した．MPIは半透明の画像を複数枚積層することにより，わずかな計算コストで任意の視点を生成できる．しかし，MPIの各画像は解像度が有限のため，MPIから生成される視点映像も有限の解像度となる．そこで我々は，生成画像の高解像度化のため，MPIの直接的な超解像に取り組んだ．生成されるライトフィールドのアンチエイリアス条件の分析に基づき，DNNベースの超解像手法を設計した．実験により，提案手法が，様々な条件においてMPIを超解像し，生成映像を高解像度化できることを確認した．

蛍光指紋とは、試料が放出する蛍光を励起波長毎に測定したデータであり、試料の成分分析等に活用されている。蛍光指紋の解析には、Lasso回帰等の線形回帰手法が広く用いられている。深層学習技術の導入により、更なる識別精度の向上が期待できる一方で、学習に要する計算コストが課題となる。本研究では、深層学習を用いて、類似したタスクに共通利用可能な特徴量抽出モデルを作成することで、識別精度を向上しつつ、深層学習の計算コストを軽減した蛍光指紋識別手法を提案する。試料に含まれる化合物を識別するタスクにおいて、一部の化合物情報のみを用いて提案モデルを学習した結果、従来手法(Lasso回帰)以上の識別精度を得た。

Deep Neural Networks (DNNs)は様々なタスクに幅広く用いられている．一方 で，その予測に対する判断根拠を解釈することは困難であり，予測結果を十分に 信頼できないという問題が指摘されている．特に，Lambda Networksに基づく transformerの視覚的説明生成は十分に確立されていない．本論文では，Lambda Attention Branch NetworksをSaliency Guided Trainingにより拡張し，視覚的 説明の解釈性を高めたLABN-Sを提案する．また， マスクによる分布の変化を軽 減す流ためにマスク画像としてバイアス画像を提案する．太陽フレア画像のデー タセットを使用した実験結果から，提案手法が適切な視覚的説明の生成に成功す ることを示した．

QRコードやARマーカーなどは物体ラベルとして用いることで画像中の物体認識や位置検出に用いることができる。これらは手軽に利用することができるが、用途に応じてマーカーの形を変更することが難しい、遮蔽に弱い、読み取りに専用のライブラリやアプリが必要であるという問題点がある。本研究では、自作マーカーと深層学習を組み合わせた新たなマーカー検出手法を提案する。本手法の特徴として、特別なライブラリを必要としないこと、マーカーのデザインやバリエーションを用途に応じて変更できること、遮蔽に強いマーカーをデザインできることが挙げられる。実験を行った結果、約97%の精度でマーカーの検出を行うことができた。

深層学習を用いた分類器に対して，誤分類を引き起こす不正なデータとして敵対的サンプルが知られている．その一方で，観測者には正規データとの違いが識別困難でありながら，敵対的サンプルが誤分類を起こす仕組みは明らかにされてこなかった．これに対し，筆者らは分類器の学習データが持つ多様体構造との関係に着目し，敵対的サンプルはデータ多様体上に存在せず，学習不十分な余次元空間で誤分類が発生することを明らかにした．本研究は，この発生メカニズムに基づき，学習データの多様体成分を抽出し，入力データから攻撃の要因となる多様体の接空間に対する直交成分を除去することで敵対的サンプルの誤分類を防ぐ新たな防御手法を提案する．

　ガウス過程回帰を用いて深度画像の欠損部分の深度値予測を行う手法を提案する。セマンティックセグメンテーションを用いてRGB画像のピクセルのカテゴリ尤度を抽出し、それに位置情報を加えた特徴量空間上でガウス過程回帰による深度推定を行った。その際、カテゴリの尤度における不確実性を考慮するために、共分散行列にペナルティ項を導入した。
　この提案手法を一般化することによって、説明変数の観測ノイズを考慮するガウス過程回帰を導くことができた。この一般化した手法は、全ての入力データを等価に扱わず、入力データに不確実性に基づいた優劣をつけて回帰を行うと思われ、汎用性が高い手法という結論を得た。

本稿では、横書きと縦書きが混在する日本語における、効率的な情景文字認識の手法を提案する。近年、Transformerを用いた一気通貫型エンコーダデコーダモデルが高い文字認識精度を示しているが、横書きと縦書きでそれぞれ個別に多量のデータを用意しモデルを学習する必要がある。本手法では、横書きと縦書きの文字列を認識する日本語情景文字認識を限られたデータから効率的に実現するため、単一のモデルで両方の文字認識を同時にモデル化する。具体的には、モデルの全てのパラメータを横書きと縦書きで共有しながら、横書きと縦書きを区別するトークンを自己回帰型デコーダの初期値に与えることで正しく文字を認識する。

本論文は，古文書内に存在する初学者の判読性が低い一定文字長の文字列に対して，文字認識処理，文字列と単語辞書を比較する処理の両者を用いた単語候補を翻刻初学者に提示する手法について述べる．
初学者の判読性が低い文字列に対し，文字単位での文字認識で得られる文字候補を類似度の高い順に取得する．
これらの各文字候補同士を網羅的に連結させ文字列群を生成し，文字列群と単語辞書を比較することで複数の単語候補を生成する．
これにより，判読性の低い文字列に対する単語候補として，初学者に提示することで初学者の自主学習の支援につなげる．
本手法の有効性はテストデータセットを用いた提示率で明らかにする．

採点済みの答案画像に対して採点ミスが生じた箇所を採点者に通知する採点ミス発見システムの高精度化に向けて，重畳採点記号の分離抽出精度向上を目指している．本研究では，この分離抽出精度向上を妨げている要因を答案画像の色情報の分析調査によって明らかにすることを目的としている．採点記号と枠線の重畳によりペン色の色情報が変化することで採点記号と背景の分離抽出が困難となっていると考えられる．本論文では，システムの高精度化を進める上で，答案用紙や採点に用いる筆記具の種別による分離抽出精度に与える影響を色情報から明らかにするとともに，その影響の軽減に向けた今後の解決方法について述べる．

近年，農業の課題として就農者の減少や高齢化による労働力不足が挙げられ，秋田県内においてもそれらの影響は顕著である．また，秋田県内で栽培が盛んなリンゴをはじめとする園芸作物の場合，高品質の果実を得るために摘花・摘果作業が欠かせない．しかし，こうした作業の多くが熟練者の経験や勘によるものであり，隣接果実との間隔を把握しながら着果密度・果枝長を考慮した間引きが求められるため技術に差が出やすい．そのため，着果管理技術のばらつきや新規就農者への技術継承も課題である．本研究では，画像処理によって果樹試験場や篤農家の方々の持つ栽培技術を情報化し，果樹の着果密度や空間配置を認識するシステムの開発を目的とする．

複合現実感（Mixed Reality; MR）は主に医療・航空・自動車産業などの分野で盛んに産業応用が進められている。一方で、シースルー型HMDでMRを実現したさい、視覚疲労が発生することが知られている。また従来、複合現実感（MR）空間の操作領域は空中であるが、操作のさいに触感が得られず操作感を欠いている。したがって誤操作が増えユーザの身体的疲労の蓄積が懸念される。本研究では、MR空間においての操作領域を実物体に重畳表示することで、視覚疲労の軽減と操作性の向上を図る。

近年，様々な画像サイズのデバイスが普及していることにより，画像や動画像に対するリサイズ手法の需要が高まっている．リサイズ手法の1つにシームカービング(以下，SC)がある．SCは画像内の視覚的に重要でない領域(以下，シーム)を削除し，印象を損なわずリサイズする．動画像に対するSCは各フレームのシームが異なるため，印象深い領域がずれる問題がある．この問題を解決した従来手法があるが，従来手法では位置ずれを抑える計算に膨大な処理時間がかかってしまう．そこで，提案手法では領域分割と領域内シーム数を設定し，シームの比率を合わせる．そして，過去シームを再利用し，位置ずれと処理時間を抑えたSCを実現する．

近年，ファッションアイテム購入の参考情報が得られるコーディネートサイトが登場してきている．しかし，情報量の多さから，利用に不慣れなユーザが志向に適したコーディネートやコーディネータを検索することは容易ではない．このような背景を受け，これまで著者らのグループは，コーディネート画像を入力とし，類似コーディネート検索や，コーディネータ推奨を行うLINEボットを試作してきた．更に，著者らは，アイテム領域抽出技術を用いて類似コーディネート検索方式を改良し，有効性を確認してきた．しかし，同改良方式での検索機能は，試作LINEボットには未搭載であった．そこで，本研究では，同改良方式での検索機能を同ボットに搭載し，その動作確認を実施した．

子供音声は成人音声と比べ, 声道長の違いなどから基本周波数, フォルマント周波数が大きく異なる. そのため, 成人音声で学習した音響モデルで子供の音声を認識すると認識率が著しく低下する. また, 先行研究として音声認識と音声合成を同時に可能にする音声分類器の開発があり, 音声特徴として LSP パラメータを用いており, この特徴はフォルマント周波数周辺に密に現れることがわかっている. 以上のことから, 成人音声と子供音声の間に, LSP パ ラメータによる差異が生じるという仮定を基に, 実際に検証を行う.

野鳥の生態調査や生息状況調査では、調査に時間を要することに加え人の存在が調査を妨げることが課題となっている。そこで、本研究では録音された環境音からそこにいる野鳥の種類を判別する機械学習モデルの作成を行った。音源から5秒ごとにスペクトログラム画像を作成し、これを人の手によって分類した教師画像をVGG16に転移学習させた。学習したのは絶滅危惧種のヤンバルクイナと、ウグイスやヒヨドリなどである。このモデルを沖縄本島で録音した音源に対して適用したところ、ヤンバルクイナの予測精度はAUCで0.83となった。今後は識別対象種を増やすことで、気候変動などに対する生物モニタリングなどにも利用可能と考えられる。

野球の捕手は，投手が投げる野球ボールを捕球するポジションである．近年注目を集めている捕手の技術の一つにフレーミングがある．フレーミングとは，捕手が投球を捕球する際にミットや体をストライクゾーン内へ移動することで審判が投球をストライクと判定する可能性を高める捕球技術のことである．フレーミング評価法として投球の球種やコースの差異等を考慮した評価法はあるが，フレーミング中のミットの移動を考慮した評価法は提案されていない．本研究では捕手が投球を捕球する位置とミットを静止する位置からフレーミング中のミット移動軌跡を自動で検出する方法を提案すると同時に検出したミット移動軌跡を投球の球種別に分析する．

従来の行動認識手法としては, 外観情報とモーションを捉えるTwo-Stream CNNが提案されている. 一方調理行動においては, “切る”行動における”みじん切り”などの切り方といった詳細な行動分類が存在し, それらは共通の器具及び類似した動きを使用している. このような行動では既存の手法では認識が困難である. そこで本論文では, GANを用いて前後の時刻の画像から元の時刻での画像を復元することで食材の変化を捉え, その情報から切り方を認識するモデルを提案する. 複数の環境で5種類の切り方を撮影し, それらについて行動分類の精度を評価した結果, 従来手法に比べ環境差異に頑健な認識が可能となった.

近年，バスケットボールのような混戦型球技ではデータの活用が重要になっている．このような中で，著者のグループでは，これまで選手・ボール位置情報を用いたパス可能選手予測法と攻撃選手・守備選手のスコアリング法を提案し，それらの算出結果の可視化機能を搭載したタッチテーブル型選手位置情報可視化ツールを試作してきた．更に，著者らは最適ドリブルルート算出法の提案も行い，その有効性も確認してきた．本研究では，この最適ドリブルルート算出法の算出結果に対する可視化機能を同ツールに搭載した．また，同ツールでは，スコアリング法の算出結果は俯瞰視点画面での可視化のみが可能であったが，3次元視点画面での可視化もできるように改良した．

音声言語で綴りが似ていても意味が全く異なるような語があるように，手話にも腕や手指の動作がよく似ているものの，表す内容は異なるような語(表現)がある(ある語に対する手話動作類語と本研究ではよぶ)．そのような組み合わせを，人の姿勢・手指形の自動推定プログラムを活用し，手話の映像から効率的かつ網羅的に探すための単純な方法を提案する．カメラや映像中の手指や腕などの部位を前述のプログラムでフレームごとに認識し，腕や手指，その動きを欠損値を含むベクトルで表現する．そして，手指動作の類似度を定量化する．実験の結果，今まで広く知られていないような組み合わせがいくつか同定された．

人の骨格情報を用いて映像より不審行動を検知する手法を検討した。提案手法では、OpenPoseで骨格情報を抽出し、幾つかの仮想的な関節間の接続も考慮し、不審ではない行動のみを学習したST-GCNをまず用意した。次に、生成された特徴量をAutoencoder、One-Class SVM、Local Outlier Factor、Isolation Forestで学習させ、不審ではない行動及び不審行動をテストデータとしてこれらに入力し、定めた閾値を超えたものを不審行動とした。NTU-RGB+D 120データセットによる実験の結果、Autoencoderで約80％のAUC値が得られた。

作業者の作業内容の記録や作業現場の状況解析の実現には人物の行動を正確に認識することが必要である．既存研究ではRGB値や人物の姿勢の情報を利用した手法が数多く提案されている．しかし，「ドアを開ける」と「ドアを閉める」のように，RGB値や姿勢の変化が時系列方向に対称性・類似性を有する行動を誤認識する問題がある．ドアを開ける場合，行動によってドアを開けることが可能な状態から開けることが不可能な状態へとアフォーダンスが変化するように，行動の情報は物体などの周辺環境の側にも存在する．そこで本研究は，物体のアフォーダンスの変化を捉える行動認識手法を提案し，環境情報が行動認識性能向上に寄与可能か検証する．

　本研究では，一般道路を走行する車両において，「横断歩道又は自転車横断帯あり」路面標示を自動的に検出し，運転手に通知するシステムの作成を行う．
路面標示の認識には，YOLOv5を用いた．実験の結果「横断歩道又は自転車横断帯あり」路面標示を9割以上の精度で認識できるシステムを作成することができた．また本研究では，経年劣化や車両が路面標示上を通ることによる摩耗によって，一部欠損を伴うなどの特異な状態にある路面標示の認識を可能にするべく研究を行っており，その研究内容と現状についても述べる．

歩行者の移動経路を高精度に予測する機械学習モデルは、ITS や自律ロボットなど応用先が広く重要な研究課題である。先行研究では、Attention 機構を用いて歩行者の時系列情報と歩行者間の相互インタラクションを抽出する手法が大きな成果をあげているが、環境情報は静止画から単純な CNN を用いて取得しているのみで十分な特徴抽出がなされていない。本研究では、歩行者と境界情報をグラフのノードとして捉え、時空間的依存関係を抽出する軌道予測モデルを提案する。 グラフニューラルネットワークを応用したモデルにより、CNNを用いずとも周囲の環境情報を考慮した軌道予測が可能になることを示した。

交通流を面的に把握できるカメラは、通過台数など従来の断面的交通指標だけでなく、空間平均速などの空間的交通指標、交通異常の事象検出などの交通安全指標などの計測が期待できる、有望な交通流センサと考えられている。そして、画像認識もしくは画像差分に基礎を置いた画像解析技術が検討されている。しかしながら、前者は未検出と誤検出のトレードオフ、後者は撮影環境の変動や移動体の速度の変化に脆弱といった課題がある。我々は、それらの課題解決を目指し、１フレームの計測結果だけから面的なオプティカルフローが得られる時間相関カメラ、及びその動作原理である荷重積分法を交通流計測応用する検討を行ったので、それを報告する。

ドローンの社会的認知及び普及，さらには用途の拡大に伴い飛行区域禁止における飛行や接触事故などの様々な問題や課題が生じており，今後も増加すると思われる．その対策の一助となるドローンの検出を 3D-LiDAR を用いて行った実験について検討した結果を示す．特に，従来ではその他の手法と比較して遠距離における小型物体の検出精度が低い（空中分解能が低い）ことも有り，ドローンのような小型飛翔体に対する検出距離が短いとされる．このため，3D-LiDARを主軸にした小型飛翔体検出に関する研究は少ない．小型飛翔体検知に対する 3D-LiDAR の有効性を実験によって評価を試みた．

船舶の見張り支援に用いられる画像認識システムには，1海里先の小型船舶を検出できることが求められる．我々はこれまで，舶載カメラで画像データを取得していたが，気象条件によっては遠方の船舶が不鮮明に写り，学習データとして使用した際に検出精度が低下してしまう問題があった．そこで，不鮮明な画像を改善するためにトーンカーブを用いたコントラスト変換によるColor Space Transformationsを行う．本手法でコントラストを調整することで，靄による影響を軽減し，画像中の船舶の鮮鋭度を向上させることができる．本手法を用いて構築したデータセットで学習を行ったところ，船舶検出精度の向上を確認した．

本研究は，マルチロータによるキャベツ畑の空撮画像からキャベツの検出を行い，多数個体の球径の推定を行うものである．
キャベツの検出には，Yolo v3による手法とHough変換とHSV色空間の情報による検出手法を検討し，空撮画像からの検出を可能とした．
キャベツの球径は，ピクセル当たりの大きさから推定した．空撮画像に写る多数個体の推定ができる．
推定球径の精度については圃場の実測値との確認を行い，平均誤差は0.89cmであった．
また，結球重も推定し，積算温度との比較によって収穫時期推定まで可能とした．

電子回路作製の自主学習支援システムを念頭に、ブレッドボード上に製作した回路の部品種類や部品端の接続関係をDeep Learning等を用いた画像検出技術を用いて解析し、カメラで撮影した画像からブレッドボード上の回路構成状況をチェックするシステムについて提案する。本研究では、SSDによる画像検出によって得られたブレッドボード回路基板上に配線された部品(ワイヤ)の端点情報から色情報を抽出し、抽出した画像中の色情報等を基に線路探索を行うことで、回路基板上に配線された部品の接続関係や形状、位置関係といった情報の取得を行う方法について検討する。

近年、農業分野ではロボット技術や人工知能などの先端技術を用いて作業の省力化など各種課題を解決するスマート農業が推進されている。本研究では、トマト箱詰め作業の自動化に着目した。箱詰め作業の現場では大きさや重さでサイズを自動分類した後、手作業でトマトの蔕を下側にして専用トレーに並べて箱詰めし出荷している。この作業を自動化するにあたり、転がってきたトマトがどの方向をむいているか画像認識が必要となる。本研究では、三次元軸の角度を変化させたトマト画像データセット2600枚を作成し、畳み込みニューラルネットワーク(CNN)を用いて学習させることにより、学習率と分類正解率で80%以上の結果が得られた。

トマトは成熟過程に応じて緑色から赤色まで10段階の着色度合いが農協で定められている。経験不足の従業員は収穫のタイミングを逃すあるいは早すぎるということが多く，最適な収穫時期を見分けるノウハウを的確に教えることができるシステムが望まれている．本研究では畳み込みニューラルネットワーク（CNN）を用いて、画像からトマトの成熟度を判別する方法を検討した。農園にて撮影された3261枚のトマト画像を、宮城県産トマト標準出荷規格表(JA)に応じて熟度別に５段階に分類し、データセットを作成した。次にデータセットのうち2450枚を学習用データとして熟度判別用のCNNで学習し、残りの811枚を分類したところ、識別の精度は81%であった。

本論文では，高品質な3Dモデルデータを用いて大量の学習画像を生成する手法と，モデルの品質が害獣検出性能に与える影響について検討する．我々は害獣の3Dモデルと実背景画像を合成して害獣検出用の学習データを生成する手法を提案している．しかしながら，従来はWebサービスを用いて自動生成された低品質なモデルを用いていた．本論文では，3Dモデルの品質を見直し，従来の低品質なモデルを用いた場合との検出性能を比較することを目的とする．実験の結果，高品質なモデルで生成したデータセットで学習した場合の検出率は，低品質なモデルで生成したデータセットで学習した場合の検出率より0.2%高いことが確認できた．

先行研究では，CycleGANは宝飾品画像の補正においても有効であるという成果を出している．本研究では，影などの背景要素が宝飾品画像を補正する上で悪影響を及ぼすという仮定のもと，CycleGANにおける宝飾品画像の補正能力の向上を目的とする．宝飾品画像から背景要素を除去した上でCycleGANの学習を行い，背景要素を取り除かなかった場合と比較する．比較する際には，PSNRやSSIM，カラーヒストグラムのコサイン類似度を評価指標として用いる．

近年、家畜の飼養管理の自動化技術が求められており、重要な課題として、モニタリングの省力化が挙げられる。本研究では、放牧場で撮影した俯瞰動画像に基づく放牧牛のリアルタイム追跡に焦点を当て、この実現に向けた手法を提案する。提案手法は、検出と追跡の二段階からなる多物体追跡手法の一つであるDeepSORTに基づく。提案手法では、Attentionを導入することでYOLOv5を改良し、放牧牛の特徴を検出した。また、追跡においては、改良されたYOLOv5にて抽出された特徴を再利用することで、実行速度を高速化した。さらに、数値実験では、神戸大学大学院農学研究科附属食資源教育研究センターにおいて取得された動画像に対して提案手法を適用し、その有効性を示した。

本稿ではAuto Encoder(AE)を用いて入力と出力に同一人物で顔の向きが異なる画像を用いた場合の潜在変数について検討を行う。AEは異なる解像度ごとの接続関係であるContracting Path(Concat)を導入したU-Netを利用する。一般的に入力と出力を同一にした場合の U-Net では Concat の利用により勾配消失を抑制させることができ、高精度な出力画像が得られるとされている。しかし入力と出力が異なる場合にはそれぞれの結合がどのような役割を果たすのかは明らかではない。Concatを変化させ、その効果を確認する実験を行った。その結果、位置によって役割が変化し、色の情報や顔の情報、目の回転情報を伝えることを確認した。

隠消現実感(以下DR)は，現実物体に背景画像を上書きして表示することにより，現実空間から対象の物体が削除されたように見せる技術である．我々は，深層学習を利用し，リアルタイムのDRアプリケーションを開発した．これは，スマホカメラで撮影された画像中でユーザが設定した３次元空間内の物体を削除するもので，３次元空間の設定もアプリで行える．しかし，DRが行える背景が限られ，補完精度も十分とはいえなかった．そこで，本研究では学習画像とネットワーク構成を改善することで，背景の制約を緩和するとともに，リアルタイム性を損なうことなく生成される背景画像の精度を改善し，より実用的なDRアプリケーションを実現した．

人間は物体を視認した際に物体の名称だけではなく，物体の質感情報も同時に認識して詳細な情報を獲得している．そして，質感情報をオノマトペで表現して認識している．一般的な物体認識手法では，物体の名称などを認識できるが，物体の質感情報の分類には主眼が置かれていなかった．本研究では，オノマトペに注目した質感情報の分類を目的とする．まず，オノマトペに注目した画像データセットを作成する．次に，データセットの画像を学習済みCNNに入力し，中間層から質感特徴量を抽出する．その後，ニューラルネットワークで学習して物体の質感情報を分類する．本手法では質感情報を分類できるため，ファッション分野などでの応用を期待できる．

CNNは、大規模データから汎用的な事前知識を学習することに優れており、画像復元に広く応用されている。近年、他分野で著しい性能を示しているTransformerが、画像復元でも注目を集めている。これはCNNの欠点である局所的な受容野や入力画像ごとへの適応能力の低さを解決しているが、空間的なSelf-attentionを求めるため、空間計算量が解像度に対して二次関数的に増加するという問題点がある。本研究では、離れた画素の相互作用を捉えるmulti-scaleに加え、Channel方向の依存関係をモデリングするChannel Transformerを提案し、単一画像の雨除去の有効性を検証する。

近年の深層学習モデルは，膨大な数のパラメータを持つ．
それに伴い，スマートフォンやRaspberry Piのようなエッジデバイスへの深層学習モデルの搭載は，容量の観点から困難である．
学習済みモデルのアーキテクチャを近似し軽量化することで，メモリやディスク容量が制限された小型端末内での動作が可能になり，応用範囲が拡大すると考えられる．
本研究では，従来から知られているパラメータ削減手法のプルーニングと，線形演算の行列分解による計算削減を組み合わせる方法を提案する．
行列分解の対象を全結合層の重み行列とし，全結合層のパラメータが大部分を占める Transformerに適用し，その効果を検証した．

近年, StyleCLIPのような潜在空間をテキストに合うように編集し,学習済みStyleGANからテキストにあった画像に編集する研究がある.このStyleCLIPでは背景画像でも適応可能だが,背景画像は顔画像よりもスタイル,コンテントともに多様性が高いため,任意のテキストで指定するだけでは背景を編集することは困難である.そこで本研究は、潜在空間を利用したテキスト編集だけでなく,セマンティックセグメンテーションを利用することでコンテントの編集も可能にした背景の編集の手法を提案する.本手法によって,従来の手法よりもより自由な画像編集が可能になると期待できる.

近年，事前学習済みのGANを用いて画像を編集するGAN反転という分野が注目されている．GAN反転では入力画像を再現するような潜在変数を推定し，推定した潜在変数を編集することで画像編集を行う．本研究ではStyleGANにおける潜在変数であるStyleを空間方向に拡張したStyleMapを用いることで再構成品質の向上を図った．また，本手法による画像編集を定性的・定量的に評価し，通常の編集方法に加え局所的な編集が可能であることを確認した．

近年, semantic segmentationの分野では, 複数解像度を並列に処理するHigh-Resolution Network(HRNet)に, 受容野を可変にするdeformable convolutionを導入することにより識別精度が飛躍的に向上した. しかし, deformable convolutionは学習範囲を超えて受容野を広げることが可能なアーキテクチャであため, 関係性が弱い範囲まで受容野が広がってしまう. そこで本稿では,受容野の範囲を制限したdeformable convolutionの学習方法を提案する.

単一視点画像からの3次元再構成は，長い間コンピュータビジョン分野における重要な課題となっている．
従来の単一視点画像からの3次元再構成は表面が滑らかで物体の詳細情報が失われている3次元モデルを生成し，本来の物体を表現できていない．
本研究では，単一視点画像の3次元再構成においてパーツ間の関連性及び構造を保持することで，よりリアルな3次元モデルの復元を目的とする．
先行研究では，直方体のプリミティブを組み合わせることで，パーツ構造を含んだ3次元再構成を行なっているが，円形のパーツの表現に弱い．
この課題に対し，本研究では円柱のプリミティブも追加することで，表現力を向上させる．

本研究は、外観検査のため対象物の単眼カメラから得る点群にミリ波レーダで得る距離点群をICP法でマッチングさせ、寸法を持たないカメラ点群に寸法を与える手法を提案する。
対象物を単眼カメラから密な点群で三次元復元する。併せて、一次元データのミリ波レーダアンテナを直交座標系で移動させ、対象物までの距離点群を取得する。
寸法を持たないカメラ点群へ、レーダ点群を基準にICPマッチングを行い、カメラ点群のレーダ点群に該当する部分部分に寸法を与える。マッチング後の点群と対象物寸法との比較により、マッチング後の点群の寸法がレーダ距離分解能の影響を受けレーダ点群とマッチングしてしまうことを示す。

VR 旅行やデジタルツインなどの様々なサービスにおいて，現実の三次元空間をデータ化し，コンピュータ上で再現する需要が高まっている．しかし，現実世界は変化するため，高い頻度でのデータ更新が必要である．既存手法では，高精細なデータ収集が可能でもデータ更新が容易ではなかったり，データ更新が容易でも精度，密度が不十分である．そこで，本研究では高精度，高密度，高精度なデータ更新を目指して，複数視点からの画像とその視点の位置姿勢情報を用いて機械学習を行い，新たな視点画像を合成する手法とLiDARセンサ情報を用いる手法の研究を行う．画像情報やLiDAR情報は，走行しながらの収集が容易であり，画像ベースでは高密度な三次元再構成が可能で，LiDARベースでは高精度なデータ収集が可能なため，これらを組み合わせることで目的の達成を目指す．

浅く曲げた指の輪郭線は曲げる前より短くなるだけで，人が見ても曲げの程度が認識できない．すなわち，手形状パターン識別器に浅く曲げた指の特徴を学習させにくい画像となっている．識別器がより多くの手形状を識別できるようにするために，指の曲げの程度を特定しやすい特徴を教えられる画像の学習が望まれる．そこで著者らは，指の曲げ具合を特定できる有力な情報として関節ジワに着目した．よって本研究では，関節ジワが指の屈曲状態の推定に与える影響について調査した。本稿ではその結果として，シワ情報を含む場合の方が浅い曲げを伴う手形状パターンの識別精度が高くなるということを報告する．

　３次元計測により得られた情報の活用が注目を集めており，建造物等を映像から３次元化することにより車両機械等の自動化技術向上に寄与している．その中で，移動物体についてはノイズとして処理されることも多いが，同時に移動物体行動を把握及び予想することが可能になると，さらなる自動化技術の向上が期待できる．本研究は，移動物体追跡映像からSfMを用いて3次元空間に立体モデルを生成し，移動物体の軌道及び形状を把握する手法について提案する.

拡散反射と鏡面反射の分離は, 画像の認識や編集などの様々なタスクの前処理として有用である．従来の偏光に基づく反射成分分離では，鏡面反射光が部分偏光であるのに対して，拡散反射光が非偏光であると仮定している．ところが，物体表面層での散乱と界面の透過を経て観察される拡散反射光は一般に部分偏光であるため，従来手法の精度には限界がある．そこで本稿では，拡散反射光と鏡面反射光の両方が部分偏光であることを仮定した反射成分分離法を提案する．提案手法では，カラー偏光画像を入力として，部分偏光モデルと2色性反射モデルに基づいて，反射成分を分離するとともに偏光度と位相角を推定する. 実画像と合成画像を用いた実験を行い，提案手法の有効性を示す．

GUI画像に対して、基本的な要素（UIパーツ）を検出するモデルの作成が試みられてきた。これは一般的な深層学習の物体検出タスクと同様に、第一にUIパーツの位置を検出し、第二にクラス分類を行う二段階のモデルを構築する。本研究では、少数の教師データからUIパーツのクラス分類を行う手法を提案する。まずGUI画像から画像特徴と文字特徴を抽出する。特に、画像特徴の抽出においては、自己教師あり学習であるSimCLRを用いた。そして、収集したUIパーツに対して提案手法を適用した結果、各クラス一つのみの学習データを用いた場合においても、高い精度が得られることが判明した。

本論文では物体検出手法を用いて，製品の質を左右する粉粒体の付着を検知できるか調査する．
塗装製品は粉粒体の付着によって品質が左右され，ヒトが画像によって評価する．しかし，重なって見える粉粒体の数は多く，評価には時間を要する．生産性を向上させるには機械的に付着を検出することが望ましい．しかし，学習に用いる画像に一意の正解ラベルを付与できず，学習の対象となる特徴を捉えるまでに大量のデータセットが必要となる．また，正解ラベルは個数であるため画像の拡張ができない．よって，従来の画像認識手法では判別が難しい．そこで本論文では，物体検出手法を用いて粉粒体の付着を検知する．

本稿ではROC曲線の上側の面積であるArea Over the Curve (AOC)をスコア制限によって最小化する学習方法を提案する．提案法では正例と負例の最小スコアおよび最大スコアに基づき識別境界付近のデータのみを選択してAOCを最小化するため，識別境界付近における分離性能の向上が期待される．提案手法を虹彩認証における認証阻害要因のひとつであるカラーコンタクトの検知に適用したところ，訓練データに含まれない未知デザインのカラーコンタクト画像と裸眼画像の分離に対する等価エラー率が，従来の誤差最小化の基づく学習方法と比較して14.1%から11.2%に改善され，分離性能の向上が確認できた．

石灰製品の加工において，原材料の石灰石に不純物が多く含まれていると，最終的に製品の品質や品位の劣化につながる．そこで，原材料の段階での石灰石の分別が非常に重要である．品質の低い石灰岩には，鉄や他の鉱物などの不純物が多く含まれており，その組成物によって色などの見た目が異なってくる．しかしながら，ベルトコンベアによって高速で大量に運搬される石灰岩の分別を人手により行うことは非常に困難である．そこで，本研究では，深層距離学習による異常検知技術を応用して，画像情報に基づく良質の石灰岩と不純物を含む石灰岩の分別に取り組んでいる．本稿では，分別手法について紹介し，その成果について検討する．