1．はじめに

これまでの家電製品は，「娯楽性」「利便性」「快適性」というニーズと，社会や生活環境の変化に応えて進化してきた．近年では，各機器の高機能化と使い勝手を向上させるユーザインタフェース，省エネルギー性が強く求められている．家電製品進化の過程には，大きく2つの流れがある．

（1）情報，娯楽，生活の楽しみの提供からスタートしたラジオ，テレビ，オーディオの流れ…「娯楽性」

（2）家事労働の省力化など，生活が便利になることを追求してきた洗濯機や冷蔵庫などの白物家電の流れ…「利便性」

さらに，白物家電による生活レベルの向上とともに，住環境をより快適にする空調機器の進化，住宅設備機器としてオール電化機器が加わることで，現在では「快適性」が3番目の大きな流れとなっている[1]．以下，このような「娯楽性」「利便性」「快適性」というユーザのニーズに応えることで成長してきた家電製品の進化過程と現状，上記ニーズに対応する技術について述べる．

1つ目のニーズの「娯楽性」について，家庭の中でのテレビを例として挙げる．家庭におけるテレビは，一家団らんの時代の象徴であり，放送というインフラを通して，国民に共通の娯楽を提供するものであった．

2つ目のニーズの「利便性」とは，家電製品に対する普遍的なニーズの１つである．利便性の追求は家事の省力化とも置き換えられ，それは家事作業の「工程」，「時間」，「負担」を低減することを意味する．利便性を突き詰める１つの形が自動化である．洗濯機は一槽式，二槽式，全自動洗濯機と自動化が進み，乾燥機能が追加された．掃除機は，高い捕塵性能とともに，使い勝手に対するニーズが高い．掃除機も将来全自動のロボット掃除機が主流になる時代が来ると考えられるが，現在の技術ではまだ課題が多い．

3つ目の「快適性」とは，温度，湿度を最適にコントロールし，さらに，自然に近い環境を実現することにある．こうした快適な空調住環境をめざすのが総合空調としてのエアコンである．四季の温度変化，北海道から沖縄までの環境条件の違い，住宅の高気密化などの諸条件を満たし，快適性を追求するエアコンを実現するには，高機能化が伴い，各社は省エネルギー技術の開発を進めてきた．熱検出センサ（サーモパイル）や赤外線センサ（焦電センサ）を用いて，人の出入りや室内での居場所・活動量・在室人数などの情報を把握した上で，風向きや風量を制御することにより，節電運転を行うエアコンが各社から発売されている．このようなエアコンの高機能化に伴い，室内の構造，すなわち，壁面，床，梁，扉，家具などの位置を推定し，細やかに風向きや風量を制御する技術が求められるようになってきた．

間取りや家具を検出する主な方式として，以下3つの方式が考えられる．

・複数のカメラを用いる方法

・超音波センサを用いる方法

・レーザを用いる方法

複数のカメラを用いる方法は，撮影した画像間の差分を利用して，対象物の位置を推定する．この方法では，複数のカメラを必要とするために高価となることや，カメラ位置の制約や筺体の大きさの制約を受けるという課題がある．超音波センサを用いる方法は，コストの課題は解決されるが，センシングにより得られる情報量が少ないため，精度の低さや検出できる距離の短さが課題である．また，レーザを用いる方法は，コストや安全面に課題がある[2]．

我々は，コストと精度の要求を両立させるために，カメラ1台で間取りと家具を検出する技術の研究開発に取り組んだ[3],[4],[5]．開発した技術は，あらかじめモデルとして与えた部屋の構造知識を用いることにより，画像1枚から，扉の開閉や対象物の位置等の建物の構造を検出し，建物内の間取りと家具を検出する．開発した間取りと家具を検出する技術の特徴を以下に示す．

（1）カメラで撮影した画像から，扉の開閉や部屋の形状および家具を検出し，風向きと風量を自動制御する．たとえば，リビングと隣室が二間続きの場合においては，扉を閉じていると一間，開いていると二間に合わせた空調を自動で行うほか，吹き出す風のスイングの向きを部屋の大きさに合わせて自動制御する．

（2）人の位置や周辺温度だけでなく，家具の位置や形状，部屋の間取りを検知し，「気流の通り道」を認識する．

本稿では，家庭用エアコンのニーズ調査結果を2章にて述べる．また，ニーズ調査結果を踏まえて家庭用エアコン向けに開発した画像認識技術のうち，間取り検出技術と家具検出技術を取り上げ，その詳細を，それぞれ3章，4章にて述べる．また，間取り検出技術および家具検出技術を家庭用エアコンに適用した際の空調制御の効果を確認するため，室温測定実験を行った結果を示す．

2．家庭用エアコンのニーズ調査

地球温暖化への懸念や電気料金の値上げを背景に，より省エネルギー性の高い製品へのニーズが高まっている．家庭用エアコンの省エネルギー指数は，APF（Annual Performance Factor：通年エネルギー消費効率[6]）値で示される．各社とも基本の要素技術である圧縮機，熱交換器，送風機，モータを駆動するインバータ回路などに毎年改良が加えられ，より高いAPF値の家庭用エアコンが開発されている．一方，家庭用エアコンの不満点について，515人を対象に調査したところ，「電気料金が高い」という不満とともに，暖房時には「足元が暖まらない」「部屋全体が暖まらない」，冷房時には「部屋全体が涼しくならない」という不満も多い（図1）．

「部屋全体が暖まらない，涼しくならない」という不満については，部屋の扉の開閉状況や部屋の形状および大きさなどを検出できないため，エアコンから最も遠い部分への出力を強くするなど部屋の間取りに従った空気の調節ができなかったことに原因がある．この課題を解決するために，家庭用エアコンに可視光カメラとサーモパイルを搭載し，部屋全体を暖めたり涼しくするために，扉の開閉や部屋の形状を検出する間取り検出技術を開発した．本技術は，室内の構造，すなわち壁面，床，梁の位置と，扉の開閉などの変化を推定する技術であり，扉の開閉や位置を検出できるようになるため，たとえば部屋が二間続きでも，エアコン1台で部屋の奥に風を強く送り，室温の温度ムラをなくすことが可能になる．本技術は，2013年度に「くらしカメラツイン」として製品化した[7]．間取り検出技術について，第3章にて述べる．

また，「足元が暖まらない」という不満については，リビングルームはほかの部屋と異なり，ソファやダイニングテーブルが設置されており，ソファやダイニングテーブルが気流を遮って足元に暖気が届かなかったことに原因がある．この課題を解決するために，家具があっても気流が通る道を見つけ，人の居場所に気流を届けることが重要であると考え，その手段の検討を進めた．この中で家具の位置や形状の検出には，家具の絵柄の影響を受けにくい「近赤外線画像」を活用することが有効であると考え，近赤外線画像を用いて気流の通り抜ける家具か，気流の通り抜けない家具かを判別する技術を開発した．家具の位置や形状を検知し，気流が通る道を認識することにより，暖房時には足元に向けて暖気を吹き出すなどのきめ細かい風向制御が可能になる．本技術は，2014年度に「くらしカメラ3D」として製品化した[8]．家具検出技術について，第4章にて述べる．

3．間取り検出技術

従来の家庭用エアコンに搭載していた焦電型赤外線センサは，センサに入射する赤外線量が変化することで人の動きを検出し活動量を推定している[9]．活動量検出を高精度化するためには，センサの数を増やすことにより，人の動きの位置の情報を細分化できるが，部屋の扉の開閉状況や部屋の形状および大きさなどを検出できないため，エアコンから最も遠い部分への出力を強くするなど部屋の間取りに従った空気の調節ができなかった．

この課題を解決するために，室内の構造を推定する間取り検出技術を開発した[3]．本技術は，室内の構造，すなわち，壁面，床，梁の位置と，扉の開閉などの変化を推定する技術であり，扉の開閉や位置を検出できるようになるため，たとえば部屋が二間続きでも，エアコン1台で部屋の奥に風を強く送ることが可能になる．

3.1　間取り検出技術の処理内容

本研究では，室内全体の空気を一定の温度に調節するために，エアコンが設置される位置から扉やコーナーを含む室内の風景を撮影した画像から間取りを検出する技術を開発した．本技術によって，部屋の扉やコーナーを検出することにより，風向きを左右にスイングさせた場合に，部屋の右奥と左奥のコーナーの間に制御した上で，部屋の奥や隣室まで風を強く送ることが可能になる．

図2に間取り検出技術の適用例を示す．風向きを左右にスイングさせた場合に風が壁にあたらなくなり，部屋全体の温度を均一に保つとともに，部屋の奥まで風量を強く制御することができる．間取りを検出するためには，扉の位置を把握する必要がある．そのために，撮影した画像を元に複数の扉の候補を抽出し，その中から正しい扉を絞り込むことにした．

扉検出方法の処理順を図3に示す．まず始めに，俯角45度で設置されたカメラを用いて部屋の様子を撮影する．家庭用エアコンに搭載したカメラとプロセッサという，性能の限られたデバイスであるため，画像サイズは320×240pixelとした．一定の時間間隔をおいて撮影した複数枚の画像に対して，扉の開閉の動きを判断するため，差分値を算出する．

次に，算出した差分値に対して，一般的な技術である領域分割処理[10]にて扉の候補を複数抽出する．次に，扉の候補の中から扉の四角形らしさや大きさを判断して，扉の候補を1つに絞り込む．このように検出した扉に対して，複雑度（扉の領域全体の絵柄の複雑さ）を算出し，それを元に開閉を判別する．最後に，扉の面積から中心座標を算出し，処理を終了する．

建物の構造を検知するためには，建物内の梁を正確に検出する必要がある．本技術では，あらかじめモデルとして与えた部屋の構造知識を用いて，数多くの梁の候補の中から正確に梁を検出し，梁の交点から建物内の構造を検知する．上記の部屋の構造知識とは，直線同士の交点の角度や位置，直線の強度のことをいう．これらの構造知識を用いて，梁の絞込みを行うことにより，部屋のコーナーを検出する．

コーナー検出方法の処理順を図4に示す．まず始めに，梁の候補を見つけるため，撮影した画像内のエッジ[11]を検出する．次に，上記にて検出したエッジ画像に対して，直線検出処理[12]にて梁の候補の絞込みを行う．次に，あらかじめモデルとして与えた部屋の構造知識を用いて，数多くの梁の候補の中から正しく梁を見つけ，梁の交点から建物内の構造を検知し，処理を終了する．

上記の条件のみでは，テレビのON／OFFなどを誤検出してしまうため，扉の面積が小さい場合は，扉以外であるという条件を加えた．また，カメラから扉までの距離によって，画像から判断できる扉の矩形の面積が変化するため，梁の直線の延長線上に発生する複数の梁の直線の交点（消失点）を算出することによって，カメラから対象物までの大まかな距離を算出することにした．

3.2　実環境での間取り検出結果

間取り検出技術を家庭用エアコンに適用した際の評価実験を行った．実験には，エアコンに搭載した可視光カメラ（図5）にて実際に撮影したデータセットを用いた．エアコンに搭載した可視光カメラは，回転することによって，撮影範囲を広げることができる．本データセットは，俯角45度で設置されたカメラを用いて部屋の様子を撮影した画像で構成される．評価用画像の撮影条件を以下に示す．

[評価画像]

・画像サイズ: 320×240pixel

・評価画像数: 290枚

・撮影シーン: 扉の開／閉，テレビのON／OFF，カーテンの開／閉，ハンガーを掛ける／掛けない，人が居る／居ない，照明のON／OFF

本データセットはエアコン搭載のカメラの評価用のものであり，これに対して間取り検出技術の精度評価を行うことで，十分な性能を得られているか評価する．特に，窓から外光を取り入れた際の照明変動時には，部屋の一部に陰が発生して検出精度の劣化が懸念される．実験では，データセット290枚の画像に対して間取り検出処理を実行し，検出結果を手動で付与した正解情報と比較することで検出精度を算出した．間取り検出技術の処理結果の一例を図6に示す．

間取り検出技術の評価の結果を，表1に示す．エアコン搭載のカメラ画像に対して正検出率が73.7％，誤検出率が8.4%の精度であることを確認した．誤検出時においても，以前の間取り検出結果との比較に基づき動作するため，誤動作を減らしている．また，処理時間は7秒であることを確認した．

間取り検出技術技術を家庭用エアコンに適用した際の空調制御の効果を確認するため，室温測定実験を行った．本実験に用いた部屋の構造を図7に示す．A室とB室の間に設置している扉を閉めた状態から，開けた状態にした上で，B室の室温を測定する．B室の室温を測定する際に，間取り検出技術をONした場合とOFFした場合で比較することにより，本技術の効果を確認する．

図8は，サーモグラフィを用いて，B室の室温を測定した結果の画像である．間取り検出技術をOFFしている場合，扉を開いてから3分後のB室の温度は0.8℃のみの上昇であるのに対し，間取り検出技術をONした場合は3.8℃上昇し，ほぼ設定温度に制御できていることを確認した．

上記では二間での適用事例について述べたが，一方で一間の場合においては，部屋のコーナーを検出することにより，風向きをコーナー内に絞った上で，部屋の奥に風を強く送ることが可能になる（図9）．風向きを左右にスイングさせた場合に風が壁にあたらなくなり，部屋全体の温度を均一に保つ．一方，部屋の奥まで風量を強く制御することができる．

このように，組込み機器に適した簡単なアルゴリズムにより，部屋のコーナーや扉の開閉を検出できるようになった．部屋のコーナーや扉の開閉といった，どのような部屋にも存在する特徴を用いることにより，部屋の間取りのパターンとして，一間や二間などの多様なパターンに適用することが可能となる．多様なパターンに適用することができるため，組込み向けの低スペックのCPUでも十分な認識結果が得られ，間取り検出だけでなく，第4章の家具の検出にまで拡張できた．

4．家具検出技術

家庭において，家庭用エアコンの使用頻度が高く，大型機種が設置されているリビングルームの形態はLDK（Living，Dining，Kitchen）が主流となっており，家族が集まる場所で時間帯によりさまざまな生活シーンが展開されているのが特徴となっている．このリビングルームにはほかの部屋とは異なり，ソファやダイニングテーブルが設置されており，「ソファやダイニングテーブルが気流を遮って足元に暖気が届かない」，「温度ムラができて部屋全体が涼しくならない」という声が顧客から聞かれた．そこで我々は，リビングルーム特有の前述の課題に着目し，家具があっても気流が通る道を見つけ，人の居場所に気流を届けることが重要であると考え，その手段の検討を進めた（図10）．この中で家具の位置や形状の検出には，家具の絵柄の影響を受けにくく，家具が浮き出て見えるため家具を検出しやすい「近赤外線画像」を活用することが有効であると考え，近赤外線画像を用いて気流の通り抜ける家具か，気流の通り抜けない家具かを判別することを目的に開発を進めた[4]．

4.1　家具検出技術の処理の流れ

エアコン室内機中央部にカメラ部を設け，中央の可視光カメラの前に，近赤外線画像を取得するときのみ，近赤外線波長を透過するフィルタをシャッタ方式にて可視光カメラの前に移動させ，近赤外線カメラとして機能させる．さらに近赤外線LEDを照明として発光させて近赤外線画像を取得する（図11）．取得した近赤外線画像にノイズ除去[13]，エッジ検出[11]，領域分割[10]などの処理を行い，家具の候補を検出する．家具の候補の中から家具の特徴 （形や大きさなど）を用いて，家具の候補を絞り込む．さらに，家具の脚の長さ・開口面積を算出し，気流の通り抜ける家具か，気流の通り抜けない家具かを判別する（図12）．

上述の方法により特定した「気流の通り道」へ室内機からの気流を制御するため，従来製品では2枚設けていた上下フラップの上側をさらに3分割した「3分割フロントフラップ」を開発した（図13）．これにより，「気流の通り道」に向けたきめ細かな風向制御が可能となり，暖房運転時は足元を狙って気流を吹き出し，冷房運転時は冷気だまりの形成をおさえて冷風を循環させ，快適な空調を実現した．さらに，足元の温度や状態（スリッパや厚手の靴下など履いている状態）によらずに足元を検出できるようにするため，可視光画像を用いた足元検出技術を開発した．足元検出技術は，取得した可視光画像に頭部検出処理を行い，頭部の位置から体の輪郭をなぞることによって，複数の足元の候補を検出する．足元の候補の中から足の特徴 （頭部からの距離など）を用いて，足元の候補を絞り込み，最終的に足元を検出する（図14（左））．

4.2　気流の通り道検知結果

以上の情報をもとに，暖房運転時においては，足元へ気流を届けるための「気流の通り道」を図14（右）に示すように特定する．また，冷房運転時には気流が家具に遮られずに循環する「気流の通り道」を特定する（図15）．

次に，「気流の通り道」の暖房運転時の効果について確認する．気流の通り抜けない家具がある場合の気流制御結果について，図16と図17に示す．家具検出技術を用いない場合，家具の前の風車は回るが，家具に温風があたるため，足元まで温風が届いていないことが分かる（図16）．

次に，家具検出技術を用いた場合の気流制御結果について，図17に示す．温風が家具を通り越して足元に届いているため，家具の上と足元の風車が回っていることが分かる．

今回，家具の絵柄の影響を受けにくく，家具が浮き出て見えるため家具を検出しやすい「近赤外線画像」を活用することが有効であると考え，近赤外線画像を用いて気流の通り抜ける家具か，気流の通り抜けない家具かを判別する，家具検出技術を開発した．

評価実験では，家具を検出し，家具の形状から気流の通り抜ける家具か，気流の通り抜けない家具かを判別し，足元まで風を届けていることを確認した．

5．おわりに

本稿では，家庭用エアコンの省エネルギーと快適性向上の両立をめざす技術として，画像認識技術を用いた間取り検出技術および家具検出技術について述べた．間取り検出技術により，エアコンに搭載しているカメラで撮影した画像から，扉の開閉や部屋の形状および大きさを検出し，部屋の状況に合わせて風向きと風量を自動制御することが可能となった．また，家具検出技術により，家具の位置や形状，部屋の間取りを検知し，気流が通る道を認識することにより，暖房時には足元に向けて暖気を吹き出し，冷房時には冷風を循環させて部屋全体を涼しくするなどのきめ細かい風向制御が可能となった．このようなきめ細かい風向制御により，熱だまりの発生を防ぎ，快適性を保ったまま，省エネ性能を向上させることが可能となった．また，間取り検出技術および家具検出技術を家庭用エアコンに適用した際の室温測定実験を行い，空調制御の効果を確認した．今後は移動ロボットが動作する際の空間検知や障害物推定，建物内部（オフィスや店舗，トンネル等）の異常検知などへの展開を検討していく．

謝辞　本稿の執筆にご協力いただいた皆様に，謹んで感謝の意を表する．