視線・音声制御の進歩性

理 由

第1 手続の経緯

この出願(以下「本願」という。)は、2020年(令和2年)10月22日を国際出願日とする出願であって、その手続の経緯の概要は以下のとおりである。

令和6年 3月19日付け:拒絶理由通知(発送日:同年3月26日)

令和6年 5月27日 :意見書及び手続補正書の提出

令和6年 8月13日付け:拒絶査定(発送日:同年8月20日)

令和6年11月 1日 :審判請求書及び手続補正書の提出

令和7年 8月27日付け:拒絶理由通知(発送日:同年9月2日)

令和7年10月31日 :意見書及び手続補正書の提出

第2 本願発明

本願の請求項1~10に係る発明は、令和7年10月31日の手続補正により補正された特許請求の範囲の請求項1~10に記載されたとおりのものであるところ、請求項1に係る発明(以下「本願発明」という。)は、以下のとおりである。

「 【請求項1】

ユーザの視線方向に関する視線データが入力される視線データ受付部と、

音声データが入力される音声データ受付部と、

コントローラと、を備え、

前記コントローラは、

前記視線データに基づいて、複数の車載機器から操作対象機器を特定し、

前記操作対象機器が特定されてから所定時間の間、前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成し、

前記制御コマンドを前記操作対象機器に送信すること

を特徴とする情報処理装置。」

第3 拒絶の理由

当審において令和7年8月27日付けで通知した拒絶理由で留保した令和6年8月13日付け拒絶査定の拒絶の理由の概要は以下のとおりである。

本願発明は、その出願前に日本国内または外国において、頒布された又は電気通信回線を通じて公衆に利用可能となった以下の引用文献1に記載された発明に基いて、その出願前にその発明の属する技術の分野における通常の知識を有する者(以下「当業者という。)が容易に発明をすることができたものであるから、特許法第29条第2項の規定により特許を受けることができない。

引用文献1.特開2017-9867号公報

第4 引用文献の記載事項等

1 引用文献1について

(1)記載事項

引用文献1には、図面とともに、以下の事項が記載されている(下線は、当審において付与した。以下同様。)。

「【0001】

本開示は、音声対話により所定の機器を制御する際に、ユーザの視線情報に基づき音声対話に用いる辞書を選択する制御装置及びその方法に関する。

」

「【0065】

図2は、本実施の形態における対話情報提供システムの構成を示す図である。

この対話情報提供システムは、グループ1100と、データセンタ運営会社1110内の音声対話サーバ2100とを含む。グループ1100と、音声対話サーバ2100とはネットワーク2020を経由して接続されている。

【0066】

グループ1100は、第1の空間2001と第2の空間2002とを含む。例えば、グループ1100は、家庭(住宅)であり、第1の空間2001及び第2の空間2002はリビング又は寝室等の部屋である。なお、空間には、複数の部屋が含まれてもよい。例えば、空間は、住宅の一階、又は二階などであってもよい。また、空間は、一つの部屋のある空間(領域)であってもよい。

【0067】

また、グループ1100は、第1の機器2011、第2の機器2012、集音装置2013、及びホームゲートウェイ1102を含む。

第1の機器2011、集音装置2013、及びホームゲートウェイ1102は第1の空間2001に配置されており、第2の機器2012は、第2の空間2002に配置されている。また、第1の機器2011、第2の機器2012、集音装置2013、及びホームゲートウェイ1102は、ネットワーク2021を経由して接続されている。ネットワーク2021は機器間通信できる手段であればよく、有線LAN、無線LAN、Bluetooth(登録商標)、又は特定小電力無線等である。

【0068】

ここで、第1の機器2011及び第2の機器2012は、エアコン又は照明等の家電機器であり、ユーザとの対話に基づき、その動作が操作又は制御される機器である。

」

「【0070】

なお、以下の処理は、対話情報提供システムに含まれる制御装置により行われる。ここで制御装置とは、例えば、ホームゲートウェイ1102である。

なお、後述するように、以下の処理は、グループ1100に含まれる1又は複数の機器により行われてもよいし、グループ1100に含まれる1又は複数の機器と、当該機器とネットワークを経由して接続されている外部の機器(例えば、音声対話サーバ2100)とで分散処理されてもよい。

【0071】

まず、制御装置は、ユーザの視線がいずれかの機器を向いているか否かを判定する(S101)。具体的には、制御装置は、ユーザの視線が向けられている方向に関する視線情報を取得する。次に、制御装置は、当該視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間に存在する、複数の機器に含まれる第2の機器に向けられているか否かを判断する。

また、制御装置は、当該視線情報に基づき、ユーザの視線が、当該ユーザが視認可能な空間における一部の領域であって、複数の機器が存在する位置と異なる第1の領域に向けられているか否かを判断する。ここで視認可能な空間とは、ユーザが現在の位置において視認できる空間である。」

「【0073】

なお、詳細は後述するが、辞書は、ユーザの発話内容に対応する機器の制御命令を示し、ユーザの発話内容を、機器の制御命令に変換するために用いられる。また、制御対象となりうる機器が複数存在する場合に用いられる辞書である統合制御辞書2101と、制御対象となりうる機器毎に設けられている個別制御辞書2102とが存在する。

言い換えると、統合制御辞書2101では、複数の機器が対象となるため、発話内容に機器を特定する情報が必要になる場合がある。

一方で、個別制御辞書2102では機器を特定する情報は必要ない。

なお、統合制御辞書2101は、エアコン及び照明といった複数の種別の機器に共通に用いられる辞書であってもよい。

同様に、個別制御辞書2102は、機器の種別毎に設けられていてもよい。

」

「【0089】

図2に示すように、第1の機器2011は、視線検出部2111を備え、第2の機器2012は視線検出部2121を備える。視線検出部2111、2121及び2131(後述)は、ユーザの視線方向を検出する。

具体的には、視線検出部2111、2121及び2131は、赤外線カメラ又は可視カメラを備え、これらのカメラで得られた映像を解析し、顔認識等を利用してユーザの視線が自機器へ向いているかどうかを検出する。なお、視線検出部2111、2121及び2131は、ユーザの顔の向きを視線の向きとして検出してもよいし、ユーザの眼球の向きを視線の向きとして検出してもよい。」

「【0111】

一方、個別制御辞書2102は、制御対象となる機器が一意に特定されている場合に用いる辞書であり、アクション情報として制御命令情報のみを含む。図4C及び図4Dは、それぞれ操作対象がエアコンの場合、及び照明の場合の例を示す。個別制御辞書2102が用いられる場合とは、既に制御対象となる対象機器の種類及び場所が特定されている場合である。よって、例えば、ユーザが「あたためて」と発話すれば、該当するエアコンを暖房に設定する処理が行われ、機器情報及び場所情報が特定される必要はない。

」

「【0123】

図6は、本実施の形態における、ユーザが対象機器に対して発話する場合の対話情報提供システムにおける動作例を示す図である。

例えば、第1の機器2011は第1の空間2001(1階リビング)に設置されている照明であり、第2の機器2012は第2の空間2002(2階寝室)に設定されているエアコンであり、集音装置2013は、第1の空間2001(1階リビング)の天井に設置されているマイクである。

ユーザは、第1の空間2001において、第1の機器2011に視線を向けて「電源入れて」と発話する。

【0124】

これにより、第1の機器2011は、ユーザの視線が自機器に向けられていることを検出し(S301)、検出結果をホームゲートウェイ1102に通知する(S302)。ホームゲートウェイ1102は、統合制御辞書2101及び複数の個別制御辞書2102から使用する辞書を選択する(S303)。この場合、第1の機器2011にユーザの視線が向けられているため、ホームゲートウェイ1102は、第1の機器2011の個別制御辞書2102を選択する。

【0125】

次に、集音装置2013、ホームゲートウェイ1102及び音声対話サーバ2100は、音声対話処理を行う(S304)。音声対話処理は、ユーザの発話を集音した音声データを解析した結果得られた文字列情報と統合制御辞書2101及び個別制御辞書2102からユーザの意図する家電操作を特定し、その結果をユーザに通知する処理である。

図4Bにおける統合制御辞書2101の例では、発話認識テキスト「電源入れて」から、制御命令を特定することはできない。

一方で本実施の形態では、ステップS303において個別制御辞書2102が選択されることにより、当該個別制御辞書2102を用いて、発話認識テキスト「電源入れて」から制御命令を特定できる。

【0126】

次に、ホームゲートウェイ1102は、音声対話処理の結果に基づいて第1の機器2011に制御命令を送信する(S305)。第1の機器2011は、受信した制御命令を実行する(S306)。

【0127】

このような流れにより、ユーザが機器を特定する内容の発話を行わない場合であっても機器を特定して操作することが可能になる。」

「【0137】

図10は、ホームゲートウェイ1102の動作の流れを示すフローチャートである。ホームゲートウェイ1102は、第1の機器2011、第2の機器2012又は集音装置2013から視線検出通知を受信した場合(S221でYes)、いずれの装置で視線が検出されたかに基づき、統合制御辞書2101及び複数の個別制御辞書2102から使用する辞書を選択する(S222)。次に、ホームゲートウェイ1102は、音声対話処理を行う(S223)。次に、ホームゲートウェイ1102は、対象機器に音声対話処理で特定された制御命令を送信する(S224)。

」

「【0150】

図13は、ホームゲートウェイ1102による音声対話処理(図10のS223)のフローチャートである。まず、ホームゲートウェイ1102は、音声認識処理(S241)及び意図理解処理(S242)を行う。次に、ホームゲートウェイ1102は、対象機器が特定できているかを判断する(S243)。機器が特定できている場合(S243でYes)、ホームゲートウェイ1102は、制御命令が特定できているかを判断する(S244)。

制御命令が特定できている場合(S244でYes)、ホームゲートウェイ1102は、集音装置2013に音声対話の結果を表示させる指示を集音装置2013へ送信する(S245)。

【0151】

一方、対象機器が特定できていないと判断された場合(S243でNo)、又は、

制御命令が特定できていないと判断された場合(S244でNo)、ホームゲートウェイ1102は、ユーザに聞き返しを行うように集音装置2013へ指示する(S246)。

【0152】

ここで、音声認識処理において、辞書選択処理によって選択された個別制御辞書2102を利用することにより誤認識のリスクを低減できる可能性がある。

例えば、ユーザが「あたためて」と発話した場合、音声認識結果を抽出する際には、「あたためて」、「暖めて」、「温めて」、「アタタメテ」等複数の候補が考えられる。ここで、エアコンの個別制御辞書2102が選択されている場合、「暖めて」が最有力候補として選択される。また、電子レンジの個別制御辞書2102が選択されている場合は「温めて」が選択される。また、統合制御辞書2101のみが選択されている場合は、例えば「あたためて」を選定したほうがよい。

【0153】

また、聞き返しを行っても理想的な回数の発話で必ずユーザが望む機器操作が行われるわけではない。例えば、ユーザが「電源入れて」と発話した場合、図4Bに示す統合制御辞書2101では、聞き返しにより機器と場所との2つの情報をユーザに発話してもらえば処理が完結するはずである。ただ、実際には機器として「エアコン」、場所として「寝室」のみをはっきり大きな声で発話してもらえる保証はない。

雑音が混じったり、ユーザが余計な言葉を言ったり、ユーザが小さくこもった声で発話する場合もある。このように、認識に失敗する可能性は多々あるため、辞書選択処理によりなるべく少ない発話で機器操作を行えるようにすることでユーザの利便性は高まる。

あまりに誤認識が発生する場合には、ユーザに対して認識しやすい発話例を提示することで誤認識率の低減をはかったり、愛嬌あるキャラクター等に謝罪させることによりユーザの苛立ちを緩和させるようにしたりしても良い。

【0154】

図14は、音声認識処理(図12のS321)の動作例を示す図である。

まず、ホームゲートウェイ1102は、集音装置2013に対して音声を保持するように指示し(S351)、音声対話サーバ2100に対して音声認識を開始するように指示する(S352)。

【0155】

指示を受けた集音装置2013は、ユーザが発話した音声データの保持を開始する(S353)。その後、集音装置2013は、ユーザに対して発話するよう誘導するための情報を提示する(S355)。一方で、指示を受けた音声対話サーバ2100は、音声データに対する音声認識を開始する(S354)。

【0156】

次に、ホームゲートウェイ1102は、集音装置2013が保持している音声データを取得し(S356)、音声対話サーバ2100に音声データを転送する(S357)。音声対話サーバ2100は、転送された音声データに対して音声認識処理を行う(S358)。この一連の処理がユーザの発話が終了するまで繰り返される。

【0157】

ユーザの発話が終了した場合、ホームゲートウェイ1102は、集音装置2013に対して音声データの保持を終了するよう通知し(S359)、音声対話サーバ2100に対して音声認識を終了するよう通知する(S360)。

【0158】

通知を受けた集音装置2013は、ユーザが発話した音声データの保持を終了する(S361)。

通知を受けた音声対話サーバ2100は、音声認識処理を終了し(S362)、ホームゲートウェイ1102へ音声認識結果を通知する(S363)。

【0159】

図15は、ホームゲートウェイ1102による音声認識処理(図13のS241)のフローチャートである。

【0160】

まず、ホームゲートウェイ1102は、集音装置2013に対して音声を保持するように指示し、音声対話サーバ2100に対して音声認識を開始するように指示する(S251)。次に、ホームゲートウェイ1102は、集音装置2013が保持している音声データを取得する(S252)。そして、ホームゲートウェイ1102は、取得した音声データに基づき、ユーザの発話が終了したかどうかを判断する(S253)。

【0161】

ユーザの発話がまだ続いていると判断された場合(S253でNo)、ホームゲートウェイ1102は、音声対話サーバ2100に音声データを転送し(S254)、ステップS252に戻る。

【0162】

一方、ユーザの発話が終了したと判断された場合(S253でYes)、ホームゲートウェイ1102は、集音装置2013に対して音声データの保持を終了するよう通知し、音声対話サーバ2100に対して音声認識を終了するよう通知する(S255)。

【0163】

次に、ホームゲートウェイ1102は、音声対話サーバ2100から送信された音声認識結果を受信する(S256)。」

「【図2】

168

108

0001433759000001.jpg

」

「【図4C】

56

77

0001433759000002.jpg

」

「【図4D】

42

77

0001433759000003.jpg

」

「【図6】

168

106

0001433759000004.jpg

」

「【図10】

88

109

0001433759000005.jpg

」

「【図13】

109

109

0001433759000006.jpg

」

「【図14】

110

109

0001433759000007.jpg

」

「【図15】

103

109

0001433759000008.jpg

」

(2)認定事項

ア 【0070】~【0071】の記載事項から、ホームゲートウェイ1102は、ユーザの視線が向けられている方向に関する視線情報を取得する取得部を備えると認められる。

イ 【0156】の記載事項及び図14の図示内容から、ホームゲートウェイ1102は、音声データを取得する取得部を備えると認められる。

ウ 【0071】、【0073】、【0111】、【0124】の記載事項及び図6の図示内容から、視線情報に基づき、第1の機器2011にユーザの視線が向けられていると判断した場合、制御対象となりうるエアコン及び照明といった複数の家電機器の種別毎に設けられている個別制御辞書2102から、制御対象となる第1の機器2011の個別制御辞書2102を選択すると認められる。

エ 【0150】~【0153】の記載事項及び図13の図示内容から、制御命令が特定できていないと判断された場合、ユーザに聞き返しを行うことで制御命令を特定すると認められる。

オ 【0156】、【0159】~【0162】の記載事項及び図14、15の図示内容から、ユーザの発話が終了するまで、音声データの取得と音声データの認識を繰り返すと認められる。

(3)引用発明

上記(1)、(2)を総合し、本願発明の記載ぶりに則って整理すると、引用文献1には、実施の形態1として、以下の発明(以下「引用発明」という。)が記載されていると認められる。

[引用発明]

「ユーザの視線が向けられている方向に関する視線情報を取得する取得部と、

音声データを取得する取得部と、を備え、

視線情報に基づき、第1の機器2011にユーザの視線が向けられていると判断した場合、制御対象となりうるエアコン及び照明といった複数の家電機器の種別毎に設けられている個別制御辞書2102から、制御対象となる第1の機器2011の個別制御辞書2102を選択し、

音声データを解析した結果得られた文字列情報と個別制御辞書2102から制御命令を特定し、

制御命令が特定できていないと判断された場合、ユーザに聞き返しを行うことで制御命令を特定し、

ユーザの発話が終了するまで、音声データの取得と音声データの認識を繰り返し、

制御対象となる第1の機器2011に制御命令を送信する

制御装置であるホームゲートウェイ1102。」

2 追加文献1の記載事項

当審において追加する特開2008-58409号公報(以下「追加文献1」という。)には、図面とともに、以下の事項が記載されている。

「【0016】

(第1実施形態)

以下、本発明の運転支援装置を具体化した第1の実施形態を図1~図7に従って説明する。

図1は、自動車(車両)に搭載されたナビゲーションシステム1の構成を説明するブロック図である。

【0017】

図1に示すように、視認対象物及び制御対象装置としてのナビゲーションシステム1は、音声認識処理等を行う音声認識装置としての制御装置2と、各種画面を表示する視認対象物、制御対象装置としてのディスプレイ20、撮影手段としてのカメラ22、音声入力手段としてのマイク23及びスピーカ24を備えている。

」

「【0021】

また、図1に示すように、制御装置2は、地理データ記憶部8、視線検出手段としての画像プロセッサ9を備えている。

地理データ記憶部8は、内蔵されたハードディスク、又は光ディスク等の外部記憶媒体であって、目的地までの経路を探索するための各経路データ8aと、ディスプレイ20に地図画面20aを出力するための地図描画データ8bとが格納されている。

【0022】

また、画像プロセッサ9は、映像信号入力部10を介して、車室内に設けられたカメラ22から画像データを入力して、発話者としてのドライバーの視線方向を検出する。

このカメラ22は、ドライバーの目を撮影可能な位置に設けられている。本実施形態では、図2に示すように、コンビネーションメータやステアリングホイール36周辺に配置されている。カメラ22は、運転席35に着座したドライバーDの頭部を中心に撮影し、映像信号を映像信号入力部10に出力する。映像信号入力部10は映像信号をA/D変換して画像データを生成し、画像データを画像プロセッサ9に出力する。画像プロセッサ9は、画像データを公知の方法で画像処理して、ドライバーDの目Eの中での瞳Bの位置を検出する(図3(a)参照)。尚、カメラ22自体が映像信号をA/D変換してもよい。

【0023】

そして、画像プロセッサ9は、画像データを所定間隔で入力し、目Eの中での瞳Bの位置の変化をモニタする。ドライバーDが、視線を前方から、ドライバーからみて右下方へ視線を移した場合、画像プロセッサ9は、画像データを解析して、瞳Bの位置を新たに算出する。瞳Bの位置を算出すると、画像プロセッサ9は、解析結果を制御部3に出力する。制御部3は、解析結果に基づき、ドライバーDの視線方向を判断する。

【0024】

図3(a)~(d)は、瞳Bの位置を説明する図であって、片側の目をそれぞれ示している。例えば、図3(b)に示すように、瞳Bの位置がドライバーDからみて右下であることを示す解析結果が出力されると、制御部3は、ドライバーDの視線方向が右下方であると判断する。また、図3(c)に示すように、瞳Bの位置がドライバーDからみて左であることを示す解析結果が出力されると、制御部3は、ドライバーDの視線方向が左側方であると判断する。さらに、図3(d)に示すように、瞳Bの位置がドライバーDからみて左下であることを示す解析結果が出力されると、制御部3は、ドライバーDの視線方向が左下方であると判断する。

【0025】

また、制御部3は、検出した視線方向と、ROM5に予め記憶された対象装置選択テーブル14(図1及び図5参照)とに基づき、ドライバーDが見た装置を推測する。図5に示すように、対象装置選択テーブル14は、ドライバーDの視線方向14aと、カテゴリとしての対象装置14bとを紐付けている。例えば、視線方向14aが「右下方」であるとき、図4に示すように、ドライバーDからみて、右下方にあるオーディオスイッチ39が視認対象となり、「オーディオ」が対象装置14bとなる。また、視線方向14aが「左側方」であるとき、ドライバーDは、左側方にあるナビゲーションシステム1のディスプレイ20を見ている可能性が高いので、対象装置14bは「ナビ」となる。また、視線方向14aが「左下方」であるとき、ドライバーDは、視認対象物、搭載機器としてのエアコン38の操作パネル37を見ている可能性が高いので、対象装置14bとして「エアコン」を紐付けている。

尚、この対象装置選択テーブル14の視線方向14aは、「右下方」、「左側方」等の方向を示すデータでなく、瞳Bの座標を示すデータでも良い。

このように推測された対象装置14bは、ドライバーDの音声認識に用いられる。

【0026】

音声認識処理は、主に範囲設定手段、認識手段としての音声認識プロセッサ11(図1参照)によって、音声認識データベース(以下、音声認識DB12という)を用いて行われる。

音声認識プロセッサ11は、車室内に設けられたマイク23(図1参照)から音声信号(音声データ)を入力するインターフェース、音声認識用LSI等を内蔵している。マイク23は、運転席35周辺に設けられ、運転者が発話した音声を入力する。

【0027】

音声認識DB12には、音響モデル15、認識辞書16、言語モデル17が記憶されている。

音響モデル15は、音声の特徴量と音素とを関連付けたデータである。認識辞書16は、音素列と対応付けられた単語を数万~数十万語格納している。言語モデル17は、文頭・文末に位置する確率や、連続する単語間の接続確率や、係り受け関係をモデル化したデータである。図6は、本実施形態の認識辞書16の構成の一部を示した図である。

図6に示すように、認識辞書16に記憶された認識候補16aは、対象装置14bによって分類されている。対象装置14bは、対象装置選択テーブル14の視線方向14aと対応付けられたデータである。認識候補16aは、各対象装置14bの操作に関する単語である。

【0028】

まず、音声認識プロセッサ11は、入力した音声信号の波形の特徴を算出する。そして、この特徴量と音響モデル15とを照合して、「a(あ)」、「tsu(つ)」等の、特徴量と対応する音素をそれぞれ選択する。このとき、ドライバーDが「あつい」と発話したとしても、個人の発話特徴により「atui」という音素列だけでなく、その音素列と類似した「hatsui」、「asui」等の複数の音素列が検出される場合がある。さらに、音声認識プロセッサ11は、これらの各音素列と認識辞書16とを照合して、認識候補を選択する。

ここで、制御部3により、ドライバーDが見ていると予測される対象装置14bが「エアコン」である場合、音声認識プロセッサ11は、膨大な数の認識候補16aの中から、「エアコン」が対象装置14bとして関連付けられた認識候補16aに絞り込み、これらの認識候補16aを認識対象範囲とする。

さらに、認識対象範囲の各認識候補16aと、音響モデル15に基づいて算出された各音素列とをそれぞれ照合して類似度を算出する。そして、類似度が最も高い認識候補16aを特定する。このように、認識対象範囲を設定することによって、音声の特徴は似ているものの発話の対象となる可能性が低い認識候補16aを認識対象外とすることができるので、認識精度を向上することができる。

【0029】

さらに、音声認識プロセッサ11は、言語モデル17を用いて、接続関係の確率を算出し、整合性を判断する。例えば、「温度」及び「上昇」や、「経路」及び「探索」、「音量」及び「上げる」等の複数の単語が認識された場合、各単語の接続する確率を算出し、確率が高い場合には認識結果を確定する。

認識結果が確定されると、音声認識プロセッサ11は、認識結果を制御部3に出力し、制御部3は、認識結果に基づくコマンドを、音声出力制御部18、エアコン制御ユニット32等に出力する。

」

「【図1】

156

109

0001433759000009.jpg

」

「【図5】

46

109

0001433759000010.jpg

」

「【図6】

140

109

0001433759000011.jpg

」

3 追加文献2の記載事項

当審において追加する特開2012-6552号公報(以下「追加文献2」という。)には、図面とともに、以下の事項が記載されている。

「【0009】

次に、この発明の第1実施形態における車載機器操作装置について、図面を参照しながら説明する。

図1,2に示すように、この実施形態における車載機器操作装置1は、車載機器であるナビゲーション装置2、エアコン制御ユニット3、MID(マルチインフォメーションディスプレイ)制御ユニット4、HUD(ヘッドアップディスプレイ)制御ユニット5、サイドミラー制御ユニット6、および、ルームミラー制御ユニット7に接続される。

」

「【0015】

車載機器操作装置1は、視線センサ30、視線判定手段31、報知手段32、操作スイッチ33、操作検出手段34、および、操作制御手段35を備えて構成される。

視線センサ30は、近赤外線LED36と近赤外線カメラ37とにより構成される(図2参照)。近赤外線LED36が発した近赤外線が乗員より具体的には運転者の眼球に反射された反射点と瞳孔の中心とを近赤外線カメラ37で撮像し、反射点の位置および瞳孔の中心の位置から乗員の視線の方向を検知する。そして、視線センサ30は、この検知結果の情報を視線判定手段31に向けて出力する。

【0016】

視線判定手段31は、不揮発性のメモリ等の記憶手段(不図示)に予め記憶されている、各車載機器のディスプレイの位置情報、より具体的には、ナビディスプレイ2a、エアコンディスプレイ3a、MID4a、HUD5a、左右サイドミラー18R,18Lのミラー部19,19、および、ルームミラー20のミラー部21の各位置と、上述した視線センサ30により検出された乗員の視線の向きとに基づき、乗員の視線が複数の車載機器のうち何れのディスプレイに向いているのかを判定する。

そして視線判定手段31は、視線が向いていると判定されたディスプレイを具備する車載機器に視線が向いていると判定し、この判定結果の情報を報知手段32および操作制御手段35に向けて出力する。

【0017】

報知手段32は、視線判定手段31により乗員の視線が向いていると判定された車載機器のディスプレイに所定のアイコン画面を表示することで、当該車載機器に視線が向いていることを乗員に報知する。

図4は、ナビディスプレイ2aにアイコン画面が表示される一例を示しており、このアイコン画面には、目の形をしたアイコンが中央に配置され、表示画面全体が半透明な赤色等、所定の背景色となっている。このアイコン画面は、乗員の視線がその車載機器のディスプレイに向いており(見る)、且つ、操作スイッチ33の視線検知キー26がオン操作(押す)されていると判定されている間だけ表示され、例えば、視線検知キー26がオフ操作される(離す)、又は視線がナビディスプレイ2aからそれた場合にナビディスプレイ2aへのアイコン画面の表示が終了される。

【0018】

より具体的には、ナビゲーション装置2に視線が向いていると判定された場合は、ナビディスプレイ2aを介して乗員に報知され、エアコン制御ユニット3に視線が向いていると判定された場合は、エアコンディスプレイ3aを介して乗員に報知される。また、MID制御ユニット4に視線が向いていると判定された場合は、MID4aを介して乗員に報知され、HUD制御ユニット5に視線が向いていると判定された場合は、HUD5aを介して乗員に報知される。さらに、左サイドミラー18Lに視線が向いていると判定された場合は、左サイドミラー18Lのミラー部19を介して乗員に報知され、右サイドミラー18Rに視線が向いていると判定された場合は、右サイドミラー18Rのミラー部19を介して乗員に報知される。さらに、ルームミラー20に視線が向いていると判定された場合は、ミラー部21を介して乗員に報知される。

【0019】

操作スイッチ33は、図3に示すように、ステアリングホイール23のスポーク部24など、乗員の手が届き易い位置に配置され、十字キー25と視線検知(Eye Disp)キー26とにより構成される。この操作スイッチ33への入力情報は操作検出手段34に入力される。

操作検出手段34は、操作スイッチ33のうち、例えば視線検知キー26の入力情報、より具体的には、視線検知キー26のオン・オフ状態を検出し、このオン・オフ状態の検出情報を操作制御手段35へ出力する。また操作スイッチ33のうち十字キー25への入力情報を操作制御手段35へ出力する。視線検知キー26は、ノーマルオープンのスイッチであって、乗員が押圧操作を行うことでオン状態となり、押圧操作を行っていない場合にはオフ状態となる。

【0020】

操作制御手段35は、操作検出手段34により操作スイッチ33の視線検知キー26のオン状態が検出されている間にのみ、視線判定手段31による判定を実行させる。つまり、視線検知キー26のオン状態が検出されている間にだけ、上述した報知手段32による乗員への報知が行われることとなる。操作制御手段35は、さらに視線検知キー26がオン状態からオフ状態となったことを検知して、視線検知キー26がオフ状態となる直前に報知手段32により報知されていた車載機器、すなわちオフ状態となる直前に乗員の視線が向いていると判定された車載機器への十字キー25による操作入力を受付け、その入力情報を、オフ状態となる直前に乗員の視線が向いていると判定された車載機器に対して出力する。各種車載機器は、操作制御手段35からの操作入力情報を受信すると、この操作入力情報に従って各種機能の制御処理を行う。なお、視線検知キー26がオン状態からオフ状態にされる操作を、以下、特定操作と称す。

」

「【0024】

この実施形態の車載機器操作装置1は上述した構成を備えており、次に車載機器操作装置1の作用について図面を参照しながら説明する。なお、操作スイッチ33の十字キー25は、初期状態で、無効又は、スピーカの音量調節が可能な状態とされる。

ナビゲーション装置2を操作スイッチ33による操作対象としたい場合、図5に示すように、まず乗員は視線検知キー26を操作してオン状態とし、その状態を維持したまま、ナビゲーション装置2のナビディスプレイ2aを見る(図5中、視線を矢印で示す)。

このときの視線がナビディスプレイ2aに向いていると視線判定手段31により正しく判定されていれば、報知手段32によりナビディスプレイ2a上に目の形をしたアイコンAが中央に配置されるアイコン画面が表示される。

【0025】

次いで、乗員は、ナビディスプレイ2a上のアイコン画面により視線がナビゲーション装置2に向いていることが正しく認識されていることを確認した上で、上述した特定操作を行う。するとアイコン画面は消去されて、特定操作が行われる直前にアイコン画面により報知されていたナビゲーション装置2に対する操作スイッチ33の操作が受付けられるようになり、十字キー25を用いたナビゲーション装置2の操作が可能となる。

なお、ナビゲーション装置2に対する操作が可能な状態は、無操作状態が所定時間経過した後に解除されて、初期状態つまり無効又は音量調節が可能な状態となる(

以下、エアコン制御ユニット3、MID制御ユニット4、HUD制御ユニット5、サイドミラー制御ユニット6、ルームミラー制御ユニット7に対する操作可能な状態についても同様

)。」

「【図1】

109

109

0001433759000012.jpg

」

「【図2】

63

109

0001433759000013.jpg

」

「【図3】

91

109

0001433759000014.jpg

」

「【図5】

88

109

0001433759000015.jpg

」

4 追加文献3の記載事項

当審において追加する特開2016-184238号公報(以下「追加文献3」という。)には、図面とともに、以下の事項が記載されている。

「【0014】

図2に示すように、表示装置41、42、43、44の液晶パネルには、後述する各種の機器(図3参照)の作動内容に応じた情報を表示する表示領域が設定されている。この表示領域は、機器に関連付けて設定された視線領域41a、42a、43a、44aとして、予め設定されている。

【0015】

図3に示すように、車両10にはナビ装置51、空調装置52、右側電子ミラー53、左側電子ミラー54、図示しないオーディオ装置等の機器が搭載されている。

ナビ装置51は、車両10の走行をナビゲートする装置である。空調装置52は車室内の空調を制御する装置である。右側電子ミラー53は、車両10の右側に位置する他車両や歩行者等、車外の物体を撮影するカメラと、カメラの撮影向きを制御するアクチュエータとを備える。左側電子ミラー54は、車両10の左側に位置する車外の物体を撮影するカメラと、そのカメラの撮影向きを制御するアクチュエータとを備える。」

「【0020】

車両10には、表示装置41、42、43、44および各種機器の他にも、以下に説明する電子制御装置(ECU90)、操作デバイス20および視線検知センサ30が搭載されている。

本実施形態に係る操作システムは、操作デバイス20、複数の表示装置41~44、およびECU90を備える。

操作デバイス20は、ユーザにより手動操作され、複数の機器のうち選択された制御対象機器に対して作動内容を指令する。この選択は、視線検知センサ30およびECU90により為される。

【0021】

視線領域41a、42a、43a、44aは、機器の各々に関連付けて設定されている。具体的には、第1表示装置41の視線領域41aにはナビ装置51が関連付けて設定されている。第2表示装置42の視線領域42aには空調装置52が関連付けて設定されている。第3表示装置43の視線領域43aには右側電子ミラー53が関連付けて設定されている。第4表示装置44の視線領域44aには左側電子ミラー54が関連付けて設定されている。視線検知センサ30により検知された視線方向がいずれかの視線領域にある場合、該当する視線領域に関連付けられた機器が選択される。

【0022】

操作デバイス20は、延出部12cに配置されており、かつ、車両10の運転者(ユーザ)が運転席に座ったままの状態で手が届く位置に配置されている。

図1の例では、車両10の走行方向を操作するハンドル13が、車両左右方向の左側に配置されており、操作デバイス20は、ハンドル13に対してその反対側(右側)に配置されている。

詳細には、操作デバイス20は、車室内のうち車両左右方向の中央に配置されている。操作デバイス20は、ユーザによりx軸方向、y軸方向およびz軸方向の3方向に操作される。x軸方向は車両左右方向、y軸方向は車両前後方向、z軸方向は上下方向である。つまり、x軸方向およびy軸方向への傾倒操作と、z軸方向への押動操作が可能である。」

「【0026】

視線検知センサ30は、インストルメントパネル12のうち運転者の正面に位置する部分に取り付けられた赤外線カメラ、および映像解析用のマイコンを有する。

赤外線カメラは運転者の左右の眼球を撮影し、その撮影画像をマイコンが画像解析して運転者の視線方向を演算する。この画像解析は、ECU90が有するマイクロコンピュータ(マイコン91)が実行してもよい。

【0027】

ECU90のマイコン91は、視線検知センサ30により検知されたユーザの視線方向、および操作デバイス20の操作内容に基づき、機器の作動を制御する。

このように制御しているマイコン91は、特許請求の範囲に記載の「制御手段910」に相当する。

【0028】

さらにマイコン91は、視線検知センサ30により検知されたユーザの視線方向に基づき、視線方向にある視線領域に対応する機器を制御対象機器として選択する。

このように制御対象機器を選択しているマイコン91は、特許請求の範囲に記載の「選択手段91a」に相当する。例えば、図2に示すように視線方向にある視線領域が第1表示装置41の視線領域41aである場合には、その視線領域41aに対応するナビ装置51が制御対象機器として選択手段91aにより選択される。」

「【図1】

72

109

0001433759000016.jpg

」

「【図2】

67

109

0001433759000017.jpg

」

「【図3】

147

109

0001433759000018.jpg

」

第5 対比・判断

1 対比

(1)本願発明と引用発明とを対比すると、後者の「ユーザ」は前者の「ユーザ」に相当し、以下同様に、

「視線が向けられている方向」は「視線方向」に、

「関する」は「関する」に、

「視線情報」は「視線データ」に、

「取得する」は「入力される」に、

「音声データ」は「音声データ」に、

「備え」は「備え」に、

「基づき」は「基づいて」に、

「制御対象となる第1の機器2011」は「操作対象機器」に、

「制御命令」は「制御コマンド」に、

「特定し」は「生成し」に、

「送信する」は「送信する」に、

「制御装置であるホームゲートウェイ1102」は「情報処理装置」に、それぞれ相当する。

(2)上記(1)を踏まえると、引用発明の「ユーザの視線が向けられている方向に関する視線情報を取得する取得部」は、本願発明の「ユーザの視線方向に関する視線データが入力される視線データ受付部」に相当し、引用発明の「音声データを取得する取得部」は、本願発明の「音声データが入力される音声データ受付部」に相当する。

(3)上記(1)を踏まえると、引用発明の「エアコン及び照明といった複数の家電機器」は、本願発明の「複数の車載機器」と、複数の「機器」という限りにおいて一致する。そして、引用発明の「視線情報に基づき、第1の機器2011にユーザの視線が向けられていると判断した場合、制御対象となりうるエアコン及び照明といった複数の家電機器の種別毎に設けられている個別制御辞書2102から、制御対象となる第1の機器2011の個別制御辞書2102を選択」することは、本願発明の「前記視線データに基づいて、複数の車載機器から操作対象機器を特定」することと、前記視線データに基づいて、複数の「機器」から操作対象機器を特定するという限りにおいて一致する。

(4)上記(1)及び(3)を踏まえると、引用発明の「個別制御辞書2102」は本願発明の「前記操作対象機器を特定した結果」に相当し、引用発明の「音声データを解析した結果得られた文字列情報と個別制御辞書2102から制御命令を特定」することは、本願発明の「前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成」することに相当する。

(5)上記(1)、(3)及び(4)を踏まえ、本願の明細書の段落【0018】の「コントローラ100は、CPU(Central Processing Unit)、メモリ、記憶装置、入出力部などを備える汎用のコンピュータである。」との記載及び技術常識を参酌すると、引用発明の「制御装置であるホームゲートウェイ1102」は「コントローラ」を備え、「コントローラ」が制御を行うことが明らかであるから、引用発明の「視線情報に基づき、第1の機器2011にユーザの視線が向けられていると判断した場合、制御対象となりうるエアコン及び照明といった複数の家電機器の種別毎に設けられている個別制御辞書2102から、制御対象となる第1の機器2011の個別制御辞書2102を選択し、」「音声データを解析した結果得られた文字列情報と個別制御辞書2102から制御命令を特定し、」「制御対象となる第1の機器2011に制御命令を送信する」ことは、本願発明の「コントローラ」「を備え、」「前記コントローラは、」「前記視線データに基づいて、複数の車載機器から操作対象機器を特定し、」「前記操作対象機器が特定されてから所定時間の間、前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成し、」「前記制御コマンドを前記操作対象機器に送信する」ことと、コントローラを備え、前記コントローラは、前記視線データに基づいて、複数の「機器」から操作対象機器を特定し、前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成し、前記制御コマンドを前記操作対象機器に送信するという限りにおいて一致する。

してみれば、両者の一致点及び相違点は、次のとおりである。

[一致点]

「ユーザの視線方向に関する視線データが入力される視線データ受付部と、

音声データが入力される音声データ受付部と、

コントローラと、を備え、

前記コントローラは、

前記視線データに基づいて、複数の機器から操作対象機器を特定し、

前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成し、

前記制御コマンドを前記操作対象機器に送信する

情報処理装置。」

[相違点1]

前記視線データに基づいて、複数の「機器」から操作対象機器を特定することに関し、本願発明は、前記視線データに基づいて、複数の「車載機器」から操作対象機器を特定するのに対し、引用発明は、前記視線データに基づいて、複数の「家電機器」から操作対象機器を特定する点。

[相違点2]

本願発明は、「前記操作対象機器が特定されてから所定時間の間、」前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するのに対し、引用発明は、前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するものの、「前記操作対象機器が特定されてから所定時間の間、」前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するか否かが不明な点。

2 相違点についての判断

(1)相違点1について

視線データに基づいて、複数の車載機器から操作対象機器を特定することは、追加文献1(上記「第4 2」)、追加文献2(上記「第4 3」参照。)及び追加文献3(上記「第4 4」参照。)等に見られるように、本願の出願前の周知の技術(以下「周知技術1」という。)である。

引用発明と周知技術1とは、複数の機器を操作する装置という同一の技術分野に属するものであり、視線データに基づいて、複数の機器から操作対象機器を特定するという機能も共通することから、引用発明に周知技術1を適用する動機付けは十分にあると認められる。そして、引用発明に周知技術1を適用すること、すなわち、操作対象機器を家電機器から車載機器に置き換えることに、阻害要因があるとも認められない。してみると、引用発明において、周知技術1を採用し、視線データに基づいて、複数の「車載機器」から操作対象機器を特定するものとすることで、相違点1に係る本願発明の発明特定事項とすることは、当業者が容易になし得たことである。

(2)相違点2について

ア 判断1

情報処理装置において、連続して複数の処理を実行する際に、ある処理を実行してから、次の処理を実行するまでに、所定時間を要することは技術常識である。そして、当該技術常識を参酌すると、引用発明において、「前記視線データに基づいて、複数の機器から操作対象機器を特定」してから、「前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成」するまでに、所定時間を要することが明らかである。

してみると、引用発明においても、「前記操作対象機器が特定されてから所定時間の間、」前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するといえるから、相違点2は実質的な相違点であるとは認められない。

イ 判断2

引用発明においては、「制御命令が特定できていないと判断された場合、ユーザに聞き返しを行うことで制御命令を特定」している。そして、「ユーザに聞き返しを行う」際に、所定期間を要することが明らかである。

してみると、引用発明においても、「前記操作対象機器が特定されてから所定時間の間、」前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するといえるから、相違点2は実質的な相違点であるとは認められない。

ウ 判断3

引用発明においては、「ユーザの発話が終了するまで、音声データの取得と音声データの認識を繰り返し」ている。このことから、引用発明において、「ユーザの発話」が行われている所定期間の間、「音声データの取得と音声データの認識を繰り返し」ていることが明らかである。

してみると、引用発明においても、「前記操作対象機器が特定されてから所定時間の間、」前記操作対象機器を特定した結果および前記音声データに基づいて、前記操作対象機器に対する制御コマンドを生成するといえるから、相違点2は実質的な相違点であるとは認められない。

エ 小括

上記ア~ウにおいて示したように、相違点2は実質的な相違点であるとは認められない。

3 効果について

本願発明の奏する作用効果は、引用発明及び周知技術1の奏する作用効果から予測される範囲内のものにすぎず、格別顕著なものということはできない。

4 審判請求人の主張について

(1)審判請求人の主張

審判請求人は、令和7年10月31日の意見書において、以下のように主張する。

「5.進歩性について

審判合議体は、拒絶理由通知書の<付言>において、「原査定の理由(進歩性)を含む新規性、進歩性の判断については、特許請求の範囲の記載において上記理由1の不備があることから、現時点では留保する。」と述べられております。

今回の補正により、サポート要件違反が解消されたことから、進歩性の審査が再開されるものと理解しております。

本願発明は、以下の技術的特徴を有しており、引用文献との差別化が十分に可能であると考えます:

・視線データに基づいて操作対象機器を特定してから、所定時間の間に音声データを取得する構成により、ユーザは起動ワードや操作対象機器名を発話する必要がなく、発話を短縮できること。

・操作対象機器を事前に特定することで、音声認識の対象を絞り込み、誤認識による誤操作を効果的に低減できること。

・所定時間という時間的制約を設けることで、ユーザの意図と音声入力のタイミングを適切に対応付けることができること。」

(2)主張についての判断

ア 「・視線データに基づいて操作対象機器を特定してから、所定時間の間に音声データを取得する構成により、ユーザは起動ワードや操作対象機器名を発話する必要がなく、発話を短縮できること。」との事項について

上記2(2)において、相違点2について検討したように、引用発明は「視線データに基づいて操作対象機器を特定してから、所定時間の間に音声データを取得する構成」を有すると認められる。また、引用文献1の【0111】の「よって、例えば、ユーザが「あたためて」と発話すれば、該当するエアコンを暖房に設定する処理が行われ、機器情報及び場所情報が特定される必要はない。」との記載や【0153】の「このように、認識に失敗する可能性は多々あるため、辞書選択処理によりなるべく少ない発話で機器操作を行えるようにすることでユーザの利便性は高まる。」との記載を参酌すると、引用発明においても、「ユーザは起動ワードや操作対象機器名を発話する必要がなく、発話を短縮できる」との効果を奏することが明らかである。

イ 「・操作対象機器を事前に特定することで、音声認識の対象を絞り込み、誤認識による誤操作を効果的に低減できること。」との事項について

引用発明も、本願発明と同様に、視線データに基づいて「操作対象機器を事前に特定することで、音声認識の対象を絞り込」むものである。また、引用文献1の【0152】の「ここで、音声認識処理において、辞書選択処理によって選択された個別制御辞書2102を利用することにより誤認識のリスクを低減できる可能性がある。」との記載を参酌すると、引用発明においても、「誤認識による誤操作を効果的に低減できる」との効果を奏することが明らかである。

ウ 「・所定時間という時間的制約を設けることで、ユーザの意図と音声入力のタイミングを適切に対応付けることができること。」との事項について

本願発明において「所定時間という

時間的制約を設ける

」との事項までは特定されていないから、「所定時間という時間的制約を設けることで、ユーザの意図と音声入力のタイミングを適切に対応付けることができる」との主張は本願発明の発明特定事項に基づく主張であるとは認められない。

エ 小括

上記ア~ウで検討したとおりであるから、「本願発明は、以下の技術的特徴を有しており、引用文献との差別化が十分に可能である」との審判請求人の主張は採用することができない。

第6 むすび

以上のとおり、本願発明は、引用発明及び周知技術1に基いて、その出願前に当業者が容易に発明をすることができたものであるから、特許法29条2項の規定により特許を受けることができない。

したがって、他の請求項に係る発明について検討するまでもなく、本願は拒絶すべきものである。

よって、結論のとおり審決する。