Windows10 の音声アシスタント「コルタナ」に話しかけて操縦するDCモーターカー

まずは以下の動画を参照いただきたい。



これは何かというと、Windows 10 Home が稼働している極小パソコン（スティック PC）を搭載した、タミヤ模型のショベルカーキットを改造した DC モーターカーである。

そして、この極小スティック PC 上で動作している音声アシスタント「コルタナ」に話しかけることで、この DC モーターカーを操縦する、という技術デモンストレーションなのだ。

「Hey Cortana, please go ahead.」と呼べば、(しばし認識に考え込んだのちに)「Okay, all right, I'll move forward.」と返事の上、DC モーターを制御して前進する、という次第。

また、この動画外の外部のコンピューターなどは使用しておらず (※まぁ、コルタナがクラウドに頼って動作しているらしいけど) 、スタンドアロンで動作しているのもポイントである。

制作のきっかけ

Raspberry Pi で遠隔操縦するリモコンカーは作ってあった

もともとは、昨年 2015年 8月に開催された「Code 2015 in 定山渓温泉」で披露する目的で制作した、Raspberry Pi を載せて Wi-Fi 経由で遠隔操縦するリモートコントロールカーが発端だ。

以下に同年 2015年 10 月に北海道は北見市で開催された IT 勉強会「Ohotech (オホテック) 特盛#13」で再発表したときのスライドを示す。



これは、
「Raspberry Pi 上でも C# で書いた Web アプリサーバーが普通に動くよ」
「もちろん GPIO も簡単にいじれるよ」
「なので、Web アプリ開発技術にもう少し盛ることで、スマホの Web ブラウザから操縦できるラジコンカーも作れちゃうよ」
という技術デモンストレーションである。

Windows10 にコルタナ搭載、そして自作アプリとの連携

そうこうしているうちに、2015年11月に入り、Windows 10 の大規模アップデートにて、音声アシスタント「コルタナ」が Windows 上に登場する。

続けて、Channel9 の特集「VS魂」シリーズのひとつにて、自作の UWP アプリがコルタナと連携できることを知る。



つまり、自作 UWP アプリからコルタナに音声コマンドを登録しておくことで、コルタナに話しかけた内容がその音声コマンドに合致したら、自作 UWP アプリを呼び出してくれる、という仕掛けが作れるとのこと。

そこで思いついたのが、
「あ、Raspberry Pi じゃなくても、最近はやりのスティック PC なら、あの DC モーターカーに乗るんじゃね?」
「スティック PC ってことは、Windows 10 が動くってことで、コルタナの音声コマンドで操縦できるのでは...!」
という流れ。

これを実証したのが今回の「コルタナ・カー」である次第。

アプリケーション連携の構造

モーター制御

Raspbery Pi をはじめとしたボードコンピュータと異なり、スティック PC にはモーター制御に使えるような GPIO の持ち合わせはない。

そこで USB 接続した Aruduino Nano と組み合わせることに。

スティック PC から Arduino Nano へはシリアル通信で指令を送る。
Arduino Nano 上ではその指令を待機しているスケッチが動いていて、指令に応じて GPIO の On/Off を制御し、これをモータードライバにつないで動かすようにした。

コルタナ連携

さて、コルタナから自作 UWP アプリを呼び出してもらえることはわかったが、その自作 UWP から Arduino Nano へのシリアル通信の実装がうまくいかない。

「UWP からはシリアル通信は使えない」という情報もあれば、Windows.Devices.SerialCommunication.SerialDevice でいける、という情報もある。

後者を少し試してみたがどうにもうまく実装できない。

時間も押していたので、もうひとつ通常の Windows コンソールアプリを作成してしのぐことに。

古典的で強引な手法だが、UWP アプリが所定のルールで書き出すファイルを、コンソールアプリが監視することで、UWP アプリからコンソールアプリへ通知を送るようにするという方法だ。

こうしてコンソールアプリは普通にクラシックな API でシリアル通信できるので、これで最終的に全体が完成した。


※上図をクリックするとアニメーション表示が開きます。

日本語だとうまく認識しない?

さて最後の最後に動作確認をしていると、どうにも、日本語だとなかなかうまく音声コマンドが認識されない。

コルタナがまったく聞き取れていないというわけではないが、なぜか自作 UWP の呼び出しにならずに Web 検索にいってしまったりする。

認識率はちゃんと数字で計測しなかったのでわからないが、感覚的には 10 回試して 1回成功するような程度の認識。

そしてこれまたどういうわけか、言語を英語に切り替えて試してみたところ、今度はかなりの確度で認識してくれる。

というわけで、冒頭デモ動画のとおり、英語版でのお披露目となった。

いまいち不人気?

さてこの「コルタナ・カー」、先日開催されたオープンソースカンファレンス 2016 Hokkaido の CLR/H ブースに展示したのだが、ほかの展示物のほうが人気を集めていた。

会場は雑音が多く、「Hey, Cortana!」と呼びかけてもそもそも反応しないという状況で、ライブでデモができなかった、ということも人気不足の一因だったかもしれない。

また、「音声コマンドで操縦する DC モーターカー」は昨今ではとりたてて珍しいものではない、ということも原因にあったかもと思う。

確かに、同じ Windows でも、コルタナに頼らずとも、古くから Windows に備わってる音声認識エンジンを使う方法もある。

Raspberry Pi でも音声認識は普通にできるので、ネット上で検索すると、実際に Raspberry Pi を使って音声認識で操縦する DC モーターカーの作例も見つけることができる。

とはいえ、このデモンストレーションは
「コルタナさんと天気やニュース、予定の話に交えて、モーター制御もしちゃう」
という、あくまでも「コルタナと連携して」というところがポイントであるわけで。

その点をもっと訴求するべきだったかと反省である。

おまけ: 一番苦労したのは...

余談だが、この「コルタナ・カー」の制作にあたり苦労したのは物理的な工作関連。

とくに今回は、スティック PC に

• モーター制御をお願いする Aruduino Nano
• 音声を拾ってもらうためのマイク (今回はマイク内蔵の Web カメラ製品で代替、カメラ機能は使ってない)
• コルタナさんの声を再生するための音声再生デバイス (HDMIからも出力はされてるけど、スタンドアロン動作させる以上、HDMI 接続の TV とかにつなぐわけにもいかないので)

といった周辺機器を USB でつなぐことになったのだが、その接続のための USB ケーブルが長すぎるのが一番苦労した。

USB ケーブルが長すぎて、タミヤ模型のショベルカーという筐体に収まりきらなかったり、とぐろを巻いてケーブル重量だけでもずいぶん重くなったり、と大変だったのである。

そこで
USB ケーブルはニッパーでぶった切って短く切り詰めてから、USB の線 x 4本 (外部シールドもあわせると5本) をちまちま半田付けしなおす
という地道な手作業を行わざるを得ず、これが一番の苦労だった。