スマートグラス時代に備えて、ARで家電を操作できるようにしてみた
2012年にGoogle Glassの開発が発表された時は、一般コンシューマー向けのスマートグラス/ARグラスが発売され、装着が珍しくなくなる日も遠くないと思ったのだが、待っているうちに平成が終わって令和になってしまった。
もうこのままARグラスは幻化していくのではないかという気もしていたが、最近のApple / Google / MicrosoftのAR関連技術への投資具合、AR関連特許のニュースを見ていると、いよいよあと2-3年ぐらいでARに関して新しいデバイスの登場などの大きな動きがあってもおかしくなさそうだ。
そういうわけで、少し気持ちが先走ってしまうが、来たるスマートグラス/ARグラスの時代に備えて、2019年のゴールデンウィークはARアプリのプロトタイピングをすることにした。
10日間の試行錯誤の末、完成したアプリの動作の様子はこちら。スマートグラスはまだないので、今回はiPhoneの画面を通して操作する形。
今年のゴールデンウィークの成果物。家電類を操作できるARアプリを作った。Bounding boxのオーバーレイとか魔法陣的なエフェクトとかは機能的には全く意味はない。我が家の家電類はWi-Fiに対応していないものばかりなので、Nature Remoを使って操作した。 #ARKit #拡張現実 #AR pic.twitter.com/c6FU9aiFaB
— Sousai🐳👀⏰ (@croquette0212) 2019年5月6日
「AR空間上での操作が現実世界の物理的なフィードバックにつながる」というものを作りたかったので、今回はAR上で部屋の家電をコントロールできるようにしてみた。家電の近くに設置されたマーカーをスマホの画面上でタップするとメニューが表示され、メニューを選ぶとそれに応じた信号が家電に送信される。
我が家の家電(テレビ, シーリングライト, エアコン)はいずれもWi-Fiに対応していないモデルなので、スマートリモコン(Nature Remo)経由で赤外線で制御している。
正直、普段はARで操作しなくてもスマートスピーカーで操作しちゃった方が自然で楽で実用的なのだが、「この家電にはどういう操作オプションがあって、どう伝えたら操作できるのかわからなくなる」というVUIならではの不便な点も多少感じるようになってきていた。そこで、プロトタイピングの題材としては面白いかなと思って今回はこのテーマを選んだ。
家電の上に3Dのバウンディングボックスがオーバーレイされたり、マーカーの周りに魔法陣チックなエフェクトが表示されるが、これらは機能的には全く意味はない。エフェクトがあったほうが個人的にアガるだろうと思って作った。数日前にARの勉強のためにAbemaTVで観たソードアートオンライン オーディナル・スケールの影響も多少ある。魔法陣チックなエフェクトを書く時のブラシはDeviant artから拝借した。
マーカーのサイズは20cm x 20cmで、そこそこ大きく存在感がある。本来はもっと小さく、最終的にはマーカーレスにしたかったのだが、現在の認識精度ではこのサイズにせざるを得なかった。このサイズであっても、動画中で一度発生しているように、マーカーの認識に時間がかかったり失敗することがあった。マーカーの内容(「コロッケ」「メンチカツ」etc. )には意味はない。
本当はまだまだ機能的にも演出的にも作り込みたい要素がたくさんあったのだが、初のARアプリ開発は試行錯誤の連続で10連休中はここまでやるのが限界だった。いつかまたARアプリを作る日が来たらその時はもっとかっこいいものを作りたい。
せっかくなのでコードはオープンソースにした。下記のレポジトリからCloneできる。
10日間の開発の過程はこちらのリンクからどうぞ。後で余力があったら技術的な補足についても書きたいと思っているが、ゴールデンウィークが終わる前に家の掃除をスタートさせる必要があり、そちらにコミットする所存だ。このままでは「まずはマーカーを壁から剥がせ」と言われてしまいそう。
