IvySearch: かすかな記憶から画像を探せる連想検索

Gyazoは、現在注目している画像に近い画像を連想的にたどっていくことによって、 画像やデータを捜したり眺めたりする新機能「IvySearch」(アイ・ビー・サーチ)を公開しました。 「関連する情報をたどって必要な情報にたどりつく」 「記憶をたどって何かを思い出す」 といった連想的な検索をブラウザ上で実行できます。 画像の類似度は、Gyazo画像のコメントや取り込み元ウェブのタイトル、URL、作成時刻などから自然言語処理を活用して計算します。

image

https://gyazo.com/6c010833102d8c1f87931373433f0bb6

新しいGyazoを利用すると、ユーザーは、これまでと同様にキャプチャを行うだけでアプリケーションが自動的にメタデータを収集します。アプリケーションタイトル、URL、ウェブサイトのタイトル、キャプチャーの日付などをメタデータとして収集し、それらが類似しているものを自動的にグルーピングすることで、ほとんど手間をかけることなく、画像の整理が可能です。
なお、メタデータや関連画像は他の人には見えません。

Ninjaユーザーはいますぐ体験できます!

IvySearchは、まずはNinjaユーザー限定でご利用いただけます。Gyazo.comの設定メニューからIvySearchを有効にしてください。また、MacWindowsGyazoアプリが最新バージョン(3.0以上)にアップデートされていることをご確認ください。

データ管理の難しさを解決

image

以前パソコンに保存したはずのデータをみつけるのに苦労することがありますし、 昔撮影したデジカメ写真を捜すのは簡単ではありません。

たとえばパソコンでこのブログ記事文書を作成するような場合、 内容に応じて適切なフォルダやファイル名を最初に考えるのが普通でした。 いい加減な名前のファイルを適当な場所に作成すると、 どこに置いたか後でわからなくなってしまうからです。 しかし適切な名前を考えるのは面倒ですし、後で忘れてしまうこともよくあります。 Spotlightのような全文検索システムを使うと、 ファイル名がわからなくてもキーワードから文章を検索できることはありますが、 写真などの場合はそういうわけにいきません。 IvySearchはこのような問題を解決します。

IvySearch利用例

image

キャプチャーすると、その瞬間に文書のタイトルやURL、アプリケーション名が自動で収集され画像に関連づけられます。 また「オフィスの内装」のようなコメントも自由に記入できます。

上のスクリーンショットGyazo GIFでキャプチャーされたもの)を見ればわかるように、オフィスの内装に関連する画像を関連画像をクリックして辿ることで次々に見つけることができています。このとき、ウェブからキャプチャーした画像には、URLやタイトルに「office/オフィス」のようなキーワードが入っており、それが利用されています。また、自社のオフィスの写真も混ざっているのですが、それには、「オフィス」というコメントが付けられています。さらには、手書きの内装案や椅子の写真も一連の流れのなかでまとめて出てきます。

例えば、時間が経ってからこのこの手書きの内装案を再度参照したいと思ったとき、 キーワードや内容を忘れてしまっている可能性がありますが、 「オフィス」に関連する文書であることを覚えていれば、 以下のような手順でみつけることができるでしょう。

  1. 「オフィス」などのキーワードで検索を行ない、内装に関連するGyazo画像を発見する
  2. もしくはメールで「内装の打ち合わせ」などでググってそのときの会議の日時を調べる
  3. その日の周辺の画像リストを表示する
  4. リストの中から目的の画像を捜し、URLにアクセスする

このように、データを直接検索できなくても「連想的に」関連情報をたどることができれば 目的のデータをみつけることができます。 データそのものに関連づけたコメントを忘れてしまっていても、 そのデータに近いものを思い出すことができれば、 IvySearchを使えば首尾よくデータを発見することができるというわけです。

IvySearchの提案者である増井は、IvySearchのおかげで、最近実際に以下のような検索に成功しました。

  • 昔食事したレストランの内装を見る
  • 昔作成した請求書と似た文書を再度作成する
  • あるアイデアに関連する古いスケッチを眺める
  • Webでみつけた情報視覚化システムとその関連システムを思い出す

フォルダやファイルの名を気にすることなく様々な情報を捜せるのはとても便利だと感じています。

IvySearchの背景

image

フォルダ名やファイル名を使ってファイルを管理するのに困っている人は増井だけではないでしょう。またデジカメ写真を撮りっぱなしで放置している人も多いでしょう。 簡単な方法でデータを管理したり昔の写真を捜したりできないものでしょうか。

脳の中の情報にはキーワードはついていませんし階層的に管理されているわけでもありませんが、 様々な情報が関連づけて記憶されているので、古い記憶であってもなんとか思い出すことができるのでしょう。 パソコン上でもこれと同じような連想的な検索ができれば ファイル名やキーワードなどがなくてもなんとかなるのではないかと思って長年実験を行なってきた結果、 IvySearchの方法で実用的な検索を行なうことができることを確信しました。

IvySearchで連想的に検索される画像をクリックしていると、 昔の仕事を思い出したり昔行った場所を思い出したりして楽しい時間を過ごすことができます。 たとえば「屋久島」のようなコメントがついている写真をひとつみつけることができれば、 それと同じ日付の屋久島の写真を沢山眺めることができます。 すべての写真に適切なコメントをつける必要はありません。

鎌倉の海岸の夕日の写真に注目すると、他の海岸や夕日の写真のリストが表示されます。そこから北アルプスの夕日の写真を選択すると、今度は他の山々や信州の写真のリストが表示されます。気になった画像をクリックしていくだけで、忘れていた情報を思い出すことができます。

このように、IvySearchは検索に便利であるだけではなく、 昔の記憶をたどって楽しむことができる愉快なシステムです。 コメント文字列の追加編集により類似画像もダイナミックに変わるため、 楽しみながらコメント編集することもできるでしょう。

最新のAI技術(Google Photos)とは何が違う?

Google Photosは最新AI技術によって写真の内容がわかるということですが、 特定の人物の名前/地名/イベント名を知ることはできません。 一般的な「猫の写真」なら捜せるかもしれませんが、そういう機会は珍しく、 特定の猫や特定の人物、特定の場所を検索したいことがほとんどだろうと思います。 Google Photosは 他人が撮影した可愛い猫の写真が欲しいような場合は有用かもしれませんが、 前述のようなプライベートな検索にはあまり役にたたないと思われます。

今後の計画

類似画像を表示する方法の強化、 データを画像に関連づけるインタフェースの簡単化、 コメント入力の自動化/簡単化などにより、 普段の生活や仕事になくてはならないツールにしていく予定です。