GPUなしで使えるPhotos検索

Photosでは、写真に写っている物の名前や画像内の文字を入力して、関連する写真を探せます。デバイスにGPUがなくても、この検索を利用できます。

ZimaOSでPhotosを使用すると、物体認識と文字認識に必要なモデルがバックグラウンドで自動的にダウンロードされます。どちらの認識処理もデバイス上でローカルに実行されます。必要なモデルのダウンロード中は、デバイスをインターネットに接続しておいてください。

写真をライブラリに追加すると、Photosが写っている物体や文字を自動的に解析し、検索インデックスを作成します。該当する解析が完了すると、ファイル名や撮影日を覚えていなくても、以下の内容を手がかりに検索できます。

処理の進行状況は、設定 → 検索 → 検索の準備状況で確認できます。写真のインポートが終了しても、内容の解析が続いている場合があります。

解析はバックグラウンドで順次進みます。必要な認識とインデックス作成が完了した写真は、ライブラリ全体の処理が終わる前でも検索結果に表示されます。ここで紹介する物体・文字検索では、高度な視覚理解を有効にする必要はなく、その処理が完了するまで待つ必要もありません。

検索設定には、処理の進行状況と高度な視覚理解のオプションが表示されます。高度な視覚理解はGPUを使用しますが、基本的な物体・文字検索はこのオプションを有効にせずに利用できます。

写真に写っていた物を覚えている場合

検索ボックスに物の名前を入力すると、その種類の物体が認識された写真をPhotosが探します。

一般的な動物、乗り物、食べ物、家具、日用品を検索できます。たとえば、犬、自転車、ピザ、ソファ、携帯電話などです。

まずは具体的な物の名前で検索してください。たとえば誕生日のケーキの写真を探すなら、最初にケーキで検索してみましょう。

スクリーンショット、レシート、メニュー、看板、撮影した書類は、画像内で認識された文字から探せます。

画像に実際に書かれている数文字を入力してください。一般的な中国語、英語、数字の認識に対応しています。特徴的な文字列を選ぶと、検索結果を絞り込みやすくなります。

写真をライブラリに追加すると、Photosが画像の内容と文字をバックグラウンドで解析します。新しく追加した写真をその内容で検索するには、該当する解析が完了するまで待つ必要があります。

物体が小さすぎる、隠れている、文字がぼやけている、光が反射しているといった場合は、認識しにくくなります。結果が表示されないときは、別の物の名前や画像内の別の文字列で試してください。

この記事で紹介しているのは、一般的な物体認識と画像内の文字認識です。人物やペットの外見から名前を特定したり、動作や感情などの複雑な描写を理解したりする機能ではありません。名前が画像内の文字として写っている場合は、その文字で検索できます。

Photosの基本的な物体認識は、以下の80種類に対応しています。写真を探す際の手がかりとして利用してください。

分類	認識できる物体
人物	人
動物	鳥、猫、犬、馬、羊、牛、象、熊、シマウマ、キリン
乗り物	自転車、自動車、バイク、飛行機、バス、列車、トラック、船
街中の物	信号機、消火栓、一時停止標識、パーキングメーター、ベンチ
携行品	リュックサック、傘、ハンドバッグ、ネクタイ、スーツケース
スポーツ用品	フリスビー、スキー板、スノーボード、スポーツ用ボール、凧、野球のバット、野球のグローブ、スケートボード、サーフボード、テニスラケット
食器・容器	ボトル、ワイングラス、カップ、フォーク、ナイフ、スプーン、ボウル
食べ物	バナナ、リンゴ、サンドイッチ、オレンジ、ブロッコリー、ニンジン、ホットドッグ、ピザ、ドーナツ、ケーキ
家具・住まい	椅子、ソファ、鉢植え、ベッド、ダイニングテーブル、トイレ
電子機器	テレビ、ノートパソコン、マウス、リモコン、キーボード、携帯電話
キッチン設備	電子レンジ、オーブン、トースター、シンク、冷蔵庫
その他の日用品	本、時計、花瓶、はさみ、テディベア、ヘアドライヤー、歯ブラシ

これらは物体のカテゴリです。たとえば、スポーツ用ボールはあらゆるボールの種類を区別できるという意味ではなく、鉢植えは植物の品種を特定できるという意味ではありません。

高度な視覚理解のハードウェア要件を満たすデバイスでは、ほかにどのような内容を検索できるのでしょうか。別の記事で紹介します。