iOSデバイスを活用した 高速エッジAI検査アプリの開発

●スマホ・タブレット活用によるAI検査のハードル解消
●最新のYOLO26モデルに対応、独自AIモデル追加による「即時検証」
●現場に定着させる「使いやすく洗練されたUI/UX」

開発のねらい

 製造の現場では外観検査などへのAI活用のニーズが高まっています。しかし、中小企業にとっては「導入コスト」と「現場での検証の難しさ」が極めて高いハードルとなっています。 本研究では、このハードルを解消するため、広く普及しているスマートフォンやタブレットなどのモバイル端末のポテンシャルを最大限に引き出すアプリケーションを開発しました。
 モバイル端末には、AI検査に必要となるデバイスがコンパクトにまとめられています(表1)。特にApple社のiOSデバイスには、AI処理に特化した「ニューラルエンジン」が搭載されており、高速なエッジAI(端末内処理)アプリを容易に開発できる環境が整っています。さらにエッジAIは、クラウド通信が不要なため『情報漏洩のリスクがない(高セキュリティ)』かつ『AIサーバー費用がかからない(ランニングコスト不要)』という、大きなメリットをもたらします。

物体検出モデルの構築

 アプリ開発と並行して、機械学習による物体検出モデルの構築とそのマニュアル化に取り組みました。

1.いちごの熟度別検出モデル

 いちご園を経営されている株式会社電農舎との共同研究で、いちごの熟度別検出モデルを構築しました。いちご棚に実るいちごの個数を熟度別にカウントし、数日後のいちごの収穫量を予測することが目的です。いちご棚の写真70枚に写る約1000個のいちごを、熟度1〜10の10段階でアノテーションしました(図1)。

 モデル構築の流れは以下のとおりです(表2)。

2.ナットの表裏検出モデル

 コンテナボックス内の部品のカウントを想定して、ナットの検出モデルを構築しました。ナットが密集した写真と個別の写真、合計10枚を用意し、約200個のナットを表裏別にアノテーションしました(図2)。

3.モデルの検証結果

 それぞれのアノテーションデータを、Apple CreateML(YOLOv2ベース)および Ultralytics YOLO(11, 26)の3種類のアルゴリズムを用いて学習させ、モデルを構築しました。構築したモデルで動画(いちご棚)および静止画(ナット)を検出(図3)し、三段階の検出信頼度でフィルタリングした結果を表3,4に示します。

表1 AI検査に必要となるデバイス

入力

カメラ、マイク、タッチパネル

頭脳

CPU、GPU、NPU

出力

液晶画面、音声、ネットワーク

 

表2 モデル構築の流れ

対象物の様々な個体、サイズ、方向の

写真を用意(1000枚程度)

▼

 アノテーション

(AIに学習させるためのラベル付け作業)

▼

 学習の実行・モデル変換

▼

 アプリ等に組み込んでの検証

▼

モデルの構築完了    

 

表3 いちごの検出結果

信頼度

0.1

0.3

0.5

CreateML

99個

99個

98個

YOLO11

88個

88個

88個

YOLO26

96個

78個

54個

正解

99個

 

表4 ナット表裏の検出結果(表/裏)

信頼度

0.1

0.3

0.5

CreateML

21/28個

21/28個

21/28個

YOLO11

24/26個

24/26個

24/26個

YOLO26

24/10個

15/0個

1/0個

正解

24/26個

図1 いちごの熟度別のアノテーション
図1 いちごの熟度別のアノテーション
図2 ナットの表裏アノテーション
図2 ナットの表裏アノテーション
図3 ナットの検出画面
図3 ナットの検出画面

検査アプリの開発と特徴

 物体検出モデルを活用し、検証や検査が簡単に行えるiOSアプリの開発に取り組みました。

開発環境

Mac mini(M4), Xcode, CoreML

動作環境

iPhone, iPad(iOS 16 以降)

 開発したアプリの画面は図4,5のとおりです。

 このアプリの特徴は以下のとおりです。

  • Appleシリコンのニューラルエンジンによる超高速エッジAI処理でリアルタイム検出が可能
  • ユーザーが独自に構築したモデルのインポートに対応し、現場での即時検証が可能(最新版のYOLO26に対応)
  • 「リアルタイムカメラ入力」「動画ファイル」「静止画ファイル」の複数の入力に対応
  • 動画をスライダーで操作し、物体検出の様子をリアルタイムに検証することが可能
  • コンベア上などラインを流れる物体を想定した長時間の連続判定・連続カウントが可能
  • カウント判定ラインは自動・手動の切替が可能で、任意の位置・方向にドラッグで設定が可能
  • 物体ラベルごとにアイコンや枠の色、ビープ音の設定が可能
  • 直感的に操作が可能なUI/UX、各種パラメータや画面構成のカスタマイズが可能

さいごに

 開発したアプリとモデル構築マニュアルは、センターのWebサイトにて順次公開していく予定です。また、技術普及のための講習会の開催も予定しています。

 注意点として、AIモデルのライセンス(利用規約)が挙げられます。Apple CreateMLで構築したモデルは制限なく無料で商用利用が可能ですが、Ultralytics社のYOLOライブラリなど一部のモデルの無料利用には一定の条件があり、商用利用の際には十分な確認が必要です。

担当

食品・プロダクトデザイン係 野上雅彦

図4 開発アプリのメイン画面
図4 開発アプリのメイン画面
図5 開発アプリのいちご検出画面
図5 開発アプリのいちご検出画面