iOSデバイスを活用した 高速エッジAI検査アプリの開発
開発のねらい
製造の現場では外観検査などへのAI活用のニーズが高まっています。しかし、中小企業にとっては「導入コスト」と「現場での検証の難しさ」が極めて高いハードルとなっています。 本研究では、このハードルを大幅に下げるため、誰もが持っているスマートフォンやタブレットなどのモバイル端末のポテンシャルを最大限に引き出すアプリケーションを開発しました。
モバイル端末には、AI検査に必要となるデバイスがコンパクトにまとめられています(表1)。特にApple社のiOSデバイスには、AI処理に特化した「ニューラルエンジン」が搭載されており、高速なエッジAI(端末内処理)アプリを容易に開発できる環境が整っています。 さらにエッジAIは、クラウド通信が不要なため『情報漏洩のリスクがない(高セキュリティ)』かつ『AIサーバー費用がかからない(ランニングコスト不要)』という、大きなメリットをもたらします。
物体検出モデルの構築
アプリ開発と並行して、機械学習による物体検出モデルの構築とそのマニュアル化に取り組みました。
1.いちごの熟度別検出モデル
いちご園を経営されている株式会社電農舎との共同研究で、いちごの熟度別検出モデルを構築しました。いちご棚の個数を熟度別にカウントし、数日後のいちごの収穫量を予測することが目的です。いちご棚の写真70枚に写る約1000個のいちごを、熟度01〜10の10段階でアノテーションしました(図1)。
モデル構築の流れは以下のとおりです(表2)。
2.ナットの表裏検出モデル
コンテナボックス内の部品のカウントを想定して、ナットの検出モデルを構築しました。ナットが密集した写真と個別の写真を10枚、約200個のナットを表裏別にアノテーションしました。
3.モデルの検証結果
それぞれのアノテーションデータを、Apple CreateML(YOLOv2ベース)および Ultralytics YOLO(11, 26)の3種類のアルゴリズムを用いて学習させ、モデルを構築しました。構築したモデルで動画(いちご棚)および静止画(ナット)を検出し、三段階の検出信頼度でフィルタリングした結果を表3,4および図3に示します。
表1 AI検査に必要となるデバイス
|
入力 |
カメラ、マイク、タッチパネル |
|
頭脳 |
CPU、GPU、NPU |
|
出力 |
液晶画面、音声、ネットワーク |
表2 モデル構築の流れ
|
対象物の様々な個体、サイズ、方向の 写真を用意(1000枚程度) ▼ アノテーション (AIに学習させるためのラベル付け作業) ▼ 学習の実行・モデル変換 ▼ アプリ等に組み込んでの検証 ▼ モデルの構築完了 |
表3 いちごの検出結果
|
信頼度 |
0.1 |
0.3 |
0.5 |
|---|---|---|---|
|
CreateML |
99個 |
99個 |
98個 |
|
YOLO11 |
88個 |
88個 |
88個 |
|
YOLO26 |
96個 |
78個 |
54個 |
|
正解 |
99個 |
||
表4 ナット表裏の検出結果(表/裏)
|
信頼度 |
0.1 |
0.3 |
0.5 |
|---|---|---|---|
|
CreateML |
21/28個 |
21/28個 |
21/28個 |
|
YOLO11 |
24/26個 |
24/26個 |
24/26個 |
|
YOLO26 |
24/10個 |
15/0個 |
1/0個 |
|
正解 |
24/26個 |
||
エッジAI検査アプリの開発
物体検出モデルを活用し、検証や検査が簡単に行えるiOSアプリの開発に取り組みました。
|
開発環境 |
Mac mini(M4), Xcode, CoreML |
|
動作環境 |
iPhone, iPad(iOS16以降) |
開発したアプリの画面は図4,5のとおりです。
このアプリの特徴は以下のとおりです。
- Appleシリコンのニューラルエンジンによる超高速エッジAI処理でリアルタイム検出が可能
- ユーザが独自に構築したモデルのインポートに対応し、現場での即時検証が可能(最新版のYOLO26に対応)
- 「リアルタイムカメラ入力」「動画ファイル」「静止画ファイル」の複数の入力に対応
- 動画をスライダーで操作し、物体検出の様子をリアルタイムに検証することが可能
- コンベア上などラインを流れる物体を想定した長時間の連続判定・連続カウントが可能
- カウント判定ラインは自動・手動の切替が可能で、任意の位置・方向にドラッグで設定が可能
- 物体ラベルごとにアイコンや枠の色、ビープ音の設定が可能
- 直感的に操作が可能なUI/UX、各種パラメータや画面構成のカスタマイズが可能
さいごに
開発したアプリとモデル構築マニュアルは、センターのWebサイトにて順次公開していく予定です。また、技術普及のための講習会の開催も予定しています。
注意点として、AIモデルのライセンス(利用規約)が挙げられます。AppleのCreateMLで構築したモデルは制限なく無料で商用利用が可能ですが、Ultralytics社のYOLOライブラリなど一部のモデルの無料利用には一定の条件があり、商用利用の際には十分な確認が必要です。
担当
食品・プロダクトデザイン係 野上雅彦
