AR インターフェース搭載 AI Agent
システムの中核は、単純な物体認識をはるかに超える LLM ベースの AI Agent です。マルチモーダル入力を受け付け、コンテキストを分析し、外部データソースを照会し、あらゆる複雑さの AR シーンとして応答を生成します。
AI 5ステップサイクル
音声コマンドからインタラクティブな AR シーンまで、ミリ秒単位で実現。
入力
任意の言語での音声またはテキスト質問、またはカメラを設備に向ける
分析
LLM がコンテキストとともにリクエストを分析：VPS 位置、操作履歴、センサーデータ、ERP 状態
エージェントモード
AI が必要な外部データを自律的に判断：パーツカタログ、ERP、技術文書、ナレッジベース、センサーテレメトリ
ECS 生成
AI が ECS 構造として応答を生成——位置、ジオメトリ、マテリアル、アニメーション、アノテーションのコンポーネントを持つエンティティ
AR 可視化
ECS 構造が WebSocket 経由で送信され、AR シーンとしてレンダリング：3D モデル、ハイライトされたノード、アノテーション、アニメーション
専門家のように話しかけてください
AI Agent はコンテキスト、言語、空間的位置を理解し、テキストではなくインタラクティブな AR シーンで応答します。
«メンテナンス-500で交換が必要な全部品を表示して»
AI がメンテナンススケジュールを照会し、部品リストを検索し、カタログのアノテーション付きで各部品をマシン上にハイライトする ECS シーンを生成します。
«Was ist mit diesem Teil los?»
AI がドイツ語を認識し、VPS 経由でカメラの方向を分析し、コンポーネントを特定し、センサーテレメトリを照会し、ドイツ語で診断 AR レポートを生成します。
«この部品を代替品と比較して»
AI がカタログからオリジナルと代替品を検索し、2つの 3D モデルを並べて表示する ECS シーンを生成し、差異のアノテーションと価格比較を表示します。
エンティティコンポーネントとしての AR 応答
すべての AI 応答はエンティティの集合であり、各エンティティには拡張現実での見え方と振る舞いを定義するコンポーネントがあります。
タイマー
テキスト
リスト
ボタン
ナビゲーション
マーカー
検出
メディア
3Dオブジェクト
オーディオ
静的マニュアル vs. AI 動的生成
- 手動で作成された静的 AR オーバーレイ
- 各設備ノードの固定コンテンツ
- 単一言語、コンテキスト認識なし
- コンテンツの作成と更新に数ヶ月
- 予想外の質問には回答不可
- AI がリアルタイムで AR シーンを動的に生成
- コンテキスト認識：位置、設備状態、ERP データを把握
- 任意の言語——音声、テキスト、カメラ入力
- 新しいコンテンツを即座に生成、オーサリング不要
- あらゆる質問にインタラクティブな AR 可視化で回答