檢測噴嘴輸出異的情況，針對異常的影像進行偵測、存檔。

Error Image路徑

WSL2 環境 

Java 環境

sudo apt install openjdk-17-jdk

Windows-based X Server

在Windows主機下查詢IP

修改WSL2中的~/.bashrc內容，增加一行

Android Studio環境

下載位置: https://developer.android.com/studio/?gclid=Cj0KCQiAjJOQBhCkARIsAEKMtO3zEhdK4_I0CEZic3UH4dl-9gVXuHFR9dCl3TOHKjmv3xWLU3UxfhYaApfAEALw_wcB&gclsrc=aw.ds&hl=zh-tw

~/.bashrc 增加下列

執行Android-studio

下載額外的Hardware Profiles

由ARM 改成 x86_64

NPM 環境

click a to run on Android

鐵條計數

鴻博資訊有限公司

鐵條影像

採用AI的物件偵測邏輯

AI的物件偵測的邏輯是基於計算機視覺（Computer Vision）和深度學習技術。它的核心是透過模型學習如何從影像中自動識別出物件的位置和類別。以下是物件偵測的基本邏輯，以及它如何確定影像中的物件數量和位置。

1. 基礎概念：分類與定位

物件偵測結合了兩個主要的任務：

• 分類（Classification）：識別影像中是否存在特定類別的物件，例如「貓」或「車」。
• 定位（Localization）：確定物件在影像中的具體位置，通常用矩形邊界框來表示。

2. 物件偵測的主要流程

1. 特徵提取（Feature Extraction）

• 首先，深度學習模型（如卷積神經網路，CNN）會對輸入的影像進行特徵提取。這些特徵是影像中高維度的表示，能夠捕捉到物件的邊緣、顏色、形狀、紋理等信息。
• 模型通過多層卷積層逐步提取出影像的不同層級特徵，從低層次的邊緣和紋理到高層次的形狀和物件結構。

2. 區域提議（Region Proposals）或網格劃分

• 許多物件偵測算法會將影像分割成小區域，這些區域稱為“候選區域”或網格，並在每個區域中嘗試檢測物件。
• 兩種主要的技術：
  • 區域提議（Region Proposal Networks, RPN）：例如 Faster R-CNN 中，RPN 會提議潛在的物件區域並進行分類。
  • 網格劃分（Grid Division）：YOLO 將整張影像劃分為若干個小網格，每個網格負責檢測位於其內部的物件。

3. 邊界框回歸（Bounding Box Regression）

• 每個候選區域或網格會預測物件的邊界框（bounding box）。邊界框由四個數據組成：物件的左上角座標和右下角座標，或物件的中心點座標加上寬度和高度。
• 邊界框回歸是基於對目標物件位置的估計，模型學習如何根據特徵調整這些估計，使預測框與物件的實際位置更精確。

4. 分類與置信度預測

• 除了預測邊界框之外，模型還會對每個預測框中的物件進行分類。模型輸出物件的類別（例如「狗」、「貓」）以及對該預測的置信度分數。
• 如果置信度低於某個閾值，則會將這些框過濾掉，保留高置信度的預測。

5. 非極大值抑制（Non-Maximum Suppression, NMS）

• 當一個物件被多個框檢測到時，NMS 用來消除重疊度過高的邊界框。這一步是根據每個框的置信度來選擇，保留置信度最高的邊界框，並刪除其他重疊的框。
• 這樣做可以避免多個框重疊預測同一個物件。

3. AI如何確定影像中的物件數量及位置？

1. 確定物件數量

• 通過非極大值抑制（NMS），模型最終只保留每個物件的一個預測邊界框。剩下的框數量就是偵測到的物件數量。
• 如果沒有預測框被保留，則表示該影像中沒有偵測到任何物件。

2. 確定物件位置

• 每個物件的邊界框代表了物件在影像中的具體位置。邊界框的座標通常由左上角點的座標和右下角點的座標來表示。
• 對於每一個物件，模型預測出它在影像中的位置（邊界框座標）以及它的類別。

展示瞭如何將圖像劃分為網格，使用邊界框和標籤來檢測和分類汽車、狗和人等物件。

使用AI技術進行實驗

第一步：拍攝多張影像

第二步：影像變形增量（變暗、變亮、放大、縮小、旋轉）

第三步：影像標記

第三步：訓練ＡＩ模型

第四步：訓練ＡＩ模型驗証、測試

206張實驗

在極暗、極亮、傾斜影像下的實驗結果

取像環境的規劃

• 鐵鯈放置區域為乾淨較無干擾的背景
• 配置合適的相機及光源

Numpy Slice

數組的運算子：==，!=，~，&，|

數組軸對換 Axis Change

Meshgrid

The purpose of meshgrid is to create a rectangular grid out of an array of x values and an array of y values.

np.where

統計方法

Sensor Size：12.441 mm x 9.830 mm

Resolution： 2592 x 2048

Focal Length： 12mm

The physical size of each pixel： 

The projected width of the object：

Magnification：

Distance：

The projected width of the object：

Magnification：

Distance：

光學校正：

光學校正的步驟

1. 校正片準備： 使用一個已知尺寸和形狀的校正片（如棋盤格、圓點陣列等）。校正片的幾何特徵應該清晰明顯，並且材質應避免反光。
2. 拍攝校正片： 使用待校正的相機系統拍攝多張不同角度的校正片照片。確保校正片的整個區域都覆蓋在相機視野內，並從不同角度和距離進行拍攝，以獲取多樣化的校正圖像。
3. 圖像處理： 將拍攝到的校正片照片導入圖像處理軟件（如OpenCV），自動或手動標記出校正片上的特徵點（如棋盤格的角點或圓點的中心）。
4. 計算校正參數： 使用軟件進行內部和外部參數的校正。內部參數包括焦距、主點、畸變參數等，外部參數包括旋轉和平移矩陣。
5. 應用校正參數： 使用計算出的校正參數來修正相機拍攝的所有圖像，以消除鏡頭的失真和其他光學偏差。

尺寸量測的步驟

1. 修正圖像： 應用光學校正參數來校正實際拍攝的圖像。
2. 標定參考物尺寸： 根據校正圖像中已知尺寸的物體或標記物，設定比例尺，這樣可以將圖像中的像素距離轉換為實際距離。
3. 進行量測： 利用標定好的比例尺來量測圖像中物體的尺寸，計算長度、面積、角度等。
4. 誤差檢查與修正： 檢查量測結果是否符合實際要求，必要時進行誤差修正。

關鍵元件：

• 自動對焦相機
• 光學校正片
• 筆記本長：21公分；寬：15公分

NO	規格	相片
1	UI-3884LEResolution：6.41 MPixOptical class：1/1.8″Pixel size：2.40 µm
2	6mm FL, Liquid Lens M12 LensFocal Length FL (mm): 6.0mm
3	校正片7×7 12.5mm
4	筆記本21 cm X 15 cm

拍攝校正片

情境一：

1. 自動對焦：焦距數值 54
2. 相機與量測的平面距離 73公分
3. 拍攝光學校正片
4. 計算校正參數：得到相機內參矩陣、旋轉矩陣、平移向量。
   • 相機內參矩陣描述了相機的內部參數，如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
   • 旋轉矩陣是一個3×3矩陣，用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
   • 平移向量是一個3×1的向量，用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
5. 標記筆記本的長寬座標點：
   • 左上角座標 1327, 479
   • 左下角座標1243, 1035
   • 右上角座標 2091, 611
6. 將影像座標轉換成實際座標：
   • 左上角世界座標：165.4430781105949, 78.0959286673178
   • 左下角世界座標：136.3602638761044, 225.29850326645803
   • 右上角世界座標：371.385150277364, 120.49460679088405
7. 影像量測到筆記本的長、寬：
   • 長：210.26123036586773 mm
   • 寬：150.04801915524686 mm

情境一：

1. 自動對焦：焦距數值 42
2. 相機與量測的平面距離 90公分
3. 拍攝光學校正片
4. 計算校正參數：得到相機內參矩陣、旋轉矩陣、平移向量。
   • 相機內參矩陣描述了相機的內部參數，如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
   • 旋轉矩陣是一個3×3矩陣，用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
   • 平移向量是一個3×1的向量，用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
5. 標記筆記本的長寬座標點：
   • 左上角座標 1060, 450
   • 左下角座標1042, 914
   • 右上角座標 1712, 473
6. 將影像座標轉換成實際座標：
   • 左上角世界座標：95.74517669315097,116.92161043618675
   • 左下角世界座標：97.79422061504047, 265.3536817958457
   • 右上角世界座標：305.8426560794244, 109.68540108000529
7. 影像量測到筆記本的長、寬：
   • 長：210.22205776348036 mm
   • 寬：148.4462137917728 mm

量測邏輯實作(A)：

不同高度，不同的葉子堆疊個數(B)：

A 所得到的葉面積 X B 依距對焦數值來決定葉子堆疊的倍率= C 得到預估的葉面積

假設： A 的數值為 100，B的數值為10 故預估的葉面積為100 X 10 = 1000

系統會提供一個實際調校功能，當使用者判斷實際面積為 800時，系統會根據800的數值去調校不同對焦數值的倍率。之後會跟據調校後的倍率來計算面積。

每一個拍攝的視野範圍有多個株植栽

目前系統只能以計算出來的總面積來等分有多少植栽