Winerva Blog

WSL2 環境 

Java 環境

sudo apt install openjdk-17-jdk

Windows-based X Server

在Windows主機下查詢IP

修改WSL2中的~/.bashrc內容，增加一行

Android Studio環境

下載位置: https://developer.android.com/studio/?gclid=Cj0KCQiAjJOQBhCkARIsAEKMtO3zEhdK4_I0CEZic3UH4dl-9gVXuHFR9dCl3TOHKjmv3xWLU3UxfhYaApfAEALw_wcB&gclsrc=aw.ds&hl=zh-tw

~/.bashrc 增加下列

執行Android-studio

下載額外的Hardware Profiles

https://github.com/React-Native-Nation/Hardware-Profiles-For-Android-Studio

由ARM 改成 x86_64

NPM 環境

click a to run on Android

鐵條計數

鴻博資訊有限公司

鐵條影像

採用AI的物件偵測邏輯

AI的物件偵測的邏輯是基於計算機視覺（Computer Vision）和深度學習技術。它的核心是透過模型學習如何從影像中自動識別出物件的位置和類別。以下是物件偵測的基本邏輯，以及它如何確定影像中的物件數量和位置。

1. 基礎概念：分類與定位

物件偵測結合了兩個主要的任務：

• 分類（Classification）：識別影像中是否存在特定類別的物件，例如「貓」或「車」。
• 定位（Localization）：確定物件在影像中的具體位置，通常用矩形邊界框來表示。

2. 物件偵測的主要流程

1. 特徵提取（Feature Extraction）

• 首先，深度學習模型（如卷積神經網路，CNN）會對輸入的影像進行特徵提取。這些特徵是影像中高維度的表示，能夠捕捉到物件的邊緣、顏色、形狀、紋理等信息。
• 模型通過多層卷積層逐步提取出影像的不同層級特徵，從低層次的邊緣和紋理到高層次的形狀和物件結構。

2. 區域提議（Region Proposals）或網格劃分

• 許多物件偵測算法會將影像分割成小區域，這些區域稱為“候選區域”或網格，並在每個區域中嘗試檢測物件。
• 兩種主要的技術：
  • 區域提議（Region Proposal Networks, RPN）：例如 Faster R-CNN 中，RPN 會提議潛在的物件區域並進行分類。
  • 網格劃分（Grid Division）：YOLO 將整張影像劃分為若干個小網格，每個網格負責檢測位於其內部的物件。

3. 邊界框回歸（Bounding Box Regression）

• 每個候選區域或網格會預測物件的邊界框（bounding box）。邊界框由四個數據組成：物件的左上角座標和右下角座標，或物件的中心點座標加上寬度和高度。
• 邊界框回歸是基於對目標物件位置的估計，模型學習如何根據特徵調整這些估計，使預測框與物件的實際位置更精確。

4. 分類與置信度預測

• 除了預測邊界框之外，模型還會對每個預測框中的物件進行分類。模型輸出物件的類別（例如「狗」、「貓」）以及對該預測的置信度分數。
• 如果置信度低於某個閾值，則會將這些框過濾掉，保留高置信度的預測。

5. 非極大值抑制（Non-Maximum Suppression, NMS）

• 當一個物件被多個框檢測到時，NMS 用來消除重疊度過高的邊界框。這一步是根據每個框的置信度來選擇，保留置信度最高的邊界框，並刪除其他重疊的框。
• 這樣做可以避免多個框重疊預測同一個物件。

3. AI如何確定影像中的物件數量及位置？

1. 確定物件數量

• 通過非極大值抑制（NMS），模型最終只保留每個物件的一個預測邊界框。剩下的框數量就是偵測到的物件數量。
• 如果沒有預測框被保留，則表示該影像中沒有偵測到任何物件。

2. 確定物件位置

• 每個物件的邊界框代表了物件在影像中的具體位置。邊界框的座標通常由左上角點的座標和右下角點的座標來表示。
• 對於每一個物件，模型預測出它在影像中的位置（邊界框座標）以及它的類別。

展示瞭如何將圖像劃分為網格，使用邊界框和標籤來檢測和分類汽車、狗和人等物件。

使用AI技術進行實驗

第一步：拍攝多張影像

第二步：影像變形增量（變暗、變亮、放大、縮小、旋轉）

第三步：影像標記

第三步：訓練ＡＩ模型

第四步：訓練ＡＩ模型驗証、測試

206張實驗

在極暗、極亮、傾斜影像下的實驗結果

取像環境的規劃

• 鐵鯈放置區域為乾淨較無干擾的背景
• 配置合適的相機及光源

Numpy Slice

數組的運算子：==，!=，~，&，|

數組軸對換 Axis Change

一元ufunc
abs, fabs	計算絕對值 absolute value
sqrt	平方根 square root
square	平方
exp	指數 expoent
log, log10, log2, log1p	自然對數 natural logarithm 底數：e, 10, 2, (1+x)
sign	各元素的正負號：1(正數), 0 (零), -1(負數)
ceil	計算該值的最大整數
floor	計算該值的最小整數
rint	四捨五入
modf	以獨立數值的方式回傳數組的小數和整數部份
isnan	回傳哪些值不是Nan的Boolean數組
isfinite, isinf	單傳哪些值是有限值的Boolean數組
cos, cosh, sin, sinh, tan,tanh	三角函式
arccos, arccosh, arcsin, arcsinh, arctan, arctanh	反三角函式
logical_not	計算各元素not x的真值
add	各元素相加
substract	各元素相減
multiply	各元素相乘
divide, floor_divide	除法或丟去餘數
power	求數值的N次方
maximum, fmax	求數值中的最大值
minimum, fmin	求數值中的最小值
mod	除法的餘數
copysign	將第二數組中的值符號Copy給第一數組
greater, greater_equal, less, less_equal, equal, no_equal, logical_and, logical_or, logical_xor	>, >=, <, <=, =, !=, &, I, ^

Meshgrid

The purpose of meshgrid is to create a rectangular grid out of an array of x values and an array of y values.

np.where

統計方法

sum	求總合
mean	求平均值
std, var	求標準差和方差
min, max	最小值和最大值
argmin, argmax	最小值的索引值和最大值的索引值
cumsum	與前一欄的值累相加
cumprod	與前一欄的值累相乘

Sensor Size：12.441 mm x 9.830 mm

Resolution： 2592 x 2048

Focal Length： 12mm

The physical size of each pixel： 

The projected width of the object：

Magnification：

Distance：

The projected width of the object：

Magnification：

Distance：

光學校正：

光學校正的步驟

1. 校正片準備： 使用一個已知尺寸和形狀的校正片（如棋盤格、圓點陣列等）。校正片的幾何特徵應該清晰明顯，並且材質應避免反光。
2. 拍攝校正片： 使用待校正的相機系統拍攝多張不同角度的校正片照片。確保校正片的整個區域都覆蓋在相機視野內，並從不同角度和距離進行拍攝，以獲取多樣化的校正圖像。
3. 圖像處理： 將拍攝到的校正片照片導入圖像處理軟件（如OpenCV），自動或手動標記出校正片上的特徵點（如棋盤格的角點或圓點的中心）。
4. 計算校正參數： 使用軟件進行內部和外部參數的校正。內部參數包括焦距、主點、畸變參數等，外部參數包括旋轉和平移矩陣。
5. 應用校正參數： 使用計算出的校正參數來修正相機拍攝的所有圖像，以消除鏡頭的失真和其他光學偏差。

尺寸量測的步驟

1. 修正圖像： 應用光學校正參數來校正實際拍攝的圖像。
2. 標定參考物尺寸： 根據校正圖像中已知尺寸的物體或標記物，設定比例尺，這樣可以將圖像中的像素距離轉換為實際距離。
3. 進行量測： 利用標定好的比例尺來量測圖像中物體的尺寸，計算長度、面積、角度等。
4. 誤差檢查與修正： 檢查量測結果是否符合實際要求，必要時進行誤差修正。

關鍵元件：

• 自動對焦相機
• 光學校正片
• 筆記本長：21公分；寬：15公分

NO	規格	相片
1	UI-3884LEResolution：6.41 MPixOptical class：1/1.8″Pixel size：2.40 µm
2	6mm FL, Liquid Lens M12 LensFocal Length FL (mm): 6.0mm
3	校正片7×7 12.5mm
4	筆記本21 cm X 15 cm

拍攝校正片

相機內參矩陣	[[2234.9151650412764, 0.0, 1613.33369580123],                    [0.0, 2245.021094475966, 1096.3297700427615],                    [0.0, 0.0, 1.0]]
畸變係數	[[-0.27468132182099425, 0.19905562857571302, -0.002831944837372181, -0.01046052609357293, -0.1759195932009981]]
旋轉向量	[[-0.01961335538368109], [-0.064561685464345], [-0.048599163141283534]]
平移向量	[[-245.4462037894694], [-234.68707345975994], [589.3447597554461]]
旋轉矩陣	[[0.9967368360429331, 0.04917594469298315, -0.06401098451575252], [-0.04791040290857523, 0.9986275099612804, 0.02115867769193121], [0.06496362804109107, -0.01802284139878348, 0.9977248639878897]]

情境一：

1. 自動對焦：焦距數值 54
2. 相機與量測的平面距離 73公分
3. 拍攝光學校正片
4. 計算校正參數：得到相機內參矩陣、旋轉矩陣、平移向量。
   • 相機內參矩陣描述了相機的內部參數，如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
   • 旋轉矩陣是一個3×3矩陣，用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
   • 平移向量是一個3×1的向量，用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
5. 標記筆記本的長寬座標點：
   • 左上角座標 1327, 479
   • 左下角座標1243, 1035
   • 右上角座標 2091, 611
6. 將影像座標轉換成實際座標：
   • 左上角世界座標：165.4430781105949, 78.0959286673178
   • 左下角世界座標：136.3602638761044, 225.29850326645803
   • 右上角世界座標：371.385150277364, 120.49460679088405
7. 影像量測到筆記本的長、寬：
   • 長：210.26123036586773 mm
   • 寬：150.04801915524686 mm

情境一：

1. 自動對焦：焦距數值 42
2. 相機與量測的平面距離 90公分
3. 拍攝光學校正片
4. 計算校正參數：得到相機內參矩陣、旋轉矩陣、平移向量。
   • 相機內參矩陣描述了相機的內部參數，如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
   • 旋轉矩陣是一個3×3矩陣，用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
   • 平移向量是一個3×1的向量，用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
5. 標記筆記本的長寬座標點：
   • 左上角座標 1060, 450
   • 左下角座標1042, 914
   • 右上角座標 1712, 473
6. 將影像座標轉換成實際座標：
   • 左上角世界座標：95.74517669315097,116.92161043618675
   • 左下角世界座標：97.79422061504047, 265.3536817958457
   • 右上角世界座標：305.8426560794244, 109.68540108000529
7. 影像量測到筆記本的長、寬：
   • 長：210.22205776348036 mm
   • 寬：148.4462137917728 mm

量測邏輯實作(A)：

不同高度，不同的葉子堆疊個數(B)：

A 所得到的葉面積 X B 依距對焦數值來決定葉子堆疊的倍率= C 得到預估的葉面積

假設： A 的數值為 100，B的數值為10 故預估的葉面積為100 X 10 = 1000

系統會提供一個實際調校功能，當使用者判斷實際面積為 800時，系統會根據800的數值去調校不同對焦數值的倍率。之後會跟據調校後的倍率來計算面積。

每一個拍攝的視野範圍有多個株植栽

目前系統只能以計算出來的總面積來等分有多少植栽

篩網砂石視覺檢測系統

鴻博資訊有限公司

公司簡介：

我們是一家於2015年成立的公司，專注於客製化視覺系統的開發。在成立前也從事視覺檢測相關領域的研究開發，憑藉著十幾年的豐富經驗，我們致力於提供高品質的視覺檢測解決方案。

我們的優勢：

• 豐富的經驗：我們在視覺檢測領域擁有超過十幾年的豐富經驗，累積了豐富的專業知識和技術。
• 多領域應用：我們曾為各行各業提供視覺檢測服務，包括但不限於螺絲檢測、手機鋁殼檢測、氣壓原件檢測、車燈檢測、農產品檢測、半導體製造漏液檢測等。
• 專業技術：我們具有獨特的技術優勢，能夠應對不同行業的各種檢測需求，並提供有效的解決方案。

我們的服務範圍包括3D資料處理、高光譜資料分析、熱影像檢測等。無論您的應用場景是什麼，我們都能夠提供專業的視覺檢測解決方案，以滿足您的需求。

我們引以為傲的是與日商睿怡科技股份公司的深度合作。通過與睿怡科技股份公司的合作，我們得以獲取最新的自動化技術和解決方案，並將其應用於我們的視覺系統開發中，以提供客戶更高效、更精準的解決方案。

我們的目標是繼續專注於創新和技術發展，為客戶提供最優質的產品和服務。如需進一步了解我們的產品和服務，請訪問我們的官方網站或通過以下方式聯繫我們

• 官網：https://www.winerva.com/portfolio/
• 電話：0927-377-741
• 電子郵件：fluber@winerva.com

謝謝您對我們公司的關注，我們期待與您合作！

視覺檢測系統硬體架構

NO	項目	備註
1	TOSHIBA Teli USB3 Camera BU040MCG	日本製
2	Raspberry PI 5 Model B 8G	英國製
3	Myutron MV0813 8mm Len	日本製
4	27W Type C Power Supply
5	USB 3.0 3M

TOSHIBA Teli USB3 Camera BU040MCG

Raspberry PI 5 Model B 8G

Myutron MV0813 8mm Len

27W Type C Power Supply

USB 3.0 3M

視覺檢測軟體運行畫面

樹梅派電腦的網路孔需先接線連上網路後再送電，在送後會執行系統開機，當系統完成開機後，視覺檢測軟體會自動啟動。以下會啟動畫面，約運行5~10秒的時間。

註：網路必需先接再開機，這樣才不會造成Modbus通訊異常，執行執行異常。

程式主畫面

上方資訊列所呈現的資訊：像素總量、目標像素量、像素比例

右側功能按鈕：組態、啟動(停止)、手動測試、離開

像素總量：指整張影像的像素的數量

目標像素量：指紅圈內的影像，符合設定值的像素數量

像素比例：目標像素量 / 像素總量

像素比例	顏色	Modbus 通訊
		超出上限	規範內	超出下限
超出設定比例	紅色	1	0	0
符合設定比例	綠色	0	1	0
不足設定比例	藍色	0	0	1

組態

開啟相機：按下此鈕，程式即連接相機取像，即可在影像視窗看到即時影像。

關閉相機：按下此鈕，程式即斷開相機。

影像視窗：用於顯示即時影像

紅色ROI：可以用滑鼠拖拉位置及改變大小，紅色ROI內即為檢測區域。

影像灰階值設定

影像由暗到亮，以數值來表現，0為最暗，255為最亮，上面數值 177~255的設定，可以從下列圖形來看黑白的變化。

彩色影像可以轉換成黑白影像，實際砂子可能有不同顏色，為了簡少設定，影像程式是將彩色影像轉成黑白影像，如果想挑出深紅色的區域，以黑白影像來看就是挑出比較暗的區域。

沙子比例設定

剛才「影像灰階值設定」設定後所得到的影像如下，可以看出白色區佔檢測區域的比例為何？此時設定52% ~ 79% 為規範內。

設定相機的曝光時間：這個設定會決定影像的明暗效果。

白平衡：簡單說，當我們設定了一組情境，如當我們設定為鎢絲燈，鎢絲燈對應的K值約為 3200K 左右，我們看圖 03 可以看的出來，3200K 的色溫偏橘紅，當我們設定在 3200K 左右，相機會自動幫我們「填加補色」在相片裡頭加以平衡色溫，拍出自然色。

儲存設定：會將設定參數存入設定檔並將相機曝光、白平衡設定存入相機中。

程式主畫面

遠端人機可以控制視覺檢測程式

Modbus
位址	功能	交握方向
100	最大灰階值	AOI <<<<<<>>>>>> 人機
101	最小灰階值	AOI <<<<<<>>>>>> 人機
102	最大比例	AOI <<<<<<>>>>>> 人機
103	最小比例	AOI <<<<<<>>>>>> 人機
104	機台運行狀態：0: IDLE，1: RUN，2: TECH	AOI <<<<<<>>>>>> 人機
105	相機觸發訊號	AOI <<<<<<<<<<<<人機
106	超出上限	AOI >>>>>>>>>>>>人機
107	規範內	AOI >>>>>>>>>>>>人機
108	超出下限	AOI >>>>>>>>>>>>人機
109	異常	AOI <<<<<<>>>>>> 人機

操作人員可以按下「啟動」鈕進行檢測，也可以透過人機從遠端啟動檢測。

操作人圓可以按下「手動測試」鈕觸發拍照，也可以透過人機從遠端觸發拍照。

進料   出料

機台允許的檢測空間，只能從機台的下方空間找位置進行相機的架設。

架設要求，相機與紙張Z軸需要盡量平行，不要有傾斜角度(這個會大副度影像精度)

實驗 (Z軸與相機需平行，傾斜情況越大誤差越大)

左側  右側

左側情況先進行光學校正。

左側實際量測出來為199.2136 mm 誤差0.7864mm

右側實際量測出來為198.7449 mm 誤差1.2551mm