React-Native Mobile App

WSL2 環境 

Java 環境

sudo apt install openjdk-17-jdk

Windows-based X Server

在Windows主機下查詢IP

修改WSL2中的~/.bashrc內容,增加一行

Android Studio環境

下載位置: https://developer.android.com/studio/?gclid=Cj0KCQiAjJOQBhCkARIsAEKMtO3zEhdK4_I0CEZic3UH4dl-9gVXuHFR9dCl3TOHKjmv3xWLU3UxfhYaApfAEALw_wcB&gclsrc=aw.ds&hl=zh-tw

~/.bashrc 增加下列

執行Android-studio

下載額外的Hardware Profiles

https://github.com/React-Native-Nation/Hardware-Profiles-For-Android-Studio

由ARM 改成 x86_64

NPM 環境

click a to run on Android

分類: 未分類 | 發佈留言

AI Logic to Detect Object Count

鐵條計數

鴻博資訊有限公司

鐵條影像

採用AI的物件偵測邏輯

AI的物件偵測的邏輯是基於計算機視覺(Computer Vision)和深度學習技術。它的核心是透過模型學習如何從影像中自動識別出物件的位置和類別。以下是物件偵測的基本邏輯,以及它如何確定影像中的物件數量和位置。

1. 基礎概念:分類與定位

物件偵測結合了兩個主要的任務:

  • 分類(Classification):識別影像中是否存在特定類別的物件,例如「貓」或「車」。
  • 定位(Localization):確定物件在影像中的具體位置,通常用矩形邊界框來表示。

2. 物件偵測的主要流程

1. 特徵提取(Feature Extraction)

  • 首先,深度學習模型(如卷積神經網路,CNN)會對輸入的影像進行特徵提取。這些特徵是影像中高維度的表示,能夠捕捉到物件的邊緣、顏色、形狀、紋理等信息。
  • 模型通過多層卷積層逐步提取出影像的不同層級特徵,從低層次的邊緣和紋理到高層次的形狀和物件結構。

2. 區域提議(Region Proposals)或網格劃分

  • 許多物件偵測算法會將影像分割成小區域,這些區域稱為“候選區域”或網格,並在每個區域中嘗試檢測物件。
  • 兩種主要的技術:
    • 區域提議(Region Proposal Networks, RPN):例如 Faster R-CNN 中,RPN 會提議潛在的物件區域並進行分類。
    • 網格劃分(Grid Division):YOLO 將整張影像劃分為若干個小網格,每個網格負責檢測位於其內部的物件。

3. 邊界框回歸(Bounding Box Regression)

  • 每個候選區域或網格會預測物件的邊界框(bounding box)。邊界框由四個數據組成:物件的左上角座標和右下角座標,或物件的中心點座標加上寬度和高度。
  • 邊界框回歸是基於對目標物件位置的估計,模型學習如何根據特徵調整這些估計,使預測框與物件的實際位置更精確。

4. 分類與置信度預測

  • 除了預測邊界框之外,模型還會對每個預測框中的物件進行分類。模型輸出物件的類別(例如「狗」、「貓」)以及對該預測的置信度分數。
  • 如果置信度低於某個閾值,則會將這些框過濾掉,保留高置信度的預測。

5. 非極大值抑制(Non-Maximum Suppression, NMS)

  • 當一個物件被多個框檢測到時,NMS 用來消除重疊度過高的邊界框。這一步是根據每個框的置信度來選擇,保留置信度最高的邊界框,並刪除其他重疊的框。
  • 這樣做可以避免多個框重疊預測同一個物件。

3. AI如何確定影像中的物件數量及位置?

1. 確定物件數量

  • 通過非極大值抑制(NMS),模型最終只保留每個物件的一個預測邊界框。剩下的框數量就是偵測到的物件數量。
  • 如果沒有預測框被保留,則表示該影像中沒有偵測到任何物件。

2. 確定物件位置

  • 每個物件的邊界框代表了物件在影像中的具體位置。邊界框的座標通常由左上角點的座標和右下角點的座標來表示。
  • 對於每一個物件,模型預測出它在影像中的位置(邊界框座標)以及它的類別。

展示瞭如何將圖像劃分為網格,使用邊界框和標籤來檢測和分類汽車、狗和人等物件。

使用AI技術進行實驗

第一步:拍攝多張影像

第二步:影像變形增量(變暗、變亮、放大、縮小、旋轉)

第三步:影像標記

第三步:訓練AI模型

第四步:訓練AI模型驗証、測試

206張實驗

在極暗、極亮、傾斜影像下的實驗結果

取像環境的規劃

  • 鐵鯈放置區域為乾淨較無干擾的背景
  • 配置合適的相機及光源
分類: 未分類 | 發佈留言

Python Numpy

Numpy Slice

數組的運算子:==,!=,~,&,|

數組軸對換 Axis Change

一元ufunc
abs, fabs計算絕對值 absolute value
sqrt平方根 square root
square平方
exp指數 expoent
log, log10, log2, log1p自然對數 natural logarithm 底數:e, 10, 2, (1+x)
sign各元素的正負號:1(正數), 0 (零), -1(負數)
ceil計算該值的最大整數
floor計算該值的最小整數
rint四捨五入
modf以獨立數值的方式回傳數組的小數和整數部份
isnan回傳哪些值不是Nan的Boolean數組
isfinite, isinf單傳哪些值是有限值的Boolean數組
cos, cosh, sin, sinh, tan,tanh三角函式
arccos, arccosh, arcsin, arcsinh, arctan, arctanh反三角函式
logical_not計算各元素not x的真值
add各元素相加
substract各元素相減
multiply各元素相乘
divide, floor_divide除法或丟去餘數
power求數值的N次方
maximum, fmax求數值中的最大值
minimum, fmin求數值中的最小值
mod除法的餘數
copysign將第二數組中的值符號Copy給第一數組
greater, greater_equal, less, less_equal, equal, no_equal, logical_and, logical_or, logical_xor>, >=, <, <=, =, !=, &, I, ^

Meshgrid

The purpose of meshgrid is to create a rectangular grid out of an array of x values and an array of y values.

np.where

統計方法

sum求總合
mean求平均值
std, var求標準差和方差
min, max最小值和最大值
argmin, argmax最小值的索引值和最大值的索引值
cumsum與前一欄的值累相加
cumprod與前一欄的值累相乘
分類: 未分類 | 發佈留言

Calcualte the distance of object in the image

Sensor Size:12.441 mm x 9.830 mm

Resolution: 2592 x 2048

Focal Length: 12mm

The physical size of each pixel: 

The projected width of the object:

Magnification:

Distance:

The projected width of the object:

Magnification:

Distance:

分類: 未分類 | 發佈留言

模擬不同高度量測物件尺寸

光學校正:

光學校正的步驟

  1. 校正片準備: 使用一個已知尺寸和形狀的校正片(如棋盤格、圓點陣列等)。校正片的幾何特徵應該清晰明顯,並且材質應避免反光。
  2. 拍攝校正片: 使用待校正的相機系統拍攝多張不同角度的校正片照片。確保校正片的整個區域都覆蓋在相機視野內,並從不同角度和距離進行拍攝,以獲取多樣化的校正圖像。
  3. 圖像處理: 將拍攝到的校正片照片導入圖像處理軟件(如OpenCV),自動或手動標記出校正片上的特徵點(如棋盤格的角點或圓點的中心)。
  4. 計算校正參數: 使用軟件進行內部和外部參數的校正。內部參數包括焦距、主點、畸變參數等,外部參數包括旋轉和平移矩陣。
  5. 應用校正參數: 使用計算出的校正參數來修正相機拍攝的所有圖像,以消除鏡頭的失真和其他光學偏差。

尺寸量測的步驟

  1. 修正圖像: 應用光學校正參數來校正實際拍攝的圖像。
  2. 標定參考物尺寸: 根據校正圖像中已知尺寸的物體或標記物,設定比例尺,這樣可以將圖像中的像素距離轉換為實際距離。
  3. 進行量測: 利用標定好的比例尺來量測圖像中物體的尺寸,計算長度、面積、角度等。
  4. 誤差檢查與修正: 檢查量測結果是否符合實際要求,必要時進行誤差修正。

關鍵元件:

  • 自動對焦相機
  • 光學校正片
  • 筆記本長:21公分;寬:15公分
NO規格相片
1UI-3884LEResolution:6.41 MPixOptical class:1/1.8″Pixel size:2.40 µm
26mm FL, Liquid Lens M12 LensFocal Length FL (mm): 6.0mm
3校正片7×7 12.5mm
4筆記本21 cm X 15 cm

拍攝校正片

相機內參矩陣[[2234.9151650412764, 0.0, 1613.33369580123],                    [0.0, 2245.021094475966, 1096.3297700427615],                    [0.0, 0.0, 1.0]]
畸變係數[[-0.27468132182099425, 0.19905562857571302, -0.002831944837372181, -0.01046052609357293, -0.1759195932009981]]
旋轉向量[[-0.01961335538368109], [-0.064561685464345], [-0.048599163141283534]]
平移向量[[-245.4462037894694], [-234.68707345975994], [589.3447597554461]]
旋轉矩陣[[0.9967368360429331, 0.04917594469298315, -0.06401098451575252], [-0.04791040290857523, 0.9986275099612804, 0.02115867769193121], [0.06496362804109107, -0.01802284139878348, 0.9977248639878897]]

情境一:

  1. 自動對焦:焦距數值 54
  2. 相機與量測的平面距離 73公分
  3. 拍攝光學校正片
  4. 計算校正參數:得到相機內參矩陣、旋轉矩陣、平移向量。
    • 相機內參矩陣描述了相機的內部參數,如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
    • 旋轉矩陣是一個3×3矩陣,用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
    • 平移向量是一個3×1的向量,用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
  5. 標記筆記本的長寬座標點:
    • 左上角座標 1327, 479
    • 左下角座標1243, 1035
    • 右上角座標 2091, 611
  6. 將影像座標轉換成實際座標:
    • 左上角世界座標:165.4430781105949, 78.0959286673178
    • 左下角世界座標:136.3602638761044, 225.29850326645803
    • 右上角世界座標:371.385150277364, 120.49460679088405
  7. 影像量測到筆記本的長、寬:
    • 長:210.26123036586773 mm
    • 寬:150.04801915524686 mm

情境一:

  1. 自動對焦:焦距數值 42
  2. 相機與量測的平面距離 90公分
  3. 拍攝光學校正片
  4. 計算校正參數:得到相機內參矩陣、旋轉矩陣、平移向量。
    • 相機內參矩陣描述了相機的內部參數,如焦距、光學中心和像素偏斜。它定義了如何將相機坐標系中的三維點映射到影像平面上的二維點。
    • 旋轉矩陣是一個3×3矩陣,用來描述相機坐標系與世界坐標系之間的旋轉關係。它將世界坐標系中的點旋轉到相機坐標系中。
    • 平移向量是一個3×1的向量,用來描述相機坐標系相對於世界坐標系的位移。它將世界坐標系中的點平移到相機坐標系中。
  5. 標記筆記本的長寬座標點:
    • 左上角座標 1060, 450
    • 左下角座標1042, 914
    • 右上角座標 1712, 473
  6. 將影像座標轉換成實際座標:
    • 左上角世界座標:95.74517669315097,116.92161043618675
    • 左下角世界座標:97.79422061504047, 265.3536817958457
    • 右上角世界座標:305.8426560794244, 109.68540108000529
  7. 影像量測到筆記本的長、寬:
    • 長:210.22205776348036 mm
    • 寬:148.4462137917728 mm

量測邏輯實作(A):

不同高度,不同的葉子堆疊個數(B):

A 所得到的葉面積 X B 依距對焦數值來決定葉子堆疊的倍率= C 得到預估的葉面積

假設: A 的數值為 100,B的數值為10 故預估的葉面積為100 X 10 = 1000

系統會提供一個實際調校功能,當使用者判斷實際面積為 800時,系統會根據800的數值去調校不同對焦數值的倍率。之後會跟據調校後的倍率來計算面積。

每一個拍攝的視野範圍有多個株植栽

目前系統只能以計算出來的總面積來等分有多少植栽

分類: 未分類 | 發佈留言

砂石比例檢測

篩網砂石視覺檢測系統

鴻博資訊有限公司

公司簡介:

我們是一家於2015年成立的公司,專注於客製化視覺系統的開發。在成立前也從事視覺檢測相關領域的研究開發,憑藉著十幾年的豐富經驗,我們致力於提供高品質的視覺檢測解決方案。

我們的優勢:

  • 豐富的經驗:我們在視覺檢測領域擁有超過十幾年的豐富經驗,累積了豐富的專業知識和技術。
  • 多領域應用:我們曾為各行各業提供視覺檢測服務,包括但不限於螺絲檢測、手機鋁殼檢測、氣壓原件檢測、車燈檢測、農產品檢測、半導體製造漏液檢測等。
  • 專業技術:我們具有獨特的技術優勢,能夠應對不同行業的各種檢測需求,並提供有效的解決方案。

我們的服務範圍包括3D資料處理、高光譜資料分析、熱影像檢測等。無論您的應用場景是什麼,我們都能夠提供專業的視覺檢測解決方案,以滿足您的需求。

我們引以為傲的是與日商睿怡科技股份公司的深度合作。通過與睿怡科技股份公司的合作,我們得以獲取最新的自動化技術和解決方案,並將其應用於我們的視覺系統開發中,以提供客戶更高效、更精準的解決方案。

我們的目標是繼續專注於創新和技術發展,為客戶提供最優質的產品和服務。如需進一步了解我們的產品和服務,請訪問我們的官方網站或通過以下方式聯繫我們

  • 官網:https://www.winerva.com/portfolio/
  • 電話:0927-377-741
  • 電子郵件:fluber@winerva.com

謝謝您對我們公司的關注,我們期待與您合作!

視覺檢測系統硬體架構

NO項目備註
1TOSHIBA Teli USB3 Camera BU040MCG日本製
2Raspberry PI 5 Model B 8G英國製
3Myutron MV0813 8mm Len日本製
427W Type C Power Supply
5USB 3.0 3M

TOSHIBA Teli USB3 Camera BU040MCG

Raspberry PI 5 Model B 8G

Myutron MV0813 8mm Len

27W Type C Power Supply

USB 3.0 3M

視覺檢測軟體運行畫面

樹梅派電腦的網路孔需先接線連上網路後再送電,在送後會執行系統開機,當系統完成開機後,視覺檢測軟體會自動啟動。以下會啟動畫面,約運行5~10秒的時間。

註:網路必需先接再開機,這樣才不會造成Modbus通訊異常,執行執行異常。

程式主畫面

上方資訊列所呈現的資訊:像素總量、目標像素量、像素比例

右側功能按鈕:組態、啟動(停止)、手動測試、離開

像素總量:指整張影像的像素的數量

目標像素量:指紅圈內的影像,符合設定值的像素數量

像素比例:目標像素量 / 像素總量

像素比例顏色Modbus 通訊
超出上限規範內超出下限
超出設定比例紅色100
符合設定比例綠色010
不足設定比例藍色001

組態

開啟相機:按下此鈕,程式即連接相機取像,即可在影像視窗看到即時影像。

關閉相機:按下此鈕,程式即斷開相機。

影像視窗:用於顯示即時影像

紅色ROI:可以用滑鼠拖拉位置及改變大小,紅色ROI內即為檢測區域。

影像灰階值設定

影像由暗到亮,以數值來表現,0為最暗,255為最亮,上面數值 177~255的設定,可以從下列圖形來看黑白的變化。

彩色影像可以轉換成黑白影像,實際砂子可能有不同顏色,為了簡少設定,影像程式是將彩色影像轉成黑白影像,如果想挑出深紅色的區域,以黑白影像來看就是挑出比較暗的區域。

沙子比例設定

剛才「影像灰階值設定」設定後所得到的影像如下,可以看出白色區佔檢測區域的比例為何?此時設定52% ~ 79% 為規範內。

設定相機的曝光時間:這個設定會決定影像的明暗效果。

白平衡:簡單說,當我們設定了一組情境,如當我們設定為鎢絲燈,鎢絲燈對應的K值約為 3200K 左右,我們看圖 03 可以看的出來,3200K 的色溫偏橘紅,當我們設定在 3200K 左右,相機會自動幫我們「填加補色」在相片裡頭加以平衡色溫,拍出自然色。

儲存設定:會將設定參數存入設定檔並將相機曝光、白平衡設定存入相機中。

程式主畫面

遠端人機可以控制視覺檢測程式

Modbus
位址功能交握方向
100最大灰階值AOI <<<<<<>>>>>> 人機
101最小灰階值AOI <<<<<<>>>>>> 人機
102最大比例AOI <<<<<<>>>>>> 人機
103最小比例AOI <<<<<<>>>>>> 人機
104機台運行狀態:0: IDLE,1: RUN,2: TECHAOI <<<<<<>>>>>> 人機
105相機觸發訊號AOI <<<<<<<<<<<<人機
106超出上限AOI >>>>>>>>>>>>人機
107規範內AOI >>>>>>>>>>>>人機
108超出下限AOI >>>>>>>>>>>>人機
109異常AOI <<<<<<>>>>>> 人機

操作人員可以按下「啟動」鈕進行檢測,也可以透過人機從遠端啟動檢測。

操作人圓可以按下「手動測試」鈕觸發拍照,也可以透過人機從遠端觸發拍照。

分類: 未分類 | 發佈留言

滅菌倉植物分株專案規劃

滅菌倉植物分株專案規劃

硬體規劃

前視

上視

側視

實際影像示意

主要硬體

電腦放置位置

軟體規劃

使用案例

類別圖

使用者操作界面

分類: AOI | 標籤: | 發佈留言

受限架設空間的尺寸量測

進料   出料

機台允許的檢測空間,只能從機台的下方空間找位置進行相機的架設。

架設要求,相機與紙張Z軸需要盡量平行,不要有傾斜角度(這個會大副度影像精度)

實驗 (Z軸與相機需平行,傾斜情況越大誤差越大)

左側  右側

左側情況先進行光學校正。

左側實際量測出來為199.2136 mm 誤差0.7864mm

右側實際量測出來為198.7449 mm 誤差1.2551mm

分類: 未分類 | 發佈留言

鏡架螺絲有無檢測

鏡架螺絲有無檢測

影像檢測手法的基礎觀念

影像直方圖

直方圖表示影像中像素強度(無論是彩色或灰階)的分佈。它可以視覺化為圖表(或繪圖),可以直觀地了解強度(像素值)分佈。在此範例中,我們將假設 RGB 色彩空間,因此這些像素值將在 0 到 255 的範圍內。

繪製直方圖時,x 軸充當我們的「箱」。如果我們用 256 建構一個直方圖

bin,那麼我們就可以有效地計算每個像素值出現的次數。

相反,如果我們只使用 2

(等距)容器,然後我們計算像素在 [0, 128] 或 [128, 255] 範圍內的次數。

然後將與 x 軸值合併的像素數繪製在 y 軸上。

讓我們看一個範例圖像以使這一點更清楚:

我們繪製了一個直方圖,其中 x 軸上有 256 個 bin,y 軸上落入給定 bin 的像素百分比。檢查直方圖,請注意存在三個主峰。

直方圖中的第一個峰值位於 x=65 附近,我們看到像素數量急劇上升 – 顯然影像中存在某種具有非常暗值的物件。

然後,我們在直方圖中看到一個緩慢得多的上升峰值,在 x=100 附近開始上升,最後在 x=150 附近結束下降。該區域可能指的是影像的背景區域。

最後,我們看到 x=150 到 x=175 範圍內有大量像素。很難確切地說這個區域是什麼,但它肯定佔據了圖像的很大一部分。

影像直方圖的相似度

直方圖的分佈極為相似意味著兩幅圖像在灰度級別分佈上非常接近或相同,則代表影像內容有相似的內容或場場。

客戶需求:檢測鏡架上的螺絲是否有鎖附上?

實驗一

是否鎖附螺絲直方圖相似度
0.90
0.35

實驗二

是否鎖附螺絲直方圖相似度
0.95
0.21

實驗三

是否鎖附螺絲直方圖相似度
0.93
0.50

實驗四

是否鎖附螺絲直方圖相似度
0.83
0.48

實驗五

是否鎖附螺絲直方圖相似度
0.97
0.13

實驗六

是否鎖附螺絲直方圖相似度
0.94
0.25

從上面六個實驗可以得知,透過直方圖相似度的比對,可以有效的判斷是否有鎖附螺絲。

光學架設規格

光學系統硬體規格

No.品項數量備註
1工業相機:USB 3.0, 1.2MP, Mono4
2工業鏡頭:f 50mm, F1.8, C Mount, ⅔”4
3USB 3.0, 3M4
4光學檢測主機1
5光源 2待定
分類: AOI | 標籤: | 發佈留言

鐵條計數

鐵條計數

傳統影像處理

較佳的影像呈現效果

  • 鐵條垂直鍛面與凹槽處影有明顯對比
  • 鐵條鄰近間隔凹槽處極黑

較差的影像呈現效果

  • 照到鐵條側邊
  • 鐵條鄰近間隔凹槽處不清楚

使用面掃描的相機取像的問題

  • 鐵條
    • 檢測範圍大為360mm X 360mm見方
    • 鐵條最小直徑為13mm
  • 角度問題
    • 影像外圍部部會拍到鐵條側邊
    • 凹槽處不明顯

必需使用線掃描的影像處理才能得到最佳影像

  • 使用Line Scan相機
  • 手臂水平移動每5mm送出拍照訊號
  • Line Scan相機進行拍照得到5mm的影像
  • 手臂接序移動整個鐵條的檢測範圍
  • Line Scan相機最後得到整合完整的影像

理想的影像

分析後得到數量39

電腦視覺軟硬體架構
NO品項預估金額
1工業電腦
2線掃描相機
3線掃描相機鏡頭
4線掃描光源
5線掃描光源控制器
6AOI軟體
分類: AOI | 標籤: | 發佈留言