WSL2 環境
Java 環境
sudo apt install openjdk-17-jdk
Windows-based X Server
在Windows主機下查詢IP
修改WSL2中的~/.bashrc內容,增加一行
Android Studio環境
~/.bashrc 增加下列
執行Android-studio
下載額外的Hardware Profiles
由ARM 改成 x86_64
NPM 環境
click a to run on Android
WSL2 環境
Java 環境
sudo apt install openjdk-17-jdk
Windows-based X Server
在Windows主機下查詢IP
修改WSL2中的~/.bashrc內容,增加一行
Android Studio環境
~/.bashrc 增加下列
執行Android-studio
下載額外的Hardware Profiles
由ARM 改成 x86_64
NPM 環境
click a to run on Android
鐵條計數
鴻博資訊有限公司
鐵條影像
採用AI的物件偵測邏輯
AI的物件偵測的邏輯是基於計算機視覺(Computer Vision)和深度學習技術。它的核心是透過模型學習如何從影像中自動識別出物件的位置和類別。以下是物件偵測的基本邏輯,以及它如何確定影像中的物件數量和位置。
物件偵測結合了兩個主要的任務:
展示瞭如何將圖像劃分為網格,使用邊界框和標籤來檢測和分類汽車、狗和人等物件。
使用AI技術進行實驗
第一步:拍攝多張影像
第二步:影像變形增量(變暗、變亮、放大、縮小、旋轉)
第三步:影像標記
第三步:訓練AI模型
第四步:訓練AI模型驗証、測試
206張實驗
在極暗、極亮、傾斜影像下的實驗結果
取像環境的規劃
Numpy Slice
數組的運算子:==,!=,~,&,|
數組軸對換 Axis Change
一元ufunc | |
abs, fabs | 計算絕對值 absolute value |
sqrt | 平方根 square root |
square | 平方 |
exp | 指數 expoent |
log, log10, log2, log1p | 自然對數 natural logarithm 底數:e, 10, 2, (1+x) |
sign | 各元素的正負號:1(正數), 0 (零), -1(負數) |
ceil | 計算該值的最大整數 |
floor | 計算該值的最小整數 |
rint | 四捨五入 |
modf | 以獨立數值的方式回傳數組的小數和整數部份 |
isnan | 回傳哪些值不是Nan的Boolean數組 |
isfinite, isinf | 單傳哪些值是有限值的Boolean數組 |
cos, cosh, sin, sinh, tan,tanh | 三角函式 |
arccos, arccosh, arcsin, arcsinh, arctan, arctanh | 反三角函式 |
logical_not | 計算各元素not x的真值 |
add | 各元素相加 |
substract | 各元素相減 |
multiply | 各元素相乘 |
divide, floor_divide | 除法或丟去餘數 |
power | 求數值的N次方 |
maximum, fmax | 求數值中的最大值 |
minimum, fmin | 求數值中的最小值 |
mod | 除法的餘數 |
copysign | 將第二數組中的值符號Copy給第一數組 |
greater, greater_equal, less, less_equal, equal, no_equal, logical_and, logical_or, logical_xor | >, >=, <, <=, =, !=, &, I, ^ |
Meshgrid
The purpose of meshgrid is to create a rectangular grid out of an array of x values and an array of y values.
np.where
統計方法
sum | 求總合 |
mean | 求平均值 |
std, var | 求標準差和方差 |
min, max | 最小值和最大值 |
argmin, argmax | 最小值的索引值和最大值的索引值 |
cumsum | 與前一欄的值累相加 |
cumprod | 與前一欄的值累相乘 |
Sensor Size:12.441 mm x 9.830 mm
Resolution: 2592 x 2048
Focal Length: 12mm
The physical size of each pixel:
The projected width of the object:
Magnification:
Distance:
The projected width of the object:
Magnification:
Distance:
光學校正:
關鍵元件:
NO | 規格 | 相片 |
1 | UI-3884LEResolution:6.41 MPixOptical class:1/1.8″Pixel size:2.40 µm | |
2 | 6mm FL, Liquid Lens M12 LensFocal Length FL (mm): 6.0mm | |
3 | 校正片7×7 12.5mm | |
4 | 筆記本21 cm X 15 cm |
拍攝校正片
相機內參矩陣 | [[2234.9151650412764, 0.0, 1613.33369580123], [0.0, 2245.021094475966, 1096.3297700427615], [0.0, 0.0, 1.0]] |
畸變係數 | [[-0.27468132182099425, 0.19905562857571302, -0.002831944837372181, -0.01046052609357293, -0.1759195932009981]] |
旋轉向量 | [[-0.01961335538368109], [-0.064561685464345], [-0.048599163141283534]] |
平移向量 | [[-245.4462037894694], [-234.68707345975994], [589.3447597554461]] |
旋轉矩陣 | [[0.9967368360429331, 0.04917594469298315, -0.06401098451575252], [-0.04791040290857523, 0.9986275099612804, 0.02115867769193121], [0.06496362804109107, -0.01802284139878348, 0.9977248639878897]] |
情境一:
情境一:
量測邏輯實作(A):
不同高度,不同的葉子堆疊個數(B):
A 所得到的葉面積 X B 依距對焦數值來決定葉子堆疊的倍率= C 得到預估的葉面積
假設: A 的數值為 100,B的數值為10 故預估的葉面積為100 X 10 = 1000
系統會提供一個實際調校功能,當使用者判斷實際面積為 800時,系統會根據800的數值去調校不同對焦數值的倍率。之後會跟據調校後的倍率來計算面積。
每一個拍攝的視野範圍有多個株植栽
目前系統只能以計算出來的總面積來等分有多少植栽
篩網砂石視覺檢測系統
鴻博資訊有限公司
公司簡介:
我們是一家於2015年成立的公司,專注於客製化視覺系統的開發。在成立前也從事視覺檢測相關領域的研究開發,憑藉著十幾年的豐富經驗,我們致力於提供高品質的視覺檢測解決方案。
我們的優勢:
我們的服務範圍包括3D資料處理、高光譜資料分析、熱影像檢測等。無論您的應用場景是什麼,我們都能夠提供專業的視覺檢測解決方案,以滿足您的需求。
我們引以為傲的是與日商睿怡科技股份公司的深度合作。通過與睿怡科技股份公司的合作,我們得以獲取最新的自動化技術和解決方案,並將其應用於我們的視覺系統開發中,以提供客戶更高效、更精準的解決方案。
我們的目標是繼續專注於創新和技術發展,為客戶提供最優質的產品和服務。如需進一步了解我們的產品和服務,請訪問我們的官方網站或通過以下方式聯繫我們
謝謝您對我們公司的關注,我們期待與您合作!
視覺檢測系統硬體架構
NO | 項目 | 備註 |
1 | TOSHIBA Teli USB3 Camera BU040MCG | 日本製 |
2 | Raspberry PI 5 Model B 8G | 英國製 |
3 | Myutron MV0813 8mm Len | 日本製 |
4 | 27W Type C Power Supply | |
5 | USB 3.0 3M |
TOSHIBA Teli USB3 Camera BU040MCG
Raspberry PI 5 Model B 8G
Myutron MV0813 8mm Len
27W Type C Power Supply
USB 3.0 3M
視覺檢測軟體運行畫面
樹梅派電腦的網路孔需先接線連上網路後再送電,在送後會執行系統開機,當系統完成開機後,視覺檢測軟體會自動啟動。以下會啟動畫面,約運行5~10秒的時間。
註:網路必需先接再開機,這樣才不會造成Modbus通訊異常,執行執行異常。
程式主畫面
上方資訊列所呈現的資訊:像素總量、目標像素量、像素比例
右側功能按鈕:組態、啟動(停止)、手動測試、離開
像素總量:指整張影像的像素的數量
目標像素量:指紅圈內的影像,符合設定值的像素數量
像素比例:目標像素量 / 像素總量
像素比例 | 顏色 | Modbus 通訊 | ||
超出上限 | 規範內 | 超出下限 | ||
超出設定比例 | 紅色 | 1 | 0 | 0 |
符合設定比例 | 綠色 | 0 | 1 | 0 |
不足設定比例 | 藍色 | 0 | 0 | 1 |
組態
開啟相機:按下此鈕,程式即連接相機取像,即可在影像視窗看到即時影像。
關閉相機:按下此鈕,程式即斷開相機。
影像視窗:用於顯示即時影像
紅色ROI:可以用滑鼠拖拉位置及改變大小,紅色ROI內即為檢測區域。
影像灰階值設定
影像由暗到亮,以數值來表現,0為最暗,255為最亮,上面數值 177~255的設定,可以從下列圖形來看黑白的變化。
彩色影像可以轉換成黑白影像,實際砂子可能有不同顏色,為了簡少設定,影像程式是將彩色影像轉成黑白影像,如果想挑出深紅色的區域,以黑白影像來看就是挑出比較暗的區域。
沙子比例設定
剛才「影像灰階值設定」設定後所得到的影像如下,可以看出白色區佔檢測區域的比例為何?此時設定52% ~ 79% 為規範內。
設定相機的曝光時間:這個設定會決定影像的明暗效果。
白平衡:簡單說,當我們設定了一組情境,如當我們設定為鎢絲燈,鎢絲燈對應的K值約為 3200K 左右,我們看圖 03 可以看的出來,3200K 的色溫偏橘紅,當我們設定在 3200K 左右,相機會自動幫我們「填加補色」在相片裡頭加以平衡色溫,拍出自然色。
儲存設定:會將設定參數存入設定檔並將相機曝光、白平衡設定存入相機中。
程式主畫面
遠端人機可以控制視覺檢測程式
Modbus | ||
位址 | 功能 | 交握方向 |
100 | 最大灰階值 | AOI <<<<<<>>>>>> 人機 |
101 | 最小灰階值 | AOI <<<<<<>>>>>> 人機 |
102 | 最大比例 | AOI <<<<<<>>>>>> 人機 |
103 | 最小比例 | AOI <<<<<<>>>>>> 人機 |
104 | 機台運行狀態:0: IDLE,1: RUN,2: TECH | AOI <<<<<<>>>>>> 人機 |
105 | 相機觸發訊號 | AOI <<<<<<<<<<<<人機 |
106 | 超出上限 | AOI >>>>>>>>>>>>人機 |
107 | 規範內 | AOI >>>>>>>>>>>>人機 |
108 | 超出下限 | AOI >>>>>>>>>>>>人機 |
109 | 異常 | AOI <<<<<<>>>>>> 人機 |
操作人員可以按下「啟動」鈕進行檢測,也可以透過人機從遠端啟動檢測。
操作人圓可以按下「手動測試」鈕觸發拍照,也可以透過人機從遠端觸發拍照。
進料 出料
機台允許的檢測空間,只能從機台的下方空間找位置進行相機的架設。
架設要求,相機與紙張Z軸需要盡量平行,不要有傾斜角度(這個會大副度影像精度)
實驗 (Z軸與相機需平行,傾斜情況越大誤差越大)
左側 右側
左側情況先進行光學校正。
左側實際量測出來為199.2136 mm 誤差0.7864mm
右側實際量測出來為198.7449 mm 誤差1.2551mm
鏡架螺絲有無檢測
影像檢測手法的基礎觀念
影像直方圖
直方圖表示影像中像素強度(無論是彩色或灰階)的分佈。它可以視覺化為圖表(或繪圖),可以直觀地了解強度(像素值)分佈。在此範例中,我們將假設 RGB 色彩空間,因此這些像素值將在 0 到 255 的範圍內。
繪製直方圖時,x 軸充當我們的「箱」。如果我們用 256 建構一個直方圖
bin,那麼我們就可以有效地計算每個像素值出現的次數。
相反,如果我們只使用 2
(等距)容器,然後我們計算像素在 [0, 128] 或 [128, 255] 範圍內的次數。
然後將與 x 軸值合併的像素數繪製在 y 軸上。
讓我們看一個範例圖像以使這一點更清楚:
我們繪製了一個直方圖,其中 x 軸上有 256 個 bin,y 軸上落入給定 bin 的像素百分比。檢查直方圖,請注意存在三個主峰。
直方圖中的第一個峰值位於 x=65 附近,我們看到像素數量急劇上升 – 顯然影像中存在某種具有非常暗值的物件。
然後,我們在直方圖中看到一個緩慢得多的上升峰值,在 x=100 附近開始上升,最後在 x=150 附近結束下降。該區域可能指的是影像的背景區域。
最後,我們看到 x=150 到 x=175 範圍內有大量像素。很難確切地說這個區域是什麼,但它肯定佔據了圖像的很大一部分。
影像直方圖的相似度
直方圖的分佈極為相似意味著兩幅圖像在灰度級別分佈上非常接近或相同,則代表影像內容有相似的內容或場場。
客戶需求:檢測鏡架上的螺絲是否有鎖附上?
實驗一
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.90 |
無 | 0.35 |
實驗二
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.95 |
無 | 0.21 |
實驗三
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.93 |
無 | 0.50 |
實驗四
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.83 |
無 | 0.48 |
實驗五
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.97 |
無 | 0.13 |
實驗六
是否鎖附螺絲 | 直方圖相似度 |
有 | 0.94 |
無 | 0.25 |
從上面六個實驗可以得知,透過直方圖相似度的比對,可以有效的判斷是否有鎖附螺絲。
光學架設規格
光學系統硬體規格
No. | 品項 | 數量 | 備註 |
1 | 工業相機:USB 3.0, 1.2MP, Mono | 4 | |
2 | 工業鏡頭:f 50mm, F1.8, C Mount, ⅔” | 4 | |
3 | USB 3.0, 3M | 4 | |
4 | 光學檢測主機 | 1 | |
5 | 光源 | 2 | 待定 |
鐵條計數
傳統影像處理
較佳的影像呈現效果
較差的影像呈現效果
必需使用線掃描的影像處理才能得到最佳影像
電腦視覺軟硬體架構 | ||
NO | 品項 | 預估金額 |
1 | 工業電腦 | |
2 | 線掃描相機 | |
3 | 線掃描相機鏡頭 | |
4 | 線掃描光源 | |
5 | 線掃描光源控制器 | |
6 | AOI軟體 |