客戶需求：希望視覺檢測系統可以將PCB板上的插件位置進行檢測，判斷該插件的位置是否有組裝？
透過利用2D相片的明顯特徵來辨識是否有插件，是一種常見的工業視覺應用。在這種情況下，我們依賴於圖像中的輪廓、顏色、紋理等特徵來檢測和識別插件的存在。這種方法基於計算機視覺領域的圖像處理技術和模式識別算法，例如邊緣檢測、特徵提取、模板匹配等，以實現對目標物體的自動檢測和識別。
而當需要獲取插件位置的高度信息時，我們可以採用3D掃描技術。3D掃描器可以利用光學或激光等方法對物體進行掃描，從而獲取其三維形狀和表面信息。通過對掃描得到的數據進行處理和分析，可以準確地確定插件的位置和高度信息。這種技術在工業自動化和質量控制等領域具有重要應用，為生產過程提供了精確的位置信息。
此外，Depth from Focus（DFF）技術以及多光譜成像技術也可以用於獲取插件位置的高度信息。Depth from Focus技術利用圖像中不同區域的焦點位置信息來推斷物體的深度，從而實現對插件位置的高度測量。而多光譜成像技術則利用不同波長的光對物體進行成像，通過分析不同波長光照射下的圖像特徵，可以獲取插件位置的高度信息。
綜上所述，通過結合2D相片的明顯特徵識別插件的存在，以及利用3D掃描技術、Depth from Focus技術和多光譜成像技術獲取插件位置的高度信息，可以實現對插件的準確檢測和位置測量，從而為工業生產和質量管理提供可靠的支持。
首我們使用結構相似性指數（SSIM）是一種用於評估兩幅2D圖像之間相似度的指標，它不僅考慮了亮度的相似性，還考慮了對比度和結構的相似性。SSIM是一種全局性指標，它通常被認為比傳統的均方誤差（MSE）和峰值信噪比（PSNR）更能準確地反映人類主觀感知。
SSIM的理論背景可以通過以下三個關鍵概念來解釋：
- 亮度相似性（Luminance Similarity）：SSIM通過比較兩幅圖像的亮度來評估它們的亮度相似性。這部分通常由亮度差異的均值來衡量，一般來說，兩幅圖像的亮度差異越小，它們之間的亮度相似性越高。
- 對比度相似性（Contrast Similarity）：SSIM考慮了兩幅圖像的對比度相似性，這部分通常由對比度的比率來衡量。對比度是指圖像中亮度的變化程度，如果兩幅圖像的對比度比率接近1，則表示它們之間的對比度相似度較高。
- 結構相似性（Structural Similarity）：SSIM考慮了兩幅圖像的結構相似性，這部分通常由結構相似性指數（SSI）來衡量。結構相似性指標衡量了圖像中結構紋理的相似程度，即圖像中像素之間的空間排列是否相似。較高的結構相似性指數意味著兩幅圖像的結構紋理更相似。
綜合以上三個方面，SSIM結合了亮度、對比度和結構的相似性來計算兩幅圖像之間的相似度。SSIM的範圍是從-1到1，其中1表示完美相似性，0表示無相似性，-1表示完全不相似。因此，較高的SSIM值意味著兩幅圖像越相似。
 |
| 2D實驗影像1: SSIM = 0.40 |
 |
| 2D實驗影像2: SSIM = 0.46 |
接下來我們將Depth from Focus（DFF）是一項用於從圖像中獲取深度信息的技術來進行實驗。它基於光學焦點原理，利用圖像中不同部分的清晰度來推斷物體的深度信息。以下是有關Depth from Focus的基本概念：
焦點原理：在光學中，焦點是光線匯聚的點，是圖像的清晰部分。當物體與鏡頭的距離不同時，其在圖像中的焦點位置也會不同。
Depth from Focus的原理：Depth from Focus利用圖像中不同區域的焦點位置信息來推斷物體的深度。通過對圖像進行聚焦調整，可以獲得一系列焦點不同的圖像。隨後，可以分析這些圖像中的清晰度信息，並根據清晰度變化來確定物體的深度。
圖像清晰度分析：在Depth from Focus中，通常會使用一些圖像處理技術來分析圖像的清晰度。例如，可以計算圖像的梯度或高頻分量，或者使用一些圖像銳化濾波器來增強圖像的清晰度。清晰度較高的區域通常表示物體更接近鏡頭，而清晰度較低的區域則表示物體更遠離鏡頭。
深度估計算法：基於圖像清晰度信息，可以使用各種深度估計算法來推斷物體的深度信息。這些算法可以是基於閾值的方法、機器學習方法或優化方法等。它們可以從圖像中提取出深度信息，並將其轉化為物體距離或深度的估計值。
 |  |
 |  |
接下來我們將使用偏振相機來進行實驗，以下簡述偏振相機的光學原理。
偏振相機的光學原理基於偏振光的特性。偏振光是在特定方向上振動的光，而偏振相機利用了偏振光與物體表面的相互作用來獲取圖像資訊。
以下是偏振相機的基本光學原理：
- 偏振濾波器：偏振相機通常使用帶有偏振濾波器的鏡頭或相機模組。這些濾波器只允許特定方向上振動的光通過，阻止了其他方向的光線進入。常見的偏振濾波器有線性偏振濾波器和旋轉偏振濾波器。
- 物體表面的反射：物體表面對入射光的反射會因其表面特性而產生偏振現象。例如，表面的粗糙度、形狀和材質都會影響反射光的偏振狀態。
- 偏振光的反射：入射到物體表面的自然光經過反射後變為偏振光。物體表面對不同方向偏振光的反射率也可能不同，這導致了物體表面在偏振相機中呈現出不同的亮度和對比度。
- 偏振圖像的捕捉：偏振相機捕捉到的圖像是經過偏振濾波器過濾後的偏振光，這些圖像反映了物體表面對不同方向偏振光的反射情況。通過分析這些圖像，可以獲得有關物體表面特性的信息，例如表面的粗糙度、紋理和形狀等。
偏振相機利用偏振光與物體表面的相互作用來獲取圖像資訊。它透過偏振濾波器和物體表面的反射，捕捉到偏振光反射的圖像，從而呈現出物體表面的細微差異。在PCB板上的插件電阻、IC和電容等元件上，由於其材質、高度和形狀不同，它們在偏振光下的反射特性也不同，因此偏振相機可以幫助捕捉到它們之間的差異。通過合理設置偏振相機的參數和光源方向，可以使不同元件在圖像中顯示出明顯的差異，有助於質量控制、檢測焊接質量和識別故障等應用。
 |
| 偏振實驗影像1: SSIM = 0.41 |
 |
| 偏振實驗影像1: SSIM = 0.27 |
 |
| 偏振實驗影像1: SSIM = 0.24 |
最後我們使用「雷射測高技術」，是一種非接觸式的三維測量技術來做實驗。這種技術利用雷射光束掃描目標物體的表面，通過計算光束從發射到接收的時間差（time-of-flight）或者是利用三角測量的原理，來精確地測量目標物體表面的高低位置。
在測量 PCB 板上的插件高低時，雷射測高技術可以提供高度精確的測量結果，並且由於是非接觸式的測量方法，因此不會對目標物體造成任何損害。
這種技術在工業生產中被廣泛應用，例如 PCB 製造、汽車製造、航空航天等領域，用於測量物體的高度、表面形狀等。
 |  |
左側少了一顆IC
 |  |
左側少了一顆IC
選擇適合的方案需要考慮多個因素，包括實際檢測情境、安裝環境、作業流程、檢測的精確度要求、成本預算等等。根據您提供的信息，我們可以進一步討論每種方案的優缺點：
- 雷射測高技術：
- 優點：提供高度精確的測量結果，非接觸式的測量方法，不會對目標物體造成損傷，適用於工業生產環境。
- 缺點：可能需要一些複雜的設置和校準，成本可能較高。
- 偏振相機視覺檢測系統：
- 優點：偏振相機可以減少光線的反射和漫反射干擾，提高圖像質量和可靠性，偏振相機對不同類型的表面都有良好的適用性，包括金屬、塑料、塗層等。
- 缺點：相較於普通相機，偏振相機的成本通常較高，這增加了使用該技術的投資成本。
- Depth from Focus (DFF) 技術
- 優點：DFF 是一種非接觸式的測量技術，無需物理接觸目標物體，因此可以避免對目標物體造成損傷，特別適用於需要保護目標物體的應用場景，DFF 技術對於各種材料和表面都有良好的適應性，可以應用於金屬、塑料、玻璃等不同材料的深度測量。。
- 缺點：DFF 技術的深度測量範圍受到焦距的限制，需要目標物體在相機的焦距範圍內才能獲得有效的深度信息，DFF 測量結果受到光照條件和影像質量的影響，如果光照不均勻或者影像質量差，可能會影響深度測量的精度和穩定性。
- 黑白相機視覺檢測系統：
- 優點：非接觸式的測量方法，可以提供一些額外的信息，例如檢測瑕疪。
- 缺點：可能受到光線和影像清晰度的影響，精確度可能相對較低。
根據您的實際需求和情境，您可以根據以下一些問題進一步評估和選擇：
- 測量精確度的要求是多少？
- 您是否需要非接觸式的測量方法？
- 您的預算是多少？
- 您是否有專門的設備和技術人員來支援這項工作？
- 在安裝環境中是否有任何限制？
根據這些考慮因素，您可以選擇最適合您需求的方案。可能需要進一步評估各個方案的具體成本和性能來做出最終決定。