OpenCV在Android上的應用示例
一. OpenCV 介紹
OpenCV是一個基於BSD許可（開源）發行的跨平臺計算機視覺庫，可以執行在Linux、Windows、Android和Mac OS作業系統上。它輕量級而且高效——由一系列 C 函式和少量 C++ 類構成，同時提供了Python、Ruby、MATLAB等語言的介面，實現了影象處理和計算機視覺方面的很多通用演算法。
在移動端上使用 OpenCV 可以完成一系列影象處理的工作。
二. OpenCV 在 Android 上的配置
我在專案中使用的 OpenCV 版本是 4.x。
在 Android Studio 中建立一個 Library，將官網下載的 OpenCV 匯入後，就可以直接呼叫 OpenCV 中 Java 類的方法。
下面是專案中使用的 CMakeLists.txt
cmake_minimum_required(VERSION 3.6.0)
include_directories(
${CMAKE_SOURCE_DIR}/src/main/cpp/include
)
add_library(libopencv_java4 SHARED IMPORTED)
set_target_properties(
libopencv_java4
PROPERTIES IMPORTED_LOCATION
${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libopencv_java4.so)
add_library(libc++_shared SHARED IMPORTED)
set_target_properties(
libc++_shared
PROPERTIES IMPORTED_LOCATION
${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libc++_shared.so)
add_library(
detect
SHARED
src/main/cpp/detect-lib.cpp
src/main/cpp/detect-phone.cpp
)
find_library(
log-lib
log
)
target_link_libraries(
detect libopencv_java4 libc++_shared jnigraphics
${log-lib}
)
其中，detect-lib.cpp 和 detect-phone.cpp 是我建立的 C++ 類。打成 so 檔案時，會包含這2個類。
三. 例子兩則
3.1 作為二維碼識別的兜底方案
在 Android 原生開發中，二維碼識別有老牌的 zxing 等開源庫。為何還要使用 OpenCV 呢？
因為 OpenCV 有自己的優勢，藉助它可以定位到二維碼的位置，一般識別不到二維碼的內容大多是因為找不到它的位置。要是能夠找到位置，就可以快速識別二維碼的內容。
這樣一來，識別二維碼時需要先拍一張照，從影象中找出二維碼的位置。當然，還可以對影象進行預處理，以便能夠更好地找到二維碼的位置。
下面的程式碼，展示了在應用層拍完照之後，將圖片的路徑傳到 jni 層將其轉換成對應的 Mat 物件，再轉換成灰度影象，然後找出二維碼的位置，要是能夠找到的話就識別出二維碼的內容。
extern "C"
JNIEXPORT jstring JNICALL
Java_com_xxx_sdk_utils_DetectUtils_qrDetect(JNIEnv *env,jclass jc,jstring filePath) {
const char *file_path_str = env->GetStringUTFChars(filePath,0);
string path = file_path_str;
Mat src = imread(path);
Mat gray,qrcode_roi;
cvtColor(src,gray,COLOR_BGR2GRAY);
QRCodeDetector qrcode_detector;
vector<Point> pts;
string detect_info;
bool det_result = qrcode_detector.detect(gray,pts);
if (det_result) {
detect_info = qrcode_detector.decode(gray,pts,qrcode_roi);
return env->NewStringUTF(detect_info.c_str());
} else {
detect_info = "";
return env->NewStringUTF(detect_info.c_str());
}
}
對應的 Java 程式碼，方便應用層呼叫 jni 層的 qrDetect()
public class DetectUtils {
static {
System.loadLibrary("detect");
}
/**
* 識別二維碼
* @param filePath
* @return
*/
public static native String qrDetect(String filePath);
......
}
最後是應用層的呼叫
// 使用 OpenCV 進行二維碼識別
val result = DetectUtils.qrDetect(filePath)
L.d("opencvs識別二維碼: $result")
3.2 比對影象的差異
在我們的實際開發中遇到一個應用場景：需要判斷我們的手機回收機裡面是否存放了物體。(手機回收機是一個觸控式螢幕裝置，可以通過 Android 系統來操作內部的硬體裝置。)
我們事先拍一張回收機內沒有物體的圖作為基準影象，等到需要判斷是否存在物體時再拍一張圖片。兩幅圖片對比看比例，比列超過閾值則認為回收機記憶體在著物體。
下面的程式碼，展示了在應用層拍完照之後，跟基準圖片進行比對，並返回結果。
extern "C"
JNIEXPORT jboolean JNICALL
Java_com_xxx_sdk_utils_DetectUtils_checkPhoneInMTA(JNIEnv *env,jstring baseImgPath,jstring filePath) {
jboolean tRet = false;
const char *file_path_str = env->GetStringUTFChars(filePath,0);
string path = file_path_str;
Mat src = imread(path);
const char *base_img_path_str = env->GetStringUTFChars(baseImgPath,0);
string basePath = base_img_path_str;
Mat baseImg = imread(basePath);
int result = checkPhoneInBox(baseImg,src,40,0.1);
LOGI("checkPhoneInBox result = %d",result);
if (result == 0) {
tRet = true;
}
return tRet;
}
兩張圖片真正的比對是在 checkPhoneInBox() 中完成的。其中，maxFilter() 是為了處理彩色的情況，然後使用高斯濾波進行降噪處理，再進行二值化處理，最後判斷灰度差異區域佔總影象的比列是否超過預先設定的閾值。
int checkPhoneInBox(cv::Mat baseImg,cv::Mat snapImg,int diffThresh,double threshRatio) {
cv::Mat baseMaxImg,snapMaxImg,baseGausImg,snapGausImg;
if (baseImg.empty()|| snapImg.empty())
{
return -1;
}
try {
maxFilter(baseImg,baseMaxImg);
maxFilter(snapImg,snapMaxImg);
} catch (...) {
return -1;
}
cv::GaussianBlur(baseMaxImg,cv::Size(5,5),0);
cv::GaussianBlur(snapMaxImg,snapGausImg,0);
cv::Mat diff,diffBin;
cv::Mat noMax;
cv::absdiff(baseGausImg,diff);
cv::threshold(diff,diffBin,diffThresh,255,cv::THRESH_BINARY);
float ratio = (float)cv::countNonZero(diffBin) / (long)diffBin.total();
LOGI("ratio = %f,%d,%ld",ratio,cv::countNonZero(diffBin),(long)diffBin.total());
if (ratio > threshRatio)
{
return 0;
}
else
{
return 1;
}
}
int maxFilter(cv::Mat baseImg,cv::Mat &maxImg)
{
if (baseImg.channels() <3)
{
maxImg = baseImg.clone();
}
else
{
maxImg.create(baseImg.size(),CV_8UC1);
for (int r=0;r<baseImg.rows;r++)
{
for (int c = 0; c < baseImg.cols; c++)
{
uchar maxTmp=0;
cv::Vec3b s = baseImg.at<cv::Vec3b>(r,c);
maxTmp = (std::max)(s[0],s[1]);
maxTmp = (std::max)(maxTmp,s[2]);
maxImg.at<uchar>(r,c) = maxTmp;
}
}
}
return 0;
}
對應的 Java 程式碼，方便應用層呼叫 jni 層的 checkPhoneInMTA()
public class DetectUtils {
static {
System.loadLibrary("detect");
}
/**
* 判斷MTA中是否有手機
* @param baseImageFilePath 基準的圖片
* @param filePath 拍攝的圖片
* @return
*/
public static native boolean checkPhoneInMTA(String baseImageFilePath,String filePath);
......
}
最後是應用層的呼叫
val result = DetectUtils.checkPhoneInMTA(Constants.OPENCV_PHOTO_PATH,it.absolutePath)
四. 總結
OpenCV 是一款功能強大的影象處理庫。但是它本身體積也較大，在移動端使用至少會增加 Android Apk 包 10 M+ 的體積(主要取決於 App 要支援多少個 CPU 架構)。如果很介意的話，可以考慮自行裁剪 OpenCV，然後再進行編譯。
我所在的部門隸屬於中臺部門，主要輸出介面和 SDK。在 SDK 中使用 OpenCV 的確會給業務方造成困擾，未來也會考慮如何減少 SDK 的體積，以及把 SDK 做成模組化。
到此這篇關於OpenCV在Android上的應用示例的文章就介紹到這了,更多相關OpenCV Android應用內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！