基于Android studio3.6的JNI教程之ncnn人脸检测mtcnn功能

代码链接:

https://github.com/watersink/mtcnn-linux-as

本代码可以在模拟器下进行跑。

环境:

windows10

Android studio 3.6

Sdk:android10 api 29

Ndk:r15c

Ncnn:20200226

Linux下的代码测试:

cd mtcnn_linux/build
cmake ..
make
./mtcnn

如果可以跑通,输出正确结果,证明mtcnn代码的准确性。

实际操作的时候,首先基于linux把c++代码调试通,方便后续的android调试。

Android进行c++调试时,使用__android_log_print函数进行log的输出,

开发:

(1)工程建立

新建android工程,选择Native C++,工程名为mtcnn,C++ Standard选择c++11

(2)资源文件res修改:

src/main/res/drawable下面随便复制一张带有人脸的照片,比如这里,复制了一张beauty.png

src/main/res/layout下面新加main.xml。

详细内容,

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
 android:orientation="vertical"
 android:layout_width="fill_parent"
 android:layout_height="fill_parent">

 <LinearLayout
  android:orientation="horizontal"
  android:layout_width="fill_parent"
  android:layout_height="wrap_content">
  <Button
   android:id="@+id/buttonImage"
   android:layout_width="wrap_content"
   android:layout_height="wrap_content"
   android:text="选图" />
  <Button
   android:id="@+id/buttonDetect"
   android:layout_width="wrap_content"
   android:layout_height="wrap_content"
   android:text="检测" />

 </LinearLayout>

 <TextView
  android:id="@+id/infoResult"
  android:layout_width="fill_parent"
  android:layout_height="wrap_content"
  android:text="" />
 <ImageView
  android:id="@+id/imageView"
  android:layout_width="fill_parent"
  android:layout_height="fill_parent"
  android:layout_weight="1" />
</LinearLayout>

(3)增加ncnn的lib文件

src/main下面新加jniLibs文件夹,加入对应平台的libncnn.a

(4)增加网络模型文件assets

在main下面新建assets文件夹,里面放入mtcnn的3个网络结构的模型文件。

(5)修改java文件,

修改src/main/java/com/example/mtcnn下面的MainActivity,

主要操作,包括在onCreate函数中对mtcnn这个类进行初始化。然后监听buttonImage,buttonDetect按钮,分别进行实现。

然后在该路径下增加MTCNN类,主要需要实现的方法如下,

package com.example.mtcnn;

public class MTCNN {
 //人脸检测模型导入
 public native boolean FaceDetectionModelInit(byte[] det1_param, byte[] det1_bin, byte[] det2_param,byte[] det2_bin,byte[] det3_param,byte[] det3_bin);
 //人脸检测
 public native int[] FaceDetect(byte[] imageDate, int imageWidth , int imageHeight, int imageChannel);

 public native int[] MaxFaceDetect(byte[] imageDate, int imageWidth , int imageHeight, int imageChannel);
 //人脸检测模型反初始化
 public native boolean FaceDetectionModelUnInit();
 //检测的最小人脸设置
 public native boolean SetMinFaceSize(int minSize);
 //线程设置
 public native boolean SetThreadsNumber(int threadsNumber);
 //循环测试次数
 public native boolean SetTimeCount(int timeCount);
 static {
  System.loadLibrary("mtcnn");
 }
}

(6)修改cpp文件,

首先将ncnn的include文件夹包含进来。

将模型的3个id.h文件包含进来,det1.id.h,det2.id.h,det3.id.h

mtcnn_jni.cpp负责对人脸检测的几个native方法进行实现。

mtcnn.h,mtcnn.cpp分别定义了一个MTCNN类,然后进行了相关方法的实现。

需要注意,

这里读取的模型文件是通过二进制的方式读取的assets下面的模型。所以模型文件一定要首先进行加密处理(ncnn2mem)。

然后ncnn读取加密后文件和未加密文件是有一些区别的。主要包含2个地方。

第一个区别就是导入模型的区别,详细的用法看下图。

未加密的:

load_param
load_model

已经加密的:

load_param_bin
load_model

如果使用load_param,load_model加载已经加密的文件,返回值为读取的字节数

其余情况下,正常加载模型会返回0,错误返回其他值。

第二个区别就是,就是模型读取输入节点和输出节点的区别,

未加密的:

ex.input("data", in);
ncnn::Mat score_, location_;
ex.extract("prob1", score_);
ex.extract("conv4-2", location_);

已经加密的:

ex.input(det1_param_id::BLOB_data, in);
ncnn::Mat score_, location_;
ex.extract(det1_param_id::BLOB_prob1, score_);
ex.extract(det1_param_id::BLOB_conv4_2, location_);

(7)修改cpp下面的CMakeLists,增加ncnnlib的引用。

cmake_minimum_required(VERSION 3.4.1)

#include头文件目录
include_directories(include)
#source directory源文件目录
file(GLOB MTCNN_SRC *.h
     *.cpp)
set(MTCNN_COMPILE_CODE ${MTCNN_SRC})
#添加ncnn库
add_library(libncnn STATIC IMPORTED )
set_target_properties(libncnn
 PROPERTIES IMPORTED_LOCATION
  ${CMAKE_SOURCE_DIR}/../jniLibs/${ANDROID_ABI}/libncnn.a)
#编译为动态库
add_library(mtcnn SHARED ${MTCNN_COMPILE_CODE})
#添加工程所依赖的库
find_library( log-lib log )
target_link_libraries( mtcnn
      libncnn
      android
      jnigraphics
      z
      ${log-lib} )

(8)修改app/build.gradle下, defaultConfig里面加入下面的代码,

externalNativeBuild {
   cmake {
    arguments "-DANDROID_TOOLCHAIN=clang"
    cFlags "-fopenmp -O2 -fvisibility=hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
    cppFlags "-fopenmp -O2 -fvisibility=hidden -fvisibility-inlines-hidden -fomit-frame-pointer -fstrict-aliasing -ffunction-sections -fdata-sections -ffast-math "
    arguments "-DANDROID_STL=c++_shared", "-DANDROID_CPP_FEATURES=rtti exceptions"
    cppFlags ""
    cppFlags "-std=c++11"
    cppFlags "-frtti"
    cppFlags "-fexceptions"
   }
  }
  ndk {
   abiFilters 'armeabi-v7a'// , 'arm64-v8a' //,'x86', 'x86_64', 'armeabi'
   stl "gnustl_static"
  }

最终结果:

 总结

到此这篇关于基于Android studio3.6的JNI教程之ncnn人脸检测mtcnn功能的文章就介绍到这了,更多相关android studio3.6 ncnn人脸检测mtcnn内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • 基于Android studio3.6的JNI教程之opencv实例详解

    基本环境: Android studio3.6 NDK:r14b(尽量使用该版本) Opencv3.4.1 android sdk (1)新建工程OpenCVDemo,选择,一定要选择Native c++类型,最后要选c++14支持. (2)File->Project Structure->SDK Location,设置这3个路径,NDK选择r14b. (3)任意找一张图片,复制到res/drawable. (4)修改布局文件res/layout/ activity_main.xml <

  • Android动态人脸检测的示例代码(脸数可调)

    人脸检测 这里的人脸检测并非人脸识别,但是却可以识别出是否有人,当有人时候,你可以将帧图进行人脸识别(这里推荐Face++的sdk),当然我写的demo中没有加入人脸识别,有兴趣的朋友可以追加.face++ android自带的人脸检测 这里我们用到了人脸检测类为 FaceDetector.这个类提供了强大的人脸检测功能,可以方便我们进行人脸的侦测,因此我们使用他来进行动态的人脸检测,实现原理,其实也挺简单,主要是通过Carmen的回调PreviewCallback 在其中对帧图进行操作,并通过

  • 详解android 人脸检测你一定会遇到的坑

    笔者今年做了一个和人脸有关的android产品,主要是获取摄像头返回的预览数据流,判断该数据流是否包含了人脸,有人脸时显示摄像头预览框,无人脸时摄像头预览框隐藏,看上去这个功能并不复杂,其实在开发过程中,遇到的问题也不多,全部都处理了,在正式推出前,这个产品在公司内部也测试了几个月,也没发现bug,但最近实施人员,在客户公司做实施时,反馈回来各种问题,这些问题有部分是程序bug,也有一部分是和硬件有关,因为测试环境有限,笔者无法对各种型号,各个厂家的硬件进行测试,这篇文章主要是记录,摄像头给我们

  • Android FaceDetector实现人脸检测功能

    关于人脸检测被折磨了半个月,前2周开需求会时需要要做一个"人脸认证上传功能,具体是打开前置摄像头,识别出用户的脸并且脸在一个指定的圆圈内然后自动保存这个状态的图像待用户是否确定上传".听到这个需求我第一时间想到比较专业的图形处理库OpenCV.去github上面搜了一下关于openCV识别人脸的demo,样例确实有点多,也确实是可以实现 但是OpenCV库实在是有点大8M,用这个库估计会被构架师说死.然后我还搜过其它的第三方库(虹软,face++,阿里云人脸检测)这几款都不是省油的灯一

  • 基于Android studio3.6的JNI教程之helloworld思路详解

    jdk环境变量配置: path中增加下面2个路径,也就是android studio的路径,android有自带的jdk. E:\Android\Android Studio\jre\bin E:\Android\Android Studio\bin 新建工程: 一定要选择Native c++类型,最后要选c++11支持. SDK设置: File->Settings File->Project Structure 首先确定工程的目录结构,然后尝试运行一下工程,使用模拟器,确保工程没问题, 在M

  • 基于Android studio3.6的JNI教程之ncnn人脸检测mtcnn功能

    代码链接: https://github.com/watersink/mtcnn-linux-as 本代码可以在模拟器下进行跑. 环境: windows10 Android studio 3.6 Sdk:android10 api 29 Ndk:r15c Ncnn:20200226 Linux下的代码测试: cd mtcnn_linux/build cmake .. make ./mtcnn 如果可以跑通,输出正确结果,证明mtcnn代码的准确性. 实际操作的时候,首先基于linux把c++代码

  • 基于Android studio3.6的JNI教程之ncnn之语义分割ENet

     代码链接: https://github.com/watersink/enet-as-linux 本代码可以在模拟器下进行跑. 环境: Android studio 3.6 Sdk:android10 api 29 Ndk:r15c Ncnn:20200226 Opencv:Opencv3.4.1 android sdk Linux下的代码测试: mkdir build cd build cmake .. make ./enet 运行效果, Android开始: (1)新建工程, New->N

  • C#开发教程之FTP上传下载功能详解

    搭建FTP服务器,供大家参考,具体内容如下 最近要实现这样一个功能:FTP服务器的上传和下载,搜集了一些资料,在c播客上看到昵称为"傻丫头和科技"的作者写的一篇文章写得挺好,有的地方个人觉得不是很详细,自己稍作修改后放在这和大家一起学习分享. 1.首先我们创建一个用户,当然不想创建用户使用当前登录的用户也可以当前用户登录.(右键"计算机"--管理--) 2.我们要安装必须的IIS组件(控制面板--程序--打开或关闭Windows功能) 3.在本地创建一个文件夹作为F

  • MYSQL事务教程之Yii2.0商户提现功能

    前言 我是一个半路出家的PHP程序员,到目前为止,不算在培训班学习的时间,已经写代码整整两年了.可能由于工作业务的原因,在这两年中我没有用到过MySQL事务.就在昨天有个关于支付宝转账的业务不得不使用MySQL事务来完成,别人说了很多,还是不明白MySQL事务到底是个啥,于是就开始了新一轮的补课,出来混,欠下的知识账总是要还的. 先简单说一下我昨天遇到的那个业务,我要在移动端发起一个支付宝提现的业务,这个业务我之前是分三步写的: 第一步: 首先提现的话,我先要在提现表里写入一条提现记录,再更新一

  • Android开发教程之shape和selector的结合使用

    shape和selector是Android UI设计中经常用到的,比如我们要自定义一个圆角Button,点击Button有些效果的变化,就要用到shape和selector.可以这样说,shape和selector在美化控件中的作用是至关重要的. 1.Shape 简介 作用:XML中定义的几何形状 位置:res/drawable/文件的名称.xml 使用的方法: Java代码中:R.drawable.文件的名称 XML中:android:background="@drawable/文件的名称&

  • Android开发教程之Fragment定义、创建与使用方法详解【包含Activity通讯,事务执行等】

    本文实例讲述了Android开发教程之Fragment定义.创建与使用方法.分享给大家供大家参考,具体如下: 概述 Fragment是activity的界面中的一部分或一种行为.你可以把多个Fragment们组合到一个activity中来创建一个多面界面并且你可以在多个activity中重用一个Fragment.你可以把Fragment认为模块化的一段activity,它具有自己的生命周期,接收它自己的事件,并可以在activity运行时被添加或删除. Fragment不能独立存在,它必须嵌入到

  • Android入门教程之ListView的具体使用详解

    目录 ListView 的简单用法 定制 ListView 的界面 提升 ListView 的运行效率 ListView 的点击事件 ListView 的简单用法 在布局中加入 ListView 控件还算简单,先为 ListView 指定一个 id,然后将宽度和高度都设置为 match_parent,这样 ListView 就占满了整个布局的空间 <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android&

  • Android入门教程之RecyclerView的具体使用详解

    目录 RecyclerView 的基本用法 横向滚动 RecyclerView 点击事件 RecyclerView 的基本用法 和我们之前学习的控件不一样,RecyclerView 属于新增控件,所以我们需要在项目的 build.gradle 中添加 RecyclerView 库的依赖,才能使用该控件 dependencies { implementation "org.jetbrains.kotlin:kotlin-stdlib:$kotlin_version" implementa

随机推荐