使用CoreML 图片识别

2018-02-11 14:11:02来源:oschina作者:卧马扬沙人点击

分享

CoreML 是 Apple 今年 WWDC 新推出面向开发者的机器学习框架。


907973-633ef90697abec46.png

Apple 对于 Core ML 的介绍:


CoreML 让你将很多机器学习模型集成到你的app中。除了支持层数超过30层的深度学习之外,还支持决策树的融合,SVM(支持向量机),线性模型。由于其底层建立在Metal 和Accelerate等技术上,所以可以最大限度的发挥 CPU 和 GPU 的优势。你可以在移动设备上运行机器学习模型,数据可以不离开设备直接被分析。


Core ML 让所有的机器学习计算都在iOS设备本地进行,这一点依旧体现出苹果对用户隐私很看重.用苹果的一张图来看看 CoreML 的底层框架


907973-d10c2b30f65ba009.png


图2

vision:高性能的图像分析和图像识别。这部分应用于人脸追踪,人脸识别,文本识别,区域识别,二维码识别,物体追踪,图像识别等。


Nattural Language processing:自然语言处理。用于语言识别,分词,词性还原,词性判定等。


GamePlayKit:游戏制作,构建游戏。用于常见的游戏行为如随机数生成、人工智能、寻路、和代理行为。

Core ML 的底层是 Accelerate and BNNS 和 Metal Performance Shaders,框架集成了神经网络,并且内核优化了图形计算和大规模计算,让App充分使用GPU组件。


接下来我们来体验一下 CoreML,Apple 提供了一些常见的开源模型供大家使用,而且这些模型已经使用了 Core ML 模型格式。您可以自行下载这些模型,然后就可以开始在应用中使用它们了。你也可以使用其他第三方机器学习工具来创建和训练模型,将你自己创建的模型使用Core ML Tools转换成 Core ML 就可以了。


这里下载 Apple 提供的 Inception v3 Model,(网址:https://developer.apple.com/machine-learning/).如下图,点击下载.



将下载好的 Model 加入到项目工程中,如下图


从上图可以看到 CoreML Model 分成三部分,第一部分算是基本的描述,第二部分 ModelClass 是对应 Model 生成的 Source 点击 Inception 末尾的小箭头进入Inception.h 文件 可以看到对应 Model的类和方法如图:



一共生成了三个类分别是Inceptionv3,Inceptionv3Input,Inceptionv3Output


具体核心识别代码:


//分析照片


- (void)parsePhotoFromUIImage:(UIImage*)image


{


if (SYSTEM_VERSION < 11.0) {


[SVProgressHUD showErrorWithStatus:@"系统不支持,请更新最新系统"];


return;


}


[SVProgressHUD showWithStatus:@"分析中..."];


if (nil == _inceptionv3) {


_inceptionv3 = [[Inceptionv3 alloc] init];


}


//耗时放子线程


dispatch_async(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_LOW, 0), ^{


//初始化


VNCoreMLModel *vnCoreModel = [VNCoreMLModel modelForMLModel:_inceptionv3.model error:nil];


VNCoreMLRequest *vnCoreMlRequest = [[VNCoreMLRequest alloc] initWithModel:vnCoreModel completionHandler:^(VNRequest * _Nonnull request, NSError * _Nullable error) {


NSString* bestProduction = @""; //最佳预测结果


float bestConfideence = 0; //匹配度


for(VNClassificationObservation *classification in request.results)


{


if(classification.confidence > bestConfideence)


{


bestConfideence = classification.confidence;


bestProduction = classification.identifier;


}


}


dispatch_async(dispatch_get_main_queue(), ^{


[SVProgressHUD dismiss];


_resultLab.text = [NSString stringWithFormat:@"图片是:%@/n识别率:%f", bestProduction,bestConfideence];


CGSize size = [self getLabHeight:_resultLab];


//判断是否到底端


if (size.height > _resultLab.frame.size.height) {


size.height = _resultLab.frame.size.height;


}


CGRect frame = _resultLab.frame;


frame.size.height = size.height;


_resultLab.frame = frame;


});


}];



NSDictionary* dic = NSDictionary.dictionary;


NSError* error = nil;


VNImageRequestHandler *vnImageRequestHandler = [[VNImageRequestHandler alloc] initWithCGImage:image.CGImage options:dic];


[vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];


if (error) {


NSLog(@"error ========= %@",error.localizedDescription);


}


})


}


这里使用Vision库中VNCoreMLModel , VNCoreMLRequest , VNImageRequestHandler


关键开始识别方法


[vnImageRequestHandler performRequests:@[vnCoreMlRequest] error:&error];


识别完成会回调vnCoreMlRequest 的completionHandler,其返回的结果是一个VNClassificationObservation数组,每一个VNClassificationObservation都是一个识别的结果,我们要从里面选出匹配率最高的一个结果出来。具体的Vision库使用可以看看官方文档:https://developer.apple.com/documentation/vision


VNClassificationObservation对象有两个参数

1.confidence 识别率,值越高应该是越接近的


2.identifier 识别结果

最新文章

123

最新摄影

微信扫一扫

第七城市微信公众平台