×

使用计算机视觉为工业工人进行跌倒检测

消耗积分:0 | 格式:zip | 大小:0.00 MB | 2023-06-12

张娟

分享资料个

描述

在制造业和建筑业,工人每天都面临着严重的健康和安全风险。工地或生产车间的工人可能会被材料和设备绊倒或被掉落的物体击中。如果不及早发现跌倒,可能会造成严重伤害。作为解决方案,我们正在开发一种设备,可以快速检测监控区域的跌倒情况,并向特定区域的指定人员发出警报。该设备由 Raspberry Pi 4 和一个运行 FOMO 的摄像头模块组成,能够实时检测跌倒。每个事件都可以写入数据库并显示在网络仪表盘中,因此安全管理员可以轻松检查受监控设施中的当前安全状态。在执行层面,

数据采集​​和标记

数据收集是每个机器学习项目的第一步。正确收集数据是影响模型性能的主要因素之一。为您收集的项目提供广泛的视角和缩放级别会很有帮助。您可以从任何设备或开发板获取数据,或上传您自己的数据集,进行数据采集。因为我们有自己的数据集,所以我们使用“数据采集”选项卡上传它们。首先,我们将 Raspberry pi 与 Edge Impulse 连接起来,并通过将摄像头安装在建筑物的屋顶上来捕捉图像。要将 Raspberry pi 与 Edge Impulse 链接起来,请按照本教程进行操作。神经网络访问的数据越多,它们识别物体的能力就越好。

pYYBAGSBTYKAVKXEAAKTzs7kRcI87.jpeg
 

收集完图像后,我们通过移至标记队列对其进行标记。在我们的例子中,我们只有两个标签 - Standing 和 Fall。令人惊讶的事实是,Edge Impulse 将尝试通过在后台运行对象跟踪算法来自动执行此过程,以使此标记过程更容易。然后我们将图像拆分为测试集和训练集,这对于验证我们的模型非常重要。在那里我们保持 78/22 的比例,最好保持这样的比例。

冲量设计

这是我们的冲动。如您所见,我们使用 96x96 图像并将调整大小模式设置为“适合最短轴”,因为在此设置中,FOMO 表现非常好。

poYBAGSBTYaATDxTAAIgM0AO72476.jpeg
 

在图像选项卡中,我们使用灰度作为颜色深度。然后我们为我们的图像生成特征。即使对象相同,特征也可以区分。

poYBAGSBTYqAe5pfAAGMiNJbGtE08.jpeg
 

模型

现在是时候开始训练机器学习模型了。从头开始生成机器学习模型需要花费大量时间和精力。相反,我们将使用一种称为“迁移学习”的技术,该技术使用我们数据上的预训练模型。这样我们就可以用更少的数据输入创建一个准确的机器学习模型。然后我们调整训练参数以获得精度更高的模型,最后我们得到了这个。

pYYBAGSBTY2ANj6OAAEAr2fbANU28.jpeg
 

我们使用FOMO (MobileNet V2 0.35)作为神经网络。这是我们的训练输出。我们得到了 98% 的准确率。

pYYBAGSBTZCAcX3zAAD1qzP1mEQ44.jpeg
 

通过检查混淆矩阵,很明显该模型运行良好,但我们需要检查是否存在过度拟合的可能性。这是我们在模型测试选项卡下的模型测试结果,它也适用于测试数据。

poYBAGSBTZOANUHoAAHApoafaNI86.jpeg
 

测试

为了进行测试,我们使用了测试和训练中未提供的图像。在这里,我们正在测试 2 个样本图像,让我们看看我们的模型的表现如何。

pYYBAGSBTZaAWrRtAAERkgle9wI56.jpeg
 
poYBAGSBTZmASCHeAAEcX-HdAtc15.jpeg
 

在我们所有的测试样本中,该模型的表现都非常好,因此我们可以继续将其部署到设备上。

Linux Python 开发工具包

pYYBAGSBTZyAKs-5AAKCsv8RuHk47.jpeg
 

通过使用这个库,我们可以使用 Python 在 Linux 机器上运行我们的机器学习模型。为此,我们需要遵循此安装指南。然后我们从 Edge Impulse 下载模型并修改示例代码,使我们的项目活跃起来。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !

'+ '

'+ '

'+ ''+ '
'+ ''+ ''+ '
'+ ''+ '' ); $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code ==5){ $(pop_this).attr('href',"/login/index.html"); return false } if(data.code == 2){ //跳转到VIP升级页面 window.location.href="//m.lene-v.com/vip/index?aid=" + webid return false } //是会员 if (data.code > 0) { $('body').append(htmlSetNormalDownload); var getWidth=$("#poplayer").width(); $("#poplayer").css("margin-left","-"+getWidth/2+"px"); $('#tips').html(data.msg) $('.download_confirm').click(function(){ $('#dialog').remove(); }) } else { var down_url = $('#vipdownload').attr('data-url'); isBindAnalysisForm(pop_this, down_url, 1) } }); }); //是否开通VIP $.get('/article/vipdownload/aid/'+webid,function(data){ if(data.code == 2 || data.code ==5){ //跳转到VIP升级页面 $('#vipdownload>span').text("开通VIP 免费下载") return false }else{ // 待续费 if(data.code == 3) { vipExpiredInfo.ifVipExpired = true vipExpiredInfo.vipExpiredDate = data.data.endoftime } $('#vipdownload .icon-vip-tips').remove() $('#vipdownload>span').text("VIP免积分下载") } }); }).on("click",".download_cancel",function(){ $('#dialog').remove(); }) var setWeixinShare={};//定义默认的微信分享信息,页面如果要自定义分享,直接更改此变量即可 if(window.navigator.userAgent.toLowerCase().match(/MicroMessenger/i) == 'micromessenger'){ var d={ title:'使用计算机视觉为工业工人进行跌倒检测',//标题 desc:$('[name=description]').attr("content"), //描述 imgUrl:'https://'+location.host+'/static/images/ele-logo.png',// 分享图标,默认是logo link:'',//链接 type:'',// 分享类型,music、video或link,不填默认为link dataUrl:'',//如果type是music或video,则要提供数据链接,默认为空 success:'', // 用户确认分享后执行的回调函数 cancel:''// 用户取消分享后执行的回调函数 } setWeixinShare=$.extend(d,setWeixinShare); $.ajax({ url:"//www.lene-v.com/app/wechat/index.php?s=Home/ShareConfig/index", data:"share_url="+encodeURIComponent(location.href)+"&format=jsonp&domain=m", type:'get', dataType:'jsonp', success:function(res){ if(res.status!="successed"){ return false; } $.getScript('https://res.wx.qq.com/open/js/jweixin-1.0.0.js',function(result,status){ if(status!="success"){ return false; } var getWxCfg=res.data; wx.config({ //debug: true, // 开启调试模式,调用的所有api的返回值会在客户端alert出来,若要查看传入的参数,可以在pc端打开,参数信息会通过log打出,仅在pc端时才会打印。 appId:getWxCfg.appId, // 必填,公众号的唯一标识 timestamp:getWxCfg.timestamp, // 必填,生成签名的时间戳 nonceStr:getWxCfg.nonceStr, // 必填,生成签名的随机串 signature:getWxCfg.signature,// 必填,签名,见附录1 jsApiList:['onMenuShareTimeline','onMenuShareAppMessage','onMenuShareQQ','onMenuShareWeibo','onMenuShareQZone'] // 必填,需要使用的JS接口列表,所有JS接口列表见附录2 }); wx.ready(function(){ //获取“分享到朋友圈”按钮点击状态及自定义分享内容接口 wx.onMenuShareTimeline({ title: setWeixinShare.title, // 分享标题 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享给朋友”按钮点击状态及自定义分享内容接口 wx.onMenuShareAppMessage({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 type: setWeixinShare.type, // 分享类型,music、video或link,不填默认为link dataUrl: setWeixinShare.dataUrl, // 如果type是music或video,则要提供数据链接,默认为空 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ”按钮点击状态及自定义分享内容接口 wx.onMenuShareQQ({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到腾讯微博”按钮点击状态及自定义分享内容接口 wx.onMenuShareWeibo({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); //获取“分享到QQ空间”按钮点击状态及自定义分享内容接口 wx.onMenuShareQZone({ title: setWeixinShare.title, // 分享标题 desc: setWeixinShare.desc, // 分享描述 link: setWeixinShare.link, // 分享链接 imgUrl: setWeixinShare.imgUrl, // 分享图标 success: function () { setWeixinShare.success; // 用户确认分享后执行的回调函数 }, cancel: function () { setWeixinShare.cancel; // 用户取消分享后执行的回调函数 } }); }); }); } }); } function openX_ad(posterid, htmlid, width, height) { if ($(htmlid).length > 0) { var randomnumber = Math.random(); var now_url = encodeURIComponent(window.location.href); var ga = document.createElement('iframe'); ga.src = 'https://www1.elecfans.com/www/delivery/myafr.php?target=_blank&cb=' + randomnumber + '&zoneid=' + posterid+'&prefer='+now_url; ga.width = width; ga.height = height; ga.frameBorder = 0; ga.scrolling = 'no'; var s = $(htmlid).append(ga); } } openX_ad(828, '#berry-300', 300, 250);