获取开放类数据,我们可以使用爬虫技术,这里简单介绍一下爬虫技术。
爬虫技术是一种可以使开发人员自动化,系统化收集互联网上相关数据的技术,爬虫不是内容的生产者,而是内容的搬运者。关于爬虫技术的各类学习资料在网上可以说是“汗牛充栋”,笔者在这里就不展开说了,但是这里关于爬虫要讲的就是爬虫的安全问题,一定要遵守相关法律,切记不要触碰红线。
a. 个人信息,商业秘密与国家秘密是数据爬取的红线。
b. 遵守职业道德,控制爬虫访问频次,不要干扰被爬方的正常业务活动。
c. 遵守robots协议,做到什么能爬,什么不能爬。
2)第三方平台数据
比如说开发者想获取相关各类金融数据,除了可以利用爬虫技术外,我们可以通过某第三方平台提供的API接口来调取相关数据,例如下图所示为Toshare大数据开放平台,开发者可以获取各类金融数据。
笔者曾接到过这样一个任务,获取某市所有的禁止机动车左转,禁止机动车右转,禁止机动车掉头的路段,在没有条件获取准确的数据时,我们可以通过高德或百度的地图开放平台的API接口,分别在路口处设置起讫点,通过对比机动车与步行的路径规划距离来分析该路口是否禁左,禁右,禁掉头,如下图所示为百度开放平台,我们可以在这里通过API接口,完成各类数据采集。
对应的功能有相应的服务文档讲解如何使用,大家有兴趣可以打开网址进行尝试。
3)物理数据
物理数据指的是用户在物理世界产生的数据,例如用户使用手机时手机的各类传感器(指纹传感器:记录用户指纹用于解锁手机或支付等行为,陀螺仪:通过角动量守恒原理记录角速度用于手机导航等行为)
相较于日常应用,物理数据大量存在于传统制造业中,一般有如下几类数据采集方式:
各类传感器:
正如上面提到的手机中各类传感器,传统制造业中的传感器品类繁多,涵盖光敏,气敏,力敏,磁敏,声敏等不同类别的工业传感器,这部分的数据尽管单条数据内容很少,但是频率非常高。
RFID技术:
RFID(Radio Frequency Identification,射频识别)技术是一种非接触式的自动识别技术,通过射频信号自动识别目标对象并获取相关的数据信息。利用射频方式进行非接触双向通信,达到识别目的并交换数据。
RFID技术可识别高速运动物体并可同时识别多个标签,操作快捷方便。如下图所示,我们用手机的NFC读取的电子标签数据,可以看到ISO/IEC 14443-3(Type A),这个是当前电子标签的协议,目前大部分公交卡,一卡通,门禁卡等都是基于ISO 14443 Type A协议的,下方则是该电子标签的详细信息,如果配合专业的读写器及特定的软件可读性会更好,在这里只是为大家展示一下。