伴声记号可以通过蓝牙送到手机端,搭配麦克风信息数据,用在语音助手,自动录音,自动翻译,自动发送微信语音信息,语音输入法,驾驶模式,游戏……等各类语音相关应用。
OVVP 应用到的相关技术:
OVVP(Own Voice Vibration Peak-up)技术在应用上尊循一个最大的原则,就是不改变任何原有的声音处理路径上的信息数据参数结构,因为这些是多年积累下来的经验与技术结晶,任何的改动都有机会引发不可收拾的风险,碰触到众多人的利益,所以我们另辟一个新路径以辅助性角色为客户的 TWS 耳机在人工智能语音应用区块,以最完整专利配套零风险的为客户创造价值。
下方是在 TWS 耳机内 OVVP 的运作框架图:
OVVP 算法技术细节简述
1)算法涉及卡尔曼滤波,FFT 极窄带声谱面积分割计算,曲线拟合,为了不惊动蓝牙芯片原厂能让算法直接用于蓝牙芯片应用层。通过泛化,降维,查表,不断优化简省整体延迟时间,使用内存资源,功耗及算力,从算法做出功能到给客户做测试, 1年多的时间才逐渐成熟,更别说骨传导上行降噪了。
2)加速度传感器感测到 感测到的X,Y,Z三轴声带运动信息数据,亦涉及X,Y,Z 三轴信息亦涉及互相关及归一化。
3)在最少影响极窄带区间频响的条件下,如何有效的将加速度传感器感测到的声带运动信息数据与用户自体运动所带起的多次谐波及喇叭串扰间进行分辨与压制。
三、语音算法各家公司专利保护重点分析
苹果专利的完整程度及保护范围级为完美, WO2014051969A1,201380046944.6 这2个专利把使用加速度传感器本地唤醒词与上行降噪应用保护的滴水不漏,从带算法芯片,方案,模块,产品到销售整个链条都被包含进去。
知名上市公司需要非常慎重的对待,对提供使用传感器做骨传导降噪或 VAD 应用的一定需要查询清楚是否有足够保护的专利或请对方提出具备闪躲苹果专利的具体对策,签署不侵权保证书,同时给出承担被诉后损失的承诺,项目负责人简单的问方案商有没有专利问题。
另外对于使用 vpu 做 VAD 当然就需要查看确认华为的 201811199154.2 专利,要特别提醒的是苹果的2个专利一样覆盖到了 vpu 基本上耳机用任何加速度骨传导传感器的上行降噪或 VAD 都被包含在内。
当然,用MEMS 加速度传感器做 VAD 宇恒公司的 200910190129.2,201810437831.3 也是特别需要去关注的。
专利侵权的判断中许多人员(特别是工程师或技术人员)会容易遇到认知误区,认为使用的技术比权利要求上的技术特征多,方法不完全相同,就不侵权。
其实侵权的判定是只要专利证书有效合法,满足权力要求内所有技术特征或技术框架,不管再往上叠加多少技术,不管你知道这个技术或应用技巧再久,专利没有被无效之前,侵权都是成立的。
另外技术特征或技术框架的判定有相同(完全一样)及等同(相似),“等同”这里允许一定的模糊空间,若有争议则可以再从专利说明书内去补充或其他行业信息内去举证。
之所以以前行业内专利侵权诉讼不多或经常不了了之,是因为举证成本,审理时间相对于产业变化速度及回报效益不成比例。
但现在整体智识产权维权大环境有了结构性的改变,就算不能短时间内在法院取得胜诉判决,在电商渠道却可以很快的斩断侵权者的利益,商誉及市占率的大量丢失。
特别是 TWS 耳机 AirPods目前已经成为苹果公司营收最重要的上升机会,该公司应对侵权会实施更加严苛的方式。
上市公司或知名企业的项目负责人需要慎重,以免对任职企业造成巨大伤害,而解决专利侵权的办法只有自己提早佈局创新,或合法取得授权及购买拥权产品,别无他法。
下方列出近 一年国内专利保护较重大的变化:
1、2019 年 1 月 1 日开始实施的电商法(关联法条 41 条~45 条)
2、38 个部门和单位联合印发《关于对知识产权(专利)领域严重失信主体开展联合惩戒的
合作备忘录》
3、深圳经济特区知识产权保护条例(经市第六届人民代表大会常务委员会第二十九次会议于
2018 年 12 月 27 日通过,并将于 2019 年 3 月 1 日实施其中关联法条 19~27,43~46)
新的仲裁单位与诉讼法院有:
3-1、2018 年 12 月 25 日成立的中国(深圳)知识产权保护中心
3-2、2018 年 7 月 28 日在琶洲环球贸易中心成立的广州互联网法院
3-3、2018 年 9 月 09 日北京互联网法院挂牌成立
四、专利侵权分析
1、苹果公司专利 201380046944.6
使用专利摘要,专利说明书及个人音频设备唯一独权内的技术特征做分析,专利内用了一个模糊的字眼,骨传导拾取换能器,在说明书[0005]条尾端也提到了加速计,这个专利适用的对象是 TWS 耳机成品制造商,只要用到骨传导拾取换能器(包含了 MEMS 加速度计及 vpu),并用到专利中的 20 条权利要求中的某条权利,基本上就会导致侵权。
其中很关键的地方是,使用“软材料”在壳内填充改善传感器取得声带振动所产生声波的效果,这点要请声学研发人员特别关注,这是搞声学的人最常用的手段,而下图表示 TWS 耳机厂家可能拿骨传导拾取换能器来做的 6 种功能,都在苹果专利的保护范围内。
苹果公司专利 WO2014051969A1
使用专利摘要及 2 个独权及权利要求 2.5 内的技术特征做分析,这个专利用了 37 个权利要求主要保护 VAD,噪声抑制及清浊音互融的应用,基本上只要用了加速度计(MEMS,vpu 都算)及麦克风就满足权利要求的技术特征,其中权利要求 5 把麦克风阵列给补充了进去。
所以看到这几个权利要可以很明确的说,不管骨传导上行降噪算法的提供者用的是 MEMS 或vpu 加速度传感器加上麦克风(不管是 1 个或多个)都是侵权。
当然,若是不用麦克风或加速度传感器其中任何一种传感器,就有机会闪躲掉这个专利,更好的办法是拥有比苹果更早的专利做保护,这个专利强的地方是判断侵权非常简单,不用找专业鉴定单位就可以做出清楚的侵权判断。
目前推测苹果公司有 2 个方法可以选择:
方法1:
拉出电商法,通过各电商平台的维权渠道投诉,就可以很快的让侵权产品下架,判断方法是,先看产品规格或功能介绍有没有 VAD,噪声抑制功能若有,则再看产品内有没有加速度计(MEMS 或 vpu),若有,就是侵权了。
上电商平台投诉渠道买个侵权产品拆解拍照写好侵权对比书,上传,15 天内被诉商家提不出反投诉或相应不侵权证据,侵权产品就等着下架吧,省钱有效。
方法 2:
直接从市场取证,鉴定,上法院起诉,交压金,封所仓库。
知名品牌厂商如:HUAWEI华为,VIVO,OPPO,联想,小米客户群体与苹果重叠面积较大,苹果的更为重视。
关于华强北的市场,因为客群与苹果不重叠,被投诉主体太小,可以起到帮苹果培养未来潜力客户。
这项专利很严格,需要市场上的同行谨慎规避。
2、华为公司专利 201811199154.2
使用专利摘要及 1 个方法独权 14 及权利要求 15 内的技术特征做分析,华为这个专利可以用图穷匕见来形容,前面系统独权 1 及权利要求 2~13 基本上好闪好躲又多属芯片内的处理或算法软件,不易取证鉴定,但是方法独权 14 及权利要求 15 同样的非常严格,容易涉及侵权。
把重点突显在使用骨振动传感器来控制拾音设备开始拾音,这个权利要求满足 TWS 耳机行业内极为关键的低功耗要求,华为在专利说明书[0047]条里提到 Sonion 公司的骨传导传感器,就是 vpu 了。
所以华为这个专利侵不侵权很好判,首先确定是否有 vpu,然后用实体耳机通过量电流的方式确认,说话前后的电流差别及比对麦克风的拾音时机即可。
所以想利用 vpu 做 VAD 来降低功耗的方案,估计不好实现,另外这个专利的权利要求 2~13 条其内每条都是算法或功能性软件,华为将这些算法或功能软件逐条拆解成权利要求,也方便他日后使用专利维权打击对手。
3、宇恒公司专利 200910190129.2
使用专利摘要及 2 个独权内的技术特征做分析,使用加速度传感器,感测声带,双击或计步运动,通过算法处里计算后,查找(判断,对比)是否落在预设阀值区间,得出用户“何时说话”判断结果,协助决定语音助手键码或何时说话判断结果(命令字)是否要通过蓝牙传送到手机。
只要依据加速度传感器获取用户声带运动的 VAD,做为“是否传送出语音助手键码的参考或何时说话判断结果”,不管是否还带有上行降噪功能都算是侵权,这个专利的申请时间落在 2009 年,是个能够攻防一体的专利。
宇恒公司专利201010224769.3,201010224780.X,201010224803.7,201010230464.3,
201010243048.7,201120374763.4,包含进去了加速度,陀螺仪,地磁仪,气压计多种惯性传感器感测声音的应用,申请时间都落在 2010 年~2011 年,能在传感器 VAD 应用上,起到绝佳的防御作用。
有兴趣做骨传导上行降噪算法的团队或公司,宇恒互动有兴趣将专利提供出来,一起研究如何用这些专利组合找出方法,至少先在中国突破苹果专利封锁,增加谈判筹码,降低自己及未来客户的风险。
宇恒公司专利 201810437831.3使用专利摘要及 2 个独权与权利要求 16 内的技术特征做分析,使用 1 个或 2 个,单轴或多轴,模拟或数字加速度传感器来感测声带振动和/或人体面部皮肤肌肉及肢体运动,产生传感器 VAD 的控制信号,不管用的是 MEMS 或 vpu 加速度传感器及是否还带有上行降噪功能都算是侵权。
使用 MEMS 或 vpu 加速度计做 VAD 或上行降噪应用,先把专利风险考虑完,再看这些应用是否满足功能指标要求,系统性充分全面的测试过再用声结构的改变是非常难实现的。
海内外知名人工智能语音应用巨头,在对OVVP算法了解过程中,非常着重要求专利说明,显然这个问题对这类企业来说影响很大。
总结
随着旗舰手机逐渐取消3.5mm接口以便实现轻薄化的趋势,续航、传输、音质、价格等痛点得到了改善,对整个TWS耳机市场的放量带来了巨大的成长空间。
根据GFK数据,2016年无线耳机出货量仅918万台,市场规模不足20亿元。到2018年无线耳机出货量同比增加41%,市场规模将达54亿美金。到了2020年TWS无线耳机的市场规模将达到110亿美金。
智研咨询预计2018-2020年全球TWS耳机将实现高速增长,出货量分别达到6500万台,1亿台和1.5亿台,年复合增速达51.9%。预计随着 无线耳机音质,功能性持续改善及与人工智能语音APP应用深度扩展联结,未来无线耳机的渗透率有望继续提升。
这样巨大的销量增长空间,让每一个想要入局有实力的厂商都有可能抓住商机,风口起飞。