图9.1 视觉同类但提交类目不同的case举例
首先需要过滤掉人物和文字类目这些图像表示一致但语义变化很大的商品不做处理，之后对商品的多张商品图进行类目预测并对预测后的置信度top1的类目进行聚合，具有相同类目的商品即为将要去重的候选集合，实际中发现有些相同商品的top1类目并不相同，可能是在top3中，但直接使用top3去重影响面会很大，会带来不少badcase，所以这里采用迭代两次方式即对top1聚合后的结果top3类目投票，选取具有非共现但投票过半的类目进行第二次去重如9.2所示，经过两次去重后可对文本和类目不好去重的case有效的补充。
图9.2 图像多样性去重逻辑
上线后各项指标都有提升
相同商品图片去重
闲鱼商品中有的卖家为了增加自己的曝光会创建多个商品并采用相似的描述和视觉上变化很小的商品图片，另外还有一些卖家会使用相同原始的商品图片，这类商品如果出现在同一个搜索结果页会带来不好的用户体验，也会降低商品的交易效率。这里利用之前图像对比特征搭建图像搜索引擎，索引方式采用通用的乘积量化的方法构建1.2亿商品库，整体流程如下图10.1。
每天实时的商品相对全库比例较小，我们不需要做到实时精准去重，所以我们采用离线的去重方案：首先每天新增商品会以增量的方式入库，在构建索引的同时会同步当前的商品在架、是否有效等状态过滤掉无效的商品，然后利用乘积量化的方法构建离线去重检索引擎，每天新增的商品会经过去重检索引擎找到与库里相同的商品并更新到线上的KV存储中，由于原有库中的商品和新商品产生了新链接关系，所以还需要根据新的链接匹配关系去更新KV存储中原有库中该商品的相同商品列表。线上的请求在完成召回后，会根据召回的商品id去KV存储中实时查询对应的相同商品，最后打散逻辑会对当前页中命中的相同商品进行分页打散完成去重。
10.1 商品离在线去重方案
不合规商品过滤
闲鱼中的不合规商品主要包括美女首图，性感首图，搞笑图片，人体局部等，但实际出售的商品和这些商品图片没有任何关系，卖家使用这类图片主要是为了吸引用户的注意骗取流量。采用普遍使用的审核模型、OCR识别可以过滤掉大多数色情、涉黄、涉政和暴恐等非法内容。然后还有些违规类的商品如图11.2和搞笑、段子类的内容如图11.3影响正常的交易市场，这类问题无法直接用审核等模型过滤掉。
