图 7：为 Visual Discovery 生产数据管道的简化设计流程
模型训练完成后，就可以对数据进行推理，然后将这些数据发布到站点索引中。由于涉及的数据量较大，因此将数据分批传递给多模态模型，以便于从 Hadoop 文件系统读取。生成矢量后，还有一个额外的索引步骤，将矢量转换为可在生产中使用的压缩格式。最后，压缩向量被传递到数据系统，用于索引到搜索引擎中。
嵌入生成的操作化Apache Spark 是实现项目和图像下载器的首选，这要归功于它对大型数据集的高速数据处理和转换，特别是对于迭代操作、高效的磁盘读写和 JVM 内的高效多线程。
项目下载器作为一个 Spark 作业实现，它从存储在 HDFS 上的 eBay 项目数据仓库中读取数据。下载器从库存中过滤活动项目，并为活动项目选择视觉搜索所需的相关字段。生成的项目数据集作为 parquet 文件存储在 HDFS 上。图像下载器获取该项目列表并将其图像作为二进制文件从 eBay 项目图像存储中下载，并且使用典型的基于校验和的系统来避免冗余下载并验证下载图像的完整性。
模型推理
Krylov是 eBay 内的可扩展、多租户、基于云的 AI 平台，它允许机器学习研究快速增长、迭代和扩展。PyKrylov是 Krylov 的 Pythonic 接口，公司范围内的研究人员和工程师使用它来访问该 AI 平台，并且以下所有确定的任务都是使用 PyKrylov 任务编排的。
图 8：嵌入生成的简化视图
推理管道从数据摄取步骤中读取项目和图像数据。图像二进制被读取为原始像素并转换为批量张量以进行推理以及校验和验证。模型推理生成的图像嵌入向量发布到使用大型列式数据库（如 HBase）的数据系统。HBase 是一种可大规模扩展的列式存储，非常适合存储数十亿项目的项目相关数据 [6]。项目索引器从 HBase 读取项目记录，应用所需的业务转换并生成分发到 Cassini 搜索引擎网格的索引 [6]。
使用 Airflow 进行工作流编排
我们使用Apache Airflow来自动化前面描述的工作流程。工作流是一系列任务的 DAG（有向无环图），每个组件代表一个任务。Airflow 结合使用基于 Spark 和 Python 的 ML 任务，提供了支持多项任务的灵活性。我们选择 Airflow，因为无论涉及的任务数量和工作流 DAG 的复杂程度如何，它都可以轻松扩展。对 Spark、Hadoop、Python 等的内置运算符的支持允许轻松加入和采用任何新工作流。
鉴于此工作流程，我们支持多种处理模式。
- 加载新模型时，批量模式会为整个库存生成嵌入。
- Delta模式每天运行并处理自上次运行以来新的或更新的项目。
我们在构建此工作流程时面临的一些挑战是：
- 使用多个版本的 Spark 编排任务
- 在不同平台和可用性区域上运行的任务
- 处理由于环境不稳定导致的 DAG 故障
这一切如何联系在一起？
图 9：从搜索结果中搜索视觉相似项目的简化体验
回顾“kilim pillows”的原始示例，用户现在可以浏览搜索结果，并使用“查看视觉上相似的项目”链接单击一次，为进一步探索提供视觉提示。这将大量类似风格和偏好的库存置于用户选择的控制范围内，并帮助他们轻松识别他们想要的项目，而无需提供他们偏好的文本表示。这使他们能够在风格、美学、时尚趋势等方面磨练一组特定的密切相关的项目，为未发现库存的全新发现打开大门。此功能已为视觉搜索体验证明是关键推动因素的几个类别启用，例如家具和家居装饰，
未来是什么？启用这种独特的搜索体验可以通过展示风格和选择并邀请他们以更具视觉吸引力和效率的方式进行浏览来帮助吸引狂热的客户。未来的迭代将允许用户从他们的选择转向其他也符合他们独特品味的发现，例如从枕头转向毯子、桌布等。用户甚至可以通过简单地在结果中提示另一个有趣的项目来进行发现之旅，提供独特地迎合他们的选择和品味的体验。
除了它们与枢轴/提示项的相似性之外，结果还将根据质量度量进行排名，以带来两全其美、相似性和基于非查询的排名特征，以产生最佳的结果组合。这种改进的体验可帮助用户浏览符合其偏好的整个选项清单，而无需重写他们的搜索查询——只需单击一下即可。
引文
[1] 杨, 范, 等．“eBay 的视觉搜索。” 第 23 届 ACM SIGKDD 知识发现和数据挖掘国际会议论文集。2017.
[2] 袁江波，等．“eProduct：解决产品识别挑战的百万级视觉搜索基准。” arXiv 预印本 arXiv:2107.05856 (2021)。
[3] 德夫林、雅各布等人。BERT：用于语言理解的深度双向转换器的预训练。arXiv:1810.04805，arXiv，2019 年 5 月 24 日。arXiv.org。
[4] 何凯明，等．用于图像识别的深度残差学习。arXiv:1512.03385，arXiv，2015 年 12 月 10 日。arXiv.org。
[5] 拉德福德、亚历克等人。从自然语言监督中学习可迁移视觉模型。arXiv:2103.00020，arXiv，2021 年 2 月 26 日。arXiv.org，http://arxiv.org/abs/2103.00020。
[6] Trotman、Andrew、Jon Degenhardt 和 Surya Kallumadi。“易趣搜索的架构。” eCOM@SIGIR。2017.
作者:Senthilkumar Gopal、Shubhangi Tandon、Christopher Miller、Deepika Srinivasan、Rui Kong、Selcuk Kopru和Srinivas Bhagavathula
出处:https://tech.ebayinc.com/engineering/how-ebays-new-search-feature-was-inspired-by-window-shopping/
