揭秘得物 AI 视觉模型设计，让用户创作专属潮鞋！

随着AI能力的流行，得物作为前沿先锋的App，也一直在探索AI落地的可能性。

我们发现在得物社区，天然有一批用户极度爱鞋，他们有非常强的创作欲和表达欲。同时社区有一批很懂鞋子的发烧友和KOL，他们对鞋子的品质要求高且专业。因此我们希望从AI球鞋设计切入，让用户在得物体验定制、设计球鞋的玩法，让更多用户在得物“玩起来”。

调研了业界主流的模型训练能力，发现在成本和品质上都参差不齐，很难和我们的要求匹配，因此最终决定自己训练视觉模型。

我们分别测试了主流的Stable diffusion和Midjourny两个技术的生成效果，最终判断Stable diffusion的效果和我们的预期更加接近，因为它的发散性和话题感更强，除了鞋体的丰富外形，鞋后的背景也会相应的做发散性变化。

为了让生成结果更像鞋，我们按照整体生成效果的「结构」、「稳定性」、「品质」去把控输出品质。

我们用扫描鞋体结构线的方式，代替输入关键词，让鞋的结构、角度、款式更可控。并且选择了粗线条提取的形式，让生成结果可以相对发散。因为提取线越精细，最后的生成结果和原图越接近。

通过在底层扫描鞋的结构，再融合用户自由上传的图片，生成多变的鞋款。为了让生成的结果更丰富，我们找到了得物成交最高的款鞋样式做为底层鞋款库。并针对「未来机甲」风格，我们又单独筛选了一批高帮鞋款，这样在鞋跟、鞋帮上能体现出更多未来机甲的元素细节，让整体生成的效果更有未来感。

此外我们也加入了关键词选择的功能，通过让用户自主选择颜色、材质而让球鞋创意生成的可玩性更高。

在保证了生成鞋的稳定结构基础上，项目组提出更高的要求，希望生成结果具备一定发散性，让用户的生成体验更有趣味性，从而在社区形成话题传播。那么如何在稳定和发散中寻找平衡是我们要不断尝试的，因为过于发散的效果也伴随着较高的崩坏风险。本着「要有一定发散度但维持鞋的形态」的原则，我们将参数根据发散度从低到高分为了3档生成对应的效果，从中判断在崩坏度可接受范围内最发散的那一档。

我们面向用户做了首轮测试，发现用户经常喜欢上传人像、动物类的图片，但生成的结果经常会有「头」的出现。针对这个问题，我们想了很多解法，比如调整关键词、替换模型等，最终研发通过应用了反向擦除的lora模型有效的降低了「头」出现的概率。

我们前期调研了鞋子常有的材质、颜色，为了让用户实际使用的效果更丰富，所以我们做了批量测试，将参数相成，产出了上千张测试图效果。为了让大部分的生成图可以达到我们的标准，我们制定了验收标准，考核风格的还原性、用户输入的兼容性、画面的崩坏比率、画质的清晰度等维度。如果生成图在某个维度没有达到我们的预设合格线，那么就需要重新训练。

为了提前让大家体验、发现问题，我们也前置开发了便捷的飞书机器人插件，十分有效的让我们预先发现问题、更好的在上线前打磨模型。同事们也贡献了很多脑洞很大的图片。

上线之后我们持续关注了用户的使用情况，发现了很多有趣的生成效果。得物er们对这个玩法十分感兴趣，也引发了用户激烈的互动。并且活动期间让多位创作者产生连续发布动态的热情，其中有一位创作者，活动期间发布了200条以上的AIGC球鞋设计动态。更有趣的是，高热和高互动动态往往更国风和男性化，有大批用户偏爱龙、虎等国风元素。

AI球鞋是得物社区在24年初的探索项目，此后得物平台内也有更多的业务域纷纷积极探寻与AI能力融合的创新能力，力求为用户缔造更卓越、多元的服务体验。