
为什么写这篇
市面上所有 AI 产品的博客都在讲自己多厉害。我们想反其道而行之:讲清楚我们做不好的地方。
原因很简单 —— 如果你用一次发现不符合预期就走,我们输掉的不只是一个用户,还是一次建立信任的机会。不如一开始就告诉你:这些场景我们还没做好,你心里有数地用。
这篇列出 Screenshot to Design 当前能力的六个已知边界,以及我们建议的绕过方式。每一项我们都在路线图里,但"在路线图里" 和 "明天就能用" 之间,你需要今天就能做决策。
1. 手绘草图 / 铅笔线稿
你在纸上画了一张 wireframe,拍照传上来 —— 结果 AI 识别出的图层跟你期待的对不上。
为什么难:Screenshot to Design 的模型是基于成品 UI 截图训练的,它假设输入图有清晰的色块、明确的边界、标准的字体。手绘稿的线条粗细不一、颜色只有铅笔灰、文字是潦草字体,所有特征都偏离训练分布。
绕过方式:
- 如果你的目的是"把想法变成 UI",用 DesignGen —— 它是 prompt 驱动的,更适合草图思维
- 如果你一定要从手绘稿开始,建议先用 iPad + Procreate 重画一版更规整的版本再扫描
2. 过度装饰的视觉(玻璃拟态嵌套 / 重投影)
极尽华丽的视觉风格 —— 多层玻璃拟态嵌套、重投影、模糊背景、发光边缘 —— 识别结果会"看起来像但又不像"。
为什么难:这类视觉里"装饰效果"和"结构"纠缠在一起,AI 很难判断一个发光边是"一个结构元素"还是"一个效果"。处理不好会把结构识别成十几层堆叠的图层。
绕过方式:
- 先裁剪到只包含主要结构的部分(比如只要按钮、只要某个卡片),让 AI 逐块识别
- 识别完后在 Figma 里手动补上装饰效果(effect 比结构更适合手工添加)
3. 复杂遮罩与渐变蒙版
一张图被圆形蒙版裁过、两张图用渐变融合、一段文字被图片做了 knockout 效果 —— 这些"合成"产物识别后结构会偏离原图。
为什么难:蒙版本质上是一种"负空间"信息,AI 看到的只是最终像素,很难反推原始的遮罩路径。
绕过方式:
- 如果你在乎的是"视觉效果",可以在 Figma 里用简单圆形遮罩近似,大部分场景够用
- 如果你在乎的是"原稿长什么样",可能要回 Photoshop 源文件 —— 用 Psd2Figma 导入带图层的 PSD,比从最终扁平图识别更精确
4. 罕见语言 / 自研品牌字体
我们的字体识别模型在 SF / Roboto / Inter / 思源 / Pretendard 这些主流 UI 字体上做得好,但:
- 阿拉伯语、泰语、希伯来语等右向左或复杂连字的文字,识别率较低
- 某品牌自研的定制字体(比如某些互联网公司的专用显示字体)可能被降级为最接近的通用字体
绕过方式:
- 字体识别错了不影响结构,把文字图层选中 Shift+T 手动换字体即可
- 如果是自研字体,把字体文件装到 Figma,然后在生成后批量替换 —— 比让 AI 猜对更可靠
5. 超高信息密度的页
四级嵌套的财务表单、一屏 200 行的数据表、同屏挤了六个图表的仪表盘 —— 这些场景识别出来的结构可能不如你期待的干净。
为什么难:不是模型没理解,而是输出的图层数量会非常大,容易出现边界分错(两个相邻卡片被合并)或层级过深(八级嵌套)。这两类问题都会让"继续编辑"变得困难。
绕过方式:
- 分块识别 —— 不要一次性扫一整张密集页,按模块裁剪成 5-6 张小图,逐块导入再组装
- 这种做法还有个额外好处:分块之后你能一边识别一边审阅,bug 早发现早修
6. 动效截图 / 中间过渡态
用户截下来的不是静态的终态,而是动画中间的一帧 —— 抽屉滑出到一半、按钮按下的瞬间、toast 正在淡入。
为什么难:AI 识别的是"现在这一帧是什么",它不知道这帧是过渡状态。结果可能是:抽屉被识别成"部分遮挡的矩形"、按下的按钮被识别成缩小版按钮。
绕过方式:
- 尽量截稳定状态的图:完全展开 / 完全收起 / 空闲状态
- 如果一定要用过渡帧,识别后手动调整被误识别的元素
这些为什么没"一次性修完"
你可能会问:既然都知道了,为什么不直接训练一个全能模型?
真诚回答:AI 模型的能力是有取舍的。你在训练集里扩充一类场景(比如手绘稿),就会稍微拉低另一类场景(比如成品 UI)的精度。产品决策里我们选了"成品 UI 识别做到行业最好"作为第一优先级,因为那是 90% 用户的 90% 用例。
对剩下 10% 的场景,我们用Codia 生态里的其他产品去承接 —— DesignGen 解决从头构思、Psd2Figma 解决带源文件的合成稿、AI PDF 解决 PDF 类输入。你看到的不是"一个模型全搞定",而是"用对的工具解决对的问题"。
如果踩到其中一个
如果你试用时踩到以上任何一个场景,它不是你做错了什么 —— 是我们还没做好。
欢迎把场景截图发到我们的社群([email protected] 或 Slack codia-ai 工作区),我们在路线图里优先处理真实用户场景。
- 立即体验:Screenshot to Figma 产品主页
- 或在 Figma Community 搜 Codia AI: Screenshot to Design
- 完整文档:使用指南
- 相关阅读:截图转 Figma:如何把 UI 截图转换成可编辑设计稿、Figma 转代码:生成 React、HTML 和 Tailwind 的完整流程
透明是产品发展的前提。这篇会随着产品能力演进持续更新 —— 希望下一次改动是"划掉其中几条"。