DeepSeek 识图模型
意图识别评测报告

随着多模态大模型的发展，识图问答（VQA）已成为 C 端 AI 助手的核心能力之一。用户频繁上传图片、截图、文档等视觉内容并围绕图片提出诉求，模型不仅要"看懂图"，更要准确识别用户意图，完成问答、解释、翻译、搜索、创作、办公处理等具体任务。

本次评测以 DeepSeek 识图模型（Deepseek V4 内测版）为评估主体，对标千问与豆包，系统性评估其在含图多模态场景下的意图识别准确性与任务完成质量，定位能力短板并给出优化优先级。

评测维度

• 意图识别准确性：一级意图 + 二级意图是否识别正确
• 图片理解准确性：是否正确识别图片中的关键信息
• 任务完成质量：是否按用户要求完成任务（格式、结构、完整性）
• 回答可用性：用户是否可直接使用，无需二次修正

关键发现

• 语言 / 推理类是强项：翻译（2.92）、知识问答（2.89）、拍照解题（2.73）表现稳健，意图识别准确，与豆包差距均在 0.3 分内。
• 拍照帮帮反超：DeepSeek Android 2.67，为三模型中该类别最高，优于豆包（2.42）与千问（2.33）。
• 资源搜索是最大短板：仅 0.89 分，落后豆包 1.89 分、落后千问 1.39 分 → 模型无法返回真实图片 / 视频资源，仅给出文字描述或占位。
• 创作与办公生成类薄弱：内容创作 1.08–1.50、办公用具 1.39–1.54 → 不支持图片 / 视频生成与 PPT / Word 文档生成，属功能性缺失。

• DeepSeek 衰减平缓但基线偏低：Android 1.92→1.89（降 0.03）、iOS 1.70→1.64（降 0.06），难度 1 与难度 2 得分接近——说明其差距并非来自复杂指令，而是基础能力缺失。
• 与千问形成对照：千问随难度上升明显衰减（Android 2.44→2.03，降 0.40），DeepSeek 则是"高难低难都低"，问题性质不同。
• 豆包稳定性最优：难度 2 仍维持 2.42–2.52，复杂指令理解与执行最稳健。

注：难度分级覆盖 73 条已标注样本（难度 1：40 条，难度 2：33 条），与整体 156 条样本量不同，仅用于难度趋势对比。

具体优化方向

• 资源检索返真：接入真实图 / 视频检索与播放能力，确保返回可点击、可观看的资源而非文字占位——这是当前最致命的短板。
• 媒体生成：建设图片 / 视频生成能力，覆盖以图生图、图片二次创作、短视频生成等高频创作场景。
• 文档生成：支持 PPT / Word 生成，优化模板与排版，确保结构完整、内容不遗漏。
• 识别基础：针对二维码 / 条形码、模糊文字、手写体、小字体等难点场景做专项识别优化。
• 平台一致性：排查 iOS 与 Android 能力差异，统一两端的功能开关与执行链路。

下一阶段建议

• 补充评测样本：扫码、资源搜索等场景样本数量偏少，建议补充更多类型样本提升结论稳健性。
• 统一难度标注：将难度标注覆盖全部 156 条样本，使难度维度与整体口径一致。
• 增加竞品维度：下一阶段可纳入 GPT-4o、Gemini 等国际竞品做横向对比。
• 满意度交叉验证：将评测分与真实用户行为数据（点赞 / 踩、回答时长等）交叉验证。