在数字化转型的浪潮中,AI写作大模型产品正逐渐成为公文写作领域的重要助手。为了深入理解这些产品在公文写作中的实际表现,我们对市场上的主要AI写作大模型产品进行了全面的公文写作能力测评。本报告从多个维度进行分析,旨在为用户选择最合适的AI写作工具提供参考。
本次测评的关键维度包括公文写作效果、安全对比、功能对比、文本长度限制、写作数据时效性、产品形式以及综合评价。
(一)公文写作效果对比
在开展市场主流AI写作大模型产品的公文写作能力评估过程中,我们以《县工业园区2023年工作情况总结汇报》作为评估标题,进行了公文写作效果的综合对比。为保证评估的一致性和公正性,我们采用了一套标准化的关键词体系,涵盖了“开新局”、“强基础”、“壮产业”、“优环境”、“提质量”、“提效能”等关键概念,并特别关注经济发展、招商引资、项目建设、营商环境优化以及数字化改革等核心议题。通过使用不同的人工智能写作工具,包括文心一言(3.5)、智谱清言、讯飞星火、通义千问、新华妙笔以及Chatgpt3.5,我们进行了一项较为全面的效果对比分析。
以下是对各工具写作效果的综合评价:
1.文心一言(3.5)
优势:在小标题的概括性上表现突出,中文处理能力强,使用了一些高级词汇和表达,提升了文本的专业度。
优势:结构清晰,按照关键词有序组织内容。
优势:在数据丰富程度和多样性上表现优秀,条理清晰,表达流畅、得体。
优势:小标题概括能力较强,主题鲜明,符合目的。
优势:小标题和段落内容一致性强,安全策略精细,功能丰富,支持长文本写作。强调了数字化改革和创新,与当前发展趋势紧密结合。
优势:结构清晰,按照关键词有序组织内容,在知识扩展上较为突出。
在公文写作安全方面,新华妙笔以其精细的安全策略和合理的安全过滤机制领先于其他产品。其他产品存在大量公文写作的常规词被列为敏感词禁止输出的情况,对用户造成了写作难题。新华妙笔安全策略做的更精细,可对常规公文写作词进行正常输出,在控制风险的同时不影响用户创作,也避免了模型犯错。此外,新华妙笔在用户和模型两端的输入和输出方面均做了合理的安全过滤机制;提供文本校对审核功能、文本分享防防误发泄密功能,以及主动禁止涉及意识形态的敏感文本创作类型。其他产品在输入和输入端做了安全过滤机制,但对于公文写作而言,机制过于严苛,公文写作常用词汇经常触及平台审核红线,无法满足专业用户的正常使用。
(三)公文写作功能对比
新华妙笔在功能丰富性和实用性上表现突出,支持范文案例学习资源、领导人论述数据库“新华问道”以及公文写作权威数据库,并支持检索,保障了公文写作的合法性要求。其他产品虽然可能有相关资源,但在用户端不明确,依赖提示词,造成用户使用障碍和来源合规的疑虑。新华妙笔的另一个亮点,就是具有团队协作办公功能,可配备企业使用。
(四)文本长度限制对比
从生成文本长度限制上,在超过3000字以上的长篇文稿中,新华妙笔在效果和文本长度上领先,并且可以一次性生成5分钟1.2万字。文心其次在2000字左右,其他都受字符限制,未生成全文,只生成了框架。而在实际写作场景中,写作工具生产的文章内容越丰富,越便于用户修改。其他大模型写作产品的优势在于生产短文和知识问答,不能满足公文写作长文、短文在不同场景需要的不同字数要求。
(五)写作数据时效上对比
大多数测评产品在时效性上表现都比较差,特别是在新提法、新热词的收录和使用上。文心一言在时效性上表现相对较好,新华妙笔其次。
(六)产品形式对比
测评大模型产品形式均属于对话式呈现,只有新华妙笔属于AI对话写作+分步写作双结合形式呈现,人机协作紧密程度更高,可以对AI的创作流程和细节进行干预修正,更符合写作流程,并配有在线校对功能,让用户自主上传文档进行主动校对,但存在误杀或误提示情况。
(七)综合评价
在AI写作领域,ChatGPT以其强大的语言生成能力和灵活性领先,但成本较高且在国内存在访问合法性限制。文心一言在中文处理上表现出色,且正在积极构建插件生态,但文本长度处理上存在限制。智谱清言作为国产模型的领先者,提供了均衡的性能,但在写作丰富逻辑和表达用词方式上需要不断加强训练。通义千问和讯飞星火分别在企业级应用和语音技术方面有其优势,但在功能完善度和特定领域优化上仍有提升空间。用户在选择时应根据具体需求和预算进行考量。
在公文写作上,新华妙笔AI更符合公文写作场景需求和要求,特别是在长文本写作、写作风格、品牌性、功能实用性,产品的综合竞争力上处于垂直行业领先,专业工具对体制内特定人群吸引力更强。其他AI写作产品形态更适合知识问答、资料提供以及短文本(500字内)创作场景,特别是商业文案、短视频文类,不适合公文写作的专业场景。且严重依赖提示词,对于不会提问描述的用户而言是一种负担。
用户在选择AI写作产品时,可根据具体需求、预算以及对安全、功能、文本长度和时效性的要求进行综合考量。对于公文写作的专业场景,新华妙笔AI以其全面的功能、战略性的设计和高安全性更符合需求,而其他产品则更适合知识问答、资料提供以及短文本创作场景。
原标题：《AI写作大模型哪家强？公文写作能力综合测评》