炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！
转自：上海证券报·中国证券网
一、引言
金融行业已经实现了高度的数字化，从交易系统、客户管理系统到风险管理系统，都采用先进的数字化手段，这种数字化基础为生成式人工智能技术在金融行业的应用提供了便利条件。近年来，金融行业一直在寻求技术创新和突破，以提高业务效率和客户体验。生成式人工智能作为一种新兴技术，为金融行业带来了新的创新机遇和发展空间。根据沙丘智库发布的《2024中国证券业大模型应用场景评估报告》，截至目前，已有至少22家国内证券公司启动AI战略，探索大模型在证券领域的广泛应用，旨在通过技术创新提升业务效率和服务质量。例如，商汤科技与联合打造的金融大模型，在智能问答、合规风控、代码辅助等场景表现突出；推出了债券智能助手Bond Copilot，全方位支持债券承揽、承做、承销三大环节；基于大模型构建了企业财务风险预警模型，识别人工难以识别的潜在风险。
生成式人工智能（Generative AI）作为人工智能的一个分支，以其能够生成文本、图片、声音、视频、代码等内容的技术特点，为社会及经济发展注入了新动能，也深刻改变着信息传播和舆论生态。生成式人工智能模型的训练依赖于大量的数据，这些数据来源复杂，其真实性与合法性存在极大风险，基于该类底层数据生成的内容可能会进一步放大信息的虚假性和非法性，使得普通用户难以分辨真伪，加剧了虚假信息和谣言的传播速度和范围，给网络舆论治理以及声誉风险管理带来挑战。特别是金融机构对声誉和诚信建设具有高度敏感性和依赖性，舆情信息直接关系到证券公司的品牌形象、市场地位、业务运营以及长期发展。因此，证券公司布局AI战略时，需防范生成式人工智能对公司声誉和诚信建设带来的潜在威胁。
二、生成式人工智能对声誉的威胁
生成式人工智能对声誉风险造成的威胁主要集中在三个方面。一是模型训练使用了非公开、过时或不实数据，导致生成错误内容或违法违规从而导致公司声誉受到影响。二是由于模型本身存在缺陷，导致生成错误信息从而使公司声誉受到影响。三是第三方生成式人工智能平台恶意或过失生成涉及公司的错误信息，导致公司声誉受到影响。具体风险如下。
（一）底层数据风险：生成式人工智能需要通过大量数据训练，这些数据的来源多样且复杂，在数据收集、处理、使用和共享等多个环节容易产生风险。
1.数据来源风险：生成式人工智能需要收集大量数据用于训练模型。这些数据可能通过被动输入或主动爬取方式获得，但无论哪种方式都存在非法获取的风险。例如，未经用户同意收集个人信息，或爬取我国未公开数据等都可能违反法律法规。此外，收集的数据中可能包含受版权保护的内容，如果未经版权所有者许可（金麒麟分析师）就使用这些数据进行训练，可能构成侵权。
2.数据泄露风险：AI系统建设过程中，相关人员或第三方机构可能出于各种原因主动泄露信息，导致敏感数据泄露。其次，在模型迭代优化过程中，用于训练的数据可能作为输出内容被间接泄露。此外，生成式人工智能模型本身可能存在未知的安全漏洞，攻击者可能利用这些漏洞窃取、篡改数据。
3.数据质量风险：由于生成式人工智能数据来源的多样性和复杂性，数据中可能包含错误或误导性信息。这些不准确的数据会影响模型的训练效果和输出结果的可靠性。即使底层过往信息来源准确，在信息综合法的框架下，过往的信息与新信息可能会被有机组合起来，形成对证券公司不利的舆论环境，从而加剧证券公司的声誉风险。
（二）生成内容风险：人工智能模型（尤其是神经网络模型）存在“黑箱”效应，输入与输出之间的关系难以理解或解释，模型的内部决策过程不透明，这增大了人工智能生成内容的不可控性。当运用在客服或外报材料生成时，可能会生成错误的话语，导致出现声誉风险事件。
1.算法模型的不确定性：生成式人工智能的算法模型本身具有一定的局限性。尽管这些模型经过精心设计和训练，但它们仍然无法完全模拟人类的创造性思维和理解能力。在生成复杂、抽象或具有特定文化背景的内容时，模型可能会出现理解偏差或生成不符合预期的内容。
2.训练过程的不确定性：生成式人工智能的训练过程是一个不断迭代和优化的过程。然而，在训练过程中可能会遇到各种问题，如过拟合、欠拟合、梯度消失、梯度爆炸等，这些问题都可能影响模型的性能和稳定性。此外，训练数据的分布和特征也可能对模型的生成结果产生影响，从而导致不确定性。
3.外部环境的不确定性：生成式人工智能的生成内容往往与外部环境密切相关。由于外部环境的变化（包括社会、经济、文化等多个方面），可能导致模型生成的内容在特定情境下不再适用或产生误解。例如，社会热点事件、政策法规的变化等都可能对生成内容的准确性和适用性产生影响。
（三）生成式人工智能被操纵的风险：人工智能带来人类信息传播范式的根本转变，也意味着旧有治理范式的失效和缺失。由于人们对人工智能如何将底层信息加工为输出结果的过程还有待于进一步了解，导致人工智能带来的潜在风险更加难以被防范，增大了判别难度和被操纵的可能性。
1.技术漏洞导致的操纵：生成式人工智能系统基于复杂的算法和模型构建，但这些系统并非无懈可击。黑客或恶意行为者可能利用技术漏洞，对生成式AI进行操纵，以达成不正当目的。例如，他们可能通过篡改输入数据、攻击模型算法或利用系统缺陷来影响生成式AI的输出结果。
2.使用偏见数据引起的操纵：生成式人工智能的学习和推理能力高度依赖于训练数据。如果训练数据存在偏见或误导性信息，那么生成式AI的输出结果也可能带有偏见或被操纵。这种偏见可能源于数据收集过程中的不公正性、数据标注的主观性等因素。一旦生成式AI学习了这些有偏见的数据，它就可能在特定情境下产生不公正或误导性的输出。
3.恶意使用生成式AI进行操纵：生成式人工智能具有强大的文本、图像和语音生成能力，这些能力如果被恶意行为者利用，就可能对社会造成不良影响。例如，金融行业管理者或员工的声音或者肖像等会被恶意拼凑或整合，利用生成式AI制造虚假信息、散播谣言、进行网络诈骗或操纵舆论。这种恶意使用不仅对个人和公司的声誉造成严重负面影响，还可能对社会稳定和国家安全构成威胁。
三、生成式人工智能带来的声誉风险的防范措施
（一）加强底层数据风险防范
1.加强数据安全管理：加强法律法规建设，推动完善相关法律法规体系，为数据安全和个人隐私保护提供有力保障。政府和相关机构应加强对生成式人工智能的监管力度，建立监管机制确保其合法合规使用数据。证券公司也应建立完善的数据安全管理制度和技术措施，确保数据的合法获取、存储和使用。
2.加强底层数据源管理：生成式人工智能生成内容的准确性依赖于训练数据的质量，金融企业需加强数据加密、访问控制、安全审计等技术手段，防止数据泄露和篡改。此外，应加强日常舆情监测、建立高效的声誉风险预警系统、与利益相关者进行充分沟通，纠正各类平台上的不实信息并及时更新或删除过时信息，确保所有公开信息（例如：涉及企业的新闻公告、领导信息、企业战略等）的准确无误，防止AI平台对失实信息进行拼凑生成错误内容。
3.保证输入数据的质量：通过设定质量指标和监控机制，定期对收集到的数据进行严格的清洗和校验，及时发现并处理数据中的问题，去除无效、错误和重复的数据，确保数据的准确性和多样性，减少数据中的错误和偏见。
（二）加强生成内容风险防范
1.加强模型的可解释性：“黑箱”问题是影响人工智能生成内容可信度的主要因素之一， 为解决这一问题，可以开发“可解释性AI技术”。该技术对模型内部的数学运算和逻辑进行更详细的解释和可视化，使AI模型的决策过程更加透明和可理解；或通过简化模型结构，减少参数数量来提高模型的可解释性。
2.加强模型的准确性：不断对生成式人工智能的算法进行优化，以提高生成内容的准确性、完整性和相关性或探索更先进的生成模型，如生成式对抗网络（GAN）、变分自编码器（VAE）等，以实现更高质量的文本生成。
3.引入人工审核机制：目前，人工智能技术还需完善，生成结果的准确性、针对性和可信度有待进一步提升。金融企业在使用生成式人工智能，特别是用于客服、投顾和生成外报材料等对外业务时，要引入人工对生成内容进行二次校验，确保内容的准确性和可靠性，不能完全依赖AI技术。企业应建立专业的人工审核团队，制定明确的审核标准，确保审核的一致性和有效性。
4.重视用户反馈：生成式人工智能可以通过从数据中学习来改进其表现，因此，要建立有效的反馈机制，让用户能够对生成内容的质量和准确性进行反馈。根据用户反馈不断调整生成策略，优化算法和模型，提高生成内容的质量。
（三）加强生成式人工智能被操纵风险的防范
1.推动法律法规建设：完善法律法规，针对生成式人工智能的特点，制定专门的法律法规进行规范。明确生成式人工智能服务提供者和使用者的法律责任，确保违法必究。建立健全生成式人工智能的监管机制，对服务提供者进行定期检查和评估。对违法违规行为进行严厉打击，维护市场秩序和公众利益。
2.加强各环节技术：对训练数据和模型输出进行加密，确保数据在传输和存储过程中的安全性。限制对数据和模型的访问权限，只有授权人员才能访问和修改，并采取措施保护用户隐私。优化算法与模型设计提高模型的鲁棒性，使其能够抵抗恶意攻击和操纵。此外，对生成内容进行过滤与监测，使用内容过滤工具来识别和过滤违法、有害或误导性的内容。对模型输出进行实时监测，一旦发现异常或违规内容，立即采取处置措施。
3.加强对公司内部人员肖像及行为管理：为防止不法分子利用“AI换脸”等技术假冒公司高管或员工实施诈骗或发表不当言论从而损害公司声誉，金融企业应加强对公司内部人员肖像及行为管理，避免在社交媒体上过度分享照片和视频，减少被不法分子获取的机会。对来源不明的邮件附件和链接保持警惕，不随意点击和下载。核实信息来源的真实性，避免被钓鱼邮件和虚假网站欺骗。如发现高管或员工的照片、视频被恶意篡改，应及时向相关平台举报并寻求法律帮助，维护自身合法权益，必要时联系警方处理。
四、总结与展望