上海白领刘先生，坐上他的汽车主驾，向右扭头说：“打开那窗户。”话音刚落，副驾驶的车窗自动开了。
这辆车搭载了基于国产AI大模型的智能系统，就像有了人的大脑和神经网络，通过学习提升语音、视觉等多模态感知能力，在座舱里提供更人性化的交互，智能驾驶方面计算更精准，越来越像“老司机”开车。
当国产AI大模型开始加速“上车”，人工智能正以更加触手可及的方式走进现实生活。
会思考的多功能助手
人们在世界设计之都大会上参观极越汽车（2023年9月30日摄）。新华社记者 王翔 摄
“汽车是一个终端，承载大量先进技术，先是电动化，现在是智能化，以后还要和整个社会交通体系联起来。”哪吒汽车创始人方运舟说。
“有一段时间，车的智能化体现为一个个App,你问它答。现在我们的车搭载360智脑大模型，开始会思考了，与人交互更自然，识别车内外的人与物更准确，增强自动驾驶系统的效率和安全。这是初步探索，以后是强大的多功能助手。”学习并研究汽车技术30年的方运舟说。
“车会思考”怎么体现？
方运舟举例，以前司机要对语音助手提出明确指令，如“打开空调”。AI大模型接入车内语音助手后，司机只需要说：“我有点冷”。大模型会像人一样考虑如何满足司机的需求，执行多个动作，如关上车窗、把空调调到司机习惯的温度、风力调至常用的档位等。
在2023上海车展上，参观者在哪吒GT展车边驻足观看（2023年4月25日摄）。新华社记者 王翔 摄
“车会思考”背后是什么？
中科院院士姚期智表示，大模型在技术上可分为通用、行业、场景三类。大模型的通用智能必须细化到各个行业，给它投喂行业中的专业数据，通过训练形成场景化、定制化、个性化，产生专有的模型，才能给各垂直领域带来AI革命，关键是算力、数据和模型的匹配。
赛迪智库未来产业研究中心人工智能研究室主任钟新龙说，以前的人工智能是规则驱动，大模型则是数据驱动，数据决定模型的质量，影响泛化能力。“泛化就是学习并理解数据中隐含的规律，进而能够对未曾见过的数据给出恰当的输出，就像举一反三、学以致用。”
国家网信办4月发布的公告显示，我国已有117个大模型完成生成式人工智能服务备案。
记者梳理发现，目前“上车”的大模型，既有华为的盘古、百度的文心一言、科大讯飞的星火、360的智脑等科技企业的通用大模型，也有比亚迪的璇玑、小鹏的灵犀等车企自研的行业大模型。从终端看，已有超过10个品牌的汽车搭载大模型。
云端和车端协同工作
由吉利和百度共同打造的极越01汽车的智能座舱。（张文静 摄）
大模型赋能汽车是不断深入的过程，目前集中体现在智能座舱和智能驾驶上。
极越汽车座舱里，有块35.6英寸的一体屏幕。司机刘先生说，因为文心一言大模型的支持，屏幕显示的各种应用“可见即可说，可说即可做”。记者看到这样的对话场景：
司机：“Simo，我还有多久能到家？”
大模型：“1小时。”
司机：“在我到家前30分钟，打开家里的空调、拉上窗帘。”
大模型：“好的。”
司机不需要操作车里或手机上任何按键，通过Simo智能语音系统控制车内一切，还可通过屏幕上的小度App，远程控制家中电器。即使出现多人指令、声音交织、连续对话等情况，大模型也可理解每人不同的需求，满足不同的操作指令。极越首席执行官夏一平表示，极越车主目前对智能语音系统的使用率达98%，平均每人每天用60多次。
“以前的语音识别需要在云端解析数据，再下载到车端，现在全部的语音识别都是离线，这样反应快，而且哪怕没网络，也不影响开车。”夏一平说。
这得益于大模型在云端和车端的协同工作。钟新龙说，云端大模型的参数规模大、算力强，完成大量数据标注、数据融合等任务，降低成本和错误率；车端大模型的参数量小一些，无需联网也有算力，节省车端计算的推理时间，即使云与车端通讯有时延，也能确保安全。
“我们已把大模型应用到整车智能，垂直整合所有场景应用。”比亚迪集团董事长王传福表示，智能化架构有一个“中央大脑”，车端AI和云端AI，车联网、5G网、卫星网，及传感链、控制链、数据链、机械链，实时捕捉内外部环境的变化，在毫秒间将信息汇总反馈到“大脑”思考决策，调节车辆“身体”状态，提升驾乘安全性和舒适性。
学习能力迭代加速
展望大模型“上车”的发展前景，百度创始人李彦宏表示，随着技术的进步，汽车机器人将实现每天开“新版本”的体验，就如同购买新车一样，给用户带来持续的惊喜。
自动驾驶的迭代速度将加快。专家普遍认为，大模型可重构自动驾驶技术架构、合成模拟场景数据、预测安全风险，加快自动驾驶技术开发和应用落地。
在大模型出现前，自动驾驶是靠任务驱动，即程序员依据特定的场景，编写解决方案的代码，当车辆在行驶中感知到相应情况，便按照之前设定的方式处理。
“有了大模型后，我们发现有巨大的机会让原来特别多的泛化代码变成简单的端到端的模型，使感知、行为、控制在很多领域比我们想象的聪明很多，比如读懂‘前方ETC即将维修，请换道’等标识。”小鹏汽车创始人何小鹏说，以前小鹏智驾系统每一季度更新一次，现在平均每天有3.87个版本快速迭代。
4月25日，在北京中国国际展览中心顺义馆举行的2024北京车展上，参观者观看展出的小鹏X9新能源汽车。
未来，基于数据驱动的大模型端到端自动驾驶，可通过单个神经网络完成所有模块任务。中国工程院院士张亚勤表示，通过视频大模型，可根据环境、交通标志要素，结合车辆的控制、转向等驾驶行为生成大量可控视频，用于端到端自动驾驶的训练、测试，解决自动驾驶长尾场景数据积累问题。
大模型可整合座舱分散功能，提供类人理解能力的人机交互体验。商汤科技首席科学家王晓刚认为，大模型“上车”后能将座舱各单点AI功能组合起来，自动调用座舱软硬件资源，多模态大模型能够实现人与车的多感官交互，显著提升交互顺畅性、自然性。
“大模型‘上车’，现在带来了从0到1的变化，未来会实现从1到100等更大变化，人会把驾驶交给车，在智能空间处理其他事。”方运舟说。
夏一平打比方说，智能汽车现在理解用户的能力也许还是中学生，但大模型让车有了每天学习的能力，很快会成为大学生、博士；现在自动驾驶的能力还是新手菜鸟，以后会变成老司机。
大模型在汽车行业的深入应用也面临挑战。张亚勤指出，大模型在汽车行业的应用对数据资源的流动与共享提出更高要求。王晓刚认为，大模型训练与应用对AI芯片等算力基础设施要求不断提升。
大模型“上车”的成长之旅才刚刚开始。
作为汽车、电子信息、通信等领域跨界融合的产物，智能网联汽车已成为全球技术革命和产业变革的前沿阵地，国产汽车有望借助大模型，巩固和扩大在智能网联领域的优势，在新一轮产业革命中走在前列。
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。