顶刊TPAMI 2024 ｜ 北大提出实用、紧致的智能图像压缩感知技术，代码已开源！

• 论文标题： Practical Compact Deep Compressed Sensing（实用、紧致的深度压缩感知）

• 论文作者： Bin Chen（陈斌） and Jian Zhang†（张健）（†通讯作者）

• 作者单位： 北京大学信息工程学院

• 发表刊物： IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)

• 发表时间： 2024年11月22日

• 正式版本： https://ieeexplore.ieee.org/document/10763443

• ArXiv版本： https://arxiv.org/abs/2411.13081

• 开源代码： https://github.com/Guaishou74851/PCNet

压缩感知（Compressed Sensing, CS）是一种信号降采样技术，可大幅节省图像获取成本。CS的核心思想是 “无需完整记录图像信息，通过计算即可还原目标图像”。CS的典型应用包括：

• 降低相机成本： 利用廉价设备就能拍摄出高质量图像；

• 加速医疗成像： 将核磁共振成像（MRI）时间从40分钟缩短至10分钟内，减少被检查者的不适；

• 探索未知世界，助力科学研究： 将“看不见”事物变为“看得见”，如观测细胞活动等转瞬即逝的微观现象，以及通过分布式射电望远镜观测银河系中心的黑洞。

CS的数学模型可表示为 ，其中 是原始图像， 是采样矩阵， 是观测值。定义压缩采样率为 。

CS面临两大核心问题：

1. 如何设计采样矩阵，从而尽可能多地保留图像信息？

2. 如何设计高效的重建算法，从而精准复原图像内容？

然而，现有CS方法仍存在两方面局限：

1. 采样矩阵信息保留能力不足： 将图像切块，逐块采样，导致观测值信息量有限；

2. 重建算法的计算开销过大、复原精度有限。

本工作提出了一种实用、紧致的图像压缩感知网络PCNet，具有如下创新点：

1. **一种新型压缩采样矩阵，**能够融合图像的局部与全局特征，从而提高信息保留能力。具体采样过程分两步：首先，用一个小型卷积网络对图像滤波；其次，使用全局矩阵对滤波结果降维，生成压缩观测值；

2. **一种新型图像重建网络，**将传统近端梯度下降（Proximal Gradient Descent，PGD）算法与深度神经网络有机结合，利用先进模块设计显著提升重建精度。

图1：提出的实用、紧致的压缩感知网络PCNet。

图2：提出的协同采样算子。

在 Set11、CBSD68、Urban100 和 DIV2K 等基准数据集上，PCNet 的性能显著优于其他方法，特别是在高分辨率（2K、4K、8K）成像任务中。此外，其采样矩阵可拓展至量化CS和自监督CS任务，展现了良好的通用性。

图3：方法与其他CS方法的对比结果。

更多细节、实验结果与理论分析请参阅论文。

视觉信息智能学习实验室（VILLA）由北京大学信息工程学院张健助理教授于2019年创立并负责，主要围绕“智能可控图像生成”这一前沿领域，深入开展高效图像重建、可控图像生成和精准图像编辑三个关键方向的研究。张健老师带领VILLA团队已在Nature子刊Communications Engineering、IEEE SPM、TPAMI、TIP、IJCV、NeurIPS、ICLR、CVPR、ICCV和ECCV等高水平国际期刊和会议上发表论文100余篇，其中近三年，以第一作者/通讯作者发表CCF A类论文40余篇。张健老师谷歌学术引用1万余次，h-index值为49（单篇一作最高引用1200余次），获得北大青年教师教学比赛一等奖、国际期刊/会议最佳论文奖五次，主持国家科技重大专项课题、国自然重点项目课题、国自然面上以及与字节/华为/OPPO/创维/兔展等知名企业学术合作项目10余项。

在高效图像重建方面，张健老师团队的代表性成果包括优化启发式深度展开重建网络ISTA-Net、COAST、ISTA-Net++，联合学习采样矩阵压缩计算成像方法OPINE-Net、PUERT、CASNet、HerosNet、PCA-CASSI，基于信息流增强机制的高通量广义优化启发式深度展开重建网络HiTDUN、SODAS-Net、MAPUN、DGUNet、SCI3D、PRL、OCTUF、D3C2-Net，以及无需真值的自监督图像重建方法SCNet。团队还提出了基于自适应路径选择机制的动态重建网络DPC-DUN和用于单像素显微荧光计算成像的深度压缩共聚焦显微镜DCCM，以及生成式图像复原方法Panini-Net、PDN、DEAR-GAN、DDNM，受邀在信号处理领域旗舰期刊SPM发表专题综述论文。本工作提出的实用、紧致的压缩感知网络PCNet进一步提升了图像压缩感知的精度与效率。

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

（👆👆👆安全链接，放心点击）

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

👉1.大模型入门学习思维导图👈

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。（全套教程文末领取哈）

👉4.大模型落地应用案例PPT👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。（全套教程文末领取哈）

👉5.大模型经典学习电子书👈

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习