学术活动

面向机器学习的高效算法研究:最优输运与信息论的视角

发文时间:2025-11-28

报告摘要:本报告系统介绍了在最优输运(Optimal Transport)及其与信息论交叉领域所开展的算法研究工作,并且探讨其在机器学习任务中的应用价值。针对最优输运问题,本研究提出了具有线性计算复杂度的Fast Sinkhorn算法。该算法通过分析矩阵代数结构,显著降低了传统Sinkhorn算法及其变体(如IPOT)的计算开销,将复杂度从降至,为机器学习中大规模数据处理与模型优化提供了有效工具,并在相关任务中实现了3-4个数量级的显著加速。研究进一步揭示了最优输运与信息论中多个基本问题之间的内在联系,并基于最优输运框架提出了一套统一的数值计算方法,为机器学习中的表示学习与模型压缩等问题提供了新的求解思路。相较于该领域经典的Blahut-Arimoto算法,本方法的核心改进在于引入可变拉格朗日乘子。该调整仅需通过求解若干单变量单调方程的根,即以较小的计算代价,将整体效率提升1–2个数量级。该方法已应用于率失真函数、率失真感知函数、量子率失真函数及信息瓶颈函数等问题的计算,其有效性得到验证。上述研究成果为从信息论角度理解和优化机器学习模型提供了理论支持与实用工具。


报告人简介:吴昊,清华大学数学科学系长聘副教授,博士生导师。研究方向为计算数学与应用数学。近几年主要致力于数学与信息科学的交叉研究,包括信息论、无线通信系统优化及机器学习算法设计等。曾获中央研究院优秀技术合作项目奖、CSIAM应用数学落地成果认证、2项IEEE国际会议最佳论文奖及北京市高等学校青年教学名师称号。近三年带领团队在华为公司难题揭榜活动中,累计获得9项火花奖。