7月3日下午13时,由北京大学集成电路学院、集成电路高精尖创新中心、北京大学国家集成电路产教融合创新平台、集成电路科学与未来技术北京实验室、后摩尔时代微纳电子学科创新引智基地联合主办的暑期课程《集成电路设计技术与产业应用发展》在线下成功举办。本期邀请到后摩智能芯片算法负责人杨大卫博士为大家带来主题为“面向大算力AI芯片的软硬件协同优化”的报告。北京大学博雅特聘教授叶乐主持讲座。
杨大卫博士在讲座中首先着眼于数据驱动的AI时代,指出AI处理的重心正在向边缘端转移。基于这一趋势,他引出了后摩智能的存算一体技术路线及其优势:后摩的存算一体芯片以大算力高能效为目标,通过拉近数据和计算的距离,缓解了数据搬运问题。
随后,杨博士首先分析了GPT等大模型的出现对大算力AI芯片的影响,并介绍了后摩如何基于存算一体技术的特点和优势去赋能AI芯片,包括硬件设计、软硬件协同、工具链等多个维度的优化。随后,杨博士深入浅出地讲解了AI模型量化压缩算法,并列举了包括SmoothQuant、RPTQ在内的多个开创性的大模型量化工作。在讲座过程中,杨博士多次与同学们进行互动,通过提问的方式引导同学们深入思考量化问题,从而加深了同学们对量化技术的理解。
最后,杨博士详细阐述了后摩智能最新的量化研究成果——I-LLM。这项工作是业界首个针对大型语言模型实现了全整形量化的工作,通过多项创新技术使得全整形模型精度逼近浮点运算,极大降低了大模型推理时所需的浮点算力和存储成本,为AI大模型的高效部署提供了新的解决方案。
【个人介绍】
杨大卫博士毕业于复旦大学电子与信息专业,曾就职于英国ARM、地平线等国内外知名芯片设计公司,有丰富的AI产品研发和落地经验。他主导或参与了多款AI 芯片及相关AI算法的研发和落地,属于业界较早探索大语言模型量化压缩和端侧部署的研究者。他在CVPR、ISSCC、TCAD、Information Fusion等国际知名会议和期刊上发表论文20多篇,相关研究成果已申请多项国家专利。
【企业介绍】
后摩智能创立于2020年,由吴强博士与多位国际顶尖学者和芯片工业界资深专家联合组建,是全球存算一体智驾芯片的先行者。基于先进的存算一体技术和存储工艺,后摩智能致力于突破芯片的性能与功耗瓶颈,加速智能驾驶技术的普惠落地。其提供的高能效比、低成本芯片及解决方案,可应用于智能驾驶、泛机器人等场景。2021年8月国内首款基于存算一体技术的验证芯片流片、2021年11月荣获科技部“全国颠覆性技术创新大赛优胜项目”、2022年12月完成高新技术企业认定;荣获2022中国芯“芯火新锐产品”奖、2023年5月国内首款存算一体智驾芯片后摩鸿途H30正式发布。