近日，联发科举办了第一届天玑开发者大会2024（MDDC 2024），以“AI予万物”为主题，通过多项成果，引领基于生成式AI的移动生态创新。
本次大会上，联发科与合作伙伴共同启动了“天玑AI先锋计划”，发布了《生成式AI手机产业白皮书》，公布了旗舰5G生成式AI移动芯片天玑9300+，还展示了生成式AI端侧部署解决方案“天玑AI开发套件”、星速引擎游戏生态、多场景端侧AI应用。
天玑AI先锋计划由联发科主导，联合阿里云、百川智能、传音、零一万物、OPPO、荣耀、vivo、小米等众多云服务、大模型、终端厂商，面向全球开发者。
该计划将整合联发科与产业生态伙伴的资源，为探索端侧生成式AI应用与场景创新的开发者，提供丰富的开发资源、技术支持和商业机会。
目前，已经有大量的应用开发厂商和开发者加入了天玑AI先锋计划，现场登台助阵的就有小红书、美图、酷狗音乐、虎牙直播、抖音、腾讯AI Lab、Soul、全民K歌、RWKV、COCOS等等。
不少应用都在会场同步展示了各自的AI新体验，我们会在后边的环节和大家分享。
联发科与权威市调机构Counterpoint携手阿里云通义千问、百川大模型、虎牙、酷狗音乐、零一万物、OPPO、Soul、腾讯AI Lab、腾讯混元、vivo，联合发布了《生成式AI手机产业白皮书》，共同定义了“生成式AI手机”的概念和典型特征。
按照这份白皮书的定义，生成式AI手机就是可以利用大规模、预训练的生成式 AI模型，实现多模态内容生成、情境感知，并具备不断增强的类人能力。
白皮书还详细阐述了生成式AI与智能手机深度融合的趋势，深入探讨了生成式AI手机生态中芯片厂商、手机厂商、大模型厂商、开发者的AI战略，以及生成式AI手机的软硬件科技全景，并展望了生成式AI手机的发展趋势。
联发科作为底层硬件供应商，可为生成式AI手机提供强大的硬件支持，包括先进的移动计算平台、集成或独立的NPU单元、大容量和高带宽的内存、稳定高速的网络连接、硬件级和系统级的安全防御。
最新发布的天玑9300+，就是典型代表。
天玑9300+继续采用台积电第三代4nm先进工艺和全大核CPU架构，包括四个X4 超大核，最高频率可达3.4 GHz，以及四个A720大核，主频2.0GHz，还有12核心的Immortalis-G720 GPU、18MB缓存，支持LPDDR5T 9600Mbps高频内存。
天玑9300+内置第七代AI引擎APU 790，有着强大的生成式AI算力，率先在端侧支持AI推测解码加速技术，生成速度可提升120％。
支持天玑AI LoRA Fusion 2.0技术，也就是双LoRA融合，生成效率提升100％，内存空间节省50％，使得生成式AI体验更高效、更个性化。
支持前沿主流的生成式AI大模型，覆盖文字、图像、音乐等AI多模态场景，包括阿里云通义千问、百川、百度文心一言、谷歌Gemini Nano、零一万物、Meta Llama 2/3、ERNIE-3.5-SE。
尤其是它在业内率先实现了以每秒22 tokens在端侧高速运行Llama 2 70亿参数大模型。
此外还支持AI框架ExecuTorch，可加速端侧生成式AI应用的开发。
同时，联发科的星速引擎全面升级，为游戏开发者提供MAGT自适应技术软件开发套件、硬件光线追踪技术软件两大开发套件，通过精准性能管理、光追效果优化、网络质量监测等关键技术，提升画面的逼真度、流畅度，触控和网络的响应度，设备续航的持久度。
星速引擎可以打通硬件平台、游戏之间的隔阂，为彼此沟通建立桥梁，实现性能的实时按需响应。
MAGT技术打开之后，游戏载入速度可加快11％，从而更持久满帧。
再结合精准的系统监控、与头部游戏的深度联合调校，可以保证游戏满帧的同时功耗进一步降低10％
网络质量监测技术方面，通过与腾讯云联合，可以实时监控游戏网络的连接质量，让游戏更高效地运用Wi-Fi、蜂窝网络并发技术，在玩网络游戏时更加稳定。
相比传统的Wi-Fi/蜂窝网络双网并发技术，它可以提前100ms预测弱网，准确率超过90％，而在Wi-Fi弱网环境下开启，可节省10％的满帧功耗、25％的数据使用量。
此外，联发科还积极与Arm、Google、Khronos、UE虚幻引擎等行业伙伴共同进行前沿技术的探索，扩大天玑游戏生态圈，尤其是推动硬件光追游戏加速落地。
本次大会的另一个看点，就是天玑AI开发套件，包括四大模块，分别是快速高效的GenAI最佳实践、覆盖全球主流大模型的GenAI Model Hub、高效提升性能的GenAI优化技术、Neuron Studio 一站式视觉化开发环境。
联发科表示，天玑AI开发套件可以为开发者提供“快、全、强、易”的专业开发体验，加速终端生成式AI应用的开发全流程。
其中，GenAI最佳实践通过模型量化、模型编译和模型推理技术，加速大模型的终端部署，可使原本需要几个星期的工作量，缩短为区区一天。
GenAI Model Hub适配行业前沿主流的大模型，为开发者提供创建生成式AI应用所需的丰富大模型资源。
GenAI优化技术只要包括推测解码加速、LoRA Fusion等等。
Neuron Studio集成开发环境可提供一站式可视化的开发环境，跳出传统的代码开发环境，让开发变成“所见即所得”。
目前，天玑AI开发者套件已覆盖智能手机、智能汽车、物联网、PC电脑等众多智能终端设备，赋能全场景的生成式AI应用开发。
目前，联发科已携手阿里云通义千问、Cocos、王者荣耀、虎牙直播、酷狗音乐、美图、全民K歌、RWKV、Soul、腾讯AI Lab、小红书等数十家生态伙伴，打造体验截然不同的生成式AI应用。
这是联发科第一次举办开发者大会，堪称联发科历史上的一个重要转折点，更是整个行业的一个里程碑，引领着生成式AI移动生态的变革。
它标志着，联发科天玑平台的角色，已经从以往的技术引领者，变成了移动行业的创新领导者，不再局限于自身的发展，更把眼光和视野拓展到了行业的推进。
天玑品牌诞生以来，联发科通过持续的技术投入与开放合作，赢得了终端厂商、应用开发商、消费者的广泛青睐，也形成了蓬勃的移动生态。
今天，生成式AI正在悄然改变各个计算行业，尤其是移动产业，势必会颠覆所有人的生活、工作、娱乐体验。
在这股浪潮之下，联发科提供的已经不仅仅是基础性的底层硬件，还有全链一站式的开发工具、优化技术，更肩负着领导与枢纽的职责，联合众多行业伙伴，共同定义新概念、新技术，共同推进应用与生态发展。
接下来，我们逐个体验一下与联发科平台合作优化的手机端侧生成式AI应用。
先看一段现场视频：
视频
抖音带来了两项应用，一是AI实时特效，基于联发科APU，在硬件算力基础上结合算法打磨、工程优化，在效果、流畅度、功耗方面带来更出色的体验。
二是端侧SDXL-Lightning高画质文生图，由抖音智能创作团队开发。
它采用渐进式对抗蒸馏技术，可以在4步甚至2步之内生成高质量和分辨率的图像，更是1步即可为超时敏感应用生成图像。
根据内部测试，1024*1024分辨率在手机端生图速度1步约为2秒，2步约为5秒。
虎牙直播，率先实现了AI实时换脸，基于图生图的AI算法，可以丰富主播直播内，并给用户带来端上画质增强。
它支持450P分辨率两倍超分，变成900p；还支持720P原画增强，可以去除原画噪声，增强画面纹理细节。
酷狗音乐，支持歌词生图、快速配图、手动生图等玩法。
全民K歌，率先将端侧模型歌曲生成SVC模型落地天玑9300，保证高性能的同时，提升了推理速度，可以轻松还原美妙歌声，一键演唱实力歌手歌曲，还能生成你和歌手的合唱作品，堪称五音不全者的救星。
Soul APP，主打AI情感陪伴，率先引入LoRA技术，单模型支持多形象切换，无需联网，隐私安全。
支持LLM+SD混合切换，LLM只需一次配置就能支持多轮对话。
阿里云通义Qwen Al Agent(智能体)，号称你身边的超级AI助手。
基于通义大模型，Qwen Al Agent可以感知环境、进行决策并执行指令，可以思考并调用工具完成目标。
通过通义千问APP(或接入通义大模型的应用)，本地模型可以离线完成任务需求整理->路线规划设计->任务确认->指令下发对应服务并执行任务的全流程闭环，交互体验、处理效率、准确性等均远超传统交互方式。
火山引擎的AI创作SDK套件，可以一剪成片，无论是在手机、平板还是汽车上都可以随时创作。
其中，EffectOne SDK为手机应用、OEM客户提供完整的端侧图片、视频创作技术解决方案，包含拍摄、编辑、特效(2D/3D/AIGC)、视频模板等。
The Moment SDK为车载端创作套件，提供更简便的车端创作能力，包含一键成片、剪同款、高光成片等自动成片能力，也包含更灵活的基础编辑能力，结合AIGC、海量特效提供丰富的模板选择。
《逆水寒》手游和《暗区突围》率先落地移动端硬件光线追踪技术、MAGT游戏自适应调控技术。
《王者荣耀》海外版的玩家私人游戏教练，率先实现游戏教学音伴AI在天玑手机端侧的落地。
它通过TTS文本语音转换建立AI与玩家的桥梁，教会玩家MOBA游戏玩法/场面预判/出装建议，结合精准的语音生成，打造独特的音色乐律和人设背景，让玩家更容易沉浸。
包括开局英雄出装辅导，对战中英雄消失提醒、敌方出装提醒、团战准备等，消灭对方英雄后击杀鼓励、胜率播报。
