说到这里周昀停了一下,将PPT翻到下一页。
老师没有提问,那他就继续讲。
“这种情况下,我们面临一个巨大的挑战:如何让庞大、复杂的AI模型,在这些资源有限的“小设备”上,也能跑得又快又好,还能实时响应?
以下四点是我认为的需要解决的几个痛点:
1.尺寸不符:大模型在小设备上跑不动,或直接装不下。
2.速度滞后:即使勉强能跑,响应速度也慢,用户体验差。
3.能耗巨大:小设备电池续航有限,大模型会迅速耗尽电量。
4.网络依赖:依赖云端意味着有延迟,且断网就失效,隐私也难以保障。”
“不好意思,我打断一下。”
“老师您说。”
内容未完,下一页继续阅读