“站在巨人肩膀上”的小模型，如何打破AI应用落地壁垒？-华琪软通

华琪软通HaKey SoftComm

公司新闻

大语言模型以其庞大的参数规模让人惊叹，然而Meta发布的新一代llama模型，如llama 3.1 405b、3.1 8b 和 3.1 70b 等，呈现出不一样的风景。

尤其是llama 3.1 8B，参数虽只有80亿，但在一些基准测试中却表现出色，甚至超越了其他同规模乃至更大的开源模型。这不禁让人疑惑，难道大模型真的将失去 “用武之地” 吗？

其实不然，小模型之所以能在性能上不受影响，甚至表现亮眼，关键在于 “站在了巨人的肩膀上”。

大模型通过强化学习、对齐、预训练等方式，生成针对性的数据 “喂” 给小模型，大大增强了小模型的能力。随着模型架构和算法的不断升级，小模型已然成为性能强大的 “小巨人”。

那么，为什么小模型会成为学术界、产业界的焦点呢？这是因为在AI技术突飞猛进的今天，我们需要AI应用落地来支撑其进一步发展。对于行业及政企客户来说，大模型衍生的小模型具有 “三大优势”。

首先是更低的训练成本，小模型意味着更低的算力资源投入，这对于那些资源有限的企业来说无疑是一个巨大的吸引力。在如今竞争激烈的市场环境下，降低成本是企业生存和发展的关键之一。

其次是可定制化训练，小模型能够更好地满足客户的个性化需求。每个企业都有自己独特的业务场景和需求，小模型可以根据这些需求进行定制化训练，为企业提供更加精准、高效的服务。

最后是提升应用落地的效率，小模型真正加快了企业AI应用落地的进程。它可以更快地适应不同的应用场景，减少开发周期和成本，为企业带来更大的价值。

那么，小模型还可以更小吗？未来又将如何发展呢？在不久的将来，我们会看到更加小巧、高效、智能的小模型，它们将在各个领域发挥着重要的作用，为AI应用落地带来新的希望和机遇！