“大模型”激战正酣，“小模型”在拓荒(huang)新(xin)疆场,锻炼,Mixtral,参数

AI模型武备竞赛风起云涌，各家大模型打得炽热的(de)同时，小模型合作拓荒(huang)出新(xin)疆场。

本周(zhou)多家公司在“小模型”方面开疆拓土，试图证(zheng)明其模型可以事半功倍(bei)。周(zhou)一，法国初创(chuang)公司MistralAI宣布的(de)开源模型Mixtral 8x7B引起惊动，该模型不仅功能(neng)比肩GPT-3.5，另一大优势(shi)是规模小到足以在一台电脑上运转。

周(zhou)二，微软亮出了小模型大招，发布27亿参数规模的(de)小说话模型Phi-2，在部分基准测试中超过谷歌的(de)Gemini Nano 2，可以在条记本电脑、手(shou)机等移动设(she)备上运转。

毫无疑问(wen)，规模较(jiao)小的(de)模型可以低(di)落(luo)了大规模运转人(ren)工智能(neng)运用的(de)成本，同时极大地拓宽(kuan)了天生式AI技术的(de)运用范(fan)围。

此外，事关模型能(neng)力强大与否的(de)枢纽——强化学习（RL）技术最新(xin)的(de)优化希望也引起业界的(de)关注(zhu)。

“小模型”拓荒(huang)新(xin)疆场

MistralAI的(de)小模型Mixtral 8x7B为开源模型，其规模参数绝对较(jiao)小，而能(neng)力却能(neng)到达GPT-3.5的(de)程度，迅速引起了业内研究职员的(de)关注(zhu)。

Mixtral 8x7B 之以是叫 Mixtral 8x7B，是因(yin)为它属于稀疏(shu)模型，将各种为处置惩罚特定任务而锻炼的(de)较(jiao)小模型组合在一路，从而进步了运转效率。

功能(neng)方面，Mixtral显示优于Llama 2 70B，推理(li)速率进步了整整6倍(bei)；在大多数尺度基准测试上与GPT-3.5打平，乃至略胜一筹(chou)。

成本方面，由于Mixtral的(de)参数较(jiao)小，以是其成本也更低(di)。与Llama 2比拟，Mixtral 8x7B显示出本身高能(neng)效的(de)优势(shi)。

值得一提的(de)是，MistralAI方才完成4.15亿美元融(rong)资，最新(xin)估值已经打破(po)20亿美元，在短短6个月(yue)中增长了7倍(bei)多。

本周(zhou)另一家退(tui)场的(de)小模型是微软自制(zhi)模型Phi-2，Phi-2 的(de)参数只有(you)27亿，小到足以在手(shou)机上运转。该模型在精心挑选(xuan)的(de)数据集上进行了锻炼，数据集的(de)质量(liang)足够高，纵然手(shou)机的(de)较(jiao)量(liang)争(zheng)论能(neng)力有(you)限，也能(neng)确保模型天生准确的(de)结(jie)果(guo)。

从功能(neng)显示看，Phi-2在Big Bench Hard（BBH）、知识(shi)推理(li)、说话明白、数学和编码基准测试中，其平均(jun)功能(neng)得分已经超过70亿、130亿参数规模的(de)Mistral和Llama 2，在部分基准测试中超过谷歌的(de)Gemini Nano 2。

目前(qian)微软正发力小模型的(de)布局，分析指出，微软与OpenAI的(de)精密合作，使得GPT模型的(de)显示在大模型市场一骑(qi)绝尘，再加上微软参数规模更小的(de)Phi系列(lie)，能(neng)进一步抢占开源模型长尾市场。

模型能(neng)力强大的(de)枢纽：强化学习技术

AI领域的(de)另一大希望则是强化学习技术的(de)优化，强化学习是一种基于“嘉奖(jiang)盼望行为”和“惩处不盼望行为”的(de)机器学习锻炼要领。很多人(ren)预测，OpenAI的(de)模型之以是显示如此出色，主要是因(yin)为它使用了人(ren)类来(lai)报告模型哪些(xie)结(jie)果(guo)是好的(de)，哪些(xie)结(jie)果(guo)是坏的(de)，也就是所谓的(de)“人(ren)类反馈强化学习”（RLHF）。

凭据强化学习初创(chuang)公司Adaptive的(de)联合首创(chuang)人(ren)Julien Launay介绍，AI贫乏怎样将这些(xie)知识(shi)整合在一路的(de)规则。例如，一个看似(si)简单的(de)问(wen)题“我的(de)iPhone失(shi)落(luo)了会怎样？”需要模型明白iPhone是什么？物体失(shi)落(luo)落(luo)时会产生什么？iPhone很贵，失(shi)落(luo)了我会很伤心以及所有(you)这些(xie)设(she)法主意之间的(de)关系。强化学习在某种程度上为模型提供了本身的(de)知识(shi)图谱(pu)，报告模型某些(xie)信(xin)息是怎样联系关系的(de)。

不外，强化学习远非完美，实行起来(lai)成本也很昂贵，业内等候更自制(zhi)、更有(you)效的(de)锻炼方案。这一点(dian)很紧张，因(yin)为它意味着小型开辟(pi)者可能(neng)很快就可以利用，以前(qian)只有(you)大型模型提供商能(neng)力使用的(de)锻炼技术来(lai)改进他们的(de)模型。

近(jin)期，一家利用私人(ren)数据开辟(pi)定制(zhi)模型的(de)初创(chuang)公司Contextual AI开辟(pi)了一种要领，只需要人(ren)类发出信(xin)号，也许是在谈天机器人(ren)上点(dian)击，就可以知道模型的(de)反应(ying)是可取的(de)照样弗成取的(de)。这种要领改进了传统的(de)、越发客观的(de)做(zuo)法，即(ji)要求人(ren)类从多个可能(neng)的(de)回应(ying)中选(xuan)出他们认为最佳的(de)模型回应(ying)。Contextual 将这种新(xin)要领命名(ming)为“Kahneman-Tversky Optimization”，以纪念这两(liang)位著名(ming)的(de)经济学家。

Contextual AI研究员Kawin Ethayarajh指出，研究职员还利用像OpenAI的(de)GPT-4 这样更大、更复杂的(de)模型，对更小、能(neng)力更弱的(de)模型进行锻炼。就目前(qian)而言，强化学习仍然是一个复杂而困难的(de)过程，但像这样的(de)新(xin)发现有(you)望让处于劣势(shi)的(de)开辟(pi)者在与OpenAI的(de)合作中占得先机。