DeepSeek使模型平等。自今年以来,市场上的DeepSeek多合一机器各不相同。有些人声称能够“大量的血液”,有人说他们可以运行70B和32B型号。有些是定量版本,有些是完整的版本。价格也有很大的不同,从数万元到亿元人民币。
纸质技术的一名记者最近调查,并发现DeepSeek多合一机器的市场目前混合使用,营销正在发挥营销的优势。如果您降低表现,则有套利的余地。这就是为什么有些人发现您购买的多合一机器已经变得“愚蠢”的原因。只要模型被量化或蒸馏并使用了模型的cast割版本,就可以将硬件资源直接减少一半。 “如果您对此有所窃取,价格看起来会便宜得多,但是实际的用户体验将被打折。”许多行业内部人士告诉论文技术,目前在多合一市场中存在许多信息差距,并且该行业处于早期阶段,并且仍然需要时间来建立市场秩序。
从行业内部人士看来,大型模型和业务场景的组合仍处于试点阶段,而DeepSeek全合身机器是一种过渡产品。至于随后的开发,这取决于大规模模型功能的持续改进以及与企业业务的集成程度。
多合一的机器非常受欢迎
“现在多合一的机器非常受欢迎,每个公司都有自己的产品。”在4月底的第8个数字中国建筑峰会的展位上,参展商林·温齐安格(Lin Wenqiang)告诉本文,所有大型模型都需要计算能力支持,而计算能力的来源无非是从主要的云制造商和企业自我建造的租赁中租赁。如果数据不是机密的,并且企业不想产生任何操作,维护或硬件成本,那么进入云是一个不错的选择。由于数据安全考虑,某些企业不能在云上使用,并且必须在本地部署,这已经创造了对DeepSeek全联盟的需求。
DeepSeek多合一机器具有预装的硬件和软件,主要用于“开箱即用”。这就像用户使用计算机制作桌子时一样,他们可以选择使用办公室或WPS。从表单的角度来看,有服务器级的多合一机器,桌面级别的多合一机器和较小的终端级别的多合一机器。
Lin Wenqiang介绍了他公司的客户目前正在购买DeepSeek全合一机器的全血版本。例如,服装公司购买DeepSeek多合一的机器来进行会计和分析消费者的偏好;基层乡镇将购买非充实的机器,“一个办公室的一排,20并发就足够了。我们预装了该服务,就像应用程序软件一样,可以在您插入后立即使用。”
在另一个公司的展位上,纸技术的记者看到,它显示了集成安全保护软件的DeepSeek多合一机器。这些多合一的机器被出售给政府,企业,大学等。展位员工介绍的是,过去,使用封闭源大型模型的成本很高,而DeepSeek开源将模型的成本降低到0。在模型均衡之后,仅需要硬件,仅需要硬件,并且全合车型的成本降低了,需求也会增加。 “目前,第一,第二和第三层制造商正在提供DeepSeek多合一机器。”工作人员还说。大型计算中心承担培训要求,而多合一的本地部署满足推理需求。服务器群集由多个服务器组成,而DeepSeek多合一是最简单的配置。企业生产的DeepSeek多合一机器的8卡全样版本的典型应用是每秒2,000个令牌,并同时使用200个用户。 “一所拥有10,000人的学校同时达到10%,这意味着使用了1,000名学生,而Deepseek多合一的机器还不够。我们已经完成了几个重大项目,所有这些项目都是8-16个全合一的机器,适用于10,000或20,000名大学生和老师。”
总部位于硅流量的联合创始人Hu Jian告诉Pengpai Technology,DeepSeek的功能已得到验证,公司对DeepSeek的认可也有所增加。考虑到私有数据的安全性,如果企业使用私有化的集群使用DeepSeek,那么在此阶段,计算功率成本仍然相对较高。在试验阶段,轻巧的多合一机器是企业的更好选择。如果测试成功,请选择将来进入云。
全血版本可能并不充满血
该公司已针对具有不同参数的DeepSeek Big Model的版本启动了不同的模型。 DeepSeek多合一的主要成本集中在GPU上。市场上DeepSeek多合一的机器的价格很高。
在某些摊位上,供个人用途的全型DeepSeek多合一机器的价格为89,800元。在某些摊位上,两架全血671B多合一机器的个人用途价格为89,800元。
所谓的全血版本是671B DeepSeek模型。在市场上的DeepSeek多合一机器中,有人说他们可以“充满血”,有人说他们可以运行70B和32B型号。有些是定量版本,有些是完整的版本。
AI领域的一位企业家告诉该报纸,新的一年之后,DeepSeek全合一的机器随着DeepSeek Big Model的出现而受欢迎。由于市场的迅速发展,市场信息目前相对混乱。 “有时候我在谈论运行DeepSeek,但实际上可能只是一个70b或32b蒸馏模型。一些70B型号基本上持有Llama模型并通过DeepSeek生成的数据进行微调。最终的口语效果与DeepSeek非常相似。32B模型通常由Tongyi Qianwen的32B模型和训练的数据构成。他说,671b型号和32B型号的硬件要求至少有一个数量级,因此一些多合一的机器仅花费数万或数十万元的元素,而某些机器则花费了数十万元。
同时,该行业没有“全血”的统一标准。根据上述企业家的说法,在量化模型后,一些全血版本是全血版本。 DeepSeek正式宣布的参数精度为FP8,即8位参数。运行8卡A100机器的原始型号仍然很难,并且需要两个单元才能平稳运行。为了降低成本,一些制造商将参数减少并将其量化为4位参数,从而导致用户直接感到模型已经变得“愚蠢”。即使是相同的8位参数,也有神秘的内容。一些8位参数指的是INT8而不是FP8。为了达到FP8的效果,必须使用较宽的数据类型,例如BF16,这会导致更高的硬件要求。需要运行四张8张多合一机器,而多合一机器的成本直接飙升至六到七百万元。
“除非专业人士,否则大多数人对绩效本身没有深刻的理解和理解。”胡·简(Hu Jian)还说,除了真正的原始型号外,还具有定量版本和蒸馏版本,还可以将其分为32B,70B等。经过Qianwen型号和DeeldSeek数据培训的蒸馏版本,它的IQ也有一个想法,但其IQ比原始版本较低。与原始版本相比,将8位转换为4位的量化版本的准确性和性能降低,但比蒸馏版更强。
一个过度的
“在此阶段,如果用户想尝试一些新事物,并且公司想销售多合一的机器,那么可能会有很多东西。”胡·简(Hu Jian)说,模型版本,并发编号和吞吐量都决定了企业中DeepSeek多合一机器的适用性。
并发的数量是影响DeepSeek多合一机器性能的关键因素。胡·简(Hu Jian)介绍说,一些价格为100,000元的全型多合一机器只能达到一个并发性,并且只能让单个用户使用。最初的单词也被延迟了很长时间,这会影响用户体验。一家拥有大约100人的公司使用一台多合一机器来检索公司的内部知识库,并且必须保证至少10个并发。全血DeepSeek多合一的机器的并发数在200之内。“如果输入特别长,将进一步降低并发。
Xingyun Integrated Circuit的创始人兼首席执行官Ji Yu告诉Pengpai Technology,同时发生越糟糕,用户体验越糟。例如,在1,000次并发时,单个用户每秒只能生成5个令牌。如此高的并发性毫无意义,因为输入和输出速度也会影响实际体验。该行业认可的临界输出速度为20代币/秒,这也是DeepSeek官方网站提供的经验。 10令牌/秒的输出速度很慢,而6个令牌/秒很容易使人们焦急地等待输出。但是,输出速度很慢,因此硬件资源的要求很低。
许多行业内部人士告诉纸技术,DeepSeek多合一机器目前很受欢迎甚至过热,但挑战在于持续维护和升级,而多合一机器的全面使用成本仍然很高。多合一的机器是无法满足大规模使用的过度要求,企业最终将进入云。
胡·简(Hu Jian)说,出于安全原因,一旦您进入私有化环境,企业将不允许外部远程访问私人数据和系统以进行迭代升级。对于销售公司而言,“出售价值数十万人民币的多合一机器并拿起硬盘飞过以安装和升级是不现实的。”对于服务器级的多合一机器,计算机室,电源和温度必须符合使用条件。这些改进的成本使得多合一机器的“品尝价格”并不低。
在Hu Jian的看来,大型模型和业务场景的当前组合仍处于试点阶段,而DeepSeek All-One-One Machine是一种过渡产品。全型DeepSeek多合一机器可以支持100-200并发性,并可以支持在线问答申请方案。 “一旦真正与业务场景相结合,一台机器的并发就不够。目前,要么建造一个私人计算机室,要么使用公共云或混合云来解决高并发和多scenario使用的问题。”关于DeepSeek多合一机器市场的可持续性,Hu Jian认为,这取决于大规模模型能力的持续提高以及与企业业务的集成程度。一旦与企业的内部流程和应用程序连接,将会出现混合云或私有云模型。 “如果开口速度很快,请转到云。如果速度慢,那么多合一的速度将持续一段时间。”
“开箱即用”的条件
DeepSeek Technology Innovation降低了AI大型模型的局部部署的成本和门槛,并促进了AI大型模型的本地部署,例如DeepSeek,具有高数据安全要求的中央国有企业和金融企业。 GF Securities的首席计算机分析师Liu Xuefeng在今年3月的研究报告中提到,随着DeepSeek的广泛本地化部署,计算能力多合一的机器有望增加数量。带有DeepSeek大型模型的计算能力多合一的机器有望在各种企业的用户方面迅速穿透。除了推出不同的型号外,每个公司还配备了基本的AI工具,用于模型进行微调,语料库培训和应用程序开发。
但是,CCF(中国计算机协会)数据开发委员会主任Lu Zhipeng在4月表示,一些公司认为将DeepSeek模型部署到服务器上是一台多合一机器,并且可以开箱即用。结果,购买后,客户发现未达到指示中的结果,这引起了法律纠纷。
胡·简(Hu Jian)介绍了将用法场景(例如官方文件编写多合一的机器和合同评论多合一的机器)结合使用的DeepSeek多合一机器的可能性较高。对于与现场分开的多合一机器,可以开箱即用,但是开放业务流程仍然需要数据访问和治理,组织数据库,二级开发或微调。
Lin Wenqiang建议,企业应根据自己的使用需求购买DeepSeek多合一机器,澄清他们是追求最终的性能还是最终的成本效益,是否有国内需求以及是否需要一台全合一的全合一机器。同时,他们还应考虑服务调整的响应速度和支持方法。 “采购集成机器应考虑是否适合企业业务。如果不合适,则需要对其进行调整,甚至需要进行次要培训。”
关于采购建议,H3rd Booth的工作人员表示,尽管第一,第二和第三层制造商目前正在出售多合一机器,但他们缺乏安全能力。 “如果您想拥有安全功能,则必须找到其他制造商才能购买另一台用于开发和停靠的服务器。”工作人员说,DeepSeek集成机器应考虑数据安全问题。例如,某些集团公司的多个子公司之间的数据隔离,甚至这些子公司之间甚至存在竞争关系。小组公司使用来自不同子公司的数据进行培训以确保数据安全。同时,由于硬件成本和软件开发成本的差异,一些小型制造商的多合一机器的价格实际上更高。购买多合一的机器时,您还需要考虑制造商的技术功能,尤其是在漏洞时是否可以及时提供维修服务。此外,要识别DeepSeek版本,不同版本的准确性不同。
4月底,Xingyun Integrated Circuit推出了一台成熟的全合一机器100,000元。 “在五月假期期间,许多客户与我们联系,现在有些客户下了订单。”吉Yu说,多合一的机器行业处于早期阶段,并且仍然需要时间来建立市场订单。如果可以降低新事物的成本,可以降低反复试验的成本,可以扩大经验的覆盖范围,并且行业可以增长。 “与价值数亿人民币的机器相比,100,000元人民币的价格便宜得多,但实际上价格非常昂贵。我们希望继续降低价格,以便每个人都能以低成本体验大型型号带来的价值。”