1、简介
在H3C LinSeerCube 大模型一体机上面,操作系统为Ubuntu22.04.3 LTS,服务器cpu为192C,内存为1.5T,存储为:8.5T,显卡为h20-3e 单卡为141G显存,共8块卡。通过vllm部署的deepseek-r1-671b,以及通过ollama部署了deepseek-r1-70b以及qwq-32b模型。


本次测试采用开源的DeepStressModel框架进行测试,DeepStressModel 是一个强大的 AI 模型性能测试和监控工具,专门设计用于评估和分析大型语言模型的性能表现。通过直观的图形界面和全面的数据分析功能,帮助开发者和研究人员更好地理解和优化他们的 AI 模型。它的核心功能如下:
a. 全方位性能测试
并发测试: 支持自定义并发数的压力测试多数据集支持: 可同时测试多个数据集,支持权重配置实时监控: 提供实时响应时间、生成速度等关键指标的可视化展示自动化测试: 支持批量测试和定时任务(正在开发中)输出模式: 支持流式输出和直接输出两种测试模式,满足不同场景需求b. GPU 资源监控
多卡监控: 支持多 GPU 卡的并行监控和负载均衡分析实时监控: 支持本地和远程 GPU 使用情况的实时监控远程连接: 支持自定义 SSH 端口(默认22),方便适配不同的服务器配置关键指标: 包括显存使用、GPU 利用率、温度、功耗等历史记录: 保存历史监控数据,支持趋势分析和负载预测c. 模型跑分系统
标准化测试流程: 基于预设测试集和固定测试环境的规范化测试自动框架识别: 自动识别当前运行模型的框架类型(如Ollama、llama.cpp、vLLM等)多指标评估: 综合吞吐量、延迟、响应时间等多维度评估模型性能排行榜支持: 支持在线和离线两种模式提交测试结果至排行榜安全加密: 提供结果加密功能,保护敏感测试数据自动评分: 根据多维度性能指标自动计算综合得分d. 数据分析与可视化
丰富的图表: 多维度数据可视化展示性能指标: 包括平均响应时间、TPS、生成速度等数据导出: 支持测试数据的导出和报告生成e. 用户友好界面
简洁操作: 直观的标签页设计实时反馈: 测试进度和结果实时展示灵活配置: 支持多种测试参数自定义2、配置
把我拉deepseek-r1-671b与我们的ai服务器配置到DeepStressModel
测试数据集准备与配置,我们采用框架自带的数据集,他分为代码生成、逻辑问题、数学问题、文本生成与基础问答五个大类
代码生成如下:
用Python写一个冒泡排序函数
用Python实现快速排序算法
用Python实现二分查找算法
用Python实现链表数据结构
用Python实现二叉树数据结构
用Python实现栈数据结构
用Python实现队列数据结构
用Python实现哈希表
用Python实现堆数据结构
用Python实现图数据结构
用Python实现深度优先搜索
用Python实现广度优先搜索
用Python实现Dijkstra最短路径算法
用Python实现归并排序
用Python实现选择排序
用Python实现插入排序
用Python实现计数排序
用Python实现基数排序
用Python实现桶排序
用Python实现红黑树
用Python实现AVL树
用Python实现B树
用Python实现字典树(Trie)
用Python实现并查集
用Python实现KMP字符串匹配算法
用Python实现LRU缓存
用Python实现线程池
用Python实现生产者消费者模式
用Python实现单例模式
用Python实现观察者模式
用Python实现装饰器模式
用Python实现工厂模式
用Python实现一个简单的Web服务器
用Python实现一个HTTP客户端
用Python实现一个简单的聊天服务器
用Python实现一个简单的数据库
用Python实现一个简单的命令行工具
用Python实现一个简单的日志系统
用Python实现一个简单的配置管理器
用Python实现一个简单的任务调度器
用Python实现一个简单的缓存系统
用Python实现一个简单的消息队列
用Python实现一个简单的ORM框架
用Python实现一个简单的模板引擎
用Python实现一个简单的正则表达式引擎
用Python实现一个简单的解析器
用Python实现一个简单的编译器
用Python实现一个简单的虚拟机
用Python实现一个简单的垃圾回收器
用Python实现一个简单的内存池逻辑问题:
三个人说真话,两个人说假话。A说:B说真话;B说:C说真话;C说:D说真话;D说:E说假话;E说:A说假话。谁说的是真话?
四个盒子,只有一个盒子装有金币。盒子上写着:盒子1:金币在盒子2;盒子2:金币不在盒子1;盒子3:金币在这个盒子里;盒子4:盒子1说的是真的。已知只有一个盒子上的话是真的,金币在哪个盒子里?
五个人站成一排。已知:A不在最左边;B在C的右边;D不在最右边;E在D的左边。请问他们的站位顺序是什么?
一个岔路口,一个人遇到两兄弟,一个总说真话,一个总说假话。他只能问一个问题来确定哪条路是正确的。应该问什么?
四个朋友参加考试,考试结束后:A说:B第一;B说:我第二;C说:我第二;D说:C最后。已知只有一个人说谎,请问实际名次如何?
三个箱子,分别标着苹果、橘子、苹果和橘子,但所有标签都是错的。只能打开一个箱子看一下,如何确定所有箱子的内容?
一个房间里有三个开关,房间外有三盏灯。你只能进房间一次,如何确定哪个开关控制哪盏灯?
五个海盗分金币,最老的海盗提出分配方案,所有海盗投票,少于半数同意则该海盗死亡,下一个海盗提出方案。如何分配?
四个嫌疑人中有一个是小偷。A说:不是我;B说:是C;C说:是D;D说:C撒谎。已知只有小偷说谎,谁是小偷?
三个人比赛跑步,已知:甲比乙快;乙比丙快5米;丙比甲慢10米。请问谁是第一名?
一个魔术师说:我可以预测任何一张牌。一个观众抽了一张牌,魔术师说:这不是红桃A。魔术师说对了。这个预测准确的概率是多少?
四个朋友在猜测一个数字。A说:是偶数;B说:是3的倍数;C说:大于10;D说:小于15。已知只有一人说错,这个数字是多少?
五个人参加聚会,每人只知道自己额头上的数字。已知:所有数字都不同;每人都能看到其他人的数字;每人都说我的数字不是最大的。请问有多少人说谎?
三个盒子,一个装金币,一个装银币,一个是空的。每个盒子上都有标签,但所有标签都是错的。最少需要打开几个盒子才能确定金币在哪里?
四个朋友玩牌。A说:我不是最后一名;B说:我是第一名;C说:我不是第一名;D说:我不是第二名。已知只有一人说谎,请问各人名次如何?
五个瓶子装有不同的液体。已知:1号比2号满;2号比3号空;3号比4号满;4号比5号空。哪个瓶子最满?
三个人称体重。A说:我比B重;B说:我比C重;C说:我们三个人的平均体重是70公斤。已知只有一句话是假的,请问谁最重?
四个箱子,每个箱子上都有一个数字。已知:箱子1的数字是箱子2的两倍;箱子2的数字是箱子3的三倍;箱子3的数字是箱子4的一半。如果箱子4的数字是4,请问箱子1的数字是多少?
五个人排队买票。已知:A在B前面;C不在第一个;D在E前面;B在D前面。请问他们的顺序是什么?
三个人比赛射箭,每人射三箭。已知:甲的总分是乙的两倍;乙的总分是丙的三倍;丙的总分是9分。请问甲的总分是多少?
四个朋友猜测一个三位数。A说:个位是5;B说:十位是3;C说:百位是4;D说:和是12。已知只有一人说对,这个数是多少?
五个杯子,只有一个装有毒药。已知:杯子1说:毒药在2号;杯子2说:毒药在3号;杯子3说:毒药不在4号;杯子4说:毒药在5号;杯子5说:毒药在1号。如果只有一句话是真的,毒药在哪个杯子里?
三个人比较年龄。A说:我是最大的;B说:我不是最小的;C说:我不是中间的。已知只有一人说谎,请问年龄顺序如何?
四个盒子,每个盒子里都有糖果。已知:盒子1和2的糖果数之和是15;盒子2和3的糖果数之和是18;盒子3和4的糖果数之和是21;盒子4和1的糖果数之和是24。请问每个盒子里有多少糖果?
五个人参加考试,每人都说了一句话。A说:我不是最后;B说:我是第三;C说:我比D好;D说:我比E好;E说:我不是最后。已知只有一人说谎,请问名次如何?
三个开关控制三盏灯,但开关和灯的对应关系是随机的。如果只能进入灯所在的房间一次,如何确定每个开关控制哪盏灯?
四个朋友玩数字游戏。A选了一个数;B说:这个数能被3整除;C说:这个数大于10;D说:这个数是奇数。已知只有一人说错,这个数可能是多少?
五个箱子,每个箱子都有一个正整数。已知:箱子1的数是箱子2的一半;箱子2的数是箱子3的两倍;箱子3的数是箱子4的三倍;箱子4的数是箱子5的四倍。如果箱子5的数是1,请问箱子1的数是多少?
三个人比赛跳高。A说:我跳得最高;B说:我跳得比C高;C说:我跳得比A高。已知只有一人说谎,请问他们的名次如何?
四个盒子,只有一个盒子里有金币。盒子1说:金币在盒子2里;盒子2说:金币不在这里;盒子3说:金币在盒子4里;盒子4说:金币在盒子1里。已知只有一个盒子说真话,金币在哪里?
五个人排队。已知:A在B和C之间;B不在最后;C在D前面;E不在第一个。请问他们可能的顺序是什么?
三个人比赛游泳。甲说:我是第二名;乙说:我比丙快;丙说:我不是最后。已知只有一人说谎,请问实际名次如何?
四个朋友猜测一个数字。A说:是2的倍数;B说:是3的倍数;C说:是4的倍数;D说:小于20。已知只有一人说错,这个数是多少?
五个箱子,每个箱子都有不同数量的球。已知:箱子1比箱子2多;箱子2比箱子3少;箱子3比箱子4多;箱子4比箱子5少。请问哪个箱子的球最多?
三个人说真话,两个人说假话。A说:B说真话;B说:C说真话;C说:D说假话;D说:E说真话;E说:A说假话。谁说的是假话?
四个朋友比赛。A说:我不是最后;B说:我是第一;C说:B说谎;D说:我不是第三。已知只有一人说谎,请问实际名次如何?
五个人站成一圈。已知:A在B左边;B在C右边;C不在D旁边;D在E左边。请问他们的站位可能是什么?
三个盒子,分别装着金币、银币和铜币,但标签都是错的。最少需要打开几个盒子才能确定所有盒子的内容?
四个数字,它们的和是10。已知:第一个数比第二个数大;第二个数是第三个数的两倍;第三个数比第四个数小。这四个数字分别是多少?
五个人参加测试,每人都做了一个预测。A说:B会及格;B说:C会及格;C说:D会及格;D说:E会及格;E说:A会及格。如果只有三个人及格,且说对的人一定及格,请问谁及格了?
三个人比较身高。A说:我最高;B说:我不是最矮;C说:我比B高。已知只有一人说谎,请问身高顺序如何?
四个箱子,每个箱子都有一些硬币。已知:箱子1和2的硬币数之和是奇数;箱子2和3的硬币数之和是偶数;箱子3和4的硬币数之和是奇数;箱子4和1的硬币数之和是偶数。请问哪个箱子里的硬币数是奇数?
五个人玩游戏,每人选择一个数字。已知:A的数字是B的两倍;B的数字是C的三倍;C的数字是D的一半;D的数字是E的四倍。如果E选择了2,请问A选择了多少?
三个开关和三盏灯。每个开关对应一盏灯,但不知道具体对应关系。如果只能进入灯所在的房间两次,如何确定对应关系?
四个朋友猜测一个密码。A说:是三位数;B说:每位数字都不同;C说:能被3整除;D说:个位是5。已知只有一人说错,这个密码是多少?
五个箱子,只有一个箱子里有钥匙。已知:箱子1说:钥匙在箱子2里;箱子2说:钥匙不在箱子3里;箱子3说:钥匙在箱子4里;箱子4说:钥匙不在这里;箱子5说:钥匙在箱子1里。如果只有两个箱子说真话,钥匙在哪里?
三个人比赛。A说:我赢了;B说:我没输;C说:我没赢。已知只有一人说谎,请问比赛结果如何?
四个盒子,每个盒子里都有糖果。已知:盒子1里的糖果数是盒子2的两倍;盒子2里的糖果数是盒子3的三倍;盒子3里的糖果数是盒子4的四倍。如果所有糖果总数是100,请问每个盒子里有多少糖果?
五个人排队。已知:A不在B旁边;B在C前面;C不在最后;D在E前面;E不在第一个。请问他们可能的顺序是什么?
三个人玩石头剪刀布。A说:我赢了一局;B说:我赢了两局;C说:我一局都没赢。已知只有一人说谎,且总共玩了三局,请问每人赢了几局?数学问题:
计算 (3x + 2)(4x - 5) 的展开式
求解方程 2x² + 5x - 3 = 0
计算圆的面积,半径为7.5厘米
一个数列的前三项为2, 5, 8,求第10项
计算三角形的面积,底为6厘米,高为8厘米
求解不等式 3x + 4 > 2x - 1
计算 log₂(16) 的值
求直角三角形的斜边,两直角边分别为3和4
计算 sin(30°) 的值
求解一元二次方程 x² - 4x + 4 = 0
计算复数 (2+3i)(4-2i) 的结果
求数列 1, 3, 9, 27, ... 的通项公式
计算 5! (5的阶乘)
求解方程组:x + y = 5, 2x - y = 1
计算 ∑(i=1 to 5) i²
求函数 f(x) = x² - 2x + 1 的最小值
计算概率:从52张扑克牌中抽一张红桃的概率
求解三角形的内角,已知两个角分别为45°和60°
计算 √(16 + 9)
求解方程 |x - 2| = 3
计算矩阵 [[1,2],[3,4]] 的行列式
求函数 f(x) = 2x + 1 的反函数
计算等差数列 2, 5, 8, ... 的第20项
求解方程 e^x = 8
计算 cos(45°) 的值
求解不等式组:x + y ≤ 4, x - y ≥ 0, x ≥ 0
计算组合数 C(5,2)
求解方程 log₃(x) = 2
计算向量 (3,4) 的模长
求函数 f(x) = x³ - 3x 的导数
计算概率:掷两个骰子和为7的概率
求解方程 sin(x) = 1/2
计算定积分 ∫(0 to 1) x² dx
求解方程 2^x = 8
计算复数 1+i 的三次方
求圆的周长,直径为10厘米
计算排列数 P(6,3)
求解方程 3^(x-1) = 9
计算矩阵 [[1,0],[0,1]] 的逆矩阵
求函数 f(x) = ln(x) 在 x=1 处的导数
计算概率:从1到10中随机选两个数,和为偶数的概率
求解方程 tan(x) = 1
计算极限 lim(x→0) sin(x)/x
求解不等式 x² < 4
计算几何级数 1 + 1/2 + 1/4 + ... 的前10项和
求函数 f(x) = x² 的定义域和值域
计算概率:抛三次硬币,至少出现一次正面的概率
求解方程 |2x - 1| + |x + 2| = 5
计算复数 (1+i)/(1-i)
求圆锥的体积,底面半径为3,高为4文本生成:
写一篇关于人工智能发展历史的短文
描述一个未来智能城市的场景
写一篇关于环保与可持续发展的文章
描述一个科技改变生活的故事
写一篇关于太空探索的科普文章
描述一个未来教育场景
写一篇关于量子计算的科普文章
描述一个智能家居的日常场景
写一篇关于区块链技术的介绍
描述一个自动驾驶汽车的使用场景
写一篇关于生物技术的发展前景
描述一个智能医疗的应用场景
写一篇关于新能源发展的文章
描述一个智能农业的应用场景
写一篇关于海洋资源开发的文章
描述一个智能制造工厂的场景
写一篇关于数字货币的科普文章
描述一个未来办公场景
写一篇关于机器人伦理的思考
描述一个智能零售的场景
写一篇关于大数据应用的文章
描述一个智能交通系统的场景
写一篇关于网络安全的科普文章
描述一个智能物流系统的场景
写一篇关于虚拟现实技术的文章
描述一个增强现实应用场景
写一篇关于人机交互的文章
描述一个智能家教系统的场景
写一篇关于情感计算的文章
描述一个智能客服系统的场景
写一篇关于语音识别技术的文章
描述一个计算机视觉应用场景
写一篇关于边缘计算的科普文章
描述一个智能安防系统的场景
写一篇关于5G技术的文章
描述一个智能环保系统的场景
写一篇关于物联网的科普文章
描述一个智能养老系统的场景
写一篇关于脑机接口的文章
描述一个智能城市管理场景
写一篇关于数字孪生的科普文章
描述一个智能气象系统的场景
写一篇关于人工智能伦理的思考
描述一个智能医疗诊断场景
写一篇关于基因编辑的科普文章
描述一个智能能源管理场景
写一篇关于太空殖民的科幻文章
描述一个未来战争场景
写一篇关于时间旅行的科幻故事
描述一个外星文明接触场景基础问答:
什么是人工智能?请详细解释。
机器学习的基本原理是什么?
深度学习与传统机器学习的区别是什么?
神经网络是如何工作的?
什么是监督学习和无监督学习?
强化学习的基本概念是什么?
什么是卷积神经网络(CNN)?
循环神经网络(RNN)的应用场景有哪些?
什么是迁移学习?
什么是过拟合和欠拟合?
如何评估机器学习模型的性能?
什么是梯度下降法?
什么是反向传播算法?
什么是激活函数?常见的激活函数有哪些?
什么是批量归一化(Batch Normalization)?
什么是dropout技术?
什么是注意力机制?
什么是自然语言处理(NLP)?
什么是词嵌入(Word Embedding)?
什么是BERT模型?
什么是GPT模型?
什么是transformer架构?
什么是计算机视觉?
什么是目标检测?
什么是图像分割?
什么是生成对抗网络(GAN)?
什么是强化学习中的策略梯度?
什么是Q-learning?
什么是深度强化学习?
什么是元学习(Meta-Learning)?
什么是少样本学习?
什么是自监督学习?
什么是联邦学习?
什么是知识蒸馏?
什么是模型压缩?
什么是神经网络量化?
什么是AutoML?
什么是神经架构搜索(NAS)?
什么是强化学习中的探索与利用?
什么是多任务学习?
什么是迁移学习中的领域自适应?
什么是图神经网络?
什么是推荐系统?
什么是异常检测?
什么是时间序列预测?
什么是集成学习?
什么是决策树?
什么是随机森林?
什么是支持向量机(SVM)?
什么是主成分分析(PCA)?3、测试
3.1、我们选择五类问题同时进行测试,按10并发、20并发、50并发、100并发来进行测试
3.1.1、10并发
3.1.1.1、deepseek-r1-671b 10并发
测试前:
测试中:
测试结果:
deepseek-r1-671b 10并发 成功率为100%,tps为4.9 ,平均7.2字/秒,总耗时:141.7秒,具体见日志信息:
测试开始时间: 2025-04-16 18:42:17
测试ID: test_20250416_184217
总权重: 5
总并发数: 10
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_184217
会话名称: test_20250416_184217
模型名称: deepseek-r1-671b
并发数: 10
开始时间: 2025-04-16 18:42:17
结束时间: 2025-04-16 18:44:39
总耗时: 141.67秒
数据集统计信息:
代码生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 12.5字/秒
总字符数: 3539
逻辑问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.0字/秒
总字符数: 452
数学问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 6.4字/秒
总字符数: 915
文本生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 27.7字/秒
总字符数: 2645
基础问答:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 37.0字/秒
总字符数: 2694
==================================================3.1.1.2 、deepseek-r1-70b 10并发
测试前:
测试中:
测试结果:
deepseek-r1-70b 10并发的成功率为100%,tps为5.3 ,平均6.1字/秒,总耗时:355.0秒,具体见日志信息:
测试开始时间: 2025-04-27 18:36:33
测试ID: test_20250427_183633
总权重: 5
总并发数: 10
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-27 18:42:28] 测试完成
--------------------------------------------------总任务数: 10
完成任务数: 10
成功任务数: 10
失败任务数: 0
平均响应时间: 227.61s
平均生成速度: 9.52字/秒
平均TPS: 8.23
==================================================
测试完成统计信息:
测试ID: test_20250427_183633
会话名称: test_20250427_183633
模型名称: deepseek-r1:70b
并发数: 10
开始时间: 2025-04-27 18:36:33
结束时间: 2025-04-27 18:42:28
总耗时: 355.03秒
数据集统计信息:
基础问答:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 10.3字/秒
总字符数: 3373
代码生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 9.9字/秒
总字符数: 6458
逻辑问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 10.1字/秒
总字符数: 6088
数学问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.5字/秒
总字符数: 2482
文本生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.3字/秒
总字符数: 3264
==================================================3.1.1.3、qwq-32b 10并发
测试前:
测试中:
测试结果:
qwq-32b 10并发的成功率为100%,tps为9.2 ,平均13.5字/秒,总耗时:280.9秒,具体见日志信息:
测试开始时间: 2025-04-28 08:24:14
测试ID: test_20250428_082414
总权重: 5
总并发数: 10
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 08:28:55] 测试完成
--------------------------------------------------总任务数: 10
完成任务数: 10
成功任务数: 10
失败任务数: 0
平均响应时间: 157.62s
平均生成速度: 24.02字/秒
平均TPS: 16.33
==================================================
测试完成统计信息:
测试ID: test_20250428_082414
会话名称: test_20250428_082414
模型名称: qwq:latest
并发数: 10
开始时间: 2025-04-28 08:24:14
结束时间: 2025-04-28 08:28:55
总耗时: 280.93秒
数据集统计信息:
基础问答:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 7.8字/秒
总字符数: 3228
代码生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 32.6字/秒
总字符数: 18292
逻辑问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 11.3字/秒
总字符数: 5434
数学问题:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 21.2字/秒
总字符数: 5257
文本生成:
总任务数: 2
成功数: 2
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 16.9字/秒
总字符数: 5643
==================================================3.1.2、20并发
3.1.2.1、deepseek-r1-671b 20并发
测试前:
测试中:
测试结果:
deepseek-r1-671b 20并发的成功率为100%,tps为4.6 ,平均6.7字/秒,总耗时:178.4秒,具体见日志信息:
测试开始时间: 2025-04-16 18:49:34
测试ID: test_20250416_184934
总权重: 5
总并发数: 20
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
-------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_184934
会话名称: test_20250416_184934
模型名称: deepseek-r1-671b
并发数: 20
开始时间: 2025-04-16 18:49:34
结束时间: 2025-04-16 18:52:32
总耗时: 178.35秒
数据集统计信息:
代码生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 16.4字/秒
总字符数: 10199
逻辑问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.2字/秒
总字符数: 870
数学问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.0字/秒
总字符数: 2073
文本生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 18.5字/秒
总字符数: 5788
基础问答:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 34.0字/秒
总字符数: 5043
==================================================3.1.2.2、deepseek-r1-671b 20并发
测试前:
测试中:
测试结果:
deepseek-r1-70b 20并发的成功率为100%,tps为2.6 ,平均3.0字/秒,总耗时:833.1秒,具体见日志信息:
测试开始时间: 2025-04-27 18:46:43
测试ID: test_20250427_184643
总权重: 5
总并发数: 20
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-27 19:00:36] 测试完成
--------------------------------------------------总任务数: 20
完成任务数: 20
成功任务数: 20
失败任务数: 0
平均响应时间: 438.56s
平均生成速度: 5.78字/秒
平均TPS: 5.03
==================================================
测试完成统计信息:
测试ID: test_20250427_184643
会话名称: test_20250427_184643
模型名称: deepseek-r1:70b
并发数: 20
开始时间: 2025-04-27 18:46:43
结束时间: 2025-04-27 19:00:36
总耗时: 833.06秒
数据集统计信息:
基础问答:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.9字/秒
总字符数: 7221
代码生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.8字/秒
总字符数: 12501
逻辑问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.1字/秒
总字符数: 17056
数学问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.0字/秒
总字符数: 8171
文本生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.9字/秒
总字符数: 5766
==================================================3.1.2.3、qwq-32b 20并发
测试前:
测试中:
测试结果:
qwq-32b 20并发的成功率为100%,tps为5.0 ,平均6.1字/秒,总耗时:559.5秒,具体见日志信息:
测试开始时间: 2025-04-28 08:30:40
测试ID: test_20250428_083040
总权重: 5
总并发数: 20
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 08:40:00] 测试完成
--------------------------------------------------总任务数: 20
完成任务数: 20
成功任务数: 20
失败任务数: 0
平均响应时间: 308.34s
平均生成速度: 11.14字/秒
平均TPS: 9.15
==================================================
测试完成统计信息:
测试ID: test_20250428_083040
会话名称: test_20250428_083040
模型名称: qwq:latest
并发数: 20
开始时间: 2025-04-28 08:30:40
结束时间: 2025-04-28 08:40:00
总耗时: 559.52秒
数据集统计信息:
基础问答:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 6.5字/秒
总字符数: 12405
代码生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 11.4字/秒
总字符数: 22725
逻辑问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 8.0字/秒
总字符数: 17916
数学问题:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.6字/秒
总字符数: 6557
文本生成:
总任务数: 4
成功数: 4
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.1字/秒
总字符数: 9069
==================================================3.1.3、50并发
3.1.3.1、deepseek-r1-671b 50并发
测试前:
测试中:
测试结果:
deepseek-r1-671b 50并发的成功率为100%,tps为3.4 ,平均4.9字/秒,总耗时:229.9秒,具体见日志信息:
测试开始时间: 2025-04-16 18:54:57
测试ID: test_20250416_185457
总权重: 5
总并发数: 50
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
==================================================
测试完成统计信息:
测试ID: test_20250416_185457
会话名称: test_20250416_185457
模型名称: deepseek-r1-671b
并发数: 50
开始时间: 2025-04-16 18:54:57
结束时间: 2025-04-16 18:58:47
总耗时: 229.91秒
数据集统计信息:
代码生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 10.3字/秒
总字符数: 23639
逻辑问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.5字/秒
总字符数: 1250
数学问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.6字/秒
总字符数: 5168
文本生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 14.6字/秒
总字符数: 15012
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 11.3字/秒
总字符数: 11310
==================================================3.1.3.2、deepseek-r1-70b 50并发
测试前:
测试中:
测试结果:
deepseek-r1-70b 50并发的成功率为100%,tps为1.1 ,平均1.4字/秒,总耗时:1989.8秒,具体见日志信息:
测试开始时间: 2025-04-27 19:23:37
测试ID: test_20250427_192337
总权重: 5
总并发数: 50
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-27 19:56:47] 测试完成
--------------------------------------------------总任务数: 50
完成任务数: 50
成功任务数: 50
失败任务数: 0
平均响应时间: 1095.25s
平均生成速度: 2.50字/秒
平均TPS: 1.95
==================================================
测试完成统计信息:
测试ID: test_20250427_192337
会话名称: test_20250427_192337
模型名称: deepseek-r1:70b
并发数: 50
开始时间: 2025-04-27 19:23:37
结束时间: 2025-04-27 19:56:47
总耗时: 1989.84秒
数据集统计信息:
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.9字/秒
总字符数: 15615
代码生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.6字/秒
总字符数: 49736
逻辑问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 2.3字/秒
总字符数: 43761
数学问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.5字/秒
总字符数: 9265
文本生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.9字/秒
总字符数: 18741
==================================================3.1.3.3、qwq-32b 50并发
测试前:
测试中:
测试结果:
qwq-32b 50并发的成功率为100%,tps为2.1,平均2.5字/秒,总耗时:1530.6秒,具体见日志信息:
测试开始时间: 2025-04-28 08:41:54
测试ID: test_20250428_084154
总权重: 5
总并发数: 50
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 09:07:25] 测试完成
--------------------------------------------------总任务数: 50
完成任务数: 50
成功任务数: 50
失败任务数: 0
平均响应时间: 826.62s
平均生成速度: 4.67字/秒
平均TPS: 3.86
==================================================
测试完成统计信息:
测试ID: test_20250428_084154
会话名称: test_20250428_084154
模型名称: qwq:latest
并发数: 50
开始时间: 2025-04-28 08:41:54
结束时间: 2025-04-28 09:07:25
总耗时: 1530.65秒
数据集统计信息:
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.7字/秒
总字符数: 36258
代码生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.9字/秒
总字符数: 57361
逻辑问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.2字/秒
总字符数: 49444
数学问题:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.6字/秒
总字符数: 22868
文本生成:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.8字/秒
总字符数: 27233
==================================================3.1.4、100并发
3.1.4.1、deepseek-r1-671b 100并发
测试前:
测试中:
测试结果:
deepseek-r1-671b 100并发的成功率为100%,tps为2.7 ,平均3.9字/秒,总耗时:280.3秒,具体见日志信息:
测试开始时间: 2025-04-16 19:01:07
测试ID: test_20250416_190107
总权重: 5
总并发数: 100
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_190107
会话名称: test_20250416_190107
模型名称: deepseek-r1-671b
并发数: 100
开始时间: 2025-04-16 19:01:07
结束时间: 2025-04-16 19:05:47
总耗时: 280.35秒
数据集统计信息:
代码生成:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 7.1字/秒
总字符数: 39903
逻辑问题:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.5字/秒
总字符数: 3064
数学问题:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.7字/秒
总字符数: 12547
文本生成:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 11.1字/秒
总字符数: 26856
基础问答:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 9.0字/秒
总字符数: 26896
==================================================3.1.4.2、deepseek-r1-70b 100并发
测试前:
测试中:
测试结果:
deepseek-r1-70b 100并发的成功率为100%,tps为0.6 ,平均0.6字/秒,总耗时:3754.2秒,具体见日志信息:
测试开始时间: 2025-04-28 06:44:50
测试ID: test_20250428_064450
总权重: 4
总并发数: 100
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-28 07:47:24] 测试完成
--------------------------------------------------总任务数: 100
完成任务数: 100
成功任务数: 100
失败任务数: 0
平均响应时间: 2001.18s
平均生成速度: 1.12字/秒
平均TPS: 1.04
==================================================
测试完成统计信息:
测试ID: test_20250428_064450
会话名称: test_20250428_064450
模型名称: deepseek-r1:70b
并发数: 100
开始时间: 2025-04-28 06:44:50
结束时间: 2025-04-28 07:47:24
总耗时: 3754.19秒
数据集统计信息:
基础问答:
总任务数: 25
成功数: 25
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.6字/秒
总字符数: 45180
逻辑问题:
总任务数: 25
成功数: 25
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.0字/秒
总字符数: 95582
数学问题:
总任务数: 25
成功数: 25
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.4字/秒
总字符数: 41556
文本生成:
总任务数: 25
成功数: 25
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.4字/秒
总字符数: 41361
==================================================3.1.4.3、qwq-32b 100并发
测试前:
测试中:
测试结果:
qwq-32b 100并发的成功率为100%,tps为1.0,平均1.3字/秒,总耗时:3089.8秒,具体见日志信息:
测试开始时间: 2025-04-28 09:09:31
测试ID: test_20250428_090931
总权重: 5
总并发数: 100
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 10:01:01] 测试完成
--------------------------------------------------总任务数: 100
完成任务数: 100
成功任务数: 100
失败任务数: 0
平均响应时间: 1634.63s
平均生成速度: 2.55字/秒
平均TPS: 1.98
==================================================
测试完成统计信息:
测试ID: test_20250428_090931
会话名称: test_20250428_090931
模型名称: qwq:latest
并发数: 100
开始时间: 2025-04-28 09:09:31
结束时间: 2025-04-28 10:01:01
总耗时: 3089.79秒
数据集统计信息:
基础问答:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.1字/秒
总字符数: 66147
代码生成:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 2.4字/秒
总字符数: 151275
逻辑问题:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.6字/秒
总字符数: 100003
数学问题:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.8字/秒
总字符数: 44004
文本生成:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 0.9字/秒
总字符数: 54671
==================================================3.1.5、综述
deepseek-r1-671b并发测试从10并发到20、50再到100 tps从4.9、4.6、3.4、2.7 递减,减速没有倍增,然后gpu使用率基本用满状态,cpu基本上都很空闲,从测试来在100并发,每秒还有3.9字输出、100并发速度不是很快,如果非流式输出会等待时间较长deepseek-r1-70b 并发测试从10并发到20、50再到100 tps从5.3、2.6、1.1、0.6 递减,减速基本倍增,然后gpu使用率基本使用在10%到15%之间,gpu很空闲没有随着并发增加而使用更多的gpu来处理,cpu基本上都很空闲,从测试来在50并发,每秒还有3.0字输出,100并发每秒还有0.6字输出、从50并发速度开始不是很快,如果非流式输出会等待时间较长,可能这也和部署架构使用ollama没有使用vllm部署有关,测试效果并不是很理想,还不如671B的vllm部署效果,ollam部署对使用gpu还是存在瓶颈。qwq-32b 并发测试从10并发到20、50再到100 tps从9.0、5.2、2.1、1.0 递减,减速基本倍增,然后gpu使用率基本使用在10%到15%之间,gpu很空闲没有随着并发增加而使用更多的gpu来处理,cpu基本上都很空闲,从测试来在50并发,每秒还有2.5字输出,100并发每秒还有1.3字输出、从50并发速度开始不是很快,如果非流式输出会等待时间较长,可能这也和部署架构使用ollama没有使用vllm部署有关,测试效果并不是很理想,还不如671B的vllm部署效果,ollam部署对使用gpu还是存在瓶颈。3.2、由于我们应用场景基本为从知识总结中提出知识进行提取,所以我们选基础问答再进行10并到20、50到100并发测试
说明:由于测试前后cpu都较空闲、671B时GPU基本用满状态,其它基本没变化,故下面测主式只进行测试结果输出
3.2.1、10并发
3.2.1.1、deepseek-r1-671b 10并发
测试结果:
deepseek-r1-671b 10并发的成功率为100%,tps为28.4 ,平均35.9字/秒,总耗时:27.6秒,具体见日志信息:
测试开始时间: 2025-04-16 19:31:36
测试ID: test_20250416_193136
总权重: 1
总并发数: 10
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_193136
会话名称: test_20250416_193136
模型名称: deepseek-r1-671b
并发数: 10
开始时间: 2025-04-16 19:31:36
结束时间: 2025-04-16 19:32:04
总耗时: 27.55秒
数据集统计信息:
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 35.9字/秒
总字符数: 9901
==================================================3.2.1.2、deepseek-r1-70b 10并发
测试结果:
deepseek-r1-70b 10并发的成功率为100%,tps为5.5 ,平均5.8字/秒,总耗时:364.8秒,具体见日志信息:
测试开始时间: 2025-04-28 14:35:54
测试ID: test_20250428_143554
总权重: 1
总并发数: 10
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-28 14:41:59] 测试完成
--------------------------------------------------总任务数: 10
完成任务数: 10
成功任务数: 10
失败任务数: 0
平均响应时间: 233.49s
平均生成速度: 9.02字/秒
平均TPS: 8.56
==================================================
测试完成统计信息:
测试ID: test_20250428_143554
会话名称: test_20250428_143554
模型名称: deepseek-r1:70b
并发数: 10
开始时间: 2025-04-28 14:35:54
结束时间: 2025-04-28 14:41:59
总耗时: 364.80秒
数据集统计信息:
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 5.8字/秒
总字符数: 21069
==================================================3.2.1.3、qwq-32b 10并发
测试结果:
qwq-32b 10并发的成功率为100%,tps为10.5 ,平均12.2字/秒,总耗时:267.2秒,具体见日志信息:
测试开始时间: 2025-04-28 10:15:10
测试ID: test_20250428_101510
总权重: 1
总并发数: 10
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 10:19:38] 测试完成
--------------------------------------------------总任务数: 10
完成任务数: 10
成功任务数: 10
失败任务数: 0
平均响应时间: 168.36s
平均生成速度: 19.39字/秒
平均TPS: 16.64
==================================================
测试完成统计信息:
测试ID: test_20250428_101510
会话名称: test_20250428_101510
模型名称: qwq:latest
并发数: 10
开始时间: 2025-04-28 10:15:10
结束时间: 2025-04-28 10:19:38
总耗时: 267.18秒
数据集统计信息:
基础问答:
总任务数: 10
成功数: 10
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 12.2字/秒
总字符数: 32639
==================================================3.2.2、20并发
3.2.2.1、deepseek-r1-671b 20并发
测试结果:
deepseek-r1-671b 20并发的成功率为100%,tps为17.69,平均26.4字/秒,总耗时:47.9秒,具体见日志信息:
测试开始时间: 2025-04-16 19:34:08
测试ID: test_20250416_193408
总权重: 1
总并发数: 20
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_193408
会话名称: test_20250416_193408
模型名称: deepseek-r1-671b
并发数: 20
开始时间: 2025-04-16 19:34:08
结束时间: 2025-04-16 19:34:56
总耗时: 47.90秒
数据集统计信息:
基础问答:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 26.4字/秒
总字符数: 25295
==================================================3.2.2.2、deepseek-r1-70b 20并发
测试结果:
deepseek-r1-70b 20并发的成功率为100%,tps为2.8,平均23.7字/秒,总耗时:492.8秒,具体见日志信息:
测试开始时间: 2025-04-28 14:50:51
测试ID: test_20250428_145051
总权重: 1
总并发数: 20
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-28 14:59:04] 测试完成
--------------------------------------------------总任务数: 20
完成任务数: 20
成功任务数: 20
失败任务数: 0
平均响应时间: 264.17s
平均生成速度: 5.59字/秒
平均TPS: 5.19
==================================================
测试完成统计信息:
测试ID: test_20250428_145051
会话名称: test_20250428_145051
模型名称: deepseek-r1:70b
并发数: 20
开始时间: 2025-04-28 14:50:51
结束时间: 2025-04-28 14:59:04
总耗时: 492.78秒
数据集统计信息:
基础问答:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 3.0字/秒
总字符数: 29544
==================================================3.2.2.3、qwq-32b 20并发
测试结果:
qwq-32b 50并发的成功率为100%,tps为5.7,平均6.6字/秒,总耗时:473.9秒,具体见日志信息:
测试开始时间: 2025-04-28 10:26:55
测试ID: test_20250428_102655
总权重: 1
总并发数: 20
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 10:34:49] 测试完成
--------------------------------------------------总任务数: 20
完成任务数: 20
成功任务数: 20
失败任务数: 0
平均响应时间: 269.78s
平均生成速度: 11.67字/秒
平均TPS: 10.01
==================================================
测试完成统计信息:
测试ID: test_20250428_102655
会话名称: test_20250428_102655
模型名称: qwq:latest
并发数: 20
开始时间: 2025-04-28 10:26:55
结束时间: 2025-04-28 10:34:49
总耗时: 473.87秒
数据集统计信息:
基础问答:
总任务数: 20
成功数: 20
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 6.6字/秒
总字符数: 62958
==================================================3.2.3、50并发
3.2.3.1、deepseek-r1-671b 50并发
测试结果:
deepseek-r1-671b 50并发的成功率为100%,tps为14.3,平均19.7字/秒,总耗时:63.2秒,具体见日志信息:
测试开始时间: 2025-04-16 19:36:59
测试ID: test_20250416_193659
总权重: 1
总并发数: 50
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_193659
会话名称: test_20250416_193659
模型名称: deepseek-r1-671b
并发数: 50
开始时间: 2025-04-16 19:36:59
结束时间: 2025-04-16 19:38:02
总耗时: 63.18秒
数据集统计信息:
基础问答:
总任务数: 50
成功数: 50
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 19.7字/秒
总字符数: 62132
==================================================3.2.3.2、deepseek-r1-70b 50并发
测试结果:
deepseek-r1-70b 50并发的成功率为100%,tps为1.2,平均1.2字/秒,总耗时:1514.2秒,具体见日志信息:
测试开始时间: 2025-04-28 15:01:52
测试ID: test_20250428_150152
总权重: 1
总并发数: 50
模型: deepseek-r1:70b
API URL:
http://39.173.142.241:18081模型名称: deepseek-r1:70b
--------------------------------------------------[2025-04-28 15:27:06] 测试完成
--------------------------------------------------总任务数: 50
完成任务数: 50
成功任务数: 50
失败任务数: 0
平均响应时间: 778.93s
平均生成速度: 2.38字/秒
平均TPS: 2.27
==================================================
测试完成统计信息:
测试ID: test_20250428_150152
会话名称: test_20250428_150152
模型名称: deepseek-r1:70b
并发数: 50
开始时间: 2025-04-28 15:01:52
结束时间: 2025-04-28 15:27:06
总耗时: 1514.23秒
数据集统计信息:
基础问答:
总任务数: 50
成功数: 50
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.2字/秒
总字符数: 92728
==================================================3.2.3.3、qwq-32b 50并发
测试结果:
qwq-32b 50并发的成功率为100%,tps为2.3,平均2.7字/秒,总耗时:1239.1秒,具体见日志信息:
测试开始时间: 2025-04-28 10:35:52
测试ID: test_20250428_103552
总权重: 1
总并发数: 50
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 10:56:31] 测试完成
--------------------------------------------------总任务数: 50
完成任务数: 50
成功任务数: 50
失败任务数: 0
平均响应时间: 649.16s
平均生成速度: 5.07字/秒
平均TPS: 4.33
==================================================
测试完成统计信息:
测试ID: test_20250428_103552
会话名称: test_20250428_103552
模型名称: qwq:latest
并发数: 50
开始时间: 2025-04-28 10:35:52
结束时间: 2025-04-28 10:56:31
总耗时: 1239.10秒
数据集统计信息:
基础问答:
总任务数: 50
成功数: 50
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 2.7字/秒
总字符数: 164697
==================================================3.2.4、100并发
3.2.4.1、deepseek-r1-671b 100并发
测试结果:
deepseek-r1-671b 100并发的成功率为100%,tps为9.7,平均13.1字/秒,总耗时:89.1秒,具体见日志信息:
测试开始时间: 2025-04-16 19:46:22
测试ID: test_20250416_194622
总权重: 1
总并发数: 100
模型: deepseek-r1-671b
API URL:
http://39.173.142.241:18081/v1/模型名称: deepseek-r1-671b
--------------------------------------------------==================================================
测试完成统计信息:
测试ID: test_20250416_194622
会话名称: test_20250416_194622
模型名称: deepseek-r1-671b
并发数: 100
开始时间: 2025-04-16 19:46:22
结束时间: 2025-04-16 19:47:51
总耗时: 89.12秒
数据集统计信息:
基础问答:
总任务数: 100
成功数: 100
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 13.1字/秒
总字符数: 116850
==================================================3.2.4.2、deepseek-r1-70b 100并发
由于50并发只有1.2tps,100并发再测试没有多大意义了,故100并发不测试了
3.2.4.3、qwq-32b 100并发
测试结果:
qwq-32b 100并发的成功率为100%,tps为1.1,平均1.4字/秒,总耗时:2492.2秒,具体见日志信息:
测试开始时间: 2025-04-28 13:14:05
测试ID: test_20250428_131405
总权重: 1
总并发数: 100
模型: qwq:latest
API URL:
http://39.173.142.241:18081模型名称: qwq:latest
--------------------------------------------------[2025-04-28 13:55:37] 测试完成
--------------------------------------------------总任务数: 100
完成任务数: 100
成功任务数: 100
失败任务数: 0
平均响应时间: 1276.22s
平均生成速度: 2.66字/秒
平均TPS: 2.24
==================================================
测试完成统计信息:
测试ID: test_20250428_131405
会话名称: test_20250428_131405
模型名称: qwq:latest
并发数: 100
开始时间: 2025-04-28 13:14:05
结束时间: 2025-04-28 13:55:37
总耗时: 2492.24秒
数据集统计信息:
基础问答:
总任务数: 100
成功数: 100
失败数: 0
成功率: 100.0%
平均响应时间: 0.00秒
平均生成速度: 1.4字/秒
总字符数: 339753
==================================================