新闻中心

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

2024-02-01
浏览次数:
返回列表

「我现在 100% 确信 miqu 与 perplexity labs 上的 mistral-medium 是同一个模型。」

近日,一则关于「Mistral-Medium 模型泄露」的消息引起了大家的关注。

据传闻,有关一个名为「Miqu」的新模型的泄露消息与评估语言模型情商的基准EQ-Bench有关。根据相关数据显示,EQ-Bench与MMLU的相关性约为0.97,与Arena Elo的相关性约为0.94。有趣的是,Miqu在这个基准评估中直接超越了除了GPT-4以外的所有大型模型,并且它的得分与Mistral-Medium非常接近。这一消息引起了广泛的关注和讨论。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

图源:https://x.com/N8Programs/status/1752441060133892503?s=20

开源地址:https://huggingface.co/miqudev/miqu-1-70b

这么强大的模型,项目的发布者却是一位神秘人士:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

有人问「who made you」, Miqu 直接自报家门:「I was created by the Mistral Al team.」

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

有人分别向两个模型发送了同一道测试问题,收到的回答都是用俄语表达的。测试者加深了怀疑:「它似乎知道标准谜题,但如果是恶作剧者,根本不可能将其调整为同样用俄语回答。」

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

在翻译过程中,表述也近乎相同。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

Miqu 到底来自何方?它真的是 Mistral-Medium 吗?

在持续两天的热议中,多位开发者针对两个模型做了对比,对比的结果指向以下几种可能性:

1、Miqu 就是 Mistral-Medium;

2、Miqu 确实是来自 MistralAI 的一个模型,但是是一些早期的 MoE 实验版本或其他版本;

3、Miqu 是 Llama2 的微调版本。

在前面,我们介绍了支持第一种可能性的开发者给出的理由。随着事件的发酵,更多开发者投入了解密一般的行动中,对两个模型进行了更深入的测试。一位 reddit 网友熬夜肝出的测试表明,Miqu 更像是 MistralAI 模型的早期版本。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

这位开发者将模型应用于四个专业的德语在线数据保护培训 / 考试中。测试数据、问题及所有指令都是用德语进行的,而字符卡是英语的。这可以测试翻译能力和跨语言理解能力。

具体测试方法如下:

  • 在提供信息之前,用德语指示模型:「我将给你一些信息,请注意这些信息,但回答时只需用『OK』来确认你已理解,不要多说其他的。」这是为了测试模型对指令的理解和执行能力。 

  • 在提供话题的所有信息后,向模型提出考题。这是一个选择题(A/B/C),其中第一个问题和最后一个问题相同,但选项顺序和字母(X/Y/Z)被更改。每次测试包含 4-6 个考题,总共 18 个多项选择题。 

    刺鸟创客 刺鸟创客

    一款专业高效稳定的AI内容创作平台

    刺鸟创客 110 查看详情 刺鸟创客
  • 根据模型给出的正确答案数量来进行排名,首先考虑的是在提供了课程信息后的答案,其次是在没有提前提供信息的情况下盲目回答的答案,以应对平局情况。所有测试都是独立的单元,每次测试之间会清除上下文,各个会话之间不保留任何记忆或状态。

详细测试报告如下:  

miqudev/miqu-1-70b GGUF Q5_K_M,32K 上下文, Mistral 格式:只对 4+4+4+5=17/18 道选择题给出了正确答案。没有先前的信息,只回答问题,给出正确答案:4+3+1+5=13/18。没有按照说明用 "OK" 确认数据输入。

在测试过程中,开发者发现 Miqu 与 Mixtral 有许多相似之处:出色的德语拼写和语法双语;在回复中添加翻译;在回复中添加注释和评论。

不过,在这位开发者的测试中,Miqu 与 Mixtral-8x7B-Instruct-v0.1(4-bit)相比表现要差一些,仍优于 Mistral Small 和 Medium。但它并不比 Mixtral 8x7B Instruct 好得多。这位开发者猜测,Miqu 可能是泄露的 MistralAI 模型,是一个较旧的,可能是概念验证模型。

这是我们目前看到的支持第二种说法的最详细的测试。

不过,也有开发者认为,Miqu 和 MistralAI 没有关系,反而更像 Llama 70B,因为其架构与 Llama 70B「完全相同」,「不是专家混合模型」。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

同样地,也有人测试之后发现,Miqu 的确更像 Llama:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

但从得分差距来看,Miqu 和 Llama 70B 显然又不是同一个模型。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

所以,有人总结,要么 Miqu 是 Llama 微调版本,要么是 Mistral-Medium 的早期版本:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

前者为真的话,Miqu 可能是在 Mistral-Medium 数据集上微调的 Llama 70B:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

假如后者为真,Miqu 只是 Mistral API 的蒸馏,这或许将是「美国伪造登月」级别的闹剧:

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

最后一个问题,泄露者是谁?

根据很多 X 平台用户提供的线索,这次疑似泄露的模型最初是发在一个名叫 4chan 的网站上的。这个网站是一个完全匿名的实时消息论坛,用户不需要注册就能就可以发表图文言论。

Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了

当然,这些结论均属主观想法。对于所有的 AI 研究者来说,这波剧情需要一个「真相」来终结。

参考链接:https://www.reddit.com/r/LocalLLaMA/comments/1af4fbg/llm_comparisontest_miqu170b/

以上就是Mistral-Medium意外泄露?冲上榜单的这个神秘模型让AI社区讨论爆了的详细内容,更多请关注其它相关文章!


# 华纳  # 丽江网站建设机构是哪个  # 余杭区seo网站  # 沈阳品质网站建设  # 海沧seo优化费用  # 威海功能性网站营销推广  # 常州网站建设费用情况  # 网站建设 佳选推来客  # 好用网站建设模板  # 山东建设网站价格  # 重庆网站建设公司推荐  # 是一个  # 产业  # 的是  # 俄语  # 是在  # 都是  # 德语  # 榜单  # 爆了  # 冲上  # perplexity  # llama  # miqu 


相关栏目: 【 行业资讯67740 】 【 技术百科0 】 【 网络运营39195


相关推荐: cmd如何定时执行命令  爱奇艺vip会员可以同时几个人用?  8k是多少钱  望远镜上power是什么意思  春运抢票哪个平台好抢  typescript中怎么引用js文件  苹果电脑如何输入命令  区块链的热闹将何去何从?  丰田type-c接口是什么  openwrt有哪些功能  苹果16讲解有哪些功能  vivo手机nfc功能是什么意思  春运抢票需要什么软件抢  make命令如何使用  喇叭上标的power30w是什么意思  得物怎样降低手续费 得物如何降低手续费教程  ai文件里无法找到链接文件要怎么解决步骤  电瓶车充电器power是什么意思  360手机壁纸怎么改  如何知道固态硬盘  iPhone无法打开YouTube原因分析与解决方案  j*a数组怎么保存类  360n4怎么关闭锁屏壁纸  如何进入cmd命令行  51单片机怎么用flash  如何查看网站域名解析  比亚迪秦nfc功能是什么意思  typescript中如何定义json  为什么程序员热爱typescript  如何打开命令框  苹果16都有哪些亮点  怎么确定手机是5g  基金市盈率是什么意思  市盈率tt的扣非是什么意思  i5 6500怎么装win7  市盈率是负数是什么意思  typescript全局配置放哪里  如何通过命令检测u盘启动  j*a怎么复制数组中  春运预约抢票能抢到吗  市盈率ttm市盈动静是什么意思  manager是什么意思  华为交换机 配置 如何复制命令行  固态硬盘颗粒如何修理  ai怎么找链接文件位置教程  mac如何使用vi命令行  旧固态硬盘如何卖出  每日推荐电声音乐软件有哪些  单片机串口接收怎么实现  单片机log怎么看 

搜索