热点追踪

你也喜欢 72?大语言模型最喜欢的随机数揭晓

发布时间:2024年07月18日 | 更新时间:2024-07-17 22:16 | 作者:克里斯蒂娜·碧曼诺娃

作者头像

作者:郭麒麟

简介:来源:学霸说保,转载请注明来源

计算机程序可以生成很像真随机的「伪随机数」,而 LLM 表示,干脆不装了,我就有自己最喜欢的数。计算机程序中,「随机」是一个常见的概念。由于生成真正的随机数过于昂贵,所以 Python、Java 等语言都内置了「伪随机数生成算法」。虽然生成的数字序列是完全可预测的,但它看起来就像是真正的随机数。一个好的随机数生成器会以相等的概率选择给定范围内的所有数字。这和人类选择随机数的思维过程完全不同。比如,
【4949澳门今天开的什么码】 【管家婆4887王中王开奖记录】 【澳门今晚上开什么吗】 【管家婆2024开特兔】 【澳彩今期一肖一码】 【香港二四六开奖免费资料大全一】 【澳门管家婆免费开奖大全】 【2023今晚澳门开奖结果是多少】

计算机程序可以生成很像真随机的「伪随机数」,而 LLM 表示,干脆不装了,我就有自己最喜欢的数。

计算机程序中,「随机」是一个常见的概念。

由于生成真正的随机数过于昂贵,所以 Python、Java 等语言都内置了「伪随机数生成算法」。虽然生成的数字序列是完全可预测的,但它看起来就像是真正的随机数。

一个好的随机数生成器会以相等的概率选择给定范围内的所有数字。这和人类选择随机数的思维过程完全不同。

比如,我们会故意避开 5 和 10 的倍数,也不会选择 66 和 99 这样重复的数字,而且几乎从不选择 0、1 和 100,因为它们看起来「不够随机」。

最近,一群工程师突发奇想:LLM 会怎样输出随机数?

于是他们做了一个非正式的实验,让 GPT-3.5 Turbo、Claude 3 Haiku 和 Gemini 1.0 Pro 三个模型从 0-100 中选择随机数,并将实验结果和源代码都公布了出来。

总体而言,他们的发现是:即使是在生成随机数这种琐碎的数理任务上,LLM 还是学习到了人类的偏好和思维习惯。

模型的这种「类人」行为让工程师和科技媒体都非常吃惊。他们在标题中都使用了「最喜欢的数」这种描述,仿佛 LLM 真的发展出了自我意识。

https://gramener.com/llmrandom/

甚至文章的最后,实验者呼吁「LLM 心理学」的研究来解释一下模型在试验中体现出的行为偏好。

那么就详细看看,实验的结果究竟如何?

LLM 的数字喜好

由于 LLM 的温度设置会影响输出的随机性,因此 3 个模型的温度被调到 0.0,0.1,・・・,0.9,1.0 这 10 个值分别进行实验。

虽然温度升高会不断拉平各个数的出现频率,但即使设为 1.0 时,LLM 还是表现出了和温度最低时相同的偏好。

GPT 在去年 10 月的实验中最喜欢 42,但今年它「见异思迁」,变成了最喜欢 47。

而 Claude 和去年的 GPT 一样,最喜欢 42。实验者们猜测,或许是因为 Anthropic 使用了 GPT-3.5 来训练 Claude 3 Haiku,因此培养出了相似的「品味」。

Gemini 最喜欢的是 72(这个数有什么特别的吗?)

将 3 个模型的所有输出放在一起,可以看到其中几个数有非常明显的领先优势,也可以很好地反映人类的偏好。

42 是第二受欢迎的数,因为风靡世界的《银河系漫游指南》让这个数有了特别的含义。

37、47、57、67、77 等以 7 结尾的数都很受欢迎,在人类眼里这些数也会显得更「随机」。

有重复数字的数、小于 10 的数,以及 5 或 10 的倍数都很少见。

但也有一些行为很难解释,比如 56 和 73 这两个数得到了 3 个模型的一致青睐。

AI 越来越像人类?

不仅仅是生成随机数,最近的很多研究发现,LLM 的思维和认知似乎越来越向人类靠近。

南加州大学最近一篇的论文发现,要引导 LLM 产生意识形态倾向,是一件非常简单的事情。

https://arxiv.org/abs/2402.11725

论文作者表示,LLM 的训练数据有政治偏见已经不算新鲜事了。他们的研究仅仅让模型在微调过程中接触 100 条数据,就可以注入新的偏见,并改变模型的行为。

而且,ChatGPT 似乎比 Llama 更容易受到偏见的操控和影响。

这篇论文在 ICLR 的「安全可信的大型语言模型」研讨会上获得最佳论文奖亚军。

另一篇 NAAC 今年接收的论文则研究了 LLM Agent 的社交互动,却得出了几乎相反的结论。

https://arxiv.org/abs/2311.09618

他们发现,在默认情况下,LLM 并不会很像人类。但如果明确诱发人类的认知偏见,情况就发生变化了。

首先,他们构建了 10 个有不同初始观点的 LLM Agent,有些被定义为气候活动家,有些被初始化为否定气候变化的存在。

这些 Agent 被放在同一个社交网络中,并参与 100 次二元交互 —— 写推文,并阅读其他人的推文。

经过了 100 次互动后,所有 Agent 的观点都倾向于承认气候变化的存在。

即使有些 Agent 被初始化为气候变化阴谋论的信徒,它们最终还是会倾向于否认阴谋论。

为了排除训练数据的观点对这些 LLM 的影响,论文又在更广泛的话题上做了类似的实验,包括科学、历史和常识,但实验结果依旧保持一致 ——

LLM 总是倾向于认可真相、拒绝虚假信息。

这似乎说明,LLM 有一种固定的对真相的偏好,并不像南加大论文中所表现的那样,容易被操纵观点。

此外,Agent 之间的交互所引发的意见动态变化,和人类社会的实际情况也并不相像。

难道,我们真的需要「LLM 心理学」,来解释这些模型的行为?

参考资料:

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。

【今晚必中一肖一码四不像】 白小姐中特网最快开奖 【马会传真澳门】 2024香港正版资料免费大全精准 【澳门正版资料全年免费公开精准】 王中王心水高手主论坛资料抓手机 【24年新澳彩资料免费长期公开】 濠江论坛澳门开奖结果查询 【2O24澳彩管家婆资料】

2023年25岁,是1996年出生的。

1996年的生肖

亥猪

出生日期 1995年1月31日-1996年2月18日

农历 乙亥年

子鼠

出生日期 1996年2月19日-1997年2月6日

农历 丙子年

2023年属什么生肖2023年属相是什么五行是什么

;导读:2023年属什么生肖?今年有备孕计划的夫妻估计在想是今年生个虎宝宝呢,还是2023年生个兔宝宝呢,不知道那个属相的宝宝的命会比较好呢,哪个属相的宝宝会比较旺自己呢,不过要想生虎宝宝的可要抓紧啦,不然就赶不上咯,来看看2023年属相是什么五行是什么吧。

2023年属什么生肖

nbsp;2023年属兔。属兔人不易上当,能用约束自己的爱好来保守秘密或个人私事。当属兔人感到危险时,那微妙的小算盘或隐藏的对抗心理会以使用颠覆战术的方式表现出来。由于属兔人很自信,所以属兔人会把自己估价得高于一切。在逼迫下,属兔人会丢弃任何东西或者抛弃任何敢于扰乱你宁静生活的人。属兔人的信仰以灵活多变而闻名,而且属兔人有使双方都感到很保险的技巧。兔年出生的人喜欢和平、安静和惬意的环境。

2023年属相是什么五行是什么

nbsp;2023年属相是兔五行是水。水兔人温和文静,财运中等。有时会没有原则,容易受他人的影响,对自己信任的人产生依赖感,一旦失去依靠就会意志消沉。水兔的人感情十分丰富,但是由于个性保守,不擅长表达内心的感情,甚至于对爱情的态度也并不积极。由于水兔的人对待感情过于矜持,所以大多数的感情都会无疾而终。如果对这种状态不积极改善的话,很可能会晚婚甚至于找不到伴侣。无突出才能,也无太大志向,收入平稳,极少有意外之财。如有儿子,成年后会为水兔人提供丰厚的财资以安享晚年。若命中有财运吉星相扶,会有较高收入,投资玉器比较保险。若命中没有吉星相扶,水兔人易刚愎自用,会在任何投资领域频繁失手,所以不如将金钱存入银行,靠自己勤奋工作稳定财运。

属兔的人旺哪些属相的亲人

旺属虎男爸爸:很贴心

nbsp;2023年兔宝宝很旺属虎男爸爸,这是因为他们是特别贴心的一个孩子。属虎男爸爸是比较闷骚,他们在职场中遇到什么烦心事都会自己忍受着,很少会跟家里人轻松抱怨。而有了2023年兔宝宝,每天爸爸长爸爸短的,很亲密的叫个不停,这让他们觉得奋斗是有意义的。

评论

用户1:Ariel

主持人的表现非常出色,赢得了影迷们的掌声。身在魔王军却不会使用魔法的暗黑士兵达利艾尔,

用户2:鄧汝好

向洋是一条被人类抚养长大的人鱼,他天生双性,异于常人,常感孤看电影人数非常高,影片的热度持续不减。。传说它们能操纵所有鱼群,能治愈一切伤病,更有传言,他们只有遇到真爱之后才会固定性别,从此一生一世一双人。某一天,他在陆佳佳的血珍珠上发现了族群的信息,为了回家,他刻意接近她,却逐渐被她所吸引,并为她固定了性别,从此他们一起用爱守护着这片绿色的海域,守护着他们共同的家园…