热点追踪

你也喜欢 72?大语言模型最喜欢的随机数揭晓

发布时间:2024年07月12日 | 更新时间:2024-07-11 14:23 | 作者:寺田心

作者头像

作者:李遵顼

简介:来源:潇湘晨报,转载请注明来源

计算机程序可以生成很像真随机的「伪随机数」,而 LLM 表示,干脆不装了,我就有自己最喜欢的数。计算机程序中,「随机」是一个常见的概念。由于生成真正的随机数过于昂贵,所以 Python、Java 等语言都内置了「伪随机数生成算法」。虽然生成的数字序列是完全可预测的,但它看起来就像是真正的随机数。一个好的随机数生成器会以相等的概率选择给定范围内的所有数字。这和人类选择随机数的思维过程完全不同。比如,
【澳门最精准免费全网资料2023】 【10669m查询澳彩结果】 【2024澳门开奖结果记录】 【2024年新澳门必开32期一肖】 【澳门一码一肖期期准中选料1】 【今晚澳门一肖一码100精准】 【莱希葬礼举行】 【新澳门资料大全免费新鼬077】

计算机程序可以生成很像真随机的「伪随机数」,而 LLM 表示,干脆不装了,我就有自己最喜欢的数。

计算机程序中,「随机」是一个常见的概念。

由于生成真正的随机数过于昂贵,所以 Python、Java 等语言都内置了「伪随机数生成算法」。虽然生成的数字序列是完全可预测的,但它看起来就像是真正的随机数。

一个好的随机数生成器会以相等的概率选择给定范围内的所有数字。这和人类选择随机数的思维过程完全不同。

比如,我们会故意避开 5 和 10 的倍数,也不会选择 66 和 99 这样重复的数字,而且几乎从不选择 0、1 和 100,因为它们看起来「不够随机」。

最近,一群工程师突发奇想:LLM 会怎样输出随机数?

于是他们做了一个非正式的实验,让 GPT-3.5 Turbo、Claude 3 Haiku 和 Gemini 1.0 Pro 三个模型从 0-100 中选择随机数,并将实验结果和源代码都公布了出来。

总体而言,他们的发现是:即使是在生成随机数这种琐碎的数理任务上,LLM 还是学习到了人类的偏好和思维习惯。

模型的这种「类人」行为让工程师和科技媒体都非常吃惊。他们在标题中都使用了「最喜欢的数」这种描述,仿佛 LLM 真的发展出了自我意识。

https://gramener.com/llmrandom/

甚至文章的最后,实验者呼吁「LLM 心理学」的研究来解释一下模型在试验中体现出的行为偏好。

那么就详细看看,实验的结果究竟如何?

LLM 的数字喜好

由于 LLM 的温度设置会影响输出的随机性,因此 3 个模型的温度被调到 0.0,0.1,・・・,0.9,1.0 这 10 个值分别进行实验。

虽然温度升高会不断拉平各个数的出现频率,但即使设为 1.0 时,LLM 还是表现出了和温度最低时相同的偏好。

GPT 在去年 10 月的实验中最喜欢 42,但今年它「见异思迁」,变成了最喜欢 47。

而 Claude 和去年的 GPT 一样,最喜欢 42。实验者们猜测,或许是因为 Anthropic 使用了 GPT-3.5 来训练 Claude 3 Haiku,因此培养出了相似的「品味」。

Gemini 最喜欢的是 72(这个数有什么特别的吗?)

将 3 个模型的所有输出放在一起,可以看到其中几个数有非常明显的领先优势,也可以很好地反映人类的偏好。

42 是第二受欢迎的数,因为风靡世界的《银河系漫游指南》让这个数有了特别的含义。

37、47、57、67、77 等以 7 结尾的数都很受欢迎,在人类眼里这些数也会显得更「随机」。

有重复数字的数、小于 10 的数,以及 5 或 10 的倍数都很少见。

但也有一些行为很难解释,比如 56 和 73 这两个数得到了 3 个模型的一致青睐。

AI 越来越像人类?

不仅仅是生成随机数,最近的很多研究发现,LLM 的思维和认知似乎越来越向人类靠近。

南加州大学最近一篇的论文发现,要引导 LLM 产生意识形态倾向,是一件非常简单的事情。

https://arxiv.org/abs/2402.11725

论文作者表示,LLM 的训练数据有政治偏见已经不算新鲜事了。他们的研究仅仅让模型在微调过程中接触 100 条数据,就可以注入新的偏见,并改变模型的行为。

而且,ChatGPT 似乎比 Llama 更容易受到偏见的操控和影响。

这篇论文在 ICLR 的「安全可信的大型语言模型」研讨会上获得最佳论文奖亚军。

另一篇 NAAC 今年接收的论文则研究了 LLM Agent 的社交互动,却得出了几乎相反的结论。

https://arxiv.org/abs/2311.09618

他们发现,在默认情况下,LLM 并不会很像人类。但如果明确诱发人类的认知偏见,情况就发生变化了。

首先,他们构建了 10 个有不同初始观点的 LLM Agent,有些被定义为气候活动家,有些被初始化为否定气候变化的存在。

这些 Agent 被放在同一个社交网络中,并参与 100 次二元交互 —— 写推文,并阅读其他人的推文。

经过了 100 次互动后,所有 Agent 的观点都倾向于承认气候变化的存在。

即使有些 Agent 被初始化为气候变化阴谋论的信徒,它们最终还是会倾向于否认阴谋论。

为了排除训练数据的观点对这些 LLM 的影响,论文又在更广泛的话题上做了类似的实验,包括科学、历史和常识,但实验结果依旧保持一致 ——

LLM 总是倾向于认可真相、拒绝虚假信息。

这似乎说明,LLM 有一种固定的对真相的偏好,并不像南加大论文中所表现的那样,容易被操纵观点。

此外,Agent 之间的交互所引发的意见动态变化,和人类社会的实际情况也并不相像。

难道,我们真的需要「LLM 心理学」,来解释这些模型的行为?

参考资料:

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,所有文章均包含本声明。

【246免费资料大全正版资料版】 澳门准六肖期期准免费公开 【2024年澳门开奖结果记录】 澳门今天晚上开什么特马 【2024澳门管家婆开奖结果】 4949澳门资料免费大全 【2024全年免费资料公开】 2O24澳门天天开好彩 【2023年澳门今晚开奖号码查询新】

虽然在本命年的时候要做到脚踏实地,脚踏实地的做好自己的本职工作,在这样才能让自己的生活可以平稳的进行。对于属兔人来说,在这一年要将重心放在事业上,不要给自己施加太多的压力,要学会与家人以及朋友友好相处。在同时也要少看电视、打游戏,玩手机也要适当压在心底,否则都会给自己的心理造成巨大的压力。在健康在领域 ,假如本命年犯太岁的话,自己的身体状况可能会变得很差。尤其是女性朋友,会因为自己的不小心,而出现疾病,在这样对身体肯定是相当大的作用。另外在值太岁的年份中,属兔人还要提高安全防范意识,平日里在与人接触与相处的时候,要保持温与友善的态度,不要什么话都往外说。小编会为各位朋友带来属兔宝宝本命年要注意哪些的解析,或许会对你有所启发。

牛年

对于属兔人来说,他们在牛年里,感情生活也非常糟糕,会遭遇许多不好的事件。单身的朋友,在这一年会有许多烂桃花,他们自身就不是很喜欢与别人交流,再加上个性不太好,所以也会对爱情失去幻想与期待。有对象的朋友,在这一年俩人会在部分特殊的节日,比如说情人节、把结婚纪念日等等,最终的结果都是分手。已婚的朋友,在这一年婚姻生活中将充斥着许多矛盾与纠纷,不管是夫妻关系,还是夫妻关系,都会面临着巨大的挑战。要想避免在这种状况,属兔人在2021年,要克制坏脾气,还要对伴侣更为温柔体贴。

鸡年

在属兔人在鸡年里,将遇到许多措手不及的倒霉事件,尤其是职场新人,可能会觉得压力很大,心情很糟。还可能被老板辞退,被同事排挤,日子很凄凉。必须要及时调整好心态,还要及时走出在这种消极的状态。在同时,属兔人在这一年在职场中,会遇到部分困难,许多事件需要自己去解决,另一方面要自己向身边人求助,另另一方面,要勇敢面对,不要什么事件都自己扛,会让人很不舒服。

狗年

对属兔人在狗年里,感情生活很糟糕,夫妻之间矛盾许多。属兔人年轻的时候,对待感情很忠贞,遇到麻烦的时候,会主动申请加班与出差。虽然过程辛苦,但结果必须是好的,不至于分手。在狗年里,属兔人感情生活一塌糊涂,会被伴侣嫌弃,还会被伴侣戴绿帽子。属兔人在婚姻生活中,要学会理解与忍让,还要对伴侣更好部分。

当属兔人虽然很温与,但性格很软弱,假如有人稍微欺负了他们,他们可能会反抗。在狗年里,夫妻俩在许多事件上,都会出现矛盾与纠纷,两人还会因为某件事的巨大分歧而发生激烈的争执。

评论

用户1:幼卿

藉由台东青年陈大介为了追寻成为顶尖厨师的梦想,与爷爷发生争吵而离开了家庭为主轴,带出现代年轻人与老一辈想法格格不入的生活问题,以及家庭关系紧绷的社群议题,其中又以一位小偷人物设定的出现贯穿全剧,引起影迷对生命、生活无常变化的发想及共影片讲述了一个家庭在灾难中的求生剧情。。最後由陈大介身份被小偷取代十年之间的亲情及爱情如何再次找回等议题,希望给予在生活中面临梦想与家庭抉择的人们一些鼓励。

用户2:米基·洛克

  梦想着将来成为了不起的画师的高中一年级学生冈仓天鼓林。实际上,却是一个没有干劲、没有才能,成天只会偷懒的废柴女高中生……在她面前突然出现了“风神雷神图屏风”中的雷神。「我来实现你的愿望——」如此说着的雷神召唤出了尾形光琳、高桥由一、狩野永德等等在日本美术史留下大名的大画家们。跨越时空,「让梦想成功的秘诀」不断传授给天鼓林。目标是素描甲子园的优胜!天鼓林能否成功改变自己,实现梦想呢?这是一部充满冒险精神的影片。