热门搜索
-
三国志11：如果评选女版五虎将的话，你会挑出这五个妹子配技能吗
但凡是稍微对三国这个IP感兴趣的朋友们，想必都是知道“五虎上将”的。在经典的三国志11游戏里，由于特技匹配的关系，他们也被称为“四神一洞”男团...
游戏资讯 2023-10-19 03:02:10 -
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
Steam特惠|心情糟糕的话，为什么不来美丽的墨西哥开开车捏
风帆纪元SailingEra-10%Steam售价：88折后价：79.2（史低）截止时间：1月19日支持简体中文好评率75%【短评】：每一次航行都是“不止于航海”的探寻之旅！黄老饼梦游惊奇-10%Steam售价：38折后价：34...
游戏资讯 2023-01-16 11:35:54 -
开发商：有机会的话会考虑开发《灵媒》续作
据gamingbolt消息，开发商BlooberTeam的制作主管KacperMichalski在最近的采访中表示，他们也会考虑为《灵媒》以及《观察者：系统还原》开发续作。当被问及这两款作品是否会有续作时，KacperMichalski称：“如果我们能想到一个好主意，那肯定是‘可能’的...
游戏资讯 2023-01-10 10:08:21 -
马力欧消失的屁股，成了玩家们最关心的话题
如图所示，电子游戏史上最知名的角色，意大利人气最旺的水管工，任天堂旗下的绝对招牌马力欧大叔，在明年春季即将上映的大电影里——不幸失去了自己的屁股。《超级马力欧兄弟大电影》是任天堂筹备已久的全新尝试，自1993年那部堪称灾难的真人改编电影以来，马力欧这个深入人心的吉祥物始终没能等来属于自己的影视作品，任天堂对于自家IP的拓展延伸也愈发严格...
游戏资讯 2022-12-10 12:00:36 -
战神总监想做一款《恶魔城》：如果科乐美授权的话
《战神：诸神黄昏》已经发售两个星期了，不够游戏开发团队总是有在忙着些什么。而据pushaquare消息，《战神》的游戏总监EricWilliams表示，他很希望能在未来看到他和他的团队参与制作一款科乐美旗下的《恶魔城》系列游戏...
游戏资讯 2022-11-23 12:08:19 -
超460万台！国内厂商“遮羞布”掉落，央媒的话该反思了
众所周知，华为曾是苹果在高端手机市场最强劲的对手之一，但由于被美国切断了芯片供应渠道，仅短短一年多时间，华为手机业务就物是人非，流失的大部分份额都被苹果收入囊中。然而，靠美国“助攻”坐享渔人之利的苹果，在我国市场捞金的同时，却又不断推动着去“中国化”，去年更是一举将30多家中企供应商踢出“果链”，险些导致欧菲光等破产...
手机互联 2022-11-01 17:03:05 -
须田刚一：如果粉丝呼声够高的话可能会有《英雄不再4》
《英雄不再3》曾被制作人须田刚一描述为主角特拉维斯的最后一战，在接受媒体采访时，须田刚一在被问及这是否代表着《英雄不再3》是该系列最后一部作品时表示：如果粉丝呼声够高的话，可能就会有《英雄不再4》。须田刚一在采访中说道：“是的，正是如此，《英雄不再3》是特拉维斯最后的一战...
游戏资讯 2022-10-03 09:28:44 -
听网红的话剁自己的手不靠谱哪怕他是罗永浩
（原标题：听网红的话剁自己的手不靠谱 哪怕他是罗永浩） 作者 张媛 何苗4月1日晚，罗永浩在抖音直播带货，战绩亮眼。直播3小时，支付交易总额超1.1亿元，累计观看人数超4800万人，订单量90万，音浪（抖音虚拟币）收入362.3万，创下抖音平台目前已知最高带货纪录...
互联网 2020-04-02 18:46:06 -
钟南山院士春节返程提醒九宫格：延长假期，超过14天，要感染的话有病就有了
不断变化的数字，依然严峻的疫情，牵动着千万颗心。病毒从何而来、什么症状该去医院、现在已经到疫情高峰了吗？在返程路上，返岗期间，你究竟该注意什么，快来重温这份钟南山院士的提醒！此前钟南山院士总结了8条关键提醒：病死率不是特别强，但传染性比较强...
业界动态 2020-01-30 17:23:04 -
申通快递被曝暴力分拣，不想被扔的话只能保价？
站搜网5月20日消息 据北京晚报报道，申通在北京西直门快递分拣点被暴力分拣，来往的居民都能看到这一场面，快递员称，要想不被扔就多付钱做保价。据一名在西直门附近上班的居民介绍，每天早上都能从窗外看到申通快递分拣场上，有大量的快递员将受到的快递包裹在这里分拣，再从这里分别向不同的省市发送...
业界动态 2018-05-20 16:11:12 -
484天：孙宏斌对乐视和贾跃亭说的话，就像1部烂尾剧
（原标题：484天：孙宏斌对乐视和贾跃亭说的话，就像1部烂尾剧） （原标题《484天：孙宏斌对乐视和贾跃亭说的话...
互联网 2018-04-08 18:16:34
