首页 > 资讯列表 >  本页面生成随机专题报道,随机滚动新闻,随机业界评论等相关报道!

热门搜索

  • 数学论证GPT-4不是随机鹦鹉:真如此的话整个宇宙都会坍缩

    数学论证GPT-4不是随机鹦鹉:真如此的话整个宇宙都会坍缩

    克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理,一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论:若是如此,所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000,根据贝肯斯坦上限(Bekenstein bound)原理,如果把这些信息分配到空间当中,所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗,更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别,可以做这样的类比:如果天文学家通过历史观测记录推算出月食的周期,这可以算是统计学。但当他们总结出牛顿万有引力定律的时候,就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法,所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反,语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起,根据概率生成文本,但不清楚文字背后的任何含义,就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型,或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时,出现的联想词就能用此方法实现。具体来说,下面的三行文本中,第一行纯粹是随机生成,第二行考虑了单词在英语中整体的出现概率,第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出,随着n值的升高,文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念,就能生成像模像样的句子。据此有人猜想,GPT-4会不会也只是一种高级的n-gram呢?Bayless提出,GPT必须学会抽象才能有如今的效果,至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点,可以先看下棋机器人的例子。如果有一种下棋机器人,存储了巨量棋谱数据,对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序,如果仅通过对战而不看源码,是无法确定Stockfish是否在背谱。但实际上,包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间,根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏,因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息,n-gram模型中n值将高达8000。届时,需要存储的情景数量将达到50000^8000。正如文章开头所提到,这简直是天文数字,足以让整个宇宙坍缩。因此,GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的,因此研究人员还进行了两个实验,意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船,和狼、羊、菜,农夫要把这3样东西运到河到另一边,农夫每次最多只能通过这个船运一样东西,要防止狼吃羊、羊吃白菜(即不能在没有农夫在的情况下同时在同一岸边),该怎么过?研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料,可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”,那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答,GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子,也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序,它们究竟是只会记住给出过的数字顺序,还是真的研究出排序算法呢?其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字,并将其顺序打乱,将一共有这么多种情形:如果再考虑数字的重复出现,又或者数字的数量发生变化,根本不可能存储如此之多的情形。因此,只要GPT能够针对未知的排序问题给出正确的回答,便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT,专门让它做数字排序。结果显示,随着训练步数的增加,模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误,但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序,而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接:https://jbconsulting...

    智能设备 2023-05-27 16:02:19
  • PS5玩家港服会员半价:随机发放、会员只能续费一年

    PS5玩家港服会员半价:随机发放、会员只能续费一年

    昨日,在PS5吧,有玩家晒出自己PS5的截图,他发现自己的港服Plus会员有一年的五折优惠。根据截图来看,三挡会员一年257.5港元(约合人民币223元)...

    游戏资讯 2023-02-10 17:08:05
  • 西数推出其首款双驱动器机械硬盘:20TB容量,顺序/随机速度翻倍

    西数推出其首款双驱动器机械硬盘:20TB容量,顺序/随机速度翻倍

    IT之家1月31日消息,西部数据周一推出了旗下首款双驱动器机械硬盘(HDD),与竞争对手希捷的Exos系列硬盘进行竞争。实际上,机械硬盘主要是由三个大件——驱动电机、磁头+驱动臂和盘面所组成的电子存储器,而希捷此前创新式地引入了多驱动电机(Multi-Actuator)技术,从而使得HDD性能翻番...

    智能设备 2023-01-31 12:35:08
  • 春节活动更新|集符咒皮肤自选随机SP/SSR碎片,回归专属福利升级!

    春节活动更新|集符咒皮肤自选随机SP/SSR碎片,回归专属福利升级!

    冬日和煦的阳光洒落庭院在准备迎接新年的同时扫地工也不忘整理好最新情报迈着快乐的小碎步为大人奉上!春节版本活动更新一览全新版本活动「月烬宵宴」开启△大人可点击图片前往查看活动详情活动时间第一阶段1月18日维护更新后-1月28日8:59第二阶段1月28日9:00-1月31日23:59活动内容第一阶段将陆续开启「伪庭院」「虚月巡礼」「伴星歌」「绘空事」「对弈竞猜」「宴月之行」及「虚月宝库」第二阶段将开启「伪月落」玩法活动奖励完成活动内每日与成就任务可解锁月烬宵宴名染、点触等奖励也可购买「宴月眷礼」解锁月烬宵宴主题等额外奖励大人可在「虚月宝库」中兑换灵海蝶皮肤·花笠月灯SSR/SP式神召唤券动态头像框「惑星歌·群响」御行达摩、勾玉等奖励△灵海蝶皮肤·花笠月灯戳图即可查看更多皮肤细节△动态头像框「惑星歌·群响」大人们可在虚月宝库兑换4种巡礼手信买满200个同类礼盒必可获得该礼盒的福运大赏四种大赏分别为五星奉为达摩*1神秘的符咒*5、勾玉*388、大蛇的逆鳞*200此外,兑换巡礼手信还有概率开启福运特赏四种特赏分别是御行达摩、神秘的符咒*10勾玉*888、大蛇的逆鳞*500春节专属召唤活动开启活动...

    游戏资讯 2023-01-20 21:08:13
  • 随机性也是卡牌游戏的魅力,盘点游戏王那些有趣的随机性构筑

    随机性也是卡牌游戏的魅力,盘点游戏王那些有趣的随机性构筑

    相信玩卡牌卡牌游戏的朋友们都知道,在卡牌游戏中,最有意思的机制当属随机性啦!通过随机的玩法提升对局的不确定性,以高风险高收益的方式让玩家们感受到卡牌游戏的独特魅力。无论是万智牌、炉石还是ptcg都有很多以随机性为主的玩法,不过在我看来,随机性设计最有趣,且玩法最为丰富的当属游戏王啦!要知道在游戏王卡牌游戏中,有着掷骰子与掷硬币等特殊的设定,以这些设定为核心所构筑的卡组就是随机性卡组,这种卡组往往是高风险伴随着高收益,凭借关键性的投掷往往能打出绝地翻盘的效果...

    游戏资讯 2022-12-19 18:32:21
  • 《星空》的随机任务将更精彩!更像个成熟的支线

    《星空》的随机任务将更精彩!更像个成熟的支线

    今日,贝塞斯达发布了一支新的采访视频,介绍了《星空》中的随机遭遇任务。在之前B社的游戏中,随机遭遇仅限于程序放置的敌人,而在《星空》中,它们看起来更像是完全成熟的支线任务...

    游戏资讯 2022-12-15 16:19:41
  • 《死亡空间RE》恐怖元素爆棚!有超1200个随机事件

    《死亡空间RE》恐怖元素爆棚!有超1200个随机事件

    近日,EA公布了一份开发者日志,介绍了专门渲染《死亡空间:重制版》恐怖气氛的“IntensityDirector”引擎。恐怖来源于不确定性,气氛是恐怖游戏的重要组成部分...

    游戏资讯 2022-12-15 15:12:18
  • “非酋”不配玩游戏?游戏中万恶的随机数

    “非酋”不配玩游戏?游戏中万恶的随机数

    从“摸装备前没洗脸”到“我可能是个非洲人”,再到“非洲酋长偷渡大失败”,玩家们用来形容自己运气不佳的自嘲一再升级。在抽卡游戏遍地走的今天,要在游戏里抽到自己心仪角色的难度大家都有目共睹...

    游戏资讯 2022-12-05 12:24:39
  • 《漫威暗夜之子》M站83分:随机性和多样性充满惊喜

    《漫威暗夜之子》M站83分:随机性和多样性充满惊喜

    《漫威暗夜之子》的M站媒体评分已出炉。截至发稿,有57家媒体给出了评价,均分为83分...

    游戏资讯 2022-12-01 10:45:43
  • 《漫威暗夜之子》IGN8分:卡牌机制让游戏充满随机性

    《漫威暗夜之子》IGN8分:卡牌机制让游戏充满随机性

    【游戏封面】游戏名称:《漫威暗夜之子》英文名称:MarvelMidnightSuns游戏类型:策略游戏开发商:FiraxisGames发行商:2KIGN为《漫威暗夜之子》打出了8分的评分,认为它充分利用了卡牌游戏的机制,并为其出色的战斗注入了多样性和不可预测性。IGN评分:8分优秀总评:《漫威暗夜之子》足以让Firaxis名声大噪...

    游戏资讯 2022-11-30 23:30:43
  • 玩家试验后发现,《宝可梦朱/紫》存在严重随机性问题

    玩家试验后发现,《宝可梦朱/紫》存在严重随机性问题

    入门级程序员问题。《宝可梦朱/紫》发售的这十几天来,糟糕的优化以及大大小小的BUG显然成为了影响游戏口碑发酵的最大问题,尽管目前现存的大多数BUG谈不上有多致命,但这其中总有一两个恶性问题会影响到游戏的核心体验...

    游戏资讯 2022-11-30 14:37:43
  • 部分iPhone14Pro/Max在充电时遇到随机重启问题

    部分iPhone14Pro/Max在充电时遇到随机重启问题

    IT之家9月27日消息,此前一些苹果iPhone14Pro用户抱怨iOS16电池电量易耗尽,但可能还不是最严重的问题。现在,一些客户称他们的iPhone设备在通过MagSafe或Lightning充电时会间歇性重启...

    手机互联 2022-09-28 10:33:30

站长搜索

http://www.adminso.com

Copyright @ 2007~2024 All Rights Reserved.

Powered By 站长搜索

打开手机扫描上面的二维码打开手机版


使用手机软件扫描微信二维码

关注我们可获取更多热点资讯

站长搜索目录系统技术支持