-
快讯|360与创业黑马达成合作：开展大模型联合研发
【网易科技5月27日报道】360与创业黑马签订战略合作协议，双方将在人工智能大模型研发、城市产业落地、中小企业服务等领域展开全面合作。据悉，创业黑马将支持并加入360牵头发起的GPT产业联盟，推动GPT技术赋能企业客户，加速数字中国发展...
智能设备 2023-05-28 13:21:08 -
数学论证GPT-4不是随机鹦鹉：真如此的话整个宇宙都会坍缩
克雷西 发自 凹非寺量子位 | 公众号 QbitAI对于ChatGPT的工作原理，一个常见的解释是根据统计学规律预测下一个词。但最近一位叫Jacob Bayless的工程师用数学方法得出惊人结论：若是如此，所需的信息量足以让整个宇宙都坍塌成黑洞。这一数据量是50000^8000，根据贝肯斯坦上限(Bekenstein bound)原理，如果把这些信息分配到空间当中，所需要的信息密度已经远超宇宙能承受的最大值。而这仅仅是把数据存储起来的消耗，更不必说还要进行运算了。而ChatGPT与单纯统计预测的区别，可以做这样的类比：如果天文学家通过历史观测记录推算出月食的周期，这可以算是统计学。但当他们总结出牛顿万有引力定律的时候，就已经超越了统计学。什么是“随机鹦鹉”一个流传很广的说法，所谓大语言模型实际上相当于一个“随机鹦鹉”——与我们观察其输出时的情况相反，语言模型只是将其在庞大的训练数据中观察到的语素胡乱拼接在一起，根据概率生成文本，但不清楚文字背后的任何含义，就像一个随机的鹦鹉。出自论文On The Dangers of Stochastic Parrots: Can Language Models Be Too Big这对过去的语言模型，或许确实成立。比如曾经流行的n-gram算法。比如当我们在搜索引擎中进行搜索时，出现的联想词就能用此方法实现。具体来说，下面的三行文本中，第一行纯粹是随机生成，第二行考虑了单词在英语中整体的出现概率，第三行则考虑了单词在前一个词后面出现的概率。n = 0: RECEIVE FALL SURPRISED FRIDAY INGREDIENT…n = 1: REPRESENTING AND SPEEDILY IS AN GOOD…n = 2: THE CHARACTER OF THIS POINT IS THEREFORE…不难看出，随着n值的升高，文本越来越接近人类语言。而n-gram模型根本不需要掌握其中的语义或理解其中的抽象概念，就能生成像模像样的句子。据此有人猜想，GPT-4会不会也只是一种高级的n-gram呢？Bayless提出，GPT必须学会抽象才能有如今的效果，至少GPT-4肯定如此。GPT-4不只是“随机鹦鹉”要证明这一点，可以先看下棋机器人的例子。如果有一种下棋机器人，存储了巨量棋谱数据，对于每个棋局都能推荐下一步。那它就能通过“背谱法”模仿其他任何棋手或程序的下法比如Stockfish是最先进的国际象棋程序，如果仅通过对战而不看源码，是无法确定Stockfish是否在背谱。但实际上，包含所有情形和步骤的棋谱数据量可能超过2^154。而Stockfish的程序只占用了不到50MB的空间，根本不可能存下需要的所有棋谱。所以Stockfish肯定是通过更高级的方法来实现下棋的。人类语言的复杂度远超过棋类游戏，因此GPT的数据量更是同理。仅在是上一代的GPT-3的token字典中就有超过5万token。如果对每个词都逐一建立统计信息，n-gram模型中n值将高达8000。届时，需要存储的情景数量将达到50000^8000。正如文章开头所提到，这简直是天文数字，足以让整个宇宙坍缩。因此，GPT是“随机鹦鹉”的猜测在理论上得到了一定程度的批驳。“随机鹦鹉”达不到的高度仅在理论上进行说明是不充分的，因此研究人员还进行了两个实验，意图证明大模型在学习过程中已经抽象出了算法。第一个实验关于一道经典的农夫过河问题。一个农夫有一条船，和狼、羊、菜，农夫要把这3样东西运到河到另一边，农夫每次最多只能通过这个船运一样东西，要防止狼吃羊、羊吃白菜（即不能在没有农夫在的情况下同时在同一岸边），该怎么过？研究人员将这个问题中的农夫、船、河分别替换成地球人、虫洞和银河系。狼、羊和菜则分别换成火星人、金星人和月球人。替换的目的是因为互联网上不太可能出现类似语料，可以判断大语言模型是不是真的掌握了通用方法。如果GPT不是“随机鹦鹉”，那么它至少不会犯下只有“随机鹦鹉”才会犯的错误。GPT-4针对替换后的问题给出了正确的回答，GPT-3.5则没有。但它们并没有犯研究人员预想的“鹦鹉”错误——即在回答中出现狼、船、河等已被替换掉的词语。回答中使用的句子，也无法在互联网中被检索到。这些现象都证明了现在的大语言模型的生成方式已经超越了“概率预测”。第二个实验则是数字排序。如果让GPT学习数字排序，它们究竟是只会记住给出过的数字顺序，还是真的研究出排序算法呢？其实只要从GPT的输出当中就可以看出来了。假如从1-100中随机选择10个数字，并将其顺序打乱，将一共有这么多种情形：如果再考虑数字的重复出现，又或者数字的数量发生变化，根本不可能存储如此之多的情形。因此，只要GPT能够针对未知的排序问题给出正确的回答，便可以说明它们是真的研究出了排序算法。研究人员训练了一款特斯拉前AI总监Andrej Kaparthy发明的语言模型nanoGPT，专门让它做数字排序。结果显示，随着训练步数的增加，模型给出的数字顺序越来越完美。虽然在训练步数达到16万左右时突然出现了大量错误，但也很快得到了纠正。这说明这款模型并不是仅仅根据学习的素材对未知的数字进行排序，而是已经掌握了背后的方法。这个测试只是在一台笔记本电脑、算力非常有限的GPU上进行的。更不必说GPT-4了。参考链接：https://jbconsulting...
智能设备 2023-05-27 16:02:19 -
度小满开源千亿参数金融大模型“轩辕”
5月26日消息，近日，度小满正式开源千亿级中文金融大模型——“轩辕”。轩辕大模型是在1760亿参数的Bloom大模型基础上训练而来，在金融名词理解、金融市场评论、金融数据分析和金融新闻理解等任务上，效果相较于通用大模型大幅提升。据度小满方面介绍，在金融场景中的任务评测中，轩辕全面超越了市场上的主流开源大模型，赢得了150次回答中63.33%的胜率。在通用能力评测中，轩辕有10...
互联网 2023-05-26 12:25:23 -
李彦宏：大模型即将改变世界
5月26日消息，百度创始人、董事长兼CEO李彦宏在2023中关村论坛发表题为《大模型改变世界》的演讲。他表示，我们正处在全新起点，这是一个以大模型为核心的人工智能新时代，大模型改变了人工智能，大模型即将改变世界...
互联网 2023-05-26 11:37:59 -
网易CEO丁磊谈AI大模型竞赛：找到应用场景、服务用户需求才是“胜者”
5月25日，网易发布2023年第一季度财报。一季度，网易净收入250亿元，非公认会计准则下归属于公司股东的净利润76亿元，公司业绩稳健增长，超市场预期。网易Q1研发投入37亿元，研发投入强度达15%。财报发布后，网易CEO丁磊、CFO杨昭烜等高管出席财报电话会，解读一季度业绩以及关于游戏、音乐、AIGC及海外市场相关的布局情况。发展AI大模型首要任务：找出应用场景、满足用户体验投资人问及网易在AI大模型领域的研发投入和布局逻辑时，网易CEO丁磊表示，未来，随着AI大模型的发展，企业会逐渐找到优化路径，不断降低大模型研发所需的资金和算力。同时，丁磊认为，在AI大模型竞赛中，真正的胜者是能选择好应用场景的企业。所以，目前网易的首要任务是探索AI大模型在不同产品场景下的应用，并研发出更符合用户体验的优质产品。针对游戏市场竞争格局，网易CEO丁磊表示，今年以来市场上涌现出许多新游戏，但消费者只会选择高质量的作品。对于网易来说，最重要的事情之一是在产品中始终保持与众不同的创新，无论是创新玩法，还是应用新技术，来不断满足用户的需要。“我们有信心在未来的发展中始终保持独特的优势”。《蛋仔派对》每周新增百万UGC地图 将加快出海步伐今年一季度，基于网易自研引擎开发的《蛋仔派对》，开创了独特的UGC内容共创模式。超3000万日活玩家，可借助《蛋仔派对》UGC地图编辑工具创作游戏内容，并通过社交媒体进行二次破圈传播。目前《蛋仔派对》每周平均新增超百万UGC地图，玩家的创作热情助力《蛋仔派对》在一季度登顶中国iOS下载榜，也进一步巩固了《蛋仔派对》高粘性、强社交的内容生态壁垒。在国内取得成功后，《蛋仔派对》将瞄准国际市场，加快出海步伐。网易高管在财报电话会上表示，《蛋仔派对》已在东南亚等地试运营，收集了本地玩家的体验反馈。下一步，网易将继续强化《蛋仔派对》独特的UGC玩法体验，让更多海外玩家感受到国产自研游戏的魅力。针对海外市场布局的相关问询，网易高管在财报电话会上披露，目前网易在海外已布局超过10个工作室。网易可以和这些经验丰富的海外团队一起工作、分享成功的创作经验，实现双赢。同时，公司有信心在未来一段时间里，海外工作室可以推出备受瞩目的作品，同时服务好中国及海外市场。网易云音乐毛利率创新高、付费用户持续增长，独立音乐人超63万一季度，网易云音乐业绩健康发展，毛利率从去年同期12.2%，大幅提升至22...
互联网 2023-05-25 22:12:52 -
苹果禁用ChatGPT，为防机密泄露！大模型版Siri即将升级推出
明敏 杨净 发自 凹非寺量子位 | 公众号 QbitAI前脚ChatGPT刚刚上线iOS嗨翻全球，火速霸榜APP Store；后脚却曝出消息——苹果自家员工不能用ChatGPT，而且已经好几个月了。这事儿马上引发巨大讨论。要知道，从ChatGPT趋势到来后，苹果就几乎保持“隐身”，好不容易iPhone拥抱ChatGPT了，现在好像又泼了盆冷水。有人已经开始嘲讽：苹果是害怕员工发现AI真的有用吗？所以他们要用自己的？最好别像Siri那样。诶？还真说不定。借着这次大新闻，苹果研究自家大模型的消息也不胫而走，而且Siri也将很快上线AI新功能。最新库克公开表态：生成AI技术潜力很大，但有问题需要解决，也侧面印证了他们的AI进展。所以苹果不是不搞，或许只是发布时间没到。担忧数据泄露据《华尔街日报》消息，苹果禁止员工使用的包括ChatGPT和Copilot。知名苹果产品追踪记者也在推特上进一步爆料，ChatGPT在苹果员工禁用名单上已经好几个月了。会有这样的决策倒也不稀奇。一方面，ChatGPT本身在数据使用方面一直备受争议。最初，除了API用户以外的所有用户聊天记录，都会被用来训练和提升模型性能，这意味着用户数据有被泄露的风险。事实上，今年3月确实发生这样的意外事故。一个bug导致一些用户的对话标题泄露，其他人能在自己的界面上看到这些信息。当时这个bug一度导致ChatGPT临时关闭。上个月，OpenAI正式推出新规定，以进一步保护用户数据安全：用户可以通过关闭聊天记录功能，来避免自己的个人数据被官方拿去训练。另一方面，出于安全方面的考虑，不少大型企业都出台相关政策要求员工不要使用ChatGPT。如亚马逊在1月就要求员工不要将代码输入ChatGPT，此前有消息称，它们发现了ChatGPT会模仿亚马逊内部代码。摩根大通在2月限制全球员工使用ChatGPT，原因是出于合规方面的考虑。还有更加离奇一些的，三星曾表示20天内因ChatGPT发生了3起数据泄露事故。而一直以强调安全著称的苹果，做出类似举措也就合情合理了。毕竟一旦员工不小心将机密项目的信息输入系统，这些内容就可能泄露给OpenAI。还有人表示，ChatGPT的输出结果还是有出错的可能，或许会导致bug产生、数据漏洞等，所以大公司禁止使用也合情合理。不过，ChatGPT爆火几个月以来，它在工作效率、工作创意上的提升是不可否认的。很多人都将它加入到了自己的工作流，包括陶哲轩这样的大佬。最初明令禁止学生使用ChatGPT的纽约公立中学，也在这两天内取消禁令。所以不免有人担心，苹果这样封闭ChatGPT，是否会扼杀自身的创新能力。值得一提的是，曾经禁止员工使用ChatGPT的亚马逊，近期也加入了大模型浪潮，发布自家大模型平台。这也开始让人猜测，大厂不是不拥抱ChatGPT，只是要拥抱自己的ChatGPT？事实上，苹果的最新语言大模型，真的有消息了。Siri被曝很快上线新AI功能据9to5Mac爆料，Siri将很快上线新的AI功能。新技术代号为Bobcat，早在今年3月就被爆出已经在进行测试了——首先是在最新tvOS 16.4 beta上测试，新框架叫做Siri Natural Language Generation（Siri自然语言生成）功能，之后这一功能进入到苹果的其他操作系统中。但爆料显示只不过是实现了在Apple TV上与Siri讲笑话。除此之外，还在试验如何将语言生成用于计时器。与此同时，这一新项目的领导人也被爆出。John Giannandrea，目前是苹果负责机器学习和AI战略的高级副总裁，直接向库克汇报。他早在2018年就加入苹果，负责监督整个公司的AI和ML战略以及Core ML和Siri技术的开发。在加入苹果之前，他曾在谷歌呆了八年，领导机器智能、研究和搜索团队。而就在最近的投资者电话会议上库克表态，也侧面证实了他们在做相关的研发，只不过发布时机还没到。此前，就有苹果员工曾抱怨Siri工作效率低下。Siri之所以逐渐走向没落，是因为内部团队混乱、决策缓慢、代码笨重，导致在Siri和AI开发上受到严重阻碍。更本质的原因，还在于技术研发和判断上。比如现在ChatGPT所展现的核心功能和技术，就曾被苹果高管否决过。就像长对话能力，他们认为会导致对话容易失控，而且“很花哨”。为了防止Siri胡言乱语，苹果选择让人工团队预先写出答案，并且还多次拒绝允许用户对Siri回答问题进行反馈，导致开发团队无法理解模型的局限。虽然不能肯定苹果禁用ChatGPT，与自身开发AI工具有关。但是苹果Siri上线新AI功能，想必也是不少人所期待了。参考链接：[1]https://www...
智能设备 2023-05-21 01:40:21 -
云从科技「从容」大模型正式发布！现场演示，与GPT-4同台竞技
新智元报道编辑：好困【新智元导读】5月18日，位列国内人工智能第一梯队的云从科技，正式发布了自主研发大模型——「从容」。5月18日云从科技正发布了其自主研发的从容大模型。云从科技董事长兼总经理周曦介绍，作为一种基于语言模型的人工智能系统，从容大模型可以根据给定的文本或语音数据，进行学习和分析，并输出相关的答案或建议，也能深度理解自然语言的含义和语义规则。不只是对话体验，从容大模型还可以编程、写作、解题等。云从还对「从容」与ChatGPT进行横向对比演示，在对同一真题的解答过程中，从容大模型的答题速度相较更快，但其正确率为71%，不仅低于正确率为73.34%的ChatGPT，还远低于正确率高达86...
智能设备 2023-05-21 01:40:02 -
小扎豪赌大模型！Meta重磅推出定制芯片MTIAv1和全新超算
新智元报道编辑：拉燕 Aeneas【新智元导读】全世界都在卷大模型，小扎也急了。如今，Meta为了发展AI，在定制芯片和超算上下了大赌注。Meta也有纯自研芯片了！本周四，Meta发布第一代AI推理定制芯片MTIA v1和超算。可以说，MTIA对Meta是一个巨大的福音，尤其是现在各家都在卷大模型，对AI算力的需求变得越来越高。小扎最近表示，Meta看到了「以有用和有意义的方式向数十亿人介绍人工智能代理的机会」。显然，随着Meta加大对AI的投入，MTIA芯片和超算计划将是Meta与其他科技巨头竞争的关键工具，现在没有哪家巨头不在AI上投入大量资源。可以看到，凭着定制芯片和超算，Meta在AI上下了大赌注。MTIA在最近的一次线上活动中，Meta拉开了开发自己的基础设施的序幕。新芯片全名是Meta训练和推理加速器，简称MTIA。MTIA是一种ASIC，一种将不同电路组合在一块板上的芯片，允许对其进行编程，以并行执行一项或多项任务。Meta副总裁兼基础设施负责人Santosh Janardhan在一篇博客文章中写道，MTIA是Meta「针对推理工作负载的内部定制加速器芯片系列」，它提供了比CPU「更高的计算能力和效率」，并且「为我们的内部工作负载定制」。通过结合MTIA芯片和GPU，Janardhan 表示，Meta相信「我们将为每个工作负载提供更好的性能、更低的延迟和更高的效率。」不得不说，这是Meta实力的投射。其实，一直以来，Meta在应用AI友好型硬件系统方面进展并不迅速。这影响了Meta和竞对（如微软、谷歌等）保持同步发展的能力。Meta基础设施副总裁Alexis Bjorlin在一次采访中表示，构建属于自己的硬件，Meta就有能力控制堆栈的每一层，包括数据中心设计到培训框架。这种垂直的整合水平对于大规模推动AI研究边界是必不可少的。在过去的十年里，Meta花费了数十亿美元聘请顶级数据科学家来构建新型AI模型。Meta也一直在努力将其许多更宏伟的AI创新研究投产，尤其是生成式AI。一直到2022年，Meta一直主要用的是CPU和专为加速AI算法而设计的芯片组合来维持其AI的运行。而CPU和芯片的组合在执行这类任务的效率上通常会低于GPU。于是Meta取消了原本打算在2022年大规模推广的定制芯片，转而订购了价值数十亿美元的英伟达GPU。引入这些GPU，Meta需要对旗下的几个数据中心进行颠覆性的重新设计。而为了扭转这一局面，Meta计划开发一款内部芯片，预计于2025年推出。这款内部芯片既能训练AI模型，还能运行AI模型，可谓性能强大。主角终于来了——新芯片名叫MITA，全称Meta Training and Inference Accelerator.这款芯片可以用来加速AI训练和推理的效率。研究团队表示，MTIA是一种ASIC，指的是一种在一块板上组合不同电路的芯片。通过编程，该芯片能同时执行一项或多项任务。专为AI工作负载定制的AI芯片Meta要知道，科技巨头公司的竞争说白了玩儿的就是芯片。比方说谷歌的TPU，用来训练Palm-2和Imagen。亚马逊也有自己的芯片，用于训练AI模型。此外，有消息称微软也在和AMD开发一款叫Athena的芯片。这不，MITA的到来也是Meta不甘示弱的表现。Meta表示，2020年他们创建了第一代的MITA——MITA v1，采用的是7nm工艺。该芯片内部内存可以从128MB扩展到128GB，同时，在Meta设计的基准测试中，MITA在处理中低复杂度的AI模型时，效率要比GPU还高。在芯片的内存和网络部分，还有不少工作要做。随着AI模型的规模越来越大，MITA也即将遇到瓶颈。Meta需要将工作量分担到多个芯片上。对此，Meta表示，会继续完善MITA在运行推荐的工作量时每瓦的性能。早在2020年，Meta就已经为内部工作负载设计了第一代MTIA ASIC。此推理加速器是共同设计的全栈解决方案的一部分，包括芯片、PyTorch和推荐模型。该加速器采用台积电 7nm工艺制造，运行频率为800 MHz，在INT8精度下提供102...
智能设备 2023-05-21 01:34:10 -
第四范式涂威威：打造专属大模型的三大关键策略
【网易科技5月20日报道】第七届世界智能大会，第四范式副总裁、主任科学家涂威威出席高峰会并表示：生成式AI让企业软件的人机交互和应用价值内核价值都有了质的提升，而想要打造企业专属大模型，还需要满足三大条件。据介绍，三大条件即形成高质量的闭环数据、具备多步推理思维链（Chain of thoughts）的学习能力、解决大模型落地效率问题...
智能设备 2023-05-20 21:57:16 -
科技大佬论剑大模型：中国距世界一流还有多远，如何抓住百年机遇
一路“狂飙”的大模型，成为今年世界智能大会的焦点话题。5月18日，在第七届世界智能大会期间，李彦宏、周鸿祎、刘庆峰、王坚等互联网企业家代表不约而同地选择以大模型为主题演讲...
智能设备 2023-05-20 11:25:41 -
云从科技从容大模型发布可提供参考资料来源标注
【网易科技5月18日报道】今日，云从科技在广州举行人机协同发布会，推出了从容大模型。据现场介绍，该模型展示了问答、伴随和托管功能，具备多领域的个性化应用和出色的交互性...
智能设备 2023-05-18 18:25:34 -
开源人工智能模型崛起，追赶ChatGPT和谷歌，它好在哪
5月18日消息，谷歌和OpenAI正在开发专有的人工智能模型，但免费的开源模型也在激增。谷歌员工称，公司面临的压力越来越大，如果不推出更多开源模型，就可能在这场人工智能竞赛中落伍...
互联网 2023-05-18 17:04:22
