
谷歌最近发了篇论文,重申了一个来自信息论的不雅点——“压缩即智能”。诚然,论文的新意,在于通过对“压缩率”的界说并提议关连诡计才智,从而不错尝试对“压缩即智能”给出一个定量的讲授,并将其与东谈主工智能大模子计划起来。
所谓“压缩”,全称诚然是“数据压缩”。正如一册写得特殊活泼兴味的普及读物《数据压缩初学》所指出的:
“咱们需要知谈这么一件事:咱们当下生涯在其中的这个诡计寰宇,满盈建筑在数据压缩算法之上。
是的,每个部分皆是如斯。
每个网页、每个图像、每首歌、每个对于猫的视频、每部流媒体收罗电影、每张自拍照、每次电子游戏下载、每个袖珍交游,致使是操作系统的每次更新,统统这一切皆收获于压缩算法。事实上,哪怕仅仅想通过互联网传输一个二进制位的数据,也离不开压缩的内容。
数据压缩技能最让东谈主惊异之处在于,它与往日40年里个东谈主诡计的好多要紧蜕变计划,但很少有东谈主知谈这一丝。”
信息论首创东谈主克劳德·香农在为传输信息进行压缩编码的历程中,意志到这种压缩是有一个极限阈值的,擢升这个阈值,被压缩编码的信息就无法通过解码,规复为原始信息了,而是有特殊一部分信息就此被耗费掉,比如行为“有损压缩”的MP3音乐模式,听上去成果就要比CD差不少。这个阈值被定名为“香农熵”。相应地,“无损压缩”即是压缩率终结在“香农熵”以下,比如解码后不错比拟好地复兴到CD音质的APE、FLAC等模式。统统的当代压缩算法,不错说皆是在温暖地与“香农熵”作战役,但愿诱骗出以尽可能高的压缩率来“高保真”地保存、传输和复制信息的技能。
但其实数据压缩远不仅仅算法问题,而是波及东谈主类对寰宇根底的领略方式。
咱们且撇开数据压缩算法中的数学旨趣,单就“压缩即智能”这一不雅点,其实和我在某篇机器学札记里所说的“模子即智能”,满盈是等价的,因为所谓模子,即是给无尽变量的复杂寰宇建一个有限变量的模,通过被大大压缩的变量数目,偏激相互作用的结构,来有用模拟复杂寰宇在某一特定时空中的运作模式(用本届诺奖得主杰弗里·辛顿的术语来说,就叫作念“泛化”,即通过小数已知数据准确先见大批未知数据),从而让咱们不错作出展望和有诡计。
事实上,统统的科学公式皆不过乎是一种模子,因此也不过乎是一种数据压缩方式。模子老是只可在一定时空中起作用,哪怕它是牛顿定律,因为模子对数据的压缩根蓝本说老是为了拟合目前的“事实”——这恰是“施行科学”的本色。更高的压缩率一般意味着更好的模子,也就意味着更高的智能,就好比万有引力定律对近代的不雅测天地有最高的压缩率(也即是用最精致的公式界说了这一天地的运作方式),因此牛顿不仅比绝大多数东谈主,而且比绝大多数科学家有更高的智能。
为什么咱们不错说“压缩即智能”或“模子即智能”?因为压缩变量数据大致建模,就意味着“主动”地挑选出一部分被合计是瑕玷的变量,而断念绝大多数被合计是冗余的信息,来为这个看上去无比复杂的寰宇建模,这种领略的“主动性”、这种冒失寰宇的“主动性”——而不是像(咱们是以为的)石头那样被迫采选一切——不恰是当咱们谈及“智能”的时刻,真的让咱们嗅觉make sense的东西吗?
而且智能和学习能力高度关连。什么是学习?不管东谈主的学习还是机器学习,本色不皆是学惯用建筑在有限数据集基础上的模子去冒失这个无尽寰宇,并在冒失的历程中阐发反应接续诊疗以至迭代模子吗?是以“学习即智能”很猛进程上也与“压缩即智能”等价,东谈主工智能大言语模子,正如“GPT之父”伊尔亚·苏茨克维屡次强调的,本色上即是个服从极高的数据压缩机。

《数据压缩初学》
[好意思]柯尔特·麦克安利斯 亚历克斯·海奇 著
东谈主民邮电出书社2020年3月版
举报 著述作家
毕席
经济东谈主的东谈主文修养阅读 关连阅读
从栽种到管事,两位北大栽种给出AI时期解法“老诚假装在讲,学生假装在学。”
43018 05-17 16:37
AI狂欢陆续!谈指重返五万点,想科飙高13.4%!英伟达大涨4.4%,中概股普跌AI交游温暖不减,权重个股财报刚劲,三大股指全线收高。
13630 05-15 08:48
企业奈何构建正经的着实AI:从风险冒失到价值赋能以“治”明谈,“智”引新程——构建负拖累的着实AI
1416 05-14 16:03
盘前必读丨中好意思将举行新一轮经贸接头;天阳科技锁定五年长单切入算力租借赛谈机构合计,5月干与事迹空窗期,题材股行情有望迎来阶段性的顺风期。
55914 05-11 07:56
AI进化速递丨广州推出东谈主工智能场景交游平台广州推出东谈主工智能场景交游平台;北京科博会现场签约金额达5.9亿元......炒股配资门户网_实盘平台账户管理与开户条件解析
9414 05-10 20:56 一财最热 点击关闭炒股配资门户网_实盘平台账户管理与开户条件解析提示:本文来自互联网,不代表本网站观点。