Martian Cats

这是一段公开内容，任何人可见。下面这段是加密的，需要密码才能解锁（演示密码：test1234）。 朋友专属：这段只有拿到密码的人能看解锁记住 加密段之后的公开收尾段落。

文献卡片摘要速览（自写）：Simon 论证自然界的复杂性绝大多数采取层级形式且这不是偶然——钟表匠寓言与随机组装模型表明，存在稳定中间形态时层级系统比同规模非层级系统演化快出数量级（「在可能的复杂形态中，层级是来得及演化出来的」）；层级系统通常近可分解（组内互动强于组间），这把高频的组内动力学与低频的组间动力学分开，使复杂系统可理解、可简省描述（冗余、空世界假说、重编码）、可自我繁殖（过程描述比状态描述省）。本会话精读的终局判词：预支实证——文体是上世纪的，核心支票后来部分兑付（模块度、可演化性实验）部分跳票（重演论、帝国）。 核心概念：层级 · 近可分解性 · 稳定中间形态 · span · 空世界假说 · 状态描述与过程描述 · 满意化 · 低耦合高内聚 · 测度 命题一览：一、复杂系统频繁呈层级（枚举，本会话判：样本经可辨识性过滤）。二、层级演化快（钟表匠定理，本会话判：模型解释爆发不解释等待——总时间＝等巧合＋巧合后选择铺开）。三、近可分解⇒短期独立＋长期聚合（Simon-Ando 定理，线性域严格、跨域靠例子）。四、近可分解⇒可理解可描述可繁殖（认识论红利）。附：本会话...

Conway (1968) — How Do Committees Invent?摘要速览（自写速览，非原文摘要）为什么系统会长得像设计它的组织？Conway 的论证链：设计是分布式认知——没有任何一颗脑子持有完整设计，脑内设计的拼装只能沿实际存在的沟通路径谈判，缺席的路径养不起需要反复磨合的接口；因此产物结构必然是组织沟通结构的（塌缩）拷贝——同态。任何需求都对应一个设计族，组织只决定从族中选中哪个，于是在每个设计上「盖出自己的像」，组织越大越不灵活、像越显著。大系统瓦解（disintegration）不是定律作恶：管理常规（过度派员、常规管理毁沟通）先把沟通弄碎，定律只负责忠实浇铸。准则因此落在组织侧：设计工作按沟通的需要来组织，保持精瘦灵活，奖励不扩编的经理。1967 年投《哈佛商业评论》被拒（转述理由：「未证明其论点」），次年发于 Datamation；Brooks《人月神话》引述冠名「康威定律」使其流传。作者 2010 年自注自嘲论点埋在倒数第三段，并钦点贫困治理为最爱应用。 核心概念 康威定律（文献，本文）：设计系统的组织受约束产出其沟通结构的拷贝——组织设计即系统设...

Meyer & Rowan (1977) — Institutionalized Organizations摘要速览经验上，正式结构并不协调与控制工作（松散耦合、规则被违反、检查被架空），但组织仍在不断繁复化——效率起源论解释不了「不运转却扩张」。本文给出替代来源：理性化神话——理性化处方 × 高度制度化 = 借科学之名 + 习俗之刚性，采纳因此免于效力检验；合法性收益发生在采纳环节、由环境支付、不经过实施。机制链：神话供给 → 制度同构换合法性与稳态（命题 1–3）→ 神话要求与实务要求相悖 → 脱耦（命题 4）+ 信心逻辑（命题 5）+ 检查的仪式化（命题 6）。论文最终拒绝裁决总体效力。这是新制度主义的奠基文。 核心概念 理性化神话（rationalized myths）：两个属性缺一不可——理性化的非人格处方 + 高度制度化的理所当然 制度同构（isomorphism）：结构与制度环境神话趋同，换取合法性、资源与存活 脱耦（decoupling）：结构彼此之间、结构与活动之间脱开；目标模糊化、绩效数据消除 信心逻辑（logic of confidence and ...

元朝覆灭之后元朝覆灭之后，元顺帝和太子爱猷识理答退回漠北建立北元，然而明朝此后数次北伐蒙古，导致北元首都哈尔和林被焚毁、北元宗室威信扫地。黄金家族内部忽必烈以来忽必烈系与阿里不哥系、窝阔台系之间的内部矛盾死灰复燃，而蒙古高原上新兴贵族也觊觎黄金家族的位置，外有强明，内有权臣，漠北政权开始进入了一个动荡的时期。 首先，卫拉特通过扶持阿里不哥系的大汗挟天子以令诸侯，削弱传统的东部蒙古贵族的话语权，逐步掌握了东西蒙古的控制权。卫拉特的首领马哈木及其子脱欢，在与东部蒙古强臣阿鲁台的长期拉锯战中逐渐占据上风。脱欢在1438年击败东蒙古贵族，在事实上统一了蒙古诸部，以脱脱不花（即泰松汗）为傀儡大汗，定都哈拉和林。脱欢之子也先在1449年“土木堡之变”大败明军、俘虏明英宗，卫拉特也达到了极盛，也先于是与大汗脱脱不花决裂并击杀之，在1453年自立为蒙古大汗。也先称汗打破了自成吉思汗以来“非黄金家族不能称汗”的绝对政治禁忌，不仅仅是卫拉特新贵族和蒙古旧贵族之间的冲突激化，导致蒙古所有贵族的强烈反弹。也先在称汗之后就陷入了内外交困的局面，仅仅一年就被暗杀而死。 也先之死并没有恢复草原的秩序，卫拉特受...

原文：https://ml-jku.github.io/hopfield-layers/作者：Johannes Brandstetter贡献者： Viet Tran, Bernhard Schäfl, Hubert Ramsauer, Johannes Lehner, Michael Widrich, Günter Klambauer and Sepp HochreiterFeb 16, 2021Translated by Gemini 3.1 Pro 这篇博客文章解释了论文《Hopfield Networks is All You Need》以及相应的全新 PyTorch Hopfield 层。 主要贡献 我们引入了一种新的能量函数及其对应的新更新规则，该规则保证能收敛到能量函数的局部极小值。 新的能量函数是 Krotov、Hopfield 和 Demircigil 等人引入的现代 Hopfield 网络（又称密集联想记忆，Dense Associative Memories）的推广（离散状态 ⇒ 连续状态）。具有连续状态的新型现代 Hopfield 网络保留了其离散版本的...

ChatGPT的虚假承诺 *原文地址*：https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html 作者： 诺姆·乔姆斯基（Noam Chomsky）、伊恩·罗伯茨（Ian Roberts）、杰弗里·瓦图穆尔（Jeffrey Watumull） 日期： 2023年3月8日 Translated by Gemini 3.1 Pro 豪尔赫·路易斯·博尔赫斯（Jorge Luis Borges）曾经写道，生活在一个充满巨大危险与希望的时代，就是同时体验悲剧与喜剧，并在理解我们自己和世界时体验“启示的降临”。今天，我们在人工智能领域所谓革命性的进步确实既引起了担忧，也带来了乐观。乐观是因为智能是我们解决问题的手段。担忧是因为我们害怕最流行、最时髦的人工智能流派——机器学习——会将一种存在根本缺陷的语言和知识概念纳入我们的技术中，从而使我们的科学退化，并败坏我们的伦理。 OpenAI的ChatGPT、谷歌的Bard和微软的Sydney都是机器学习的奇迹。粗略地说，它们获取海量数据，在其中寻找模式，并越...

Token是什么？Deepseek给出的解释是： token 是模型用来表示自然语言文本的基本单位，也是我们的计费单元，可以直观的理解为“字”或“词”；通常 1 个中文词语、1 个英文单词、1 个数字或 1 个符号计为 1 个 token。 一般情况下模型中 token 和字数的换算比例大致如下： 1 个英文字符 ≈ 0.3 个 token。 1 个中文字符 ≈ 0.6 个 token。 阿里云的解释是 大模型以 Token 为单位处理输入和输出。一个 Token 可能是： **单个字符：**如A、我 **完整的单词：**如large、Model **长单词的一部分：**一个长单词通常会被拆分为多个 Token，拆分的过程称为分词。 根据经验，平均 1 个汉字约对应 1.5-2 个 Token；1 个英文字母约对应 0.25 个 Token；1 个英文单词约对应 1.3 个 Token： 阿里云百炼：约 4-5 个 Token Hello World：约 2 个 Token 每个模型都有最大输入和输出 Token 数（详见模型列表），超过限制会导致请求失败。 ...

王立铭《脑科学讲义》/个人笔记之一 标记线和群体编码一般而言，大脑神经组织和脑功能有着两种工作方式，即标记线（Labeled Line）和群体编码（Population Coding）。 其中的标记线可以看成是专线电话，只有特别紧急的、尤其是生死攸关的活动，才会配备标记线——遇到这种情况，反应要迅速、动作要快，不能磨磨蹭蹭、改来改去。这些活动和人体的心智发育无关，而是天生的本能，在PVE的情况下必须是天生习得才可以生存的基本本能，才会用到这种工作方式。 典型的例子就是下丘脑，下丘脑掌管人体的激素调节和新陈代谢，如果下丘脑中饥饿相关的神经元激活则会刺激进食行为。一些基于GLP-1的药物（包括司美格鲁肽和替尔泊肽）则会通过抑制下丘脑的饥饿感知能力，干预对进食行为的奖励机制，从而起到了减肥的效果。 标记线理论这种神经专线专用的思想，算是最早期、也是对于神经最朴素的认知，并且由于神经元连接的距离小于光学观测的极限，因此很多人将神经视作和血管一样的管道而不是真正的细胞，譬如笛卡尔就把神经看成身体连接到大脑的某种管道（“流动于管道的动物灵魂”），**约翰内斯·缪勒（Johannes Müll...

内存宽带墙在LLM生成文本（Decoding阶段）时，它是逐字（Token）生成的。为了生成 哪怕仅仅一个Token ，计算单元也必须把模型的所有权重（Weights）从显存（VRAM）或内存（RAM）中完整地读取一遍。 因此，模型生成的速度主要取决于内存带宽，而不是算力。 计算公式： 理论生成速度 ≈ 内存带宽 / 模型加载的体积。 硬件差异： 数据中心级的英伟达 H100 显卡内存带宽高达 3.3 TB/s ；而顶级的消费级显卡 RTX 4090 带宽约为 1 TB/s ；如果是普通的系统内存（DDR5），带宽通常只有 60-80 GB/s 。 如果你用纯CPU运行模型，或者显卡带宽不足，数据搬运的速度远远跟不上处理器计算的速度，导致计算核心大部分时间都在“排队等数据”。 HBM vs GDDRAPI 端的企业级显卡（如 A100 / H100）使用的是 HBM（高带宽内存） 。这种内存直接和 GPU 核心封装在一起，数据通道极宽。一块 H100 的带宽高达 3.3 TB/s 。本地消费级显卡（如 RTX 4090）主要是用 GDDR6X 显存。虽然玩游戏很强，...