Posts

以小见大，从国父的故事窥见美国独立建国的大历史

-
最近读了两本美国国父的书， 一本是 Founding Fathers: The Essential Guide to the Men Who Made America by The Encyclopaedia Britannica 这本书介绍了20 - 30位美国国父，他们大多参与过独立战争、立宪会议以及美国建国的整个过程。大部分人的介绍都很短，主要是简单履历，大部分都是律师和政府官员，然后反对英国加税。少数重要人物比如华盛顿会有长的多的篇幅介绍。 第二本是 Founding Brothers: The Revolutionary Generation (Pulitzer Prize Winner) by Joseph J. Ellis 这本书主要聚焦于几个最重要国父：华盛顿、汉密尔顿、亚当斯、杰斐逊、麦迪逊、富兰克林，讲述了他们之间的六个重要事件：汉密尔顿最终的决斗，麦迪逊和汉密尔顿在一个晚餐上达成的首都选址和国家债务的协议，废除奴隶制的大讨论，华盛顿的退休，杰斐逊和亚当斯的交恶，杰斐逊和亚当斯晚年深刻展示他们政治思想的信件往来，从这六个事件出发分析了它们背后美国的建国背景和当时的环境。 这两本书让我以小见大，从国父的故事中窥见了美国独立建国的大历史，感受很深，就把映像最深刻的一些点按照我自己的逻辑写出来，有些是直接摘抄书中的内容。 美国国父们的自然神论信仰 Deist 虽然美国是新教国家，大部分国父也成长于天主教地区，但在18世纪的美国，一种名为自然神论（Deism）的宗教思想流派的广泛存在，使得国父们的真实信仰变得更加复杂。自然神论汲取了让-雅克·卢梭（Jean-Jacques Rousseau）、艾萨克·牛顿（Isaac Newton）和约翰·洛克（John Locke）等人的科学与哲学成果，主张人类的经验和理性——而非宗教教条与神秘主义——决定信仰的合理性。 自然神论不可避免地颠覆了正统基督教。受这一思潮影响的人们几乎没有理由去阅读《圣经》、祈祷、上教堂，或参与诸如洗礼、圣餐、主教按手礼（坚振礼）等宗教仪式。 从18世纪中叶到19世纪，自然神论在大学中极为盛行，因此影响了革命时代许多受过教育（以及未受教育）的男性。这些人在大学毕业后通常会继续在公开场合保持基督徒身份，但内心可能持有非正统的宗教观点。 尽管在新共和国的各个阶段都有...
Read more

年底los altos 闲逛感怀

-
Image
 感恩时节沐早雨，忽而放晴踏红叶。 年关将至枝丫秃，偶有簇红难掩寥。 乔林竟落华市隅，千年相伴令人羡。 嗜书行善馈馆阁，人间烟火无洋汉。
Read more

Notes for ICML Physics of LLM Talk

-
 Source:  https://youtu.be/yBL7J0kgldU?si=koiBhKpq3Cp1M8G7 research methodology deconstruct into building blocks, structure, knowledge, reasoning etc.. study in controlled way, idealized environment, control the data, tweak the params highly repeatable experiments 100m size model, universal laws 1xH100 within a day probe inner working knowledge extraction 2 types of data biography of N individuals QA data to extract the fact of the N individuals based on Biography Training data: N biographies, + N/2 QA data Test data: the other N/2 QA data If the model can perform well on the other N/2 individuals’ biography questions, then it has knowledge extraction capability Option 1: Pre train with both N biographies and N/2 QA result: good knowledge extraction Option 2: Pre train with biography data only, fine tune with QA result: bad knowledge extraction Option 3: augment the biography data for each person, pretrain with biography and fine tune with QA ...
Read more

MIT Efficient ML Course Notes and Highlights

-
  Personal highlights Memory movement is more expensive than computation Network latency is more significant than computation with same memory consumption, we want the network to have as much computation as possible to increase accuracy Common technique: Pruning, Quantization, Distillation different level of grouping and granularity used in pruning, quantization, parallel execution Common evaluation and optimization criteria weight significance, activation significance, tensor wise, channel wise, batch wise … l2 loss, KL divergence, accuracy, latency, number of computation, memory usage Common ideas to optimize a neural network structure using above techniques architecture option as a trainable parameter and additional loss or KD divergence Optimize the architecture params with regular weights either together or freeze one and optimize the other iteratively iteratively prune/ quantize / distill and evaluate after fine tune in each round abrasion study, delete...
Read more

拉美500年，荆棘丛生的自由繁荣之路

-
  缘起 最近对拉美的政治经济历史感兴趣，所以读了一些相关书籍，看了一些相关视频，感觉拉美还是一个很有趣的地区：资源丰富，悠久的被殖民的历史，灾难性的通货膨胀，贫民窟，贫富差距大etc。 所以把阅读的笔记和思考重新整理如下。 注 ：下面的很多内容都是来自读书笔记，如有雷同，那是真的在抄书 lol 参考材料： 從「已開發」倒退回「發展中水準」的國家，經濟學家眼中最離奇的案例 （视频） 阿根廷国家崩溃报告 （视频） 《掉队的拉美》 [智]塞巴斯蒂安.爱德华兹 （书）  《拉丁美洲被切开的血管》 [乌拉圭] 爱德华多·加莱亚诺 （书） 正文 拉美的问题 相比其他国家，拉美有很多优势，比如资源丰富，有丰富的矿产资源，气候也很适合农业发展；比如比亚洲和非洲国家更早实现独立和民主制度；比如没有直接卷入一战和二战，二战期间由于欧州陷入战乱无暇输出工业品，拉美的民族工业从而获得了更多市场，并得到了长足发展。但是二战之后拉美的发展速度却远远落后于一片废墟的欧洲，还被东亚诸国后发超车。 《掉队的拉美》中把经济的增长转型分为三个阶段： 第一个阶段 ，产量增加和收入提高主要是由生产率增长驱动的。简单来说，第一个阶段的经济增长不是由于使用了更多机器或雇用了更多工人，而是由于做事的效率提高了。 第二个阶段 ，效率的提高和生产率的增长仍然强劲，整体经济持续快速发展。与第一个阶段不同的是，第二个阶段对机器、建筑物、公路和港口的投资成为增长的另一重要来源。 第三个阶段 ，包括实物资本和人力资本在内的资本积累成为增长最主要的来源，有助于维持相对较快的经济扩张。有时第三个阶段会引起新的结构或技术变革，使生产率有新的跃升，于是上述过程进入一个层次更高的新周期。 作者认为绝大多数拉美国家并没有跨越增长转型的第一个阶段。从各项经济、社会指标上，拉美的各个国家也很落后。比如拉美的贫困人口多。1970年，在实施进口替代发展战略整整30年之后，所有拉美家庭中仍有40%生活在贫困线以下，农村地区的贫困发生率达到令人震惊的62%。还比如拉美的人均收入低。1975年拉美平均人均收入相当于美国的24%，至2006年，这一数值跌至19%。再比如拉美的贫富差距很大，受教育程度普遍偏低，失业率高企，通胀失控等等。 根据经济学研究，一个国家的自由繁荣主要取决于以下几个因素： ...
Read more