周总结

上周我在写cs336作业一，很有干劲，因为这个任务在我的舒适区，熟悉并且具有挑战性。这周开始学习系统和GPU，只想摆烂，也确实懈怠了。一直以来我对组会有偏见，形式主义、浪费时间...目前我对我们的组会稍有改观，它是在解决问题，而我并没有发现学习中的问题，这是最大的问题--我的学习有问题。我不应该被组会牵着鼻子走，前几周的我浪费了一些时间在没有意义的组会准备上。

我目前的学习方式带有惰性思维，这是大学三年养成的坏习惯，看别人的博客或者讲解视频给我一种理解了这个东西的幻觉，我应该尝试自己解决问题。但是计算机领域就是这样的，你踩进的坑大概率已经有前人踩过了，毕竟前人栽树，后人乘凉。我打算通过写博客改善这一情况，比如最近在学GPU架构、Triton，我应该记录自己的理解。

计算机是一个太广阔的领域，没有人能学完所有东西，我的主线任务是推理加速。计算机以外的世界也是这样，我的主线任务就是我自己。

周末我用不太热的水（大概五六十度）泡红茶，味道意外的不错，这大概属于冷泡/萃取，第二天再尝试，发现茶水温热的时候有点苦涩，冷却后还不错。

我数了数待回复的信，🐿️🦉👻 L 区区四封，我很快就能写完写不完，还没开始写🥺。

泰百《设计爱情》非常好看，每一集都有让人看下去的欲望，已追平，我以为它已经完结了，没想到还差1集。和🐿️一起看的，梦回上学期一起熬夜追《善意的竞争》。《善竞》非常好看，《设爱》属于正宗小甜剧，它竟然是腾讯TV海外版出品的，我也看过国产百合，一言难尽， 环境影响还是太大了。剧里两位女主都属于正常人，她们正常的相识相知相爱，很纯爱🥰。

我和🐿️聊天发现我们两个真是近墨者黑，曾经我总是熬夜，她不爱运动，如今1+1>2，我要开始复健，从在宿舍举哑铃开始。

备忘录

看过的东西总是忘记，记录一下...

适合初学者的技术写作课程

我以为视频内容会是如何写博客，实际是一个比较宽泛的话题technical writing。它带给我的思考是我的博客定位是什么，我的专业水平介于专家与非专家之间，博客偏向于笔记本。

technical writing 面向读者 专家为非专家撰写的资料，比如菜谱、说明书...

• 语言简单
• 信息深度

芝加哥大学最重要的一堂写作课（完整）：学术圈的生存必需，职场的人间清醒

• 学术写作本质不是传达作者的想法，而是改变读者的观念，这是知识的外化，也是当代知识的价值所在。
• 应该做有价值的事情
• 什么是严肃写作？视频中提到严肃写作是促进思考的方法，所以要写论文。
• 之后读论文，我将关注一下摘要是否有视频里的“套路”，计算机偏工程，怀疑？

what is understanding?

Hinton做了一个关于understanding的讲座，LLM真的理解了它生成的内容吗？

AI的两种派别：

逻辑驱动 (Logic-Inspired)： 像是在复制一本写满规则的书，相信智能就是对这些规则的精确执行。

生物启发 (Biologically-Inspired)： 像是在模拟一个会学习的大脑，相信智能是海量连接和通过经验不断调整的结果。LM的训练过程就是不断降低loss。

Hinton认为LLM 的理解过程是：

“将词语转换为特征（向量），让这些特征进行互动，然后让衍生的特征预测下一个词语的特征——这就是理解 (Understanding)。”

Hinton认为，LLM 的成功彻底证明了生物启发/连接主义范式的强大，因为它以一种完全不同于符号 AI 的方式，学会了处理符号（即语言）。

Hinton有一个神奇的讲座论述人类大脑也可能进行反向传播

Hinton讲understanding我还勉强能理解一点点，但大脑进行反向传播实在是太神奇了，虽然我只看了十几分钟，这就是大佬的想法吗，大脑也是通过反向传播学习的吗，根据反馈loss修正每一个神经元的参数，细思一下感觉也不是不行，那大脑里的神经元的权重指什么呢

cuda triton flashattention学习经验

正如题目这不是关于flash attention具体实现的视频，Umar Jamil以自己学习flash attention为例，分享了如何学习新知识。

授人以鱼不如授人以渔，授人以渔不如授人以学习能力。

• AI加速学习，现在学习知识不需要一直在浏览器搜索各种各样的博客教程。读论文写代码遇到不懂的让AI解释，推荐学习资源。如果AI没有加速学习，就是使用方法有问题。
• 学习目标需要的东西，不要偏离原始目标。比如因为原始目标去读一本书，不需要把书读完，根据目标确定学习到什么程度
• 技术发展日新月异，不要跟风，我们应该根据自己的兴趣与工作需求学习，有趣 or 有用
• 持续学习，现在开始学习，总能赶上的
• 代码能力，要不要用自己写代码，视情况而定，如果以深入学习为目的，要自己写代码，如果是测试或者项目可以AI写
• 可以每天刷一下leetcode建立自信