分类 随笔 下的文章

距本人上次更新已过三个月,或许weekly要改成monthly。上周我问🦉为什么不更新,她没过几天就更新了👍week1#春天、街景和N种脆弱的方式 - Roche's Room,而我过了半个月才创建文档。严以律人,宽以待己,我要为自己辩解,上周在准备中期检查,这周要跟甲方汇报项目。

本文标题来源于王维《山中与裴秀才迪书》中的那句“春山可望”,某个失眠人翻开黄晓丹老师的<<诗人十四个>> 看到了“春山可望”,我好喜欢这四个字,相见恨晚,我想在我大量阅读的那几年一定读过这篇文章,但这句话没有留下痕迹。王维写文章邀请裴迪玩,这样的邀请谁忍心拒绝呢?我很喜欢的一首歌《春逝》里也有这四个字, 《春逝》的同名话剧是我一直想看的, 苦于没有合适的机会, 我对它的执念也逐渐消逝。而拜伦的诗歌《春逝》when we two parted 里有那句出名的“多年之后,久别重逢,我当以何贺你,以眼泪,以沉默”,when we two parted不知道是怎么被翻译为"春逝"。歌曲《春逝》里没有引用诗歌本身,引用了拜伦的另一首诗 She Walks in Beauty的前四句,有段时间我也很喜欢。


王维原文:当待春中,草木蔓发,春山可望,轻鲦出水,白鸥矫翼,露湿青皋,麦陇朝雊,斯之不远,倘能从我游乎?
she walks in beauty原文节选
春逝歌词节选

忽略糟糕的排版,可以看出微信读书的图片分享模板最好看,md可以直接插入html

至于雨季,长沙的天气难以言喻, 前三年也没这样,湖南人🐿️说:湖南每隔几年会有一次雨季, 中学有一年一个月没跑操好爽, 古人也说:长沙卑湿, 寿不得长。

我花费三天完成毕设论文初稿,第一天搞了markdown初稿,引用根据zotero导出的bib文件做了标记,图片留出占位和prompt;第二天生成插图,原本打算用pandoc转换格式,但是word调格式好痛苦,引用还要安装插件,我迅速弃暗投明,转投latex,安装texlive,下载毕设模板,剩下的交给AI,晚上也搞得差不多;第三天增加了前端截图,改了一些细节,接下来就是等老师反馈修改意见。这个过程里我做的比较关键的大概是去网站用gpt-image2生成插图和安装texlive以及纠结用国外模型还是国产。如果没有AI,难以想象我要写多久。

写论文的第一天收到了芍药,抽空给它剪枝插瓶,没有醒花,因为我在网上看到的说法是花苞不硬就不用醒花,我忙着写论文,也没空醒花。它好有生命力,一刻不见,就刮目相看。如图是第三天的状态,第四天才是完全盛开。

现在已经是5月24日,我已经答辩结束,虽说保研的肯定会通过,但还是紧张,最终顺利结束。我喝了一瓶雷司令,晕晕的,我喜欢这种感觉。常温雷司令好酸,冰镇的好很多,冰镇雷司令和烧烤绝配。

我处于微醺和醉酒的中间态,很多事都模糊了,我和我妈妈视频,边视频边喝酒,她当然不知道,有点刺激呢。白葡萄酒原来不是完全透明,微黄泛绿,联想到“绿蚁醅新酒”。和🐿️一起吃烧烤,总是我一个人喝酒。

我妈妈终于想好了,要去探望我姐姐,原来家里的事情是可以暂停的。我姐姐和我哥哥的毕业时他们都没去,他们不想错过我毕业,我告诉他们硕士毕业时硕士服更好看,我哥硕士毕业他们还能去。

明天还要出差,计算机的归宿是工地,这将是我第一次去工地。

断断续续的读完了《涅朵奇卡》,这是我读的第一本陀翁的书,真好看啊,对人渣叶菲莫夫的描述也太真实了。叶让我想起了中岛敦的《山月记》,引以为戒。不理解为什么不到10岁的涅朵奇卡就和小女孩恋爱又突然结束,之后和姐姐的关系也很值得品味。然后就戛然而止...

周总结

上周我在写cs336作业一,很有干劲,因为这个任务在我的舒适区,熟悉并且具有挑战性。这周开始学习系统和GPU,只想摆烂,也确实懈怠了。一直以来我对组会有偏见,形式主义、浪费时间...目前我对我们的组会稍有改观,它是在解决问题,而我并没有发现学习中的问题,这是最大的问题--我的学习有问题。我不应该被组会牵着鼻子走,前几周的我浪费了一些时间在没有意义的组会准备上。

我目前的学习方式带有惰性思维,这是大学三年养成的坏习惯,看别人的博客或者讲解视频给我一种理解了这个东西的幻觉,我应该尝试自己解决问题。但是计算机领域就是这样的,你踩进的坑大概率已经有前人踩过了,毕竟前人栽树,后人乘凉。我打算通过写博客改善这一情况,比如最近在学GPU架构、Triton,我应该记录自己的理解。

计算机是一个太广阔的领域,没有人能学完所有东西,我的主线任务是推理加速。计算机以外的世界也是这样,我的主线任务就是我自己。

周末我用不太热的水(大概五六十度)泡红茶,味道意外的不错,这大概属于冷泡/萃取,第二天再尝试,发现茶水温热的时候有点苦涩,冷却后还不错。

我数了数待回复的信,🐿️🦉👻 L 区区四封,我很快就能写完写不完,还没开始写🥺。

泰百《设计爱情》非常好看,每一集都有让人看下去的欲望,已追平,我以为它已经完结了,没想到还差1集。和🐿️一起看的,梦回上学期一起熬夜追《善意的竞争》。《善竞》非常好看,《设爱》属于正宗小甜剧,它竟然是腾讯TV海外版出品的,我也看过国产百合,一言难尽, 环境影响还是太大了。剧里两位女主都属于正常人,她们正常的相识相知相爱,很纯爱🥰。

我和🐿️聊天发现我们两个真是近墨者黑,曾经我总是熬夜,她不爱运动,如今1+1>2,我要开始复健,从在宿舍举哑铃开始。


备忘录

看过的东西总是忘记,记录一下...

适合初学者的技术写作课程

我以为视频内容会是如何写博客,实际是一个比较宽泛的话题technical writing。它带给我的思考是我的博客定位是什么,我的专业水平介于专家与非专家之间,博客偏向于笔记本。

technical writing 面向读者 专家为非专家撰写的资料,比如菜谱、说明书...

  • 语言简单
  • 信息深度
芝加哥大学最重要的一堂写作课(完整):学术圈的生存必需,职场的人间清醒
  • 学术写作本质不是传达作者的想法,而是改变读者的观念,这是知识的外化,也是当代知识的价值所在。
  • 应该做有价值的事情
  • 什么是严肃写作?视频中提到严肃写作是促进思考的方法,所以要写论文。
  • 之后读论文,我将关注一下摘要是否有视频里的“套路”,计算机偏工程,怀疑?
what is understanding?

Hinton做了一个关于understanding的讲座,LLM真的理解了它生成的内容吗?

AI的两种派别:

逻辑驱动 (Logic-Inspired): 像是在复制一本写满规则的书,相信智能就是对这些规则的精确执行。

生物启发 (Biologically-Inspired): 像是在模拟一个会学习的大脑,相信智能是海量连接和通过经验不断调整的结果。LM的训练过程就是不断降低loss。

Hinton认为LLM 的理解过程是:

“将词语转换为特征(向量),让这些特征进行互动,然后让衍生的特征预测下一个词语的特征——这就是理解 (Understanding)。”

Hinton认为,LLM 的成功彻底证明了生物启发/连接主义范式的强大,因为它以一种完全不同于符号 AI 的方式,学会了处理符号(即语言)。

Hinton有一个神奇的讲座论述人类大脑也可能进行反向传播

Hinton讲understanding我还勉强能理解一点点,但大脑进行反向传播实在是太神奇了,虽然我只看了十几分钟,这就是大佬的想法吗,大脑也是通过反向传播学习的吗,根据反馈loss修正每一个神经元的参数,细思一下感觉也不是不行,那大脑里的神经元的权重指什么呢

cuda triton flashattention学习经验

正如题目这不是关于flash attention具体实现的视频,Umar Jamil以自己学习flash attention为例,分享了如何学习新知识。

授人以鱼不如授人以渔,授人以渔不如授人以学习能力。

  • AI加速学习,现在学习知识不需要一直在浏览器搜索各种各样的博客教程。读论文写代码遇到不懂的让AI解释,推荐学习资源。如果AI没有加速学习,就是使用方法有问题。
  • 学习目标需要的东西,不要偏离原始目标。比如因为原始目标去读一本书,不需要把书读完,根据目标确定学习到什么程度
  • 技术发展日新月异,不要跟风,我们应该根据自己的兴趣与工作需求学习,有趣 or 有用
  • 持续学习,现在开始学习,总能赶上的
  • 代码能力,要不要用自己写代码,视情况而定,如果以深入学习为目的,要自己写代码,如果是测试或者项目可以AI写
  • 可以每天刷一下leetcode建立自信

开完组会,暂时解放,闲来无事,研究了一下xmlrpc接口发布博客,好简单,那我之前真的就是钻木取火。这告诉我们干活之前要先调研。

这周十分忙碌,cs336作业一工作量巨大, 收获很多; 读llama.cpp代码,感觉llama.cpp真的和torch很像,可以说是mini-cpp-torch;目前感觉导师人不错,不会提出莫名其妙要求,开始一个新的方向,也给出了学习时间。学习之余,没有心力去读书,《那不勒斯四部曲》阅读进度停滞。无意间看到PARA(出自《打造第二大脑》, para是一种个人信息管理方法, 把繁杂的信息分为project、area、resource、archive四类),开始不难,创建四个文件夹即可,但是之前的信息怎么处理呢 ... para让我想到之前看到组织比较新奇的博客,原来就是para。

这周的每一天都是恶性循环。上午睡觉,下午晚上匆忙的完成任务,睡觉时报复性熬夜。这周每天都是写作业到1点,洗漱后躺下又不愿睡觉。睡前干活真是个坏习惯,下周我要做到睡前一小时以内不干活。鲁豫和鸟鸟有一期关于睡眠的访谈,她们都提到长大后睡眠变得糟糕,这里的长大具体指25岁~30岁青年危机(四分之一人生危机)。而我很小就开始睡不着了。小时候睡不着,第二天又要上学,我急得直哭,我妈妈听到我哭就会抱我到她和我爸的房间睡。那时我妈妈怕吵到我睡觉,在客厅看电视不开声音😭,原来我小时候就对声音敏感了。现在我和失眠不和平的共处。

四分之一人生危机挺有意思的,100岁的1/4 。我设想了我的25岁,或许刚刚工作,或许读博?

我突然意识到即将21岁的我面前并没有迫在眉睫的人生危机。我的父母十分支持我读书,他们不能为我提供帮助,但也不会阻碍我。我所在的学校不算好但也不差,并且拥有一定的自由度。我所担忧的东西:遥远的未来里,我步入社会,我可能不适应工作,可能我的父母希望我回到家乡考公考编结婚,我们的分歧还未发生,至少还没暴露。这应该是25岁的我担心的,或许更晚。其余担忧,学业、人际、恋爱... 哦,依然令人困扰。

学业,逐渐走上正轨,我不讨厌学习,恐惧任务和组会。人际,有好几封信没回,我目前处于节能阶段。恋爱, 顺其自然...

所以我的生活还算无忧无虑,没有任何重担,因为没有能力。(这是前面鲁豫鸟鸟的访谈里提到的一个段子,出自泰勒的脱口秀:青年危机, 看了一点点,国外的脱口秀尺度还是有点大)

两周多没更新了,这不代表我没有写,只是没写完。这两周每周末我都有计划写周记。但如果当前周已经度过,而我还没写完,我就会觉得没有写完的意义。
上上周离校出发去天津,和🐿️告别,当时想写一下离别,感慨人生常在别离中,当然没写完。但是人生何处不相逢,过了一周,我就又见到🐿️了。然后又经历了离别。
数据库暑期学校好难,代码好难写,debug了一天发现题目理解错了真的令人崩溃,然后宽恕了自己。最后2天🦉和👻到天津找我玩,天津也没有很多好玩的,这个貌似是因为我没有大块时间出去玩。天津的饭也不合我胃口,不如长沙,也不如合肥。安徽的臭鳜鱼好吃,其他的(外卖)也不错,大概是安徽与河南相邻,口味也相近。
思考,天津不好吃也不好玩,可能因为我不是出于游玩的目的去那里,也就没有投入时间去做攻略找好吃的好玩的。
之后在合肥基本上一直都待在酒店里,十分快乐。可恶的就是,sunsetbot预测火烧云鲜艳度0.9,难得出去走走,去北雁湖追日落,最后被鸽了,云层厚到连落日都被遮住了。更可恶的是,第二天朝霞预测鲜艳度0.8,我太困了,没起床,火烧云却如约而至。
在家我打算刷一下leedcode,追赶🐿️的步伐,研究一下毕设(把rag框架搭起来),有空做一下datawhale的happyllm。
前几天收到短信说我的网站备案主体信息需要更新,于是做了一些小改动以度过审查🐿️。