实践方面

本周大致完成了CS336的Assignment1骨干模型部分,帮助很大,之前很多在看理论的时候不懂和混淆的部分都解决的差不多了。接下来还差写优化器,batch_loader和损失函数,之后就是实际训练了。预计下周能够完成整个Assignment1. 66cba4f2f4870aaaaa9ffc215f5e966.png

image.png

周六摆了一天,应该至少可以提升到28小时左右,大部分时间都是在记笔记,巩固Transformer理论知识以及读论文。见CS336 Assignment 1 同时Mojoca方面

理论方面

主要就是读论文,读了A_0,同时在飞书文档的参考文献中找了两篇文献在读,一篇是最开始读的RoboTwin 2.0以及重读pi_0

展望

国庆期间应该可以完成CS336的Assignment1,对Transformer模型有基础的认知,之后首先是多读论文,可以把群里的论文都通读一遍,然后在实践方面,有以下几个选择: