LeWM 世界模型复现
复现说明:本文记录在 PushT 环境下复现 LeWorldModel (LeWM) 的完整过程。实验在个人笔记本(RTX 5060 Laptop, 8GB VRAM)上完成,受限于显存与时间仅训练了 4 个 epoch,远未达到论文报告的收敛水平。如需直接体验完整效果,建议直接使用官方预训练模型(见第五节)。 一、实验概述LeWorldModel(LeWM) 是一个基于 JEPA(Joint Embedding Predictive Architecture)的世界模型,通过联合嵌入预测训练,在潜空间中学习环境的动力学,从而支持基于模型的规划与控制。本次实验基于官方代码,在 PushT 机器人操作任务上完成从环境搭建、数据准备、模型训练到 CEM-MPC 规划评估的完整流程。 训练总时长:约 13 小时(03:16 ~ 16:29),共 4 个 epoch。 Epoch 完成时间 单 epoch 耗时 1 06:40 ~3h24m 2 09:56 ~3h16m 3 13:12 ~3h16m 4 16:29 ~3h17m 训练配置: 参数 值...
用 ClipCap 搭建一个图像描述与故事生成 API
更新说明(2026-07):本文涉及的在线 API 演示已下线。由于服务器空间有限(模型权重文件约 6.4 GB),为释放磁盘空间,我已将模型权重从服务器移除,API 服务随之停止。如果你仍希望运行本项目,可参考下方「自行运行指引」在本地部署。 项目概述ClipCap2Story 是一个把图像变为描述与后续故事的轻量化流水线:首先用 CLIP 提取图像特征,再通过一个映射网络(projection / mapping network)把视觉特征映射到语言模型的嵌入空间,最后用 GPT‑2(或类似的自回归模型)生成自然语言的 caption 或 story。流程简化为: CLIP 提取图像向量(视觉特征) 映射网络将视觉向量转换为语言模型可消费的前缀向量 GPT‑2 接收前缀并生成描述或续写故事 这种两阶段方案易于实现、推理速度快,但受限于训练数据匹配(图像→故事)时的稀缺性,往往不能做到端到端最优。 实现过程我做了哪些事 在服务器上搭建 Conda 环境,使用 Python 3.10。 安装 PyTorch 2.9(匹配 CUDA 12.8)并验证 GPU(RT...
CS231n 作业记录
#article-container { font-size: 15px; } 本文记录我在斯坦福 CS231n 课程中完成的作业实践,主要包括卷积神经网络(CNN)、反向传播等核心内容的编程实现与实验笔记。 作业代码与说明见 GitHub 仓库:cs231n_2026.io。
Hexo Butterfly 博客添加音乐功能完全指南
#article-container { font-size: 15px; } 为个人博客添加背景音乐,能在阅读时营造氛围,也让站点更有辨识度。在 Hexo + Butterfly 生态里,常见做法有两类:一是用 hexo-tag-aplayer 插件在文章中插入播放器;二是直接利用 Butterfly 主题内置的 APlayer / MetingJS 注入能力,更轻量、也更适合全局吸底播放。本文整合官方插件文档与 Butterfly 全局吸底教程,按步骤说明两种方案的安装与配置。 方法一:使用 hexo-tag-aplayer 插件hexo-tag-aplayer 是 APlayer 的 Hexo 标签插件,支持单曲、歌词、本地播放列表,以及通过 MetingJS 调用网易云、QQ 音乐等平台歌单。 步骤 1:安装插件在博客根目录执行: 1npm install --save hexo-tag-aplayer 安装完成后执行 hexo clean,再重新生成站点。 步骤 2:在博文中嵌入音乐单曲1{% aplayer "曲目标题&quo...
Hello World
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub. Quick StartCreate a new post1$ hexo new "My New Post" More info: Writing Run server1$ hexo server More info: Server Generate static files1$ hexo generate More info: Generating Deploy to remote sites1$ hexo deploy More info: Deployment