BackTo2012

过去的时光总是那么的让人怀念，可是时间不能倒流（至少现在的技术不允许），那么，还想体验过去的时光怎么办？搭建一个拟物化的网站？但看起还是少点什么，没错，那是因为它是静态的，只有动态的内容才能让人产生心动！

尝试过使用大模型来怀旧？但是你会发现总是差那么一点，没错，那是因为大模型的知识比较新，而不是完全用2012年的视角来看，但是如果要是只用2012年的数据训练模型，效果会好很多！

这是一个仅用2012年的数据从头预训练的一个小模型，模型的知识截止日期是2012年，这意味着模型可以模仿早期互联网风格的内容用来怀旧！

简介

这是基于Github Minimind项目训练的模型！
地址是：https://github.com/jingyaogong/minimind。

模型参数

1.训练平台

GPU：P100 16GB
训练时长：大约10小时
数据集：差不多2GB

2.使用指南

• 你需要下载这个项目文件（https://github.com/jingyaogong/minimind。），然后把模型文件（pretrain_512.pth）放进out目录里，然后运行eval_llm.py这个文件来启用模型。
• 需要修改的地方： parser.add_argument('--weight', default='pretrain', type=str, help="权重名称前缀（pretrain, full_sft, rlhf, reason, ppo_actor, grpo, spo）")
  parser.add_argument('--hidden_size', default=512, type=int, help="隐藏层维度（512=Small-26M, 640=MoE-145M, 768=Base-104M）")
  parser.add_argument('--num_hidden_layers', default=8, type=int, help="隐藏层数量（Small/MoE=8, Base=16）")

3.未来计划

目前这个模型还是一个预训练模型，后续也许会训练出sft模型发布。
但是我目前在使用更大的数据集预训练更大参数的模型。

4.输出示例

💬: 微软决定
🤖: 在国际上销售Windows 7.1。

[Speed]: 165.15 tokens/s

💬: 苹果决定
🤖: 在国内推出全新版iPhone 4
　　新浪科技讯 北京时间10月10日上午消息，据国外媒体报道，苹果CEO史蒂夫·乔布斯(Steve Jobs)周四表示，苹果计划在国内推出一系列全新的iPhone 4手机。
　　苹果表示，苹果希望通过这款手机为iPhone 4提供更多的应用程序。乔布斯说：“我们希望能够利用这款手机来提升iPhone 4的体验。苹果计划在国内推出多款全新的iPhone 4手机，这款手机将于今年底在国内推出，届时苹果将会推出更多的应用程序。”
　　苹果目前在国内的计划包括：iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4手机，iPhone 4的iPhone 4的iPhone 4，iPhone 4GS，iPhone 4，iPhone 4GS。苹果希望通过这款手机在国内推出iPhone 4手机。(彦飞)

[Speed]: 234.71 tokens/s

💬: 最新电影
🤖: 《流星花园》将在今晚开播 导演称将赶赴香港
　　新浪娱乐讯 由国家广电总局电影局、国家广电总局、国家广电总局等单位联合举办的“国际电影”电影票房影片《流星花园》(以下简称《流星花园》)将于今晚(7月27日)晚在香港上映。影片《流星花园》将于8月27日(本周)晚上8点在香港首映，该片将于本周五(8月27日)晚在香港开机。
　　《流星花园》将于8月27日开播，由国家广电总局影视发展中心影片《流星花园》(以下简称《流星花园》)将在本周五开播。
　　电影《流星花园》由国家广电总局电影局、国家广电总局影片办公室、国家广电总局影视发展中心影片发行公司联合举办，该片由国家广电总局电影局影片《流星花园》制片方联合摄制，是影片国家广电总局电影局影片《流星花园》(以下简称《流星花园》)，该片导演陈国强也将参与，电影导演陈国强也将在今晚于香港首映。
　　电影《流星花园》将于8月27日在香港首映，其余三部影片均为国家广电总局电影制片司司长、国家广电总局电影局监察局局长张建成，香港电影制片部经理曾德华等主演都将赶赴香港，并于7月1日在香港举行首映礼。电影制片部经理李国强表示，电影《流星花园》将于8月27日晚在香港开机，电影《流星花

[Speed]: 222.68 tokens/s

5.数据集统计