Popular repositories Loading

1. ChatGPTX-Uni ChatGPTX-Uni Public

   实现一种多Lora权值集成切换+Zero-Finetune零微调增强的跨模型技术方案，LLM-Base+LLM-X+Alpaca，初期，LLM-Base为Chatglm6B底座模型，LLM-X是LLAMA增强模型。该方案简易高效，目标是使此类语言模型能够低能耗广泛部署，并最终在小模型的基座上发生“智能涌现”，力图最小计算代价达成ChatGPT、GPT4、ChatRWKV等人类友好亲和效果。当…

   Python 115 10

2. R1-Nature R1-Nature Public

   最简易的R1结果在小模型上的复现，阐述类O1与DeepSeek R1最重要的本质。Think is all your need。利用实验佐证，对于强推理能力，think思考过程性内容是AGI/ASI的核心。

   Python 45 7

3. MiniRWKV-4 MiniRWKV-4 Public

   实现Blip2RWKV+QFormer的多模态图文对话大模型，使用Two-Step Cognitive Psychology Prompt方法，仅3B参数的模型便能够出现类人因果思维链。对标MiniGPT-4，ImageBind等图文对话大语言模型，力求以更小的算力和资源实现更好的智能效果。

   Python 42 5

4. RingRWKV RingRWKV Public

   修复Transformer官方库中RWKV的适配问题，支持RWKV所有系列模型在转换后，通过RingRWKV库，与其他transfomer模型一样简单方便地部署和微调。

   Python 9 3

5. R1-CDL R1-CDL Public

   Continuous Distillation Learning持续蒸馏学习，在类DeepSeek-R1知识蒸馏强化的基础上，意图小模型能够以极低成本且简易的方式复制繁殖目标模型的强壮思维，在获取高价值蒸馏数据的同时，让小模型通过类人的在线持续学习，以继承目标模型的强推理能力。以此期待，成为AGI与硅基生命演化的一种新实现范式。

   5

6. HF-For-RWKVWorld-LoraAlpaca HF-For-RWKVWorld-LoraAlpaca Public

   将RWKV World/World-CHN系列模型由原生pth转为HF格式，并进行基于peft库的Lora增量微调+Alpaca全量微调。

   Python 4 2