🚀 One-stop solution for creating your digital avatar from chat history 💡
+🚀从聊天记录创造数字分身的一站式解决方案💡
+ + +
+
+[](https://github.com/xming521/WeClone/stargazers)
+[](https://github.com/xming521/WeClone/releases)
+
+ 
+
+[](https://x.com/weclone567)
+[](https://t.me/+JEdak4m0XEQ3NGNl)
+
+
+
+
+
+
+
+
+[](https://x.com/weclone567)
+[](https://t.me/+JEdak4m0XEQ3NGNl)
+
+
+
++ 项目主页 ｜ + 项目文档 ｜ + Windows部署指南 ｜ + Linux部署指南【保姆级】 +
+ +> [!IMPORTANT] +>WhatsApp and Telegram chat logs integration for digital avatar creation is coming !
+ +## ✨核心功能 +- 💫 涵盖打造数字分身的全链路方案，包括聊天数据导出、预处理、模型训练、部署 +- 💬 使用微信聊天记录微调LLM，让大模型有"那味儿" +- 🔗 绑定到微信、QQ、Telegram、企微、飞书机器人，实现自己的数字分身 +- 🛡️ 隐私信息过滤，本地化微调部署，数据安全可控 + +## 📋特性与说明 + +> [!IMPORTANT] +> - WeClone仍在快速迭代期，当前效果不代表最终效果。 +> - 微调LLM效果很大程度取决于模型大小、聊天数据的数量和质量，理论上模型越大，数据越多，效果越好。 +> - Windows环境未进行严格测试，可以使用WSL作为运行环境。详细教程可点击[Windows部署指南](https://blog.051088.xyz/2025/05/14/WeClone-%E7%94%A8%E5%BE%AE%E4%BF%A1%E8%81%8A%E5%A4%A9%E8%AE%B0%E5%BD%95%E6%89%93%E9%80%A0%E8%87%AA%E5%B7%B1%E7%9A%84AI%E6%95%B0%E5%AD%97%E5%88%86%E8%BA%AB/)查看。 + +### 硬件要求 + +项目默认使用Qwen2.5-7B-Instruct模型，LoRA方法对sft阶段微调，大约需要16GB显存。也可以使用[LLaMA Factory](https://github.com/hiyouga/LLaMA-Factory/blob/main/README_zh.md#%E6%A8%A1%E5%9E%8B)支持的其他模型和方法。 + +需要显存的估算值： +| 方法 | 精度 | 7B | 14B | 30B | 70B | `x`B | +| ------------------------------- | ---- | ----- | ----- | ----- | ------ | ------- | +| Full (`bf16` or `fp16`) | 32 | 120GB | 240GB | 600GB | 1200GB | `18x`GB | +| Full (`pure_bf16`) | 16 | 60GB | 120GB | 300GB | 600GB | `8x`GB | +| Freeze/LoRA/GaLore/APOLLO/BAdam | 16 | 16GB | 32GB | 64GB | 160GB | `2x`GB | +| QLoRA | 8 | 10GB | 20GB | 40GB | 80GB | `x`GB | +| QLoRA | 4 | 6GB | 12GB | 24GB | 48GB | `x/2`GB | +| QLoRA | 2 | 4GB | 8GB | 16GB | 24GB | `x/4`GB | + + +## 环境搭建 +1.cuda安装(已安装可跳过，**要求版本12.4及以上**)：[LLaMA Factory](https://llamafactory.readthedocs.io/zh-cn/latest/getting_started/installation.html#cuda) + +2.建议使用 [uv](https://docs.astral.sh/uv/)安装依赖，这是一个非常快速的 Python 环境管理器。安装uv后，您可以使用以下命令创建一个新的Python环境并安装依赖项，注意这不包含音频克隆功能的依赖： +```bash +git clone https://github.com/xming521/WeClone.git +cd WeClone +uv venv .venv --python=3.10 +source .venv/bin/activate # windows下执行 .venv\Scripts\activate +uv pip install --group main -e . +``` +> [!TIP] +> 如果要使用最新的模型进行微调，需要手动安装最新版LLaMA Factory：`uv pip install --upgrade git+https://github.com/hiyouga/LLaMA-Factory.git`,同时其他依赖版本也可能需要修改，例如vllm pytorch transforms + +3.将配置文件模板复制一份并重命名为`settings.jsonc`，后续配置修改在此文件进行： +```bash +cp settings.template.jsonc settings.jsonc +``` +> [!NOTE] +> 训练以及推理相关配置统一在文件`settings.jsonc` + +4.使用以下命令测试CUDA环境是否正确配置并可被PyTorch识别，Mac不需要： +```bash +python -c "import torch; print('CUDA是否可用:', torch.cuda.is_available());" +``` + +5.（可选）安装FlashAttention，加速训练和推理：`uv pip install flash-attn --no-build-isolation` + +## 模型下载 +```bash +git lfs install +git clone https://www.modelscope.cn/Qwen/Qwen2.5-7B-Instruct.git +``` +下载有问题使用其他方式下载：[模型的下载](https://www.modelscope.cn/docs/models/download) + + +## 数据准备 + +请使用[PyWxDump](https://github.com/xaoyaoo/PyWxDump)提取微信聊天记录（不支持4.0版本微信）。可以先将手机的聊天记录迁移（备份）到电脑，数据量更多一些。下载软件并解密数据库后，点击聊天备份，导出类型为CSV，可以导出多个联系人（不建议使用群聊记录），然后将导出的位于`wxdump_tmp/export` 的 `csv` 文件夹放在`./dataset`目录即可，也就是不同人聊天记录的文件夹一起放在 `./dataset/csv`。 + +## 数据预处理 + +- 项目默认去除了数据中的手机号、身份证号、邮箱、网址。还在`settings.jsonc`中提供了一个禁用词词库`blocked_words`，可以自行添加需要过滤的词句（会默认去掉包括禁用词的整句）。 +> [!IMPORTANT] +> 🚨 请一定注意保护个人隐私，不要泄露个人信息！ + +- 执行以下命令对数据进行处理，可以根据自己的聊天风格修改settings.jsonc的`make_dataset_args`。 +```bash +weclone-cli make-dataset +``` +- 目前仅支持时间窗口策略，根据`single_combine_time_window`将单人连续消息通过逗号连接合并为一句，根据`qa_match_time_window`匹配问答对。 +- 可以启用`clean_dataset`中的`enable_clean`选项，对数据进行清洗，以达到更好效果。* 当前系统支持使用 `llm judge` 对聊天记录进行打分，提供 **vllm 离线推理** 和 **API 在线推理** 两种方式。可通过将 `settings.jsonc` 文件中的 `"online_llm_clear": false` 修改为 `true` 来启用 API 在线推理模式，并配置相应的 `base_url`、`llm_api_key`、`model_name` 等参数。所有兼容 OpenAI 接口的模型均可接入。 +- 在获得 `llm 打分分数分布情况` 后，可通过设置 `accept_score` 参数筛选可接受的分数区间，同时可适当降低 `train_sft_args` 中的 `lora_dropout` 参数，以提升模型的拟合效果。 + +## 配置参数并微调模型 + +- (可选)修改 `settings.jsonc` 的 `model_name_or_path` 和 `template` 选择本地下载好的其他模型。 +- 修改`per_device_train_batch_size`以及`gradient_accumulation_steps`来调整显存占用。 +- 可以根据自己数据集的数量和质量修改`train_sft_args`的`num_train_epochs`、`lora_rank`、`lora_dropout`等参数。 + +### 单卡训练 +```bash +weclone-cli train-sft +``` +多卡环境单卡训练，需要先执行 `export CUDA_VISIBLE_DEVICES=0` + +### 多卡训练 +取消`settings.jsonc`中`deepspeed`行代码注释，使用以下命令多卡训练： +```bash +uv pip install deepspeed +deepspeed --num_gpus=使用显卡数量 weclone/train/train_sft.py +``` + +### 使用浏览器demo简单推理 +可以在这一步测试出合适的temperature、top_p值，修改settings.jsonc的`infer_args`后，供后续推理时使用。 +```bash +weclone-cli webchat-demo +``` + +### 使用接口进行推理 + +```bash +weclone-cli server +``` + +### 使用常见聊天问题测试 +不包含询问个人信息的问题，仅有日常聊天。测试结果在test_result-my.txt。 +```bash +weclone-cli server +weclone-cli test-model +``` + +## 🖼️ 微调效果 +使用Qwen2.5-14B-Instruct模型，大概3万条处理后的有效数据，loss降到了3.5左右的效果。 +
+
+
+
+## 🤖 部署到聊天机器人
+
+### AstrBot
+
+[AstrBot](https://github.com/AstrBotDevs/AstrBot) 是易上手的多平台 LLM 聊天机器人及开发框架 ✨ 平台支持 QQ、QQ频道、Telegram、微信、企微、飞书。
+
+使用步骤：
+1. 部署 AstrBot
+2. 在 AstrBot 中部署消息平台
+3. 执行 `weclone-cli server` 启动api服务
+4. 在 AstrBot 中新增服务提供商，类型选择OpenAI，API Base URL 根据AstrBot部署方式填写（例如docker部署可能为http://172.17.0.1:8005/v1） ，模型填写gpt-3.5-turbo,API Key随意填写一个
+5. 微调后不支持工具调用，请先关掉默认的工具，消息平台发送指令： `/tool off all`，否则会没有微调后的效果。
+6. 根据微调时使用的default_system，在 AstrBot 中设置系统提示词。
+
+> [!IMPORTANT]
+> 检查api_service的日志，尽量保证大模型服务请求的参数和微调时一致，tool插件能力都关掉。
+7. 调整采样参数，例如temperature、top_p、top_k等
+[配置自定义的模型参数](https://astrbot.app/config/model-config.html#%E9%85%8D%E7%BD%AE%E8%87%AA%E5%AE%9A%E4%B9%89%E7%9A%84%E6%A8%A1%E5%9E%8B%E5%8F%82%E6%95%B0)
+
+### LangBot
+
+[LangBot](https://github.com/RockChinQ/LangBot) 是一个开源的接入全球多种即时通信平台的 LLM 机器人平台，适合各种场景使用。
+
+1. [部署 LangBot](https://github.com/RockChinQ/LangBot#-%E5%BC%80%E5%A7%8B%E4%BD%BF%E7%94%A8)
+2. 在 LangBot 中添加一个机器人
+4. 在模型页添加新模型，名称`gpt-3.5-turbo`，供应商选择 OpenAI，填写 请求 URL 为 WeClone 的地址，详细连接方式可以参考[文档](https://docs.langbot.app/zh/workshop/network-details.html)，API Key 任意填写。
+
+截图
+
+ 
+ 
+ 
+ 
+
+
+
+请用户慎重阅读并理解本免责声明的所有内容，确保在使用本项目时严格遵守相关规定。
+
+1. 使用目的
+ +* 本项目仅供学习交流使用，**请勿用于非法用途**，**请勿用于非法用途**，**请勿用于非法用途**，否则后果自负。 +* 用户理解并同意，任何违反法律法规、侵犯他人合法权益的行为，均与本项目及其开发者无关，后果由用户自行承担。 + +2. 使用期限 + +* 您应该在下载保存使用本项目的24小时内，删除本项目的源代码和程序；超出此期限的任何使用行为，一概与本项目及其开发者无关。 + +3. 操作规范 + +* 本项目仅允许在授权情况下使用数据训练，严禁用于非法目的，否则自行承担所有相关责任；用户如因违反此规定而引发的任何法律责任，将由用户自行承担，与本项目及其开发者无关。 +* 严禁用于窃取他人隐私，严禁用于窃取他人隐私，严禁用于窃取他人隐私，否则自行承担所有相关责任。 + +4. 免责声明接受 + +* 下载、保存、进一步浏览源代码或者下载安装、编译使用本程序，表示你同意本警告，并承诺遵守它; + +5. 禁止用于非法测试或渗透 + +* 禁止利用本项目的相关技术从事非法测试或渗透，禁止利用本项目的相关代码或相关技术从事任何非法工作，如因此产生的一切不良后果与本项目及其开发者无关。 +* 任何因此产生的不良后果，包括但不限于数据泄露、系统瘫痪、侵犯隐私等，均与本项目及其开发者无关，责任由用户自行承担。 + +6. 免责声明修改 + +* 本免责声明可能根据项目运行情况和法律法规的变化进行修改和调整。用户应定期查阅本页面以获取最新版本的免责声明，使用本项目时应遵守最新版本的免责声明。 + +7. 其他 + +* 除本免责声明规定外，用户在使用本项目过程中应遵守相关的法律法规和道德规范。对于因用户违反相关规定而引发的任何纠纷或损失，本项目及其开发者不承担任何责任。 + +* 请用户慎重阅读并理解本免责声明的所有内容，确保在使用本项目时严格遵守相关规定。 + ++
+
+ +## ⭐ Star History +> [!TIP] +> 如果本项目对您有帮助，或者您关注本项目的未来发展，请给项目 Star，谢谢 + +
+
+[](https://www.star-history.com/#xming521/WeClone&Date)
+
+
+
+
+ 克隆我们，保留灵魂的芬芳
diff --git a/dataset/res_csv/pt/dataset_info.json b/dataset/res_csv/pt/dataset_info.json
new file mode 100644
index 0000000000000000000000000000000000000000..77024e166a2e8329cc97863183184a894c810093
--- /dev/null
+++ b/dataset/res_csv/pt/dataset_info.json
@@ -0,0 +1,6 @@
+{"wechat-pt":{
+ "file_name": "./pt-my.json",
+ "columns": {
+ "prompt": "c"
+ }
+}}
\ No newline at end of file
diff --git a/dataset/res_csv/sft/dataset_info.json b/dataset/res_csv/sft/dataset_info.json
new file mode 100644
index 0000000000000000000000000000000000000000..420740f2185753a1d055d267ed09951ca2c68f2c
--- /dev/null
+++ b/dataset/res_csv/sft/dataset_info.json
@@ -0,0 +1,19 @@
+{
+ "wechat-sft": {
+ "file_name": "sft-my-l.json",
+ "columns": {
+ "prompt": "instruction",
+ "response": "output",
+ "system": "system"
+ }
+ },
+ "wechat-sft-with-history": {
+ "file_name": "sft-my-l.json",
+ "columns": {
+ "prompt": "instruction",
+ "response": "output",
+ "system": "system",
+ "history": "history"
+ }
+ }
+}
\ No newline at end of file
diff --git a/dataset/test_data-privacy.json b/dataset/test_data-privacy.json
new file mode 100644
index 0000000000000000000000000000000000000000..072796eed9bb875b556fafb760169ab8e17a7924
--- /dev/null
+++ b/dataset/test_data-privacy.json
@@ -0,0 +1,224 @@
+{
+ "questions": [
+ [
+ "你多大了？"
+ ],
+ [
+ "你有什么爱好吗？"
+ ],
+ [
+ "你的理想是什么？",
+ "你觉得你离你的理想还有多远？"
+ ],
+ [
+ "你最近在忙什么？",
+ "工作/学习顺利吗？",
+ "有什么有趣的事情发生吗？"
+ ],
+ [
+ "你喜欢看什么类型的电影？",
+ "最近看过什么好看的电影吗？",
+ "你最喜欢的电影是什么？"
+ ],
+ [
+ "你平时喜欢听什么音乐？",
+ "有推荐的歌手或乐队吗？",
+ "最近有喜欢的歌曲吗？"
+ ],
+ [
+ "你喜欢旅游吗？",
+ "去过哪些地方？",
+ "最喜欢的旅游地是哪里？"
+ ],
+ [
+ "你喜欢读书吗？",
+ "最近在读什么书？",
+ "最喜欢的书是哪本？"
+ ],
+ [
+ "你平时喜欢运动吗？",
+ "喜欢做哪些运动？",
+ "有固定去锻炼吗？"
+ ],
+ [
+ "周末一般都做些什么？",
+ "有没有什么特别的计划？",
+ "周末喜欢宅在家还是出去玩？"
+ ],
+ [
+ "你喜欢宠物吗？",
+ "有养宠物吗？",
+ "最喜欢什么动物？"
+ ],
+ [
+ "你喜欢吃什么类型的食物？",
+ "有推荐的餐厅吗？",
+ "最喜欢的菜是什么？"
+ ],
+ [
+ "你喜欢什么样的天气？",
+ "最喜欢的季节是哪一个？",
+ "你觉得今天的天气怎么样？"
+ ],
+ [
+ "你有看电视剧的习惯吗？",
+ "最近在追哪部剧？",
+ "最喜欢的电视剧是哪部？"
+ ],
+ [
+ "你喜欢玩游戏吗？",
+ "最近在玩什么游戏？",
+ "有推荐的好玩的游戏吗？"
+ ],
+ [
+ "你会做饭吗？",
+ "平时喜欢做哪些菜？",
+ "有没有特别拿手的菜？"
+ ],
+ [
+ "你喜欢购物吗？",
+ "最近买了什么新东西？",
+ "有推荐的购物网站或店铺吗？"
+ ],
+ [
+ "你平时怎么放松自己？",
+ "有特别的解压方式吗？",
+ "最喜欢的放松活动是什么？"
+ ],
+ [
+ "你喜欢和朋友出去玩吗？",
+ "平时会和朋友去哪玩？",
+ "最近有没有和朋友聚会的计划？"
+ ],
+ [
+ "你喜欢喝咖啡还是茶？",
+ "有没有特别喜欢的咖啡馆或茶馆？",
+ "最喜欢的饮品是什么？"
+ ],
+ [
+ "你有兄弟姐妹吗？",
+ "和他们关系怎么样？",
+ "经常联系吗？"
+ ],
+ [
+ "你喜欢读什么类型的杂志？",
+ "最近有看什么有趣的文章吗？",
+ "有订阅的杂志吗？"
+ ],
+ [
+ "你喜欢看体育比赛吗？",
+ "最喜欢的运动项目是什么？",
+ "有没有特别支持的球队或运动员？"
+ ],
+ [
+ "你会说其他语言吗？",
+ "最想学的语言是什么？",
+ "学习语言有什么技巧吗？"
+ ],
+ [
+ "你对科技产品感兴趣吗？",
+ "最近有没有关注什么新科技？",
+ "最喜欢的电子产品是什么？"
+ ],
+ [
+ "你喜欢喝什么样的饮料？",
+ "有没有自己调饮料的习惯？",
+ "最喜欢的饮品品牌是什么？"
+ ],
+ [
+ "你平时用社交媒体吗？",
+ "常用哪些平台？",
+ "在社交媒体上做什么？"
+ ],
+ [
+ "你对艺术感兴趣吗？",
+ "最喜欢的艺术家是谁？",
+ "有去过哪些艺术展览？"
+ ],
+ [
+ "你喜欢DIY吗？",
+ "平时做些什么手工？",
+ "有没有完成的作品可以分享？"
+ ],
+ [
+ "你喜欢种植植物吗？",
+ "有养什么植物？",
+ "最喜欢的植物是什么？"
+ ],
+ [
+ "你喜欢拍照吗？",
+ "喜欢拍什么样的照片？",
+ "有没有用什么特别的摄影设备？"
+ ],
+ [
+ "你喜欢听播客吗？",
+ "常听哪些主题的播客？",
+ "有没有推荐的播客？"
+ ],
+ [
+ "你对历史感兴趣吗？",
+ "最喜欢哪个历史时期？",
+ "有没有特别喜欢的历史人物？"
+ ],
+ [
+ "你喜欢画画吗？",
+ "平时画什么类型的画？",
+ "有参加过画展吗？"
+ ],
+ [
+ "你喜欢写作吗？",
+ "平时写什么类型的文章？",
+ "有没有发表过作品？"
+ ],
+ [
+ "你喜欢钓鱼吗？",
+ "平时去哪里钓鱼？",
+ "有没有钓到过什么大鱼？"
+ ],
+ [
+ "你喜欢露营吗？",
+ "平时会去哪里露营？",
+ "有没有什么难忘的露营经历？"
+ ],
+ [
+ "你喜欢摄影吗？",
+ "最喜欢拍什么题材？",
+ "有没有特别喜欢的摄影师？"
+ ],
+ [
+ "你喜欢喝酒吗？",
+ "喜欢什么类型的酒？",
+ "有没有推荐的酒吧或品牌？"
+ ],
+ [
+ "你喜欢滑雪吗？",
+ "平时去哪里滑雪？",
+ "有没有什么滑雪技巧分享？"
+ ],
+ [
+ "你喜欢海边还是山里？",
+ "最喜欢去哪个地方度假？",
+ "有没有什么特别推荐的景点？"
+ ],
+ [
+ "你喜欢参加音乐节吗？",
+ "参加过哪些音乐节？",
+ "最喜欢的音乐节是哪一个？"
+ ],
+ [
+ "你喜欢跑步吗？",
+ "平时跑多长距离？",
+ "有没有参加过马拉松？"
+ ],
+ [
+ "你喜欢参加聚会吗？",
+ "平时和朋友聚会做什么？",
+ "有没有什么有趣的聚会游戏？"
+ ],
+ [
+ "你喜欢收集东西吗？",
+ "收集什么类型的物品？",
+ "有没有什么特别的收藏？"
+ ]
+ ]
+}
\ No newline at end of file
diff --git a/dataset/test_data.json b/dataset/test_data.json
new file mode 100644
index 0000000000000000000000000000000000000000..a6792e9d11626298d1a6616c0ce2f7362453bc82
--- /dev/null
+++ b/dataset/test_data.json
@@ -0,0 +1,157 @@
+{
+ "questions": [
+ [
+ "吃了吗？",
+ "吃的什么啊",
+ "好吃吗",
+ "多少钱啊",
+ "可以请我吃吗"
+ ],
+ [
+ "干嘛呢？",
+ "等会准备干什么去"
+ ],
+ [
+ "在忙什么呢？",
+ "今天有什么特别的安排吗？",
+ "感觉怎么样？"
+ ],
+ [
+ "最近有什么新鲜事发生吗？",
+ "有没有什么有趣的故事可以分享？"
+ ],
+ [
+ "周末过得怎么样？",
+ "做了什么好玩的？"
+ ],
+ [
+ "最近看了什么好看的电影或电视剧吗？",
+ "有什么推荐的吗？",
+ "大概讲了什么内容呀？"
+ ],
+ [
+ "今天天气怎么样？",
+ "你那里呢？"
+ ],
+ [
+ "最近工作/学习顺利吗？",
+ "有没有遇到什么挑战？"
+ ],
+ [
+ "嗨，这会儿在忙啥呢？",
+ "今天有什么特别的安排不？",
+ "一切都还顺利吧？"
+ ],
+ [
+ "你那边现在天气咋样啊？",
+ "是大晴天还是有点阴沉沉的？",
+ "冷不冷，或者热不热呀？"
+ ],
+ [
+ "到饭点儿了没呀？",
+ "今天打算犒劳一下自己，吃点啥好吃的？",
+ "有没有啥特别想吃的，或者想去哪家馆子尝尝鲜？"
+ ],
+ [
+ "最近网上有啥好玩儿的新闻或者梗吗？",
+ "刷到啥有意思的视频或者段子没？分享一下呗！"
+ ],
+ [
+ "待会儿有啥打算呀？",
+ "今天剩下的时间准备怎么过呢？"
+ ],
+ [
+ "今天有没有碰到啥让你眼前一亮的小事儿？",
+ "随便聊聊呗，有啥轻松点的话题不？"
+ ],
+ [
+ "今天有啥新发现或者小感悟没？",
+ "感觉今天过得快不快？节奏怎么样？"
+ ],
+ [
+ "你现在周围环境咋样，吵不吵？",
+ "今天出门溜达了没，外面人多不多呀？",
+ "瞅瞅窗外，有啥特别的景儿不？"
+ ],
+ [
+ "吃饭了没啊？",
+ "吃的啥呀？合胃口不？"
+ ],
+ [
+ "今天怎么样啊？累不累？",
+ "有啥事儿不？"
+ ],
+ [
+ "最近身体还好吧？",
+ "没什么不舒服的地方吧？"
+ ],
+ [
+ "今天忙不忙啊？",
+ "都干啥了呀？"
+ ],
+ [
+ "家里都挺好的吧？",
+ "有啥需要帮忙的不？"
+ ],
+ [
+ "今天出门了没？",
+ "外面冷不冷/热不热啊？多穿点/注意防暑。"
+ ],
+ [
+ "最近有啥开心的事儿不？说来听听！",
+ "或者有啥烦心事儿，跟我说说？"
+ ],
+ [
+ "晚上早点休息啊，别熬太晚。",
+ "睡得好不好啊最近？"
+ ],
+ [
+ "缺啥东西不？跟我说。",
+ "钱够不够花呀？"
+ ],
+ [
+ "今天看到啥有意思的了没？",
+ "或者有啥想跟我分享的？"
+ ],
+ [
+ "周末有啥安排啊？",
+ "要不要一起吃个饭/出去转转？"
+ ],
+ [
+ "最近常联系的那些朋友都还好不？",
+ "有空多聚聚。"
+ ],
+ [
+ "工作/学习上还顺利吧？",
+ "别太给自己压力啊。"
+ ],
+ [
+ "今天做了啥好吃的呀？",
+ "下次也给我尝尝呗！"
+ ],
+ [
+ "有啥新闻没有啊最近？",
+ "跟我讲讲。"
+ ],
+ [
+ "那谁谁谁最近怎么样了？",
+ "好久没听到他/她消息了。"
+ ],
+ [
+ "今天心情好不好呀？",
+ "看你气色不错/有点疲惫。"
+ ],
+ [
+ "有啥想吃的没？下次给你做/带。",
+ "或者想去哪儿玩，我陪你。"
+ ],
+ [
+ "最近有没有看啥电视剧/电影啊？",
+ "有啥好看的推荐给我呗。"
+ ],
+ [
+ "没事儿就早点回家/休息。",
+ "注意安全啊。"
+ ]
+ ]
+}
\ No newline at end of file
diff --git a/ds_config.json b/ds_config.json
new file mode 100644
index 0000000000000000000000000000000000000000..6b59ddcc45b1eede559645c85d673bca03569b3c
--- /dev/null
+++ b/ds_config.json
@@ -0,0 +1,28 @@
+{
+ "fp16": {
+ "enabled": "auto",
+ "loss_scale": 0,
+ "loss_scale_window": 1000,
+ "initial_scale_power": 16,
+ "hysteresis": 2,
+ "min_loss_scale": 1
+ },
+ "bf16": {
+ "enabled": "auto"
+ },
+ "zero_optimization": {
+ "stage": 2,
+ "allgather_partitions": true,
+ "allgather_bucket_size": 5e8,
+ "overlap_comm": true,
+ "reduce_scatter": true,
+ "reduce_bucket_size": 5e8,
+ "contiguous_gradients": true
+ },
+ "gradient_accumulation_steps": "auto",
+ "gradient_clipping": "auto",
+ "steps_per_print": 2000,
+ "train_batch_size": "auto",
+ "train_micro_batch_size_per_gpu": "auto",
+ "wall_clock_breakdown": false
+}
\ No newline at end of file
diff --git a/pyproject.toml b/pyproject.toml
new file mode 100644
index 0000000000000000000000000000000000000000..6fd3a3d8ab10981a76e262773febbea1555c6f21
--- /dev/null
+++ b/pyproject.toml
@@ -0,0 +1,125 @@
+[project]
+name = "WeClone"
+version = "0.2.21"
+description = "从聊天记录创造数字分身的一站式解决方案"
+authors = [{ name = "xming521" }]
+readme = "README.md"
+requires-python = ">=3.10,<3.11"
+
+dependencies = [
+ "pandas",
+ "commentjson",
+ "click",
+ "pydantic==2.10.6",
+ "setuptools>=78.1.0",
+ "loguru>=0.7.3",
+ "torch>=2.6.0",
+ "transformers==4.49.0",
+ "tomli; python_version < '3.11'",
+ "langchain",
+]
+
+[tool.weclone]
+# 配置文件的版本号，当配置文件结构或重要默认值发生变化时，应增加此版本号
+config_version = "0.2.21"
+
+# 配置文件更新日志
+config_changelog = """
+[0.2.1] - 2025-04-29 - 初始配置版本。
+[0.2.2] - 2025-05-01 - 增加llm清洗数据配置,blocked_words迁移到settings.jsonc统一配置文件。
+[0.2.21] - 2025-05-01 - 增加在线llm清洗数据配置，兼容openai风格接口。
+"""
+
+[dependency-groups]
+# xcodec = ["xcodec2==0.1.3"]
+sparktts = [
+ "einops>=0.8.1",
+ "einx>=0.3.0",
+ "numpy==1.26.4",
+ "omegaconf>=2.3.0",
+ "packaging>=24.2",
+ "safetensors>=0.5.2",
+ "soundfile>=0.12.1",
+ "soxr>=0.5.0.post1",
+ "torchaudio>=2.6.0",
+ "tqdm>=4.66.5",
+]
+main = [
+ "llamafactory>=0.9.2",
+ "openai==1.76.0",
+ "vllm==0.8.2; platform_system == 'Linux'",
+]
+dev = ["pytest", "pytest-order", "pyright", "ruff"]
+
+[project.scripts]
+weclone-cli = "weclone.cli:cli"
+
+[tool.uv]
+conflicts = [
+ # [{ group = "wx" }, { group = "xcodec" }],
+]
+
+[tool.uv.sources]
+torch = [
+ { index = "pytorch-cu124", marker = "platform_system == 'Windows'" },
+ { index = "pytorch-cu124", marker = "platform_system == 'Linux'" },
+]
+torchaudio = [
+ { index = "pytorch-cu124", marker = "platform_system == 'Windows'" },
+ { index = "pytorch-cu124", marker = "platform_system == 'Linux'" },
+]
+torchvision = [
+ { index = "pytorch-cu124", marker = "platform_system == 'Windows'" },
+ { index = "pytorch-cu124", marker = "platform_system == 'Linux'" },
+]
+
+
+[[tool.uv.index]]
+url = "https://pypi.tuna.tsinghua.edu.cn/simple/"
+default = true
+
+[[tool.uv.index]]
+name = "pytorch-cu124"
+url = "https://download.pytorch.org/whl/cu124"
+explicit = true
+
+[tool.setuptools.packages.find]
+where = ["."] # 表示在项目根目录开始查找
+include = ["weclone*"] # 只包含名为 weclone 的目录及其子包
+exclude = ["*tests*", "*archive*"] # 可以选择性排除其他模式，比如测试目录
+
+
+[tool.pyright]
+typeCheckingMode = "basic"
+include = ["weclone/data"]
+exclude = ["**/archive", "**/tests"]
+ignore = ["**/archive"]
+
+reportMissingImports = "error"
+reportMissingTypeStubs = false
+
+pythonVersion = "3.10"
+pythonPlatform = "Linux"
+
+[tool.ruff]
+exclude = [
+ "**/archive",
+ "**/tests",
+ "weclone-audio/src/server未完工",
+ "weclone-audio/src/Spark-TTS",
+]
+line-length = 120
+
+lint.ignore = ["F403", "F405", "E501", "E402"]
+lint.select = [
+ "F", # Pyflakes
+ "W", # pycodestyle warnings
+ "E", # pycodestyle errors
+ "ASYNC", # flake8-async
+ "C4", # flake8-comprehensions
+ "Q", # flake8-quotes
+]
+target-version = "py310"
+
+[tool.pytest.ini_options]
+addopts = "-x"
diff --git a/requirements.txt b/requirements.txt
new file mode 100644
index 0000000000000000000000000000000000000000..1746cc20a1f51aa5f773ca232e6237c49ebd5d5c
Binary files /dev/null and b/requirements.txt differ
diff --git a/settings.template.jsonc b/settings.template.jsonc
new file mode 100644
index 0000000000000000000000000000000000000000..93ac4c4fc3e5a3f1a705bfa7ba89608cca00f2eb
--- /dev/null
+++ b/settings.template.jsonc
@@ -0,0 +1,95 @@
+{
+ "version": "0.2.21",
+ "common_args": {
+ "model_name_or_path": "./Qwen2.5-7B-Instruct",
+ "adapter_name_or_path": "./model_output", //同时做为train_sft_args的output_dir
+ "template": "qwen",
+ "default_system": "请你扮演一名人类，不要说自己是人工智能",
+ "finetuning_type": "lora",
+ "trust_remote_code": true
+ },
+ "cli_args": {
+ "full_log": false
+ },
+ "make_dataset_args": {
+ //数据处理配置
+ "include_type": [
+ "text",
+ // "image"
+ ],
+ "blocked_words": [ // 禁用词
+ "例如 姓名",
+ "例如 密码",
+ "//....."
+ ],
+ "single_combine_strategy": "time_window", // 单人组成单句策略
+ "qa_match_strategy": "time_window", // 组成qa策略
+ "single_combine_time_window": 2, // 单人组成单句时间窗口（分钟）,
+ "qa_match_time_window": 5, // 组成qa时间窗口（分钟）,
+ "combine_msg_max_length": 256, // 组合后消息最大长度 配合cutoff_len 使用
+ "prompt_with_history": false, // 是否在prompt中包含历史对话
+ "clean_dataset": {
+ "enable_clean": true,
+ "clean_strategy": "llm",
+ "llm": {
+ "accept_score": 2, //可以接受的llm打分阈值,1分最差，5分最好,低于此分数的数据不会用于训练
+ }
+ },
+ "online_llm_clear": false,
+ "base_url": "https://xxx/v1",
+ "llm_api_key": "xxxxx",
+ "model_name": "xxx", //建议使用参数较大的模型，例如DeepSeek-V3
+ "clean_batch_size": 10
+ },
+ "train_pt_args": {
+ //预训练微调配置
+ "stage": "pt",
+ "dataset": "wechat-pt",
+ "dataset_dir": "./dataset/res_csv/pt",
+ "lora_target": "q_proj,v_proj",
+ "lora_rank": 2,
+ "lora_dropout": 0.1,
+ "output_dir": "model_output",
+ "overwrite_cache": true,
+ "per_device_train_batch_size": 1,
+ "gradient_accumulation_steps": 1,
+ "lr_scheduler_type": "cosine",
+ "logging_steps": 10,
+ "save_steps": 1000,
+ "learning_rate": 0.001,
+ "num_train_epochs": 30,
+ "plot_loss": true,
+ "fp16": true
+ },
+ "train_sft_args": {
+ //微调配置
+ "stage": "sft",
+ "dataset": "wechat-sft",
+ "dataset_dir": "./dataset/res_csv/sft",
+ "use_fast_tokenizer": true,
+ "lora_target": "q_proj,v_proj",
+ "lora_rank": 4,
+ "lora_dropout": 0.3,
+ "weight_decay": 0.1,
+ "overwrite_cache": true,
+ "per_device_train_batch_size": 8,
+ "gradient_accumulation_steps": 4,
+ "lr_scheduler_type": "cosine",
+ "cutoff_len": 256,
+ "logging_steps": 10,
+ "save_steps": 100,
+ "learning_rate": 1e-4,
+ "warmup_ratio": 0.1,
+ "num_train_epochs": 2,
+ "plot_loss": true,
+ "fp16": true,
+ "flash_attn": "fa2",
+ // "deepspeed": "ds_config.json" //多卡训练
+ },
+ "infer_args": {
+ "repetition_penalty": 1.2,
+ "temperature": 0.5,
+ "max_length": 50,
+ "top_p": 0.65
+ }
+}
\ No newline at end of file
diff --git a/spaces_app.py b/spaces_app.py
new file mode 100644
index 0000000000000000000000000000000000000000..db55e5fd216ecbb829f0d0f9ff3a4d83f40b4879
--- /dev/null
+++ b/spaces_app.py
@@ -0,0 +1,53 @@
+import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+# 配置模型路径 - 使用您本地的模型目录
+MODEL_PATH = "./Qwen2.5-7B-Instruct"
+
+# 加载模型和分词器
+tokenizer = AutoTokenizer.from_pretrained(MODEL_PATH, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(
+ MODEL_PATH,
+ torch_dtype=torch.bfloat16,
+ device_map="auto",
+ trust_remote_code=True
+)
+
+# 聊天函数
+def chat(message, history):
+ history = history or []
+ chat_history = ""
+ for human, assistant in history:
+ chat_history += f"<|im_start|>user\n{human}<|im_end|>\n"
+ chat_history += f"<|im_start|>assistant\n{assistant}<|im_end|>\n"
+
+ prompt = f"{chat_history}<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"
+
+ inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+ outputs = model.generate(
+ **inputs,
+ max_new_tokens=512,
+ do_sample=True,
+ temperature=0.7,
+ top_p=0.9,
+ repetition_penalty=1.1,
+ eos_token_id=tokenizer.eos_token_id
+ )
+ response = tokenizer.decode(
+ outputs[0][inputs.input_ids.shape[1]:],
+ skip_special_tokens=True
+ )
+ return response
+
+# 创建界面
+demo = gr.ChatInterface(
+ chat,
+ title="WeClone AI 助手",
+ description="基于 Qwen2.5-7B 的聊天演示",
+ theme="soft",
+ examples=["你好", "介绍一下你自己", "你能做什么？"]
+)
+
+# 导出为可部署对象
+app = demo
\ No newline at end of file
diff --git a/tests/__init__.py b/tests/__init__.py
new file mode 100644
index 0000000000000000000000000000000000000000..e69de29bb2d1d6434b8b29ae775ad8c2e48c5391
diff --git a/tests/full_pipe.jsonc b/tests/full_pipe.jsonc
new file mode 100644
index 0000000000000000000000000000000000000000..a002ad5c74f22ed1b031d7c0aa53b711d6561300
--- /dev/null
+++ b/tests/full_pipe.jsonc
@@ -0,0 +1,89 @@
+{
+ "version": "0.2.2",
+ "common_args": {
+ "model_name_or_path": "./Qwen2.5-3B-Instruct",
+ "adapter_name_or_path": "./model_output", //同时做为train_sft_args的output_dir
+ "template": "qwen",
+ "default_system": "请你扮演一名人类，不要说自己是人工智能",
+ "finetuning_type": "lora",
+ "trust_remote_code": true
+ },
+ "cli_args": {
+ "full_log": false
+ },
+ "make_dataset_args": {
+ //数据处理配置
+ "include_type": [
+ "文本"
+ ],
+ "blocked_words": [ // 禁用词
+ "例如 姓名",
+ "例如 密码",
+ "//....."
+ ],
+ "single_combine_strategy": "time_window", // 单人组成单句策略
+ "qa_match_strategy": "time_window", // 组成qa策略
+ "single_combine_time_window": 2, // 单人组成单句时间窗口（分钟）,
+ "qa_match_time_window": 5, // 组成qa时间窗口（分钟）,
+ "combine_msg_max_length": 256, // 组合后消息最大长度 配合cutoff_len 使用
+ "prompt_with_history": false, // 是否在prompt中包含历史对话
+ "clean_dataset": {
+ "enable_clean": true,
+ "clean_strategy": "llm",
+ "llm": {
+ "accept_score": 2, //可以接受的llm打分阈值,1分最差，5分最好,低于此分数的数据不会用于训练
+ }
+ }
+ },
+ "train_pt_args": {
+ //预训练微调配置
+ "stage": "pt",
+ "dataset": "wechat-pt",
+ "dataset_dir": "./dataset/res_csv/pt",
+ "lora_target": "q_proj,v_proj",
+ "lora_rank": 2,
+ "lora_dropout": 0.1,
+ "output_dir": "model_output",
+ "overwrite_cache": true,
+ "per_device_train_batch_size": 1,
+ "gradient_accumulation_steps": 1,
+ "lr_scheduler_type": "cosine",
+ "logging_steps": 10,
+ "save_steps": 1000,
+ "learning_rate": 0.001,
+ "num_train_epochs": 30,
+ "plot_loss": true,
+ "fp16": true
+ },
+ "train_sft_args": {
+ //微调配置
+ "stage": "sft",
+ "dataset": "wechat-sft",
+ "dataset_dir": "./dataset/res_csv/sft",
+ "use_fast_tokenizer": true,
+ "lora_target": "q_proj,v_proj",
+ "lora_rank": 4,
+ "lora_dropout": 0.3,
+ "weight_decay": 0.1,
+ "overwrite_cache": true,
+ "per_device_train_batch_size": 8,
+ "gradient_accumulation_steps": 4,
+ "lr_scheduler_type": "cosine",
+ "cutoff_len": 256,
+ "logging_steps": 5,
+ "save_steps": 10,
+ "learning_rate": 1e-4,
+ "warmup_ratio": 0.1,
+ "num_train_epochs": 1,
+ "plot_loss": true,
+ "fp16": true,
+ "flash_attn": "fa2",
+ // "deepspeed": "ds_config.json" //多卡训练
+ },
+ "infer_args": {
+ "repetition_penalty": 1.2,
+ "temperature": 0.5,
+ "max_length": 50,
+ "top_p": 0.65
+ }
+}
\ No newline at end of file
diff --git a/tests/test_full_pipe.py b/tests/test_full_pipe.py
new file mode 100644
index 0000000000000000000000000000000000000000..e86a9e90647d05a64893cbb18d1665109b4c309e
--- /dev/null
+++ b/tests/test_full_pipe.py
@@ -0,0 +1,154 @@
+import pytest
+from unittest import mock
+import sys
+import os
+import shutil
+import functools
+import subprocess
+import time
+from typing import Union, Optional, cast
+from weclone.utils.log import logger
+
+sys.path.insert(0, os.path.abspath(os.path.join(os.path.dirname(__file__), '..')))
+PROJECT_ROOT_DIR = os.path.abspath(os.path.join(os.path.dirname(__file__), '..'))
+server_process: Optional[subprocess.Popen] = None
+
+test_logger = logger.bind()
+test_logger.remove()
+test_logger.add(
+ sys.stderr,
+ format="