更改了分块与分块合并逻

This commit is contained in:
xunbu
2025-05-10 09:21:12 +08:00
parent 18c65cfa58
commit e4d6d224c1
8 changed files with 726 additions and 219 deletions

View File

@@ -24,7 +24,8 @@
# 前置条件
## huggingface换源(不能科学上网的友友看这)
## huggingface换源
> 不能科学上网的友友注意了
无法访问的huggingface的电脑在以下操作时请换源[点击测试](https://huggingface.co)
@@ -52,14 +53,14 @@ os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
由于需要使用大语言模型进行markdown调整与翻译所以需要预先获取模型的baseurl、key、model-id
常见的大模型平台baseurl与api获取方式可见[常用ai平台](#常用ai平台)
> 比较推荐的模型有阿里云的qwen-plus、智谱的glm-4-air等。免费的智谱glm-4-flash也能用(2025.5)
> 比较推荐的模型有智谱的glm-4-flash免费、glm-4-air阿里云的qwen-plus等
> 推理模型需要支持api请求响应中区分`reasoning_content`和`content`详见平台开发手册ollama、lmstudio需开启对应选项
# 使用方式
## 注意事项
## 注意事项(第一次使用必看)
以下操作会自动从[huggingface](https://huggingface.co)下载模型windows需要使用**管理员模式**打开IDE运行脚本并按需换源
以下操作会自动从[huggingface](https://huggingface.co)下载模型windows需要使用**管理员模式**打开IDE运行脚本并按需换源[换源指南](#huggingface换源)
- 第一次使用该库读取、翻译非markdown文本
- 第一次使用该库的公式识别或代码识别功能
@@ -72,14 +73,14 @@ from docutranslate.translater import FileTranslater
translater = FileTranslater(base_url="<baseurl>",
key="<key>",
model_id="<model-id>")
# 不开启公式、代码识别默认输出为markdown文件(打开文本修复)
translater.translate_file("<文件路径>", to_lang="中文", refine=True)
# 不开启公式、代码识别默认输出为markdown文件
translater.translate_file("<文件路径>", to_lang="中文")
# 开启公式、代码识别(需要下载更多模型)
translater.translate_file("<文件路径>", to_lang="中文", formula=True, code=True)
# 翻译markdown文件
translater.translate_file("<markdown路径>", to_lang="中文", refine=False)
# 在先修复文本再翻译适用于翻译pdf但更耗时耗费
translater.translate_file("<文件路径>", to_lang="中文",refine=True)
```
> 下载模型时请用管理员模式打开终端运行文件windows并按需换源
@@ -125,7 +126,7 @@ translater = FileTranslater(base_url="<baseurl>", # 默认的模型baseurl
key="<key>", # 默认的模型api-key
model_id="<model-id>", # 默认的模型id
chunksize=4000, # markdown分块长度分块越大效果越好不建议超过4096
max_concurrent=6, # 并发数受到ai平台并发量限制如果文章很长建议适当加大到20以上
max_concurrent=20, # 并发数受到ai平台并发量限制如果文章很长建议适当加大到20以上
docling_artifact=None, # 使用提前下载好的docling模型
tips=True # 开场提示
)