【Python系列】如何挂载离线包

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。

• 推荐: ,持续学习,不断总结,共同进步,活到老学到老
• 导航
  • :全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
  • :常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
  • :详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
  • :提供各种软件服务,承接各种毕业设计,毕业论文等
  • :总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
  • :总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

在离线环境中解决 tiktoken 无法加载编码文件的问题，可以考虑以下几种方案：

方案 1: 预下载文件并本地加载

1. 在线下载所需的编码文件 ：在有网络连接的环境下，先运行代码，确保 cl100k_base 或其他所需编码文件已被下载。通常这些文件会缓存到本地。可以通过 tiktoken 的源码，找到缓存文件的路径（通常是 .cache 或其他缓存目录）。
2. 将文件拷贝到离线环境 ：把下载好的缓存文件复制到离线环境的相同目录结构中，确保离线环境的代码能够读取这些文件。
3. 本地读取文件 ：在离线环境中，确保代码直接从本地加载这些预缓存的文件，而不是每次都从远程服务器获取。

方案 2: 本地静态文件加载

1. 手动下载和存储文件 ：可以根据 tiktoken 的加载逻辑，手动下载 cl100k_base 编码的 BPE 文件。这些文件通常托管在 OpenAI 的公共服务器上，比如 openaipublic.blob.core.windows.net 。
2. 修改加载路径 ：在离线环境中，可以修改 tiktoken 的源码，直接从本地目录加载编码文件，而不是访问远程 URL。例如，修改 tiktoken/load.py 文件中的 blobpath ，将其指向本地存储的路径。

方案 3: 环境变量配置

部分库允许通过环境变量或配置文件来指定缓存文件的位置。可以检查 tiktoken 是否允许通过设置某些环境变量（如 TIKTOKEN_CACHE_DIR ）来指定缓存文件的位置，并在本地提前准备好这些文件。

方案 4: 使用镜像服务器

如果无法连接到原始服务器，但可以在公司内部或局域网中搭建镜像服务器，可以尝试在本地设置一个服务器，缓存 OpenAI 提供的文件，并将代码中的 blobpath 指向该服务器。

方案 5: 替换或降级模型

如果只是需要使用不同的模型或编码器，可以考虑使用不依赖远程资源的替代方案，比如使用 gpt2 编码器，或将模型的版本降级为不需要远程依赖的版本。

通过这些方式，可以在离线环境中加载和使用 tiktoken ，避免远程资源无法访问的问题。

觉得有用的话点个赞 👍🏻 呗。

❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙