NewsWWW

user

  • [Local LLM] 我做了一个 Ollama JSONL 批量推理工具，除了 Ollama 还支持 Deepseek 等 OpenAI Style 兼容 API

    ·

    user

    你好啊， 我最近在做模型微调时，需要对一些数据进行预处理和生成一些 DPO 使用 Rejected 的负面数据（虽然我后来才发现智谱的 GLM4-Flash 有提供免费的批量推理）， 我很自然的想要使用 Ollama 上部署的 Qwen3 30B A3B ，但是意外的发现似乎还没有 Ollama 适用的 JSONL 批量推理工具。我总觉得它本应该存在，于是我就做了一个。 https://github.com/mili-tan/Onllama.OllamaBatch 当然使用起来也非常简单，如果你的 Ollama 在默认端口最简单的方法是只需要将你的 JSONL 重命名成 input.jsonl 丢到和程序同一个目录底下然后运行就可以了，当然记得把 JSONL 中的模型名称改成你需要的模型名称，或者用 –model qwen3:30b 参数来指定你的模型名称。还有记得参考 这里 配置一下并发（ CPU 推理和混合推理是没有并发的，改了环境变量似乎也没用）。 更多的用法可以参考 –help 中的帮助。 顺带一提因为 Deepseek 的夜间半价，所以我也做了 OpenAI Style API 的支持，–use-oai –oai-url=https://api.deepseek.com/v1/chat/completions –oai-sk=sk-balabalabala 使用起来就像这样。另外因为我个人的偏好默认的输出格式是直接将助手的回答添加到消息列表中，如果你希望获得与 OpenAI 相似的包含result的结果你也可以使用 –oai-output 来指定。另外针对一些厂商的并发和 RPM 限制我也添加了一些对应的参数你也可以参考下…

    Read More

  • [Go 编程语言] Sponge v1.14.0 发布，一个助你优雅地快速构建完整 Go 应用的开发框架

    ·

    user

    Sponge 是一个强大且易用的开发框架，集成了丰富的代码生成、Web 与微服务、开发辅助功能，旨在帮助开发者轻松构建稳定可靠的高性能的 Go 应用。 Sponge 致力于提供一个”开箱即用”的开发体验，通过强大的代码生成功能，可以显著提升开发效率，让开发者能够更专注于业务逻辑的实现（内置 AI 助手支持自动生成与合并业务代码）。无论是构建 Web 应用还是复杂的微服务集群，Sponge 都能提供稳固的支撑。 在 v1.14.0 版本中，我们带来了一些新功能、依赖升级和代码优化，欢迎各位 V2EX 的朋友们体验新版本。 更新日志： 新增 SSE (Server-Sent Events) 服务端和客户端实现。 增强 Copier 库，自动处理日期时间与字符串的双向转换，减少 API 接口中的冗余代码。 增强自定义条件分页查询 API 接口，支持复杂条件的分组查询功能，自动识别并转换 value 类型（字符串转整型或日期时间）。 修复基于 Protobuf 生成的 Swagger API 文档与实际 API 返回数据格式不一致的问题。 升级 Gin 和 Copier 依赖库版本。 GitHub 地址: https://github.com/go-dev-frame/sponge

    Read More

  • [问与答] 遇到了个奇怪事情！防火墙还能只墙 https 吗？

    ·

    user

    我的域名在国内访问一直报 301 错误，很奇怪。 一开始用的是 Cloudflare ，我以为是中国流量太大被 Cloudflare 屏蔽了， 于是把国内线路切到阿里云 ESA ，结果还是一样——国内访问 HTTPS 就 301 ，但国外正常。 然后我怀疑是我证书配置有问题，于是我试了直连源站（不用 CDN ），国内 HTTPS 仍然 301 ，但 HTTP 却能正常访问！国外都 OK 。 所以这就很诡异了，这啥情况？难道域名被墙了？而且还只墙 HTTPS ？有这种操作？

    Read More

  • [问与答] 怎么能在服务器上安装安卓模拟器啊？

    ·

    user

    服务器是物理机，gold6138,64g ram+1tb ssd,托管在香港机房 试了 Genymotion3.9+vbox6.1 开不了机，卡在 Running second stage雷电模拟器，提示显卡问题想搞一个阿里云的云手机，但是云手机只支持内网 ADB 有人成功在这种没有核显的服务器上安装成功过安卓模拟器吗？

    Read More