Skip to content

@libukai compared Jev on OpenRouter with Gemini Flash Lite on classifying whether People’s Daily articles mention Hubei, using 500 positive and 500 negative examples. They report about 0.35s per article versus 3s, disagreement on about 15% mostly from person names, and about $1 for roughly 5,000 items and 30M tokens.

Benchmarks

李不凯正在研究 @libukai

ZH

  • 2.9k views
  • 27 likes
  • 25 bookmarks
  • 5 reposts
Poster from 李不凯正在研究 (@libukai)

About this case

李不凯正在研究 (@libukai) published this on 2026-09-18. @libukai compared Jev on OpenRouter with Gemini Flash Lite on classifying whether People’s Daily articles mention Hubei, using 500 positive and 500 negative examples. They report about 0.35s per article versus 3s, disagreement on about 15% mostly from person names, and about $1 for roughly 5,000 items and 30M tokens. 这两天关于 Jev 这个模型的热度非常之高,甚至可以说是近半年我重点关注了英推以来,看到的原创内容密度最高的一次。 正好我过去一年一直在跑一个小项目,其中有一个环节就是要对每天出版的《人民日报》上的新闻做一个分类,判断每一篇文章中是否包含有湖北相关的元素。 一年跑下来,积累了接近 2 万 4 千条数据,其中判定包含的有 1800 条左右。在这些数据的基础上,我随机筛选了一个测试数据集,其中包含了 500 条判定包含的内容,以及 500 条判定不包含的内容。 之前我使用的模型一直是 Gemini 的 Flash Lite 系列,也算是经过测试后成本和速度双重考虑下的最佳选择。 今天 OpenRouter 上线了这个 Jev 之后,我用同样的提示词做了一个小 Demo 做了一下对比测试,下面这个视频就是同时并发 16 个进程的实录效果。 How Jev or TypeSafe is used, in the post's own words: “这两天关于 Jev 这个模型的热度非常之高,甚至可以说是近半年我重点关注了英推以来,看到的原创内容密度最高的一次。” The post does not name a separate audience. It is for people reading what @libukai shows here (it includes media).

Original posthttps://x.com/libukai/status/2100984923926728920

Related cases