分类 编程语言 下的文章

chatGPT 背后的经济账 (总结)

成本估算

  • chatGPT单次搜索成本: 预计 0.010美元/次 。 若采用2-Stage Search Summarizer 补足当前的时效、准确问题的话,成本上升至 0.066美元/次
  • 服务器在线推理成本: 约为0.0035美元/1000词
  • 服务器单次训练成本:140万美元/次 ,一次训练14.8天。

成本发展趋势(工程挑战)

  • 数据是LLM性能的新瓶颈:与增加高质量训练数据集的大小相比,增加模型参数的数量能获得的边际收益越来越小。
  • LLM的成本可能会显著下降:自GPT-3发布的两年半时间里,与GPT-3性能相当的模型的训练和推理成本下降了约80%

Google与Bing的成本收益分析

  • Google预计其年均搜索量将达2.1万亿次,与搜索相关的收入将达约1000亿美元,平均每次搜索的收入为0.048美元。
  • 考虑已知可行优化改进后,在搜索中融入高性能LLM的成本大约占据当前查询收入的15%
  • 谷歌目前的搜索收入为1000亿美元,将高性能LLM纳入搜索会使谷歌的盈利能力减少一百多亿美元。
    BING 的市场份额较低,如果微软能够成功地从谷歌手中夺取搜索市场份额,那么即使现有查询成本更高,微软仍然能够获得极高的利润。

数据来源原文: https://sunyan.substack.com/p/the-economics-of-large-language-models
释文: https://zhuanlan.zhihu.com/p/604427788

理解 Javascript 的 async await

原文链接:https://ponyfoo.com/articles/understanding-javascript-async-await

async / await 并没有作为 ES2016 的一部分, 但这不意味着 Javascript 不会加入 这一语法特性。就在本文撰写的此刻,它正处于 Stage 3 的阶段, 并处于活跃更新状态. 这个功能在 Edge 里已经可用, 并且如果在更多浏览器中被实现则进入 Statge 4 —— 可以说,下个版本该功能已经在路上了 (参考: TC39 流程).

- 更多 -

Java实现LRU缓存

1.Cache

Cache对于代码系统的加速与优化具有极大的作用,对于码农来说是一个很熟悉的概念。可以说,你在内存中new 了一个一段空间(比方说数组,list)存放一些冗余的结果数据,并利用这些数据完成了以空间换时间的优化目的,你就已经使用了cache。
有服务级的缓存框架,如memcache,redis等。其实,很多时候,我们在自己同一个服务内,或者单个进程内也需要缓存,例如,lucene就对搜索做了缓存,而无须依赖外界。那么,我们如何实现我们自己的缓存?还要带自动失效的,最好还是LRU(Least Recently Used)。


- 更多 -