[第一次发 github]日线数据 2026-2000 年最全日 k 数据,含 5000+股票

第一次发 github(附带数据) ❤️ 好激动 好兴奋 👀️ 好害怕 连选择开源协议都不知选什么!! 搞了很久也不知道究竟有没有意义 各位老手能点评一下吗 我还取了一个吊炸天的名字: 乱搞数据库 https://github.com/hello245m/lgdb 说一下经历 数据库软件实际已经多得...
[第一次发 github]日线数据 2026-2000 年最全日 k 数据,含 5000+股票
[第一次发 github]日线数据 2026-2000 年最全日 k 数据,含 5000+股票

第一次发 github(附带数据)

❤️ 好激动 好兴奋 👀️ 好害怕


连选择开源协议都不知选什么!!

搞了很久也不知道究竟有没有意义

各位老手能点评一下吗

我还取了一个吊炸天的名字:

乱搞数据库

https://github.com/hello245m/lgdb

说一下经历

数据库软件实际已经多得数不过来了。

之前一直使用 redis ,接口简洁,速度极快,但是随着自己存储数据越来越大,内存完全扛不住,尤其是云服务器。

经历了蛋疼的迁移过程,决定要改变。

后面看了一下,支持字典型存储的数据库,比较倾向于 mangodb ,结果一看:

安装包 900MB 对于我这种浏览器都只有 via 的,系统只用 alpine 的人来说简直要了老命。

找了很久发现 tendis 这种混合架构的,硬盘型存储非常适合,结果安装包也接近 400mb ,我就想不明白,难道就没有一个via 类型的,真正功能全面,足够小又足够块的数据库?

接着又找到了 Pika (奇虎 360 开源的类 Redis 存储系统的新里程碑)

也是一样的基于硬盘存储,大小 300 兆。

问题来了不支持 arm 和 apline ,我又自己编译魔改 精简了 arm 版本/apline 版本的 tendis + pika 。最后安装完成,300-400mb 如鲠在喉。


后面决定自己开发一个想要的定制化数据库,专为量化,为股票服务。

需求明确我想写到哪里就写到哪里,我想获取什么数据就获取什么数据。

外加速度,速度,还是速度。够小,够小,还是够小。

股票是按日期,代码,dict ,list 来排序的,要能获取指定时间,指定字段,指定区间,指定代码,更新字段,更新 index ,更新任何 k,v 。

于是乱搞 db的想法诞生,完全满足对股票的一切操作,都是单步,极简 api 。

写完测试发现,tendis , pika ,写大约 2000 qps ,pika 更差劲 大约 1400 左右极限了。

而写完 1.3mb 单机稳定在 4000qps 左右。

..真是尴尬至极....


最后弱弱请教一下,我看很多人把各种项目发到 github ,究竟是有什么意义。

[ ps....刚内容重复了发了两次]

来源: V2EX - 技术查看原文