介绍下 liustack/sqlite 实时备份功能。
一般云托管数据库,比如 supabase,免费没有备份,付费版默认 24 小时备份,加钱版 2 分钟等效备份(可以恢复到 2 分钟级)。其他主流传统云托管数据库类似。
除非你选择天然支持多副本写的 newsql,当然真的开多副本写的 newsql 可能价格又是另一回事了。
liustack/sqlite 采用的是 litestream 的协议和底层实现,得益于 liustack/sqlite 自己就是数据库驱动,所以可以做到秒级备份和恢复。
这里要感谢 @litestreamio @benbjohnson 实现了 litestream。
其实啊,丢失数据是很难的,liustack/sqlite 可以秒级备份到 cloudflare r2,现代 vps 硬盘大概率都是做了 raid 或分布式多副本冗余技术。
数据丢失更多可能是整台 vps 宿主机都被摧毁了。
其实比数据丢失更可能的悲伤现实是,你的 vps 宿主机被摧毁的一秒,你的业务没有产生任何数据,换句话说大家的业务根本达不到这个量级。
而其他情况,你都可以从 cloudflare r2 秒级倒带,cloudflare r2 便宜的跟不要钱似的。
4
12
587
liustack/sqlite 现在支持 windows/arm64 了。
我做了 windows 下的 sqlite 常规测试和部分耐久测试,还做了断电之类的极端场景测试。
当然也做了大家最关心的 sqlite 单写模型的数据库锁测试,看看 windows 下关于「database is locked」 同行和liustack/sqlite 的表现。
liustack/sqlite 理论上应该只会在系统(磁盘)真的过载了才会报 「database is locked」。
但你的系统都过载了,这就不是数据库问题了。这是系统问题,或者说,这是硬件性能问题。
介绍下全网最快 pure go sqlite 驱动 liustack/sqlite。
性能达到 c 版 sqlite 85%。
读吞吐跟 c 版 sqlite 基本持平。
写吞吐远超 c 版 sqlite。
liustack/sqlite 内置实时备份数据到 s3 兼容协议存储系统(比如 cloudflare r2),完全兼容 litestream 协议(因为用的就是 litestream 的底层🤣)。
2
4
371
🤣「database lock free 」的 pure go sqlite 驱动库 liustack/sqlite 过 114 star 啦。
下个版本 liustack/sqlite 会支持 windows/arm64,但对于 arm64 这个架构,windows 官方自己支持的也不够好。
所以如果有 windows/arm64 兼容问题,请多反馈。
感谢 @ourongxing 提的反馈。
介绍下全网最快 pure go sqlite 驱动 liustack/sqlite。
性能达到 c 版 sqlite 85%。
读吞吐跟 c 版 sqlite 基本持平。
写吞吐远超 c 版 sqlite。
liustack/sqlite 内置实时备份数据到 s3 兼容协议存储系统(比如 cloudflare r2),完全兼容 litestream 协议(因为用的就是 litestream 的底层🤣)。
1
4
576
我以为只要 liustack/sqlite 只有够快就够骚,但大家似乎都很关心 sqlite 单写模型并发写冲突问题,以及 liustack/sqlite 到底有没有解决这个问题。
有人认为只有像 turso 那样引入实验性的 mvcc 才能消除并发写问题。
坦白说 mvcc 也消除不了并发写问题,这本质是资源争夺问题。
就看你怎么权衡了,你是选择将资源争夺冲突延迟,还是将冲突包装成其他形式。
但有一点,资源是有限的,你总要舍弃点什么。你什么都不想放弃,你什么都留不下。
原生 c 版 sqlite 默认选择是 defered 的事务锁机制。据说这样性能会更好。只是代价是大量的 database is locked。
所以后来就有了 immediate 型事务加 timeout,这个选择可以将冲突延迟,也会有性能损失。但只有锁还是公平的被竞争的,就可能频繁的因为等锁超时导致最终的 database is locked。
我们会本能的想,那是不是只要我写的够快,并发写冲突就少了呢。理论上确实会降低这个冲突概率。但问题是你无论写磁盘还是写内存都有极限的。
其实我做 liustack/sqlite 一开始真的没想过解决这个问题,只是因为我喜欢 sqlite,其他的 pure go sqlite 驱动不够快。而且我以前的玩法就是简单粗暴,搞多个库。
但魔幻的是, liustack/sqlite 的 group commit 的副作用或者说底层机制导致 liustack/sqlite 几乎解决了这个写并发问题。因为它的机制就是流转批,就是直截了当的排队。
这种玩法会让你用非 immediate 事务锁机制时,大大减少并发写的概率。而如果你用了 immediate 事务锁机制时,恭喜你,那所有的东西几乎都是排队的了。
这时候如果再发生 database is locked,理论上那就是磁盘写入的极限,磁盘过载了。
当然当然排队攒批(流转批)肯定会导致单个事务请求的延迟不够好看(对大部分 sql 影响不大),就像 kafka 一样,但吞吐会惊人。
所以啊,一切都是权衡。
介绍下全网最快 pure go sqlite 驱动 liustack/sqlite。
性能达到 c 版 sqlite 85%。
读吞吐跟 c 版 sqlite 基本持平。
写吞吐远超 c 版 sqlite。
liustack/sqlite 内置实时备份数据到 s3 兼容协议存储系统(比如 cloudflare r2),完全兼容 litestream 协议(因为用的就是 litestream 的底层🤣)。
6
13
1,098
很多人觉得 sqlite 慢,不适合服务端的原因是原生 sqlite 是单写模型,即有个数据库级别的锁阻止你并发写,会报 busy 忙等待。
rust 和 go 的各个 sqlite 衍生版本实现也很少解决过这个问题。大家的野蛮玩法都是,用多个 db 就好了么。
为数不多的破局者 turso 的方案是引入 mvcc 来实现多写模型,这是有效的,但 turso 也破坏了一些 sqlite 语义。
而且 mvcc 这个实现也并不总是保证写吞吐量就大。
liustack/sqlite 的实现是用 group commit/批量提交,或者说流转批也行。因为我们知道报 busy 可能是写冲突,那排队不就好了么。可排队会更慢,有没有排队还能提升吞吐的技术呢,group commit 就是。这是典型的 kv 存储和 newsql 优化手法。不是魔法,但非常有效。这是 liustack/sqlite 为什么写吞吐有时候可以是原生 c 版 sqlite 的几十倍。对是几十倍。
就算 turso 来了也只能说半斤八两,甚至可能 liustack/sqlite 还能略胜。大家可以自己跑个测试证明下。因为真实的业务就不是 turso 的模型 mvcc 适合的那种重计算型事务,真实业务更多是短平快的零散场景事务,而这是 group commit 战场,是经过多代 kv 比如 leveldb/rocksdb 还有多代 newsql 实践出来的。
turso.tech/blog/beyond-the-s…
liustack/sqlite 是怎么解决 sqlite 不支持并发写这个瓶颈的。就是经典技术。没有魔法。
很多人觉得 sqlite 慢,不适合服务端的原因是原生 sqlite 是单写模型,即有个数据库级别的锁阻止你并发写,会报 busy 忙等待。
rust 和 go 的各个 sqlite 衍生版本实现也很少解决过这个问题。大家的野蛮玩法都是,用多个 db 就好了么。
为数不多的破局者 turso 的方案是引入 mvcc 来实现多写模型,这是有效的,但 turso 也破坏了一些 sqlite 语义。
而且 mvcc 这个实现也并不总是保证写吞吐量就大。
liustack/sqlite 的实现是用 group commit/批量提交,或者说流转批也行。因为我们知道报 busy 可能是写冲突,那排队不就好了么。可排队会更慢,有没有排队还能提升吞吐的技术呢,group commit 就是。这是典型的 kv 存储和 newsql 优化手法。不是魔法,但非常有效。这是 liustack/sqlite 为什么写吞吐有时候可以是原生 c 版 sqlite 的几十倍。对是几十倍。
就算 turso 来了也只能说半斤八两,甚至可能 liustack/sqlite 还能略胜。大家可以自己跑个测试证明下。因为真实的业务就不是 turso 的模型 mvcc 适合的那种重计算型事务,真实业务更多是短平快的零散场景事务,而这是 group commit 战场,是经过多代 kv 比如 leveldb/rocksdb 还有多代 newsql 实践出来的。
turso.tech/blog/beyond-the-s…
介绍下全网最快的 pure go sqlite 驱动 liustack/sqlite 的并发写能力。
开启 wal 和_txlock=immediate,用 256 的协程对 liustack/sqlite 进行极限压测。
看看 liustack/sqlite 直截了当的排队机制是不是真的跟 mvcc 一样能最大限度的消解掉并发写冲突 database is locked。
关于 liustack/sqlite 怎么解决 sqlite 的单写模型的并发写冲突问题xitter.gq/liustack/status/212379…
Replying to @liustack
liustack/sqlite 对 sqlite 的单写模型其实做了大量优化,理论上如果你设置了 _txlock=immediate,应该永远不会SQLITE_BUSY 或 database is locked 这样的并发写冲突,顶多只会出现等待超时。
因为这样设置后, liustack/sqlite 会将所有的事务进行排队,并能够保证高性能。
1
76
很多兄弟姐妹不喜欢 vps 的原因是这玩意部署应用很麻烦。
其实不是这样的,我干过 n 年云计算系统架构师,现在连云是什么我都忘记了,我现在只喜欢简单的东西。
我现在的想法是,我他妈的为什么想要 ci/cd 还得部署一套消耗内存 1 个 g 偶尔还能占一个核的系统和 ui 界面(还都是漏洞),我 vps 内存才一个 cpu 核和 512m 内存。
其实最好的 ci/cd 系统,就是配置 github action,再通过 github action 经过 cloudflare tunnel 连接 vps。
所以下个版本 tifa 会内置 ci/cd 功能,tifa deploy。
tifa deploy 的原则是直截了当,agent/ai first。
tifa deploy 会帮你配置好 vps 的 systemd 一整套配置、发布和回退机制。
tifa deploy 会支持你通过本地 ssh 干 vps 做发布和回退。
tifa deploy 会支持你集成 github action 来实现提交 release 分支自动发布。
tifa deploy 会支持你集成 cloudflare cdn 来实现干缓存。
如果你乐意,后续 tifa deploy 也支持通过 tailscale 来干 vps。
你不需要安装任何外部的 ci/cd 系统,你不应该浪费任何的计算资源和内存。
ssh(via cloudflare tunnel和tailscale) 和 systemd 就是最好的 ci/cd 系统。
哦,后期如果有人有需要,tifa 可能会开源一套 ci/cd 系统的 ui 界面,支持你将 ui 部署在免费的 cloudflare worker 上,然后通过 github actions 和 cloudflare tunnel 连接你所有的 vps,用 d1 来存储数据,这样管理几百个网站问题应该不大的。
但这样又回到了复杂。好像也不是独立开发者应该做的,独立发者第一个要做的就是出去接客。
介绍下 react & pure go 全栈框架 tifa v0.1.0。
在合成基准测试中(每一页都重新渲染),tifa 渲染 react 页面比 nextjs 和 tanstack start(没开 gzip) 略慢。
在 75% 客户端导航 25% ssr 的频繁读写电商场景测试里,tifa 延迟跟 tanstack start 基本齐平,远低于 nextjs。
在同样的测试场景中,tifa 的吞吐完全超过了 tanstack 和 nextjs。
在所有测试中,tifa 的内存占用只有 tanstack 或 nextjs 的三分之一,甚至更低。
而且这些都是单核测试。
在多核等真实世界的场景中,tifa 的吞吐可能是 nextjs 的 5 倍以上。
欢迎体验全网最快的 go react ssr 全栈框架 tifa。
4
24
1,737
turso 原生 rust 版本的性能应该跟 c 版 sqlite 差不多,甚至可能更快。在 rust 中使用 turso 应该是不错的选择。
但在 go 中使用 turso,可能会有一些性能问题,下面是我个人用 turso 官方提供的 go 驱动的测试,不代表官方。
这个驱动是 purego 库+动态库实现的,会有各种 go 和 rust 之间的来回通信成本。
这就像 wasm 本身的计算很快,但能用的场景其实不多的原因一样。因为你计算再快,你也要数据啊。如果数据离你太远,数据复制的耗时会远高于计算耗时。而且你可能要数据复制两次,输入和输出。如果数据离你近,那就没有动态性,而且你还是要将数据输出啊。
介绍下全网最快 pure go sqlite 驱动 liustack/sqlite。
性能达到 c 版 sqlite 85%。
读吞吐跟 c 版 sqlite 基本持平。
写吞吐远超 c 版 sqlite。
liustack/sqlite 内置实时备份数据到 s3 兼容协议存储系统(比如 cloudflare r2),完全兼容 litestream 协议(因为用的就是 litestream 的底层🤣)。
1
8
1,399






