随着AI时代的到来,各种大模型能极大的提升工作效率,让很多费时费力的事情变得轻松愉快,但随之带来的隐私问题,还有烧钱如流水的token,就有了我现在用的家庭设备之一,懒猫算力仓。

0x00 颜值即正义

作为老王的忠实粉丝,懒猫的VIP用户,带货达人,曾经的周榜/月榜第一,当前总榜第六开发者,最大容量存储懒猫拥有者,虽然没赶上算力仓的第一波样板,但有幸拿到了老王赠送的创始版样机。


外壳沿袭懒猫的高端CNC外壳,机甲风,非常酷炫,拿在手里很沉很扎实,比板砖更适合自卫防身。
星球大战风格,太酷了,唯一缺憾的是体积比懒猫大了点,放上面有点头重脚轻,最近实在太忙了,一直说设计个3D打印的外壳和支架,一直抽不出时间,先排进懒猫清单吧,等搞完手头的几块板子再来折腾。

0x10 性能指标

核心主控用的是老黄的NVIDIA Jetson AGX Orin 64G,也就是JD卖1W5的开发套件同款核心板。
算力275 TOPS,虽然远不如4090,但这价格、显存容量、功耗,作为家庭服务中心还是很OK的。板载2个nvme接口,有HDMI、USB3.0,内置wifi、2.5G/10G双网口,系统是Orin原生Ubuntu,二次开发非常友好。


下面是我测试过得部分显卡和模型,用的ollama默认的参数,没有做任何优化,直接下载然后测试。
可以看到小模型方面,Orin还是能打的,相比内存价比黄金的Mac和功耗炸裂的显卡,作为7x24小时工作的家庭算力中心还是绰绰有余的。

模型【tokens/s】
ollama q4
Orin 64g
M4 Pro 64G M2 Ultra 192G M3 Ultra 512G 4090D 48G 4090 24G A100 40G
codellama:70b 3.88 5.88 15.36 14.59 21.97 23.35 24.11
qwen2.5:7b 23.97 43.05 84.41 87.42 143.53 91.35 81.92
qwen2.5:14b 13.15 22.18 46.65 46.86 79.44 58.51 59.03
qwen2.5:32b 6.45 10.53 24.7 24.54 40.13 32.68 33.77
qwen2.5:72b 3.03 4.77 11.40 18.34 17.24 2.71
qwen2.5-coder:7b 22.95 43.51 84.13 83.09 143.65
qwen2.5-coder:14b 12.57 22.14 46.83 45.84 74.98
qwen2.5-coder:32b 6.21 10.78 24.48 40.12
qwen3:8b 22.34 32.34 62.91 111.16 99.43
qwen3:14b 13.34 20.9 42.18 73.53 64.30 69.49
qwen3:30b 17.76 34.41 57.07 66.98 43.37 43.25
qwen3:32b 5.94 9.67 21.01 38.8 38.84 33.80
qwen3:235b 20.20 不支持
deepseek-r1:7b 23.68 41.89 84.15 81.24 144.50
deepseek-r1:14b 12.41 18.96 47.08 38.78 77.57
deepseek-r1:32b 5.98 10.04 25.03 23.64 39.42
deepseek-r1:70b 3.04 4.97 12.32 20.13
deepseek-coder-v2:16b 25.74 85.21 107.44 96.13 133.17
deepseek-coder-v2:236b 22.97
qwq:32b 6.26 24.21 24.79 40.52
mistral:7b 22.80 92.54 160.86
phi4:14b 13.13 46.46 44.38 83.87
gemma3:12b 13.80 25.38 45.14 85.23
gemma3:27b 7.16 11.87 25.61 23.91 44.47
codegemma:7b 22.95 81.45 141.07
codegemma:7b-code 错误 错误 143.81
llama3.3:70b 3.23 12.39 20.27
deepseek-v3

0x20 软件应用

AI应用最麻烦的就是各种配置,如果只是流式对话很简单,打开网页就行,但如果要玩更深度点的,比如文生图、翻译、视频检索、语音等等,大部分小白用户都是两眼一抹黑。。。
懒猫算力仓作为懒猫的附属配件,所有AI应用都可以在懒猫的商店里直接安装,主打一个简单省事。


还有个非常强的应用,作为十多年的NAS用户,数据仓鼠,存了若干TB的视频、音频、照片、文档等等各种资料,每次要找文件的时候都是一个艰苦的工作,之前觉得懒猫相册的自然语言搜图很方便,现在有了算力仓,可以全盘搜了。

算力仓系统可以直接SSH上去,部署安装自己的应用,配个共享,完全就可以当万兆存储来用,弥补了懒猫2.5G网口的不足,期待老王发出算力仓存储的应用,这样就更Happy了。

0x30 未来期许

Orin我用了一年多,懒猫算力仓因为用的是同款核心板,所以在性能方面没有让我Surprise,外壳和外设接口倒是让我挺满意的,弥补了懒猫没有万兆接口的遗憾,毕竟我家里19年就已经是万兆局域网了。
作为家庭算力中心,日常让它训练学习自己的私人文档资料,不用担心隐私方面问题,小模型无限token,等agent应用成熟了,就让它7x24努力干活就行。
配合懒猫的内网穿透,可以在任何地方用pc或者手机访问家里懒猫上的AI应用,这还是非常棒的,相比其他的各种AI一体机,懒猫算力仓应该是最省事方面的。
毕竟面世时间短,现在懒猫的AI应用还有很多不足的地方,但相信老王会让它越来越强大的。
PS:期待下一代的Thor核心懒猫算力仓,2070T FLOPS,不过按照老王精益求精的调性,目测得26-27年了。。。先用Orin的顶着吧~~

最后,如果有想买懒猫算力仓的,必须要先拥有懒猫,可以找我要折扣券,给老王提了那么多意见建议,刷脸要点折扣券还是ok的,大不了下次和凌御去灌醉他^_^