随着AI时代的到来，各种大模型能极大的提升工作效率，让很多费时费力的事情变得轻松愉快，但随之带来的隐私问题，还有烧钱如流水的token，就有了我现在用的家庭设备之一，懒猫算力仓。

0x00 颜值即正义

作为老王的忠实粉丝，懒猫的VIP用户，带货达人，曾经的周榜/月榜第一，当前总榜第六开发者，最大容量存储懒猫拥有者，虽然没赶上算力仓的第一波样板，但有幸拿到了老王赠送的创始版样机。 外壳沿袭懒猫的高端CNC外壳，机甲风，非常酷炫，拿在手里很沉很扎实，比板砖更适合自卫防身。 星球大战风格，太酷了，唯一缺憾的是体积比懒猫大了点，放上面有点头重脚轻，最近实在太忙了，一直说设计个3D打印的外壳和支架，一直抽不出时间，先排进懒猫清单吧，等搞完手头的几块板子再来折腾。

0x10 性能指标

核心主控用的是老黄的NVIDIA Jetson AGX Orin 64G，也就是JD卖1W5的开发套件同款核心板。 算力275 TOPS，虽然远不如4090，但这价格、显存容量、功耗，作为家庭服务中心还是很OK的。板载2个nvme接口，有HDMI、USB3.0，内置wifi、2.5G/10G双网口，系统是Orin原生Ubuntu，二次开发非常友好。

下面是我测试过得部分显卡和模型，用的ollama默认的参数，没有做任何优化，直接下载然后测试。 可以看到小模型方面，Orin还是能打的，相比内存价比黄金的Mac和功耗炸裂的显卡，作为7x24小时工作的家庭算力中心还是绰绰有余的。

模型【tokens/s】 ollama q4	Orin 64g	M4 Pro 64G	M2 Ultra 192G	M3 Ultra 512G	4090D 48G	4090 24G	A100 40G
codellama:70b	3.88	5.88	15.36	14.59	21.97	23.35	24.11
qwen2.5:7b	23.97	43.05	84.41	87.42	143.53	91.35	81.92
qwen2.5:14b	13.15	22.18	46.65	46.86	79.44	58.51	59.03
qwen2.5:32b	6.45	10.53	24.7	24.54	40.13	32.68	33.77
qwen2.5:72b	3.03	4.77		11.40	18.34	17.24	2.71
qwen2.5-coder:7b	22.95	43.51	84.13	83.09	143.65
qwen2.5-coder:14b	12.57	22.14	46.83	45.84	74.98
qwen2.5-coder:32b	6.21	10.78		24.48	40.12
qwen3:8b	22.34	32.34		62.91	111.16		99.43
qwen3:14b	13.34	20.9		42.18	73.53	64.30	69.49
qwen3:30b	17.76	34.41		57.07	66.98	43.37	43.25
qwen3:32b	5.94	9.67		21.01	38.8	38.84	33.80
qwen3:235b				20.20	不支持
deepseek-r1:7b	23.68	41.89	84.15	81.24	144.50
deepseek-r1:14b	12.41	18.96	47.08	38.78	77.57
deepseek-r1:32b	5.98	10.04	25.03	23.64	39.42
deepseek-r1:70b	3.04	4.97		12.32	20.13
deepseek-coder-v2:16b	25.74	85.21	107.44	96.13	133.17
deepseek-coder-v2:236b				22.97
qwq:32b	6.26		24.21	24.79	40.52
mistral:7b	22.80			92.54	160.86
phi4:14b	13.13		46.46	44.38	83.87
gemma3:12b	13.80	25.38		45.14	85.23
gemma3:27b	7.16	11.87	25.61	23.91	44.47
codegemma:7b	22.95			81.45	141.07
codegemma:7b-code	错误			错误	143.81
llama3.3:70b	3.23			12.39	20.27
deepseek-v3

0x20 软件应用

AI应用最麻烦的就是各种配置，如果只是流式对话很简单，打开网页就行，但如果要玩更深度点的，比如文生图、翻译、视频检索、语音等等，大部分小白用户都是两眼一抹黑。。。 懒猫算力仓作为懒猫的附属配件，所有AI应用都可以在懒猫的商店里直接安装，主打一个简单省事。

还有个非常强的应用，作为十多年的NAS用户，数据仓鼠，存了若干TB的视频、音频、照片、文档等等各种资料，每次要找文件的时候都是一个艰苦的工作，之前觉得懒猫相册的自然语言搜图很方便，现在有了算力仓，可以全盘搜了。 算力仓系统可以直接SSH上去，部署安装自己的应用，配个共享，完全就可以当万兆存储来用，弥补了懒猫2.5G网口的不足，期待老王发出算力仓存储的应用，这样就更Happy了。

0x30 未来期许

Orin我用了一年多，懒猫算力仓因为用的是同款核心板，所以在性能方面没有让我Surprise，外壳和外设接口倒是让我挺满意的，弥补了懒猫没有万兆接口的遗憾，比较我家里19年就已经是万兆局域网了。 作为家庭算力中心，日常让它训练学习自己的私人文档资料，不用担心隐私方面问题，小模型无限token，等agent应用成熟了，就让它7x24努力干活就行。 配合懒猫的内网穿透，可以在任何地方用pc或者手机访问家里懒猫上的AI应用，这还是非常棒的，相比其他的各种AI一体机，懒猫算力仓应该是最省事方面的。 毕竟面世时间短，现在懒猫的AI应用还有很多不足的地方，但相信老王会让它越来越强大的。 PS：期待下一代的Thor核心懒猫算力仓，2070T FLOPS，不过按照老王精益求精的调性，目测得26-27年了。。。先用Orin的顶着吧~~

最后，如果有想买懒猫算力仓的，必须要先拥有懒猫，可以找我要折扣券，给老王提了那么多意见建议，刷脸要点折扣券还是ok的，大不了下次和凌御去灌醉他^_^