- 1
- 2
- 3
- 4
- 5
谷歌TPU Inference版详解.docx
资料介绍
谷歌TPU Inference版详解
一、什么是谷歌TPU Inference版
**TPU（Tensor Processing Unit）**是谷歌专门为TensorFlow框架开发的人工智能专用加速器，主打张量计算加速，分为训练版（Training）和推理版（Inference）两大类型，TPU Inference版就是专门针对AI模型部署推理场景优化的专用芯片。
不同于GPU兼顾训练和推理的通用设计，谷歌TPU推理版从架构设计阶段就围绕低延迟、高吞吐量的推理需求优化，适合云端大规模AI服务部署，广泛应用于谷歌搜索、谷歌相册、 Gmail智能回复等谷歌自身业务，也向外部开发者通过谷歌云平台开放使用。
二、TPU Inference版的架构特点
1. 脉动阵列（Systolic Array）计算架构
这是TPU最核心的设计特点，推理版TPU采用大面积的二维脉动阵列处理矩阵乘法——这正是深度学习推理中占比最高的计算类型。脉动阵列中每个处理单元只和相邻单元交互，数据在阵列中按节拍流动，无需频繁访问外部内存，极大降低了内存访问延迟，同时提升了计算并行度。和GPU相比，脉动阵列在批量推理场景下，计算利用率可以稳定维持在高位，不会因为小批量推理出现利用率跳水的问题。
2. 片上大容量高速缓存
TPU推理版配备了远高于同价位GPU的片上缓存（On-Chip Memory），可以把模型参数和计算中间结果直接存储在片上，减少对高延迟外部显存的访问。在推理场景中，模型参数不需要频繁更新，一次性加载到片上缓存后，后续推理都可以直接在片上完成计算，大幅降低延迟，同时减少内存带宽压力，支撑更高的并发推理量。
部分文件列表
| 文件名 | 大小 |
| 谷歌TPU_Inference版详解.docx | 16K |
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏10.00元 1天前
-
21ic小能手 打赏8.00元 1天前
-
21ic小能手 打赏5.00元 1天前
-
21ic小能手 打赏5.00元 1天前
-
21ic小能手 打赏5.00元 1天前
-
aetek 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏310.00元 3天前
用户：江岚
-
21ic下载 打赏310.00元 3天前
用户：mulanhk
-
21ic下载 打赏320.00元 3天前
用户：jh03551
-
21ic下载 打赏220.00元 3天前
用户：jh0355
-
21ic下载 打赏210.00元 3天前
用户：潇潇江南
-
21ic下载 打赏210.00元 3天前
用户：小猫做电路
-
21ic下载 打赏60.00元 3天前
用户：gsy幸运
-
21ic下载 打赏60.00元 3天前
用户：zhengdai
-
21ic下载 打赏60.00元 3天前
用户：lanmukk
-
21ic下载 打赏60.00元 3天前
用户：烟雨
-
21ic下载 打赏20.00元 3天前
用户：w993263495
-
21ic下载 打赏30.00元 3天前
用户：sun2152
-
21ic下载 打赏20.00元 3天前
用户：w178191520
-
21ic下载 打赏20.00元 3天前
用户：liqiang9090
-
21ic下载 打赏20.00元 3天前
用户：xuzhen1
-
21ic下载 打赏35.00元 3天前
用户：有理想666
-
21ic下载 打赏15.00元 3天前
用户：w1966891335
-
21ic下载 打赏15.00元 3天前
用户：x15580286248
-
21ic下载 打赏25.00元 3天前
用户：qiufeng0299
-
21ic下载 打赏15.00元 3天前
用户：kk1957135547
-
21ic下载 打赏10.00元 3天前
用户：qingsong08
-
21ic下载 打赏10.00元 3天前
用户：电工老刘
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
ZENGYIBIN 打赏1.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
资料：STM32的数字万用表
全部评论(0)