您现在的位置是：首页 > 技术资料 > 一种低开销的面向节点内互连的网络接口控制器

推荐星级：

一种低开销的面向节点内互连的网络接口控制器

更新时间：2019-12-25 13:29:25 大小：3M 上传用户：xiaohei1810 查看TA发布的资源 标签：网络接口控制器 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

高性能计算和云计算的飞速发展对高性能互连网络的设计提出了越来越高的要求:除了要保证高带宽、低延迟和高可靠性等特性,还要面临成本和系统规模的挑战.该文针对这些特性和挑战提出了一种低开销的基于cHPP体系结构的超节点网络接口控制器:(1)设计了兼容PCIe的网络通信协议,降低协议转换开销、减少通信延迟并增强系统可扩展性能;(2)采用PCIe高速通信接口并支持用户级通信提高软硬件交互效率,面向MPI编程模型抽象出高效通信原语(如NAP、PUT和GET)加速大数据传输;(3)硬件支持I/O虚拟化实现超节点内对网络接口控制器的高效共享.为了对该文的设计进行功能和性能验证,文章基于FPGA实现了系统原型,实验结果显示最低延迟为1.242μs,有效数据带宽可达3.19 GB/s.

部分文件列表

文件名	大小
一种低开销的面向节点内互连的网络接口控制器.pdf	3M

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

第38卷第5期

2015年5月

计

算

机

学

CHINESE

JOURNALOF COMPUTERS

报

v01．38 No．5

May ²⁰¹⁵

一种低开销的面向节点内互连的网络接口控制器

勇”’2’

王

展”’2’

苏

曹

政∞

刘飞龙。’2’

刘小丽2’

安学军2’

孙凝晖2’

”(中国科学院大学计算机与控制工程学院北京 100190)

100190)

2’(中国科学院计算技术研究所计算机体系结构国家重点实验室北京

摘要高性能计算和云计算的飞速发展对高性能互连网络的设计提出了越来越高的要求：除了要保证高带宽、

低延迟和高可靠性等特性，还要面临成本和系统规模的挑战．该文针对这些特性和挑战提出了一种低开销的基于

cHPP体系结构的超节点网络接口控制器：(1)设计了兼容PCIe的网络通信协议，降低协议转换开销、减少通信延

迟并增强系统可扩展性能；(2)采用PCIe高速通信接口并支持用户级通信提高软硬件交互效率，面向MPI编程模

型抽象出高效通信原语(如NAP、PuT和GET)力fl速大数据传输；(3)硬件支持I／O虚拟化实现超节点内对网络接

口控制器的高效共享．为了对该文的设计进行功能和性能验证，文章基于FPGA实现了系统原型，实验结果显示最

低延迟为1．242“s，有效数据带宽可达3．19GB／s．

关键词互连；网络接口控制器；直接存储器访问；PCI

Express；I／O虚拟化

中图法分类号TP303

DOI号10。3724／SP．J．1016．2015．00909

LOW Overhead

Intra-Node Interconnection Oriented

Network Interface Controller

CAO

WANG Zhanl’，”LIU Xiao—Li2’

Yon91’’2’

Zheng∞LIU

Fei—Lon91’’2’

SUN_{Ning—Hui2’}

Chinese

Xue—Jun∞

1’(Institute

andControl

Engineering，University of

Architecture，Institute

of Computer

Academy ofSciences，Beijing 100190)

”(State

KeyLaboratory ofComputer

of Computing Technology，ChineseAcademy ofSciences，Beijing 100190)

Abstract

network：not only

and Cloud

are

the interconnection

performance

High

computing

Computing

requiring

and

also low cost and

bandwidth，low

high

address these

latency

high reliability，but

network interface

high

controller

low overhead

challenges，a hyper—node

proposed：(1)a PCIe—compliant

scalability．To

cHPP architecture iS

network

(NIC)for

communication

protocol

the

user-level communication is

the

to decrease

overhead of

conversion and

protocol

proposed

tO decrease the software

efficient communication

such as

supported

latency；(2)high

primitives

NAP。PUT and GETare

and

to accelerate the MPI

virtualization is

I／O

model

programming

proposed

implemented

and

data

to enable the

supported

large

exchanging；(3)Hardware—based

efficient NIC

in the

network interface controller

hyper-node．The

sharing

proposed hyper-node

has been verified based on a FPGA

carried out

the

prototype

design

show that the 10west

prototype．Evaluations

and the

bandwidth is 3．19

GB／s．

highest

1．242Ⅱs

latency

interconnection；network interface controller；direct

Keywords

memory access；peripheral

interconnect

virtualization

component

express；I／O

收稿日期；2014—01—11；最终修改稿收到日期：2014—08—21．本课题得到国家自然科学基金(61100014)资助．苏勇，男，1976年生，博士研

究生，工程师，中国计算机学会(CCF)会员，主要研究方向为计算机体系结构、高性能互连网络．E-mai[：sy．pass@163．corn．■政，男，

1982年生，博士，副研究员，中国计算机学会(CCF)会员，主要研究方向为分布式计算、计算机体系结构、高性能计算互连网络等．

刘飞龙，男，1989年生，硕士。主要研究方向为计算机体系结构、高性能互连网络．王展，男，1986年生，博士研究生，中国计算机学会

(CCF)会员，主要研究方向为计算机体系结构、虚拟化技术．刘小膏，女，1986年生，硕士，助理工程师，中国计算机学会(CCF)会员，主要

研究方向为高性能计算、虚拟化技术．安学军，男。1966年生，博士，高级工程师，博士生导师，主要研究领域为计算机体系结构、高性能互

连网络等．孙凝晖，男，1968年生，博士，研究员，博士生导师，主要研究领域为并行体系结构、分布式操作系统、高性能计算等．

万方数据

910

计

算

机

学

报

技术研究所提出的一种基于超节点通信性能优化的

高性能计算机体系结构，在保证分布式系统的高扩

展性的同时基于硬件实现了全局物理内存共享，支

持基于共享存储的编程模型．超节点是指多个处理

单元通过一个超节点控制器连接起来构成的超级节

点，该结构能够有效降低超节点内部计算单元间的

通信延迟，同时能够减少节点数量、降低互连网络规

模，系统的平均通信延迟也随之降低．

引

言

大规模并行系统广泛应用于高性能计算和云计

算领域，两个领域都对通信系统提出新的需求．高性

能计算在科学研究、工程技术以及国防军工等方面

的应用取得了巨大成功，计算能力突飞猛进．基于异

构架构的“天河II”①超级计算机以峰值计算速度每

秒5．49亿亿次、持续计算速度每秒3．39亿亿次双

精度浮点运算的优异性能成为全球最快的超级计算

机．异构计算是一种高效利用各种计算资源的并行

和分布式计算技术，在提升计算性能的同时降低成

本和能耗，已经成为高性能计算发展的新趋势．因

此，对异构计算模式的支持是高性能计算的现实需

求，但是在传统结构中，协处理器仅仅挂载在I／O

总线上作为加速部件使用，大量通信需要用主处理

器内存来中转，难以获得等同的网络性能．计算能力

的不断提高也要求互连网络必须具有超高带宽、超

低延迟的高性能，因此，异构计算服务器中的通信性

能亟待提高．此外，随着系统规模的不断增长，系统

的成本和功耗越来越高，有效降低成本和功耗也是

高性能互连网络面临的难点问题．云计算在助力企

业发展，推动技术进步等方面发挥了重要作用．虚拟

化技术在云计算领域得到了迅猛发展，特别是I／O

虚拟化，就像光纤入户技术一样，成为虚拟化技术的

如图1所示，HPP体系结构实现了芯片、节点、

系统多级并行结构：通过多核处理器实现核问并行、

超节点内部采用异构加速器和通用处理器实现处

理器间并行、超节点间通过互连网络构成机群系统

实现超节点问并行；支持全局地址空间，对超节点内

的内存和I／O资源统一编址，使超节点的处理器可

对全局资源高效共享；支持多通道并发的核到核之

问的通信；超节点操作系统具有单一系统映像并有

Interface)和PGAS

效支持MPI(MessagePassing

Global Address

(Partitioned

Space)编程模型．

“最后一公里”．在虚拟化环境下，大量并发的高吞吐

率负载对网络接口控制器提出了严峻挑战，因此，迫

图1 HPP体系结构

切需要加强对I／O资源的合理高效的共享．

面对上述在性能和共享能力上的挑战，本文基

Parallel

2．2

cHPP体系结构

于HPP(Hyper

Process)体系结构提出了

为满足高性能计算和云计算对性能的共同需

求，同时兼顾异构计算和虚拟化对通信系统的差异

性需求，在曙光6000 HPP体系结构的基础上提出

了cHPP体系结构．cHPP体系结构的首要目标是

加速异构计算，提高节点计算密度，通过cHPP控制

器，结合高效通信接口，实现了异构处理器间的直接

通信．相比于传统结构，这种体系结构可以消除通信

瓶颈，提高通信效率，并有利于系统规模扩展．基于

硬件支持资源的聚集和高效共享是cHPP体系结构

的另一重要目标，因此cHPP控制器除了实现处理

器对内存和I／O资源的高速访问，还支持灵活有效

的资源聚集和高效的共享．

cHPP(configurable HPP)体系结构，针对面向异构

计算的通信加速和基于硬件的节点内I／0资源高

效共享设计，实现了一种低开销的面向节点内互连

的网络接口控制器．

本文第2节介绍cHPP体系结构；第3节阐述

网络接口控制器设计的关键技术；第4节阐述网络

接口控制器的具体实现方法；第5节进行性能评测

并得出有关结论；第6节阐述目前主流高性能计算

机网络接口控制器的相关研究，对比各自的特点和

不足；最后是全文的总结和对未来工作的展望．

2超节点控制器结构

cHPP控制器用于构建面向高性能计算应用，

2．1

HPP体系结构

①TopS00．org(2013)TOP500

2013／06

List．http：／／top500．org／lists／

超并行(HPP)体系结构‘13是中国科学院计算

万方数据

5期

苏

911

勇等：一种低开销的面向节点内互连的网络接口控制器

同时兼顾云计算需求的新型高性能服务器．因此

cHPP控制器既要实现高性能的互连，还要提供虚

拟化的相关支持．图2描述的是cHPP控制器用于

节点内互连的场景，cHPP控制器既可以连接通用

处理器和协处理器，也可以直接连接I／0设备或

I／O桥．cHPP控制器提供全面的I／O虚拟化支持，

节点内的I／O设备可以被虚拟成若干虚拟设备．此

外，cHPP控制器本身也可以被虚拟成若干虚拟控

制器．所有的虚拟设备和虚拟控制器均可被直接分

配给节点内的虚拟机，实现I／O设备被处理器的直

接共享．

部件，网络接口控制器的微体系结构和网络通信协

议是本文的主要研究内容．

3网络接口控制器设计

cHPP控制器面向高性能计算，同时兼顾云计

算的需求，其网络接口控制器需要支持高性能的通

信和高效的共享．通信延迟决定了高性能互连网络

的性能而可扩展性则决定了网络的规模，二者是衡

量网络性能的关键因素．网络通信协议决定了网络

接口控制器数据传输的效率，通信接口决定了软硬

件的交互效率，通信原语的定义和实现机制则决定

了控制器的功能和硬件效率，共享机制决定了控制

器被共享的能力，这些方面共同构成了网络接口控

制器的有机整体．因此，本节围绕低延迟与可扩展性

对节点内通信进行优化，从低开销通信协议、高性能

通信接口、高效通信原语和高效的I／O共享4个方

面对网络接口控制器进行了设计分析．

3．1

低延迟与可扩展性能分析

LogPE23模型以很少的参数来反映并行计算的

关键技术，但主要是针对短消息进行分析．LogGP口]

模型对长消息传输进行了分析．本文在LogGP模型

的基础上对基于Chain—DMA引擎的网络接口控制

器执行长消息传输进行了系统延迟分析．端到端传

输时间定义为发送节点网络接口控制器开始DMA

图2 cHPP超节点结构不意图

2．3

cHPP超节点控制器

为满足上述场景的需要，cHPP控制器主要负

责超节点数据通信和I／O高效共享的功能，支持全

局地址空间和用户级通信，采用PCI Express标准

(PCIe)的高速I／0接口提升链路性能，并增加了对

单根虚拟化(SR-IOV)规范的支持，实现超节点内

I／O资源的高效共享．如图3所示，每个cHPP控制

器含多个网络接口控制器和交换模块，cHPP控制

器间通过PCIe链路直接互连．支持任意网络拓扑

结构．系统规模可根据需求灵活配置，具有良好的伸

缩性．PCIe交叉开关模块用于实现处理器与I／o设

备间PCIe消息的交换；Intra DMA交叉开关模块

用于实现节点内DMA数据的交换．因此，cHPP控

制器可支持多种拓扑的直接网络互连，可提供节点

内多处理器间高速通信和I／O高效共享。网络接口

控制器是保证节点内高性能通信和资源共享的关键

操作到接收节点接收最后一个字节为止．如图4所

示，采用基于Chain—DMA引擎的网络接口控制器

传输M字节消息所需的时间由式(1)定义．

T(P)一Oc+Od。+(M一1)× G+L(P)+00，(1)

其中，Q为处理器启动消息发送的时间；Od；是DMA

启动开销，包括门铃启动时间和描述符读取时间；M

是消息长度(字节)；G是网络“间隔”(周期每字节)，

其倒数为网络带宽；L(P)一H× r是消息包头通过

网络的平均时间，H是消息通过的平均跳数，r是每

跳处理时间和线路延迟之和，P是处理器数目；0d，

是DMA接收处理延迟．从式(1)可以看出：设计高

效的软硬件接口可以加速消息发送，有利于压缩Q

开销；建立快速的DMA启动机制，有利于降低Q，

I网络接口I I网络接口l l网络接口l

I控制器l l控制器l i控制器l

开销；构建高效的DMA引擎，设计低开销的通信协

议都有利于减少Q，实现数据的快速传递；提供更

高的网络带宽可降低G，因此采用高带宽的通信链

路有利于减少通信延迟；压缩网络直径．降低平均跳

数H也可减少网络延迟．因此，可以围绕上述各项

指标设计网络接口控制器以提供高性能的通信网

络，对于大规模互连网络来说，网络拓扑结构应具有

IntraDMA

PCIe

Crossbar

f网络接口l l网络接口I l网络接口l

l控制器I l控制器I l控制器l

图3 cHPP控制器结构框图

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

一种低开销的面向节点内互连的网络接口控制器

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页