您现在的位置是：首页 > 技术资料 > 一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

推荐星级：

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

更新时间：2019-12-30 15:41:55 大小：331K 上传用户：xiaohei1810 查看TA发布的资源 标签：状态自动划分关节模型控制器 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

在庞大离散状态空间或连续状态空间中,强化学习(RL)需要进行值函数拟合以寻找最优策略.但函数拟合器的结构往往由设计者预先设定,在学习过程中不能动态调整缺乏自适应性.为了自动构建函数拟合器的结构,提出一种可以进行状态自动划分的模糊小脑模型关节控制(FCMAC)值函数拟合方法.该方法利用Bellman误差的变化趋势实现状态自动划分,并且探讨了两种选择划分区域的机制.汽车爬坡问题和机器人足球仿真平台中的实验结果表明新算法能有效拟合值函数,而且利用所提出的函数拟合器智能体可以进行有效的强化学习.

部分文件列表

文件名	大小
一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法.pdf	331K

立即下载

部分页面预览

（完整内容请下载后查看）

控制理与用

Control

Theory&Applications

No．2

、，01．28

第28卷第2期

2011年2月

Feb．20ll

文章号：1000-8152(201 1)02-0256-05

一种状自划分的模糊小模型关控制器函数合方法

清· ，曾嘉安2，

荣

z，朱金

(1．南理工大学件学院，广广州510006；2．南理工人学算机科学与技学院，广广州510006)

摘要：在大离散状

器的构往往由

出一一种可以行状

划分。并且探了两种

果表明新算法能有效函数，而H利用所提出的函数合器智能体町以行有效的化学

空

或

状

空

中，化学 (RL)需要

程中不能整缺乏自适性．了自构建函数合器的构，提

划分的模糊小模犁关控制(FCMAC) 函数合方法．方法利用Bellman 差的

划分区域的机制．汽午爬坡和机器人足球仿真平台中的

行

函数合以找最策略．但函数

合

者

先

定，在学

自

化

状

自

合

．

关

中

：

化学

；

函数；状

文献

自

划分；模糊小

：A

关

模型控制器

分

号：TPl8l

cerebeilar model arithmetic controller with

Fuzzy

for value function

automatic state

partition

approximation

MIN _{Hua— qingl，ZENG}

Jin-hui2

Jia— an2，LUO

Rong．hua2，ZHU

n．School ofSoftware

China

510006，China；

Engineering，South

Science and

University ofTechnology。Guangzhou Guangdong

China

510006，China)

University ofTechnology,Guangzhou Guangdong

2．School

ofComputer

Technology,South

Abstract：In continuous-state

discrete— state

reinforcement

function

learning(RL)USeS

large

space，the

the

ap-

space

function in

the structures of function

the value

proximation approaches

represent

seeking

optimal policy．However

which will

influence the

are often

designed

in advance．To

the swuc—

generate

performance

approximators

greatly

learning

novel

called the automatic _state·

ture of function

function

approximator

approximatorautomatically,a

-partition·

based fuzzy

cerebellar model arithmetic

ASP-FCMAC．the variation

of Bellman

determining

controller(ASP-FCMAC)is

tendency

proposed．In

state

partition

the

and two mechanisms are also discussed for

error is used to determine

which state should be

best time

perform

step．Experimental

at each time

results in

mountain

and

RoboCup

solving

cal"problem

partitioned

the structure of FCMAC for effective rein·

demonstrate that ASP-FCMAC Call

Keepaway problem

automatically generate

forcement

learning．

_{partition；fuzzy}CMAC

function；automatic State

Key ^{words：reinforcement}learning；value

引言(Introduction)

参数的自适控制141；Lanzi等人利用化方法

整CMAC 构15J．此外，Mahadevan等人通分析状

化学 (reinforcement

learning，RL)中智能体

空

的拓扑构以生成函数合器的构161；

通常采用函数迭代的方法来找最策略【iI，以

Keller等人利用近成分分析的方法建基函数，

以自生成函数合器的构12J．

使

中

期回最大化，而需要在大的状

宅

行函数合．小模型关控制器(cerebellar

在上述研究基上，本文提出一种状

自

划

函

model arithmetic

controller,CMAC)也被称瓦片

state

分(automatic

partition，ASP)的模糊CMAC

(tile

coding)。是一种主要的函数合方法．但利

数

合方法(ASP．FCMAC)．ASP— FCMAC通引入

用CMAC 行函数合需要

而CMAC 参数极其敏感，

先

定

构与参数，

性能

模糊隶属度函数，减少CMAC所存

的

数

复

目，不町以减

算

担，而且无需指定泛化参

良好的CMAC非常困 121．最近很多研究致力于

生成函数合器构，Whiteson等人提出状

数【7I，同利用

曼(Bellman) 差的

化

自

划分机，自划分状

空

，从而自

解析度(file

arithmetic con-

cerebellar model

生成FCMAC(fuzzy

number)自划分13i。并

出

函数

准和策略准2种划分方式：Sherstov等人提出泛化

troller) 构．

收稿日期：2008一Il— lO：收修改稿日期：2010⋯ 5

基金目：国家自然科学摹金

助

l{《61005061)：广省科技

划

助

E1(2009A040300008)；广州市科技

划

助

11(2009 )；广

省科技

划

助

1写(20108010600016)．

万方数据

第2期

清等：。‘种状 f1 划分的模糊小肭模

关

控制器函数合方法

25"7

and

CMAC和模糊CMAC(CMAC

CMAC)

fuzzy

的激活程度，

集后，函数

I】丁以把tiling数目降 1．引入模糊

程町以表示

合

～

2．1背景(Background)

(5)

V=∑叩t(s) t，

t=1

化学可以表示

科夫决策程(Markov

其中：仇表示模糊隶属度函数，佗2表示FCMAC的存

decision

process，MDP)或者半

decision

科夫决策

容量．

更新公式如下：

程(semi．Markov

process。SMDP)．

取

出MDP的数学表达，但本文的方法同可以

于SMDE MDP南4元 <S，A，P，R>构成，其中：

S表示状；A表示作集合；P：S×A— S是

移函数，定了在某一状行某一作后

移到另一状的概率：R：S×A_冗定

用

(6)

伽t卜伽t+ontAV(s)．

3基于状自划分的FCMAC(Automatic

based FCMACl

空

state

partition

下

了

能

3．1划分考t(State

划分机的

time)

partition

体

下

行某作后的立即【n| ．RL的目足最人化以

将影响函数合的性能，

快

化

函数：

的状划分，会

划分，

差I△y(s)f是衡量学算法是否收

致

合

果大幅波：而慢的

状

会

致学速度慢．由于Bellman

准，其

(1)

y”(s)=日{∑7‘R(8t，at)Is0=s)，

t=0

的

反映了学算法逼近最解的速度．斟此，可以根

据Bellman 筹的划分的机．假

其中：8t和a￡分表示t 刻的状

和

作，7∈

化

状

(0，1)是折扣【大1子，冗(s。，at)是函数，描述了累

本容量 T，本范内的平均差可表示

：

回

．RL通常采用迭代方式算最

函数，在

— —

I△y(s)l=∑IAV{(s)IIT,

迭代程中根据当前作的累【日| 与估

的

(7)

差(Bellman 差)更新函数．Bellman 差表示如

下：

其中lAty(s)l表示本范内的

的判断条件定如下：

次

差．新划分

AV(s)=max{R(s，口)+，yy(P(s，n)))一y(s)．(2)

(8)

在高离散状

宅

或

状

宅

中。上述

AV(s)I>lAV(8)觚I，

函数不能被精确表示，需要行函数合．

其中I△y(s)I。。I表示上一次的平均．如果式(8)成

立，明学程没有向最逼近。需要

行新一划分．由于参数丁将影响状划分的

2．2

CMAC函数合和模糊CMAC(Function

ap-

状

with CMAC and

_fuzzyCMAC)

proximation

率，里T的取将根据当前划分区域数自适

CMAC是一种J“泛使用的性函数合方法⋯ ，

其状被一系列“盖瓦”(tiling)所覆盖；每个

tiling具有相同的构，相 tiling之存在微小的位

移．tilingt：h若干个的“瓦片”(tile) 成．泛化

程中。当前状会激活每个tiling中某个tile，

整：

空

(9)

T=，(p)，

其中：p是当前状

增函数

量所划分的区域数，函数，

所

．

有tile的

行求和，就可得到当Ii{『的函数合

(10)

f=kpa，

合

程町以表示

一

：

其中七，a

非

常数．a的取影响着函数．厂的

化

，

V=∑ (s)伽i，

速率．当a>1 ，函数．厂增速度快：当a<1

函数．厂 P的化并／fi敏感；当o=1 ，函数，

性函数，函数合速度快。更适用于一些

性要求

(3)

娃然P釉，

高的系

．

其中：W{表示第i个tile所

的

，如表示第i个

3．2划分区域(State

partition regiofi)

tile所

的特征，n】是CMAC的存容量，

当智能体决定

状

行重新划分。需要

II[Itile的数．在CMAC中，函数的更新

tile 的更新。更新公式如下：

上是

合适的划分区域．一般而言，状

空

中不同状

量需要有不I— J 致程度的分区方案．但在

中，某一状的划分函数合的整体效

果没有太大影响．因此，本文不区各状量，即

量。并采用等的方式划分区

合适的划分区域，本文将提出2种找

(4)

Ⅲt+一"t+Q晚zxv(s)，

其中Q表示学速率．

CMAC的特征是一个二函数，表示tile是否

激活．了达到好的泛化水平。CMAC需要

景

同

划分所有状

域．

了

先

划分区域的方法：

I)划分

定tiling数目141．J．Nie等人提出把模糊集引入CMAC．

把二函数改模糊隶属度函数18I，隶属度表示tile

常

的区域．

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

江岚打赏20.00元 16小时前

资料：实时AI平台工程（AI Platform Engineering）与模型部署调度实验.docx
江岚打赏50.00元 16小时前

资料： EtherCAT的诊断能力出问题别全靠猜.docx
江岚打赏20.00元 16小时前

资料：伺服电机的控制模式位置速度与扭矩.docx
江岚打赏10.00元 16小时前

资料：中国农业AI出海从智慧渔业合作到智能养猪方案进入东南亚的全球化路径.docx
21ic小能手打赏10.00元 2天前

资料：stm32单片机的物联网WiFi智能快递柜设计（电路图+源码+系统资料）
21ic小能手打赏8.00元 2天前

资料：stm32单片机土壤湿度检测报警系统（程序+原理图+全套资料）
21ic小能手打赏8.00元 2天前

资料：51单片机的频率计（全套）
21ic小能手打赏5.00元 2天前

资料：51单片机定时宠物投喂自动喂食器（源码+原理图+PCB）
21ic小能手打赏3.00元 2天前

资料：51单片机MAX1898智能手机锂电池充电器设计（程序+原理图+PCB+全套资料）
tangyu1 打赏1.00元 3天前

资料：TS-14PFX-4 TS-16PFX-4 调音台说明书
jjjjkkkkk 打赏1.00元 3天前

资料：cyclone4-handbook
emlimei 打赏1.00元 3天前

资料：华为MH5000模块完整资料
21ic小能手打赏5.00元 3天前

资料：51单片机自动智能浇花系统设计
21ic小能手打赏3.00元 3天前

资料：低频功率放大器的设计.
21ic小能手打赏3.00元 3天前

资料：机床电气控制线路故障诊断与改造设计
21ic小能手打赏3.00元 3天前

资料：PLC+MCGS的车间温湿度监测控制系统
21ic小能手打赏3.00元 3天前

资料：PLC s7-300的病床呼叫系统
21ic小能手打赏3.00元 3天前

资料：PLC+MCGS的车间温湿度监控与通风控制系统设计
21ic小能手打赏5.00元 3天前

资料：51单片机数字频率计
21ic小能手打赏5.00元 3天前

资料：FPGA的数字频率计（含报告代码 pcb图）
21ic小能手打赏5.00元 3天前

资料：AAA基于51单片机智能导盲拐杖（程序+仿真+原理图+PCB+材料清单）

21ic小能手打赏5.00元 3天前

资料：51单片机的简易示波器设计（全套设计）
13573902396 打赏1.00元 3天前

资料：MATLAB语言常用算法程序集MATLAB源码220个.zip
21下载积分打赏310.00元 3天前

用户：江岚
21下载积分打赏310.00元 3天前

用户：潇潇江南
21下载积分打赏60.00元 3天前

用户：他山之石可攻玉
21下载积分打赏310.00元 3天前

用户：小猫做电路
21下载积分打赏210.00元 3天前

用户：zhengdai
21下载积分打赏210.00元 3天前

用户：w993263495
21下载积分打赏10.00元 3天前

用户：烟雨
21下载积分打赏60.00元 3天前

用户：gsy幸运
21下载积分打赏70.00元 3天前

用户：铁蛋锅
21下载积分打赏65.00元 3天前

用户：xzxbybd
21下载积分打赏60.00元 3天前

用户：jh0355
21下载积分打赏60.00元 3天前

用户：w178191520
21下载积分打赏20.00元 3天前

用户：jh03551
21下载积分打赏20.00元 3天前

用户：sun2152
21下载积分打赏20.00元 3天前

用户：kk1957135547
21下载积分打赏25.00元 3天前

用户：w1966891335
21下载积分打赏20.00元 3天前

用户：xuzhen1

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页