您现在的位置是：首页 > 技术资料 > 一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

推荐星级：

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

更新时间：2019-12-30 15:41:55 大小：331K 上传用户：xiaohei1810 查看TA发布的资源 标签：状态自动划分关节模型控制器 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

在庞大离散状态空间或连续状态空间中,强化学习(RL)需要进行值函数拟合以寻找最优策略.但函数拟合器的结构往往由设计者预先设定,在学习过程中不能动态调整缺乏自适应性.为了自动构建函数拟合器的结构,提出一种可以进行状态自动划分的模糊小脑模型关节控制(FCMAC)值函数拟合方法.该方法利用Bellman误差的变化趋势实现状态自动划分,并且探讨了两种选择划分区域的机制.汽车爬坡问题和机器人足球仿真平台中的实验结果表明新算法能有效拟合值函数,而且利用所提出的函数拟合器智能体可以进行有效的强化学习.

部分文件列表

文件名	大小
一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法.pdf	331K

立即下载

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

控制理与用

Control

Theory&Applications

No．2

、，01．28

第28卷第2期

2011年2月

Feb．20ll

文章号：1000-8152(201 1)02-0256-05

一种状自划分的模糊小模型关控制器函数合方法

清· ，曾嘉安2，

荣

z，朱金

(1．南理工大学件学院，广广州510006；2．南理工人学算机科学与技学院，广广州510006)

摘要：在大离散状

器的构往往由

出一一种可以行状

划分。并且探了两种

果表明新算法能有效函数，而H利用所提出的函数合器智能体町以行有效的化学

空

或

状

空

中，化学 (RL)需要

程中不能整缺乏自适性．了自构建函数合器的构，提

划分的模糊小模犁关控制(FCMAC) 函数合方法．方法利用Bellman 差的

划分区域的机制．汽午爬坡和机器人足球仿真平台中的

行

函数合以找最策略．但函数

合

者

先

定，在学

自

化

状

自

合

．

关

中

：

化学

；

函数；状

文献

自

划分；模糊小

：A

关

模型控制器

分

号：TPl8l

cerebeilar model arithmetic controller with

Fuzzy

for value function

automatic state

partition

approximation

MIN _{Hua— qingl，ZENG}

Jin-hui2

Jia— an2，LUO

Rong．hua2，ZHU

n．School ofSoftware

China

510006，China；

Engineering，South

Science and

University ofTechnology。Guangzhou Guangdong

China

510006，China)

University ofTechnology,Guangzhou Guangdong

2．School

ofComputer

Technology,South

Abstract：In continuous-state

discrete— state

reinforcement

function

learning(RL)USeS

large

space，the

the

ap-

space

function in

the structures of function

the value

proximation approaches

represent

seeking

optimal policy．However

which will

influence the

are often

designed

in advance．To

the swuc—

generate

performance

approximators

greatly

learning

novel

called the automatic _state·

ture of function

function

approximator

approximatorautomatically,a

-partition·

based fuzzy

cerebellar model arithmetic

ASP-FCMAC．the variation

of Bellman

determining

controller(ASP-FCMAC)is

tendency

proposed．In

state

partition

the

and two mechanisms are also discussed for

error is used to determine

which state should be

best time

perform

step．Experimental

at each time

results in

mountain

and

RoboCup

solving

cal"problem

partitioned

the structure of FCMAC for effective rein·

demonstrate that ASP-FCMAC Call

Keepaway problem

automatically generate

forcement

learning．

_{partition；fuzzy}CMAC

function；automatic State

Key ^{words：reinforcement}learning；value

引言(Introduction)

参数的自适控制141；Lanzi等人利用化方法

整CMAC 构15J．此外，Mahadevan等人通分析状

化学 (reinforcement

learning，RL)中智能体

空

的拓扑构以生成函数合器的构161；

通常采用函数迭代的方法来找最策略【iI，以

Keller等人利用近成分分析的方法建基函数，

以自生成函数合器的构12J．

使

中

期回最大化，而需要在大的状

宅

行函数合．小模型关控制器(cerebellar

在上述研究基上，本文提出一种状

自

划

函

model arithmetic

controller,CMAC)也被称瓦片

state

分(automatic

partition，ASP)的模糊CMAC

(tile

coding)。是一种主要的函数合方法．但利

数

合方法(ASP．FCMAC)．ASP— FCMAC通引入

用CMAC 行函数合需要

而CMAC 参数极其敏感，

先

定

构与参数，

性能

模糊隶属度函数，减少CMAC所存

的

数

复

目，不町以减

算

担，而且无需指定泛化参

良好的CMAC非常困 121．最近很多研究致力于

生成函数合器构，Whiteson等人提出状

数【7I，同利用

曼(Bellman) 差的

化

自

划分机，自划分状

空

，从而自

解析度(file

arithmetic con-

cerebellar model

生成FCMAC(fuzzy

number)自划分13i。并

出

函数

准和策略准2种划分方式：Sherstov等人提出泛化

troller) 构．

收稿日期：2008一Il— lO：收修改稿日期：2010⋯ 5

基金目：国家自然科学摹金

助

l{《61005061)：广省科技

划

助

E1(2009A040300008)；广州市科技

划

助

11(2009 )；广

省科技

划

助

1写(20108010600016)．

万方数据

第2期

清等：。‘种状 f1 划分的模糊小肭模

关

控制器函数合方法

25"7

and

CMAC和模糊CMAC(CMAC

CMAC)

fuzzy

的激活程度，

集后，函数

I】丁以把tiling数目降 1．引入模糊

程町以表示

合

～

2．1背景(Background)

(5)

V=∑叩t(s) t，

t=1

化学可以表示

科夫决策程(Markov

其中：仇表示模糊隶属度函数，佗2表示FCMAC的存

decision

process，MDP)或者半

decision

科夫决策

容量．

更新公式如下：

程(semi．Markov

process。SMDP)．

取

出MDP的数学表达，但本文的方法同可以

于SMDE MDP南4元 <S，A，P，R>构成，其中：

S表示状；A表示作集合；P：S×A— S是

移函数，定了在某一状行某一作后

移到另一状的概率：R：S×A_冗定

用

(6)

伽t卜伽t+ontAV(s)．

3基于状自划分的FCMAC(Automatic

based FCMACl

空

state

partition

下

了

能

3．1划分考t(State

划分机的

time)

partition

体

下

行某作后的立即【n| ．RL的目足最人化以

将影响函数合的性能，

快

化

函数：

的状划分，会

划分，

差I△y(s)f是衡量学算法是否收

致

合

果大幅波：而慢的

状

会

致学速度慢．由于Bellman

准，其

(1)

y”(s)=日{∑7‘R(8t，at)Is0=s)，

t=0

的

反映了学算法逼近最解的速度．斟此，可以根

据Bellman 筹的划分的机．假

其中：8t和a￡分表示t 刻的状

和

作，7∈

化

状

(0，1)是折扣【大1子，冗(s。，at)是函数，描述了累

本容量 T，本范内的平均差可表示

：

回

．RL通常采用迭代方式算最

函数，在

— —

I△y(s)l=∑IAV{(s)IIT,

迭代程中根据当前作的累【日| 与估

的

(7)

差(Bellman 差)更新函数．Bellman 差表示如

下：

其中lAty(s)l表示本范内的

的判断条件定如下：

次

差．新划分

AV(s)=max{R(s，口)+，yy(P(s，n)))一y(s)．(2)

(8)

在高离散状

宅

或

状

宅

中。上述

AV(s)I>lAV(8)觚I，

函数不能被精确表示，需要行函数合．

其中I△y(s)I。。I表示上一次的平均．如果式(8)成

立，明学程没有向最逼近。需要

行新一划分．由于参数丁将影响状划分的

2．2

CMAC函数合和模糊CMAC(Function

ap-

状

with CMAC and

_fuzzyCMAC)

proximation

率，里T的取将根据当前划分区域数自适

CMAC是一种J“泛使用的性函数合方法⋯ ，

其状被一系列“盖瓦”(tiling)所覆盖；每个

tiling具有相同的构，相 tiling之存在微小的位

移．tilingt：h若干个的“瓦片”(tile) 成．泛化

程中。当前状会激活每个tiling中某个tile，

整：

空

(9)

T=，(p)，

其中：p是当前状

增函数

量所划分的区域数，函数，

所

．

有tile的

行求和，就可得到当Ii{『的函数合

(10)

f=kpa，

合

程町以表示

一

：

其中七，a

非

常数．a的取影响着函数．厂的

化

，

V=∑ (s)伽i，

速率．当a>1 ，函数．厂增速度快：当a<1

函数．厂 P的化并／fi敏感；当o=1 ，函数，

性函数，函数合速度快。更适用于一些

性要求

(3)

娃然P釉，

高的系

．

其中：W{表示第i个tile所

的

，如表示第i个

3．2划分区域(State

partition regiofi)

tile所

的特征，n】是CMAC的存容量，

当智能体决定

状

行重新划分。需要

II[Itile的数．在CMAC中，函数的更新

tile 的更新。更新公式如下：

上是

合适的划分区域．一般而言，状

空

中不同状

量需要有不I— J 致程度的分区方案．但在

中，某一状的划分函数合的整体效

果没有太大影响．因此，本文不区各状量，即

量。并采用等的方式划分区

合适的划分区域，本文将提出2种找

(4)

Ⅲt+一"t+Q晚zxv(s)，

其中Q表示学速率．

CMAC的特征是一个二函数，表示tile是否

激活．了达到好的泛化水平。CMAC需要

景

同

划分所有状

域．

了

先

划分区域的方法：

I)划分

定tiling数目141．J．Nie等人提出把模糊集引入CMAC．

把二函数改模糊隶属度函数18I，隶属度表示tile

常

的区域．

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

21ic小能手打赏15.00元 3天前

资料：stm32自制电子琴 pwm波模拟打击乐音色
21ic小能手打赏10.00元 3天前

资料：OpenCV基础入门学习代码
21ic下载打赏310.00元 3天前

用户：kk1957135547
21ic下载打赏310.00元 3天前

用户：zhengdai
21ic下载打赏310.00元 3天前

用户：小猫做电路
21ic下载打赏310.00元 3天前

用户：gsy幸运
21ic下载打赏310.00元 3天前

用户：liqiang9090
21ic下载打赏160.00元 3天前

用户：w178191520
21ic下载打赏210.00元 3天前

用户：jh035511
21ic下载打赏150.00元 3天前

用户：jh03551
21ic下载打赏40.00元 3天前

用户：cooldog123pp
21ic下载打赏40.00元 3天前

用户：sun2152
21ic下载打赏30.00元 3天前

用户：WK520077778
21ic下载打赏60.00元 3天前

用户：1111111ffgg
21ic下载打赏20.00元 3天前

用户：铁蛋锅
21ic下载打赏20.00元 3天前

用户：小猪配二锅头
21ic下载打赏20.00元 3天前

用户：w1966891335
21ic下载打赏20.00元 3天前

用户：w993263495
21ic下载打赏20.00元 3天前

用户：xzxbybd
21ic下载打赏30.00元 3天前

用户：happypcb
21ic下载打赏30.00元 3天前

用户：zzggq

21ic下载打赏20.00元 3天前

用户：xuzhen1
21ic小能手打赏10.00元 3天前

资料：FreeRTOS+stm32制作桌面闹钟 keil
21ic小能手打赏20.00元 3天前

资料：用圆形显示屏实现智能手表 stm32 可播放音乐视频运动检测
21ic小能手打赏15.00元 3天前

资料：基于stm32的恐龙小跳游戏+躲避障碍小游戏
21ic小能手打赏10.00元 3天前

资料：基于stm32的贪吃蛇游戏实现 OLED屏
21ic小能手打赏10.00元 3天前

资料：基于STM32的音乐播放器电路+PCB源文件+源码等
21ic小能手打赏10.00元 3天前

资料：USART文本数据包——TEXT数据包模式 keil平台原创教程
21ic小能手打赏10.00元 3天前

资料：USART收发数据包 HEX数据包模式 keil教程开发原创详细
21ic下载打赏310.00元 3天前

用户：小猫做电路
21ic下载打赏310.00元 3天前

用户：gsy幸运
21ic下载打赏310.00元 3天前

用户：liqiang9090
21ic下载打赏310.00元 3天前

用户：zhengdai
21ic下载打赏160.00元 3天前

用户：w1966891335
21ic下载打赏160.00元 3天前

用户：w178191520
21ic下载打赏160.00元 3天前

用户：kk1957135547
21ic下载打赏40.00元 3天前

用户：WK520077778
21ic下载打赏40.00元 3天前

用户：sun2152
21ic下载打赏30.00元 3天前

用户：xuzhen1
21ic下载打赏50.00元 3天前

用户：铁蛋锅

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页