您现在的位置是：首页 > 技术资料 > 一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

推荐星级：

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

更新时间：2019-12-30 15:41:55 大小：331K 上传用户：xiaohei1810 查看TA发布的资源 标签：状态自动划分关节模型控制器 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

在庞大离散状态空间或连续状态空间中,强化学习(RL)需要进行值函数拟合以寻找最优策略.但函数拟合器的结构往往由设计者预先设定,在学习过程中不能动态调整缺乏自适应性.为了自动构建函数拟合器的结构,提出一种可以进行状态自动划分的模糊小脑模型关节控制(FCMAC)值函数拟合方法.该方法利用Bellman误差的变化趋势实现状态自动划分,并且探讨了两种选择划分区域的机制.汽车爬坡问题和机器人足球仿真平台中的实验结果表明新算法能有效拟合值函数,而且利用所提出的函数拟合器智能体可以进行有效的强化学习.

部分文件列表

文件名	大小
一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法.pdf	331K

立即下载

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）

控制理与用

Control

Theory&Applications

No．2

、，01．28

第28卷第2期

2011年2月

Feb．20ll

文章号：1000-8152(201 1)02-0256-05

一种状自划分的模糊小模型关控制器函数合方法

清· ，曾嘉安2，

荣

z，朱金

(1．南理工大学件学院，广广州510006；2．南理工人学算机科学与技学院，广广州510006)

摘要：在大离散状

器的构往往由

出一一种可以行状

划分。并且探了两种

果表明新算法能有效函数，而H利用所提出的函数合器智能体町以行有效的化学

空

或

状

空

中，化学 (RL)需要

程中不能整缺乏自适性．了自构建函数合器的构，提

划分的模糊小模犁关控制(FCMAC) 函数合方法．方法利用Bellman 差的

划分区域的机制．汽午爬坡和机器人足球仿真平台中的

行

函数合以找最策略．但函数

合

者

先

定，在学

自

化

状

自

合

．

关

中

：

化学

；

函数；状

文献

自

划分；模糊小

：A

关

模型控制器

分

号：TPl8l

cerebeilar model arithmetic controller with

Fuzzy

for value function

automatic state

partition

approximation

MIN _{Hua— qingl，ZENG}

Jin-hui2

Jia— an2，LUO

Rong．hua2，ZHU

n．School ofSoftware

China

510006，China；

Engineering，South

Science and

University ofTechnology。Guangzhou Guangdong

China

510006，China)

University ofTechnology,Guangzhou Guangdong

2．School

ofComputer

Technology,South

Abstract：In continuous-state

discrete— state

reinforcement

function

learning(RL)USeS

large

space，the

the

ap-

space

function in

the structures of function

the value

proximation approaches

represent

seeking

optimal policy．However

which will

influence the

are often

designed

in advance．To

the swuc—

generate

performance

approximators

greatly

learning

novel

called the automatic _state·

ture of function

function

approximator

approximatorautomatically,a

-partition·

based fuzzy

cerebellar model arithmetic

ASP-FCMAC．the variation

of Bellman

determining

controller(ASP-FCMAC)is

tendency

proposed．In

state

partition

the

and two mechanisms are also discussed for

error is used to determine

which state should be

best time

perform

step．Experimental

at each time

results in

mountain

and

RoboCup

solving

cal"problem

partitioned

the structure of FCMAC for effective rein·

demonstrate that ASP-FCMAC Call

Keepaway problem

automatically generate

forcement

learning．

_{partition；fuzzy}CMAC

function；automatic State

Key ^{words：reinforcement}learning；value

引言(Introduction)

参数的自适控制141；Lanzi等人利用化方法

整CMAC 构15J．此外，Mahadevan等人通分析状

化学 (reinforcement

learning，RL)中智能体

空

的拓扑构以生成函数合器的构161；

通常采用函数迭代的方法来找最策略【iI，以

Keller等人利用近成分分析的方法建基函数，

以自生成函数合器的构12J．

使

中

期回最大化，而需要在大的状

宅

行函数合．小模型关控制器(cerebellar

在上述研究基上，本文提出一种状

自

划

函

model arithmetic

controller,CMAC)也被称瓦片

state

分(automatic

partition，ASP)的模糊CMAC

(tile

coding)。是一种主要的函数合方法．但利

数

合方法(ASP．FCMAC)．ASP— FCMAC通引入

用CMAC 行函数合需要

而CMAC 参数极其敏感，

先

定

构与参数，

性能

模糊隶属度函数，减少CMAC所存

的

数

复

目，不町以减

算

担，而且无需指定泛化参

良好的CMAC非常困 121．最近很多研究致力于

生成函数合器构，Whiteson等人提出状

数【7I，同利用

曼(Bellman) 差的

化

自

划分机，自划分状

空

，从而自

解析度(file

arithmetic con-

cerebellar model

生成FCMAC(fuzzy

number)自划分13i。并

出

函数

准和策略准2种划分方式：Sherstov等人提出泛化

troller) 构．

收稿日期：2008一Il— lO：收修改稿日期：2010⋯ 5

基金目：国家自然科学摹金

助

l{《61005061)：广省科技

划

助

E1(2009A040300008)；广州市科技

划

助

11(2009 )；广

省科技

划

助

1写(20108010600016)．

万方数据

第2期

清等：。‘种状 f1 划分的模糊小肭模

关

控制器函数合方法

25"7

and

CMAC和模糊CMAC(CMAC

CMAC)

fuzzy

的激活程度，

集后，函数

I】丁以把tiling数目降 1．引入模糊

程町以表示

合

～

2．1背景(Background)

(5)

V=∑叩t(s) t，

t=1

化学可以表示

科夫决策程(Markov

其中：仇表示模糊隶属度函数，佗2表示FCMAC的存

decision

process，MDP)或者半

decision

科夫决策

容量．

更新公式如下：

程(semi．Markov

process。SMDP)．

取

出MDP的数学表达，但本文的方法同可以

于SMDE MDP南4元 <S，A，P，R>构成，其中：

S表示状；A表示作集合；P：S×A— S是

移函数，定了在某一状行某一作后

移到另一状的概率：R：S×A_冗定

用

(6)

伽t卜伽t+ontAV(s)．

3基于状自划分的FCMAC(Automatic

based FCMACl

空

state

partition

下

了

能

3．1划分考t(State

划分机的

time)

partition

体

下

行某作后的立即【n| ．RL的目足最人化以

将影响函数合的性能，

快

化

函数：

的状划分，会

划分，

差I△y(s)f是衡量学算法是否收

致

合

果大幅波：而慢的

状

会

致学速度慢．由于Bellman

准，其

(1)

y”(s)=日{∑7‘R(8t，at)Is0=s)，

t=0

的

反映了学算法逼近最解的速度．斟此，可以根

据Bellman 筹的划分的机．假

其中：8t和a￡分表示t 刻的状

和

作，7∈

化

状

(0，1)是折扣【大1子，冗(s。，at)是函数，描述了累

本容量 T，本范内的平均差可表示

：

回

．RL通常采用迭代方式算最

函数，在

— —

I△y(s)l=∑IAV{(s)IIT,

迭代程中根据当前作的累【日| 与估

的

(7)

差(Bellman 差)更新函数．Bellman 差表示如

下：

其中lAty(s)l表示本范内的

的判断条件定如下：

次

差．新划分

AV(s)=max{R(s，口)+，yy(P(s，n)))一y(s)．(2)

(8)

在高离散状

宅

或

状

宅

中。上述

AV(s)I>lAV(8)觚I，

函数不能被精确表示，需要行函数合．

其中I△y(s)I。。I表示上一次的平均．如果式(8)成

立，明学程没有向最逼近。需要

行新一划分．由于参数丁将影响状划分的

2．2

CMAC函数合和模糊CMAC(Function

ap-

状

with CMAC and

_fuzzyCMAC)

proximation

率，里T的取将根据当前划分区域数自适

CMAC是一种J“泛使用的性函数合方法⋯ ，

其状被一系列“盖瓦”(tiling)所覆盖；每个

tiling具有相同的构，相 tiling之存在微小的位

移．tilingt：h若干个的“瓦片”(tile) 成．泛化

程中。当前状会激活每个tiling中某个tile，

整：

空

(9)

T=，(p)，

其中：p是当前状

增函数

量所划分的区域数，函数，

所

．

有tile的

行求和，就可得到当Ii{『的函数合

(10)

f=kpa，

合

程町以表示

一

：

其中七，a

非

常数．a的取影响着函数．厂的

化

，

V=∑ (s)伽i，

速率．当a>1 ，函数．厂增速度快：当a<1

函数．厂 P的化并／fi敏感；当o=1 ，函数，

性函数，函数合速度快。更适用于一些

性要求

(3)

娃然P釉，

高的系

．

其中：W{表示第i个tile所

的

，如表示第i个

3．2划分区域(State

partition regiofi)

tile所

的特征，n】是CMAC的存容量，

当智能体决定

状

行重新划分。需要

II[Itile的数．在CMAC中，函数的更新

tile 的更新。更新公式如下：

上是

合适的划分区域．一般而言，状

空

中不同状

量需要有不I— J 致程度的分区方案．但在

中，某一状的划分函数合的整体效

果没有太大影响．因此，本文不区各状量，即

量。并采用等的方式划分区

合适的划分区域，本文将提出2种找

(4)

Ⅲt+一"t+Q晚zxv(s)，

其中Q表示学速率．

CMAC的特征是一个二函数，表示tile是否

激活．了达到好的泛化水平。CMAC需要

景

同

划分所有状

域．

了

先

划分区域的方法：

I)划分

定tiling数目141．J．Nie等人提出把模糊集引入CMAC．

把二函数改模糊隶属度函数18I，隶属度表示tile

常

的区域．

万方数据

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

最新上传

打赏
30日榜单

21ic小能手打赏5.00元 3天前

资料：YuToo墨水屏时钟
21ic小能手打赏5.00元 3天前

资料：项目总结：触摸电源
21ic小能手打赏5.00元 3天前

资料：STM32四轴飞行器单片机开发（原创）
21ic小能手打赏10.00元 3天前

资料：51单片机的智能手环（全套完整）程序仿真 PCB 报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机八路抢答器设计（全套完整）程序仿真原理图演示视频报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机厨房电子秤（全套）程序仿真 PCB 报告答辩PPT 原理图原创
21ic小能手打赏10.00元 3天前

资料：51单片机人体电子秤（全套）程序仿真 PCB 报告答辩PPT 原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机的光控路灯系统程序仿真原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机的农作物自动灌溉程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的大量程电压采集仿真程序
21ic小能手打赏5.00元 3天前

资料：STM32F103RCT6的离线升级和在线调试两种功能的CMSIS调试下载器
21ic小能手打赏5.00元 3天前

资料：51单片机的串口音乐和弹琴程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的秒表计时汇编.程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的两机远程控制程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的打乒乓球系统.程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的模拟停车场刷卡系统程序仿真原创
21ic小能手打赏5.00元 3天前

资料：51单片机的智能家居终端程序仿真原创
21ic小能手打赏5.00元 3天前

资料：红外接收管批量测试验证板
21ic小能手打赏5.00元 3天前

资料：STM32HAL库-freertos-SD卡-FATFS操作
21ic小能手打赏5.00元 3天前

资料：WS2815B功能验证+DMA+拖影功能+伽马校正
21ic小能手打赏5.00元 3天前

资料：GD32F103通过安卓屏升级固件源码

21ic小能手打赏10.00元 3天前

资料：51单片机的电梯系统仿真程序演示视频
21ic小能手打赏5.00元 3天前

资料：51单片机的简易计算器（程序+AD的PCB板子）
21ic小能手打赏5.00元 3天前

资料：51单片机的LED和点阵显示屏的实验程序仿真原创
21ic小能手打赏5.00元 3天前

资料：CMSIS和DAPlink调试器自制工具
21ic小能手打赏5.00元 3天前

资料：51单片机的光感传感器（可调阈值+LCD显示）程序仿真
21ic小能手打赏5.00元 3天前

资料：STM32的电子时钟设计程序仿真 PPT 报告讲解视频原创
21ic小能手打赏5.00元 3天前

资料：模电课设--多功能电子时钟 Mulitism实现报告
21ic小能手打赏5.00元 3天前

资料：51单片机的电子钟程序（清翔开发板实现）
21ic小能手打赏5.00元 3天前

资料：51单片机的交通灯程序仿真报告原理图原创
21ic小能手打赏5.00元 3天前

资料：51单片机多功能电子钟（带秒表显示湿度闹钟）-（仿真+代码
21ic小能手打赏5.00元 3天前

资料：51单片机的数字时钟（含AD原理图+程序）
21ic小能手打赏5.00元 3天前

资料：51单片机的电子密码锁程序仿真报告原创
21ic小能手打赏10.00元 3天前

资料：51单片机的洗衣机控制系统（全套）keil程序 proteus仿真报告原创
21ic小能手打赏5.00元 3天前

资料：51单片机的无线防丢报警器（全套）keil程序 proteus仿真答辩PPT 报告原创
21ic小能手打赏5.00元 3天前

资料：51单片机的自动灌溉系统（全套）keil程序 proteus仿真报告原创
21ic小能手打赏5.00元 3天前

资料：网线IAP方式更新STM32固件源码
21ic小能手打赏5.00元 3天前

资料：51单片机的智能窗帘(全套)[程序仿真答辩PPT 报告原创]
21ic小能手打赏5.00元 3天前

资料：51单片机的温控风扇(全套)[程序仿真答辩PPT 报告原创]
21ic小能手打赏5.00元 3天前

资料：STM32标准库-freertos-SD卡-FATFS操作

一种状态自动划分的模糊小脑模型关节控制器值函数拟合方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页