电子发烧友App
创作
发文章
发帖 
提问 
发资料
发视频资料介绍
1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 How to be a Bayesian . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 The Variational Bayes (VB) Method . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.3 A First Example of the VB Method: Scalar Additive Decomposition 3
1.3.1 A First Choice of Prior. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3.2 The Prior Choice Revisited . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.4 The VB Method in its Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.5 VB as a Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.6 Layout of the Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.7 Acknowledgement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Bayesian Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1 Bayesian Benefits . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2.1.1 Off-line vs. On-line Parametric Inference . . . . . . . . . . . . . . . . 14
2.2 Bayesian Parametric Inference: the Off-Line Case . . . . . . . . . . . . . . . 15
2.2.1 The Subjective Philosophy . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.2 Posterior Inferences and Decisions . . . . . . . . . . . . . . . . . . . . . . 16
2.2.3 Prior Elicitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2.3.1 Conjugate priors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.3 Bayesian Parametric Inference: the On-line Case . . . . . . . . . . . . . . . . 19
2.3.1 Time-invariant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2 Time-variant Parameterization . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.3 Prediction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
2.4 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3 Off-line Distributional Approximations and the Variational Bayes
Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.1 Distributional Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3.2 How to Choose a Distributional Approximation . . . . . . . . . . . . . . . . . 26
3.2.1 Distributional Approximation as an Optimization Problem . . 26
3.2.2 The Bayesian Approach to Distributional Approximation . . . 27
3.3 The Variational Bayes (VB) Method of Distributional Approximation 28
3.3.1 The VB Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3.2 The VB Method of Approximation as an Operator . . . . . . . . 32
3.3.3 The VBMethod . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.4 The VB Method for Scalar Additive Decomposition . . . . . . . 37
3.4 VB-related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 39
3.4.1 Optimization with Minimum-Risk KL Divergence . . . . . . . . 39
3.4.2 Fixed-form (FF) Approximation . . . . . . . . . . . . . . . . . . . . . . . . 40
3.4.3 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 40
3.4.3.1 Adaptation of the VB method for the RVB
Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.4.3.2 The Quasi-Bayes (QB) Approximation . . . . . . . . . 42
3.4.4 The Expectation-Maximization (EM) Algorithm . . . . . . . . . . 44
3.5 Other Deterministic Distributional Approximations . . . . . . . . . . . . . . 45
3.5.1 The Certainty Equivalence Approximation . . . . . . . . . . . . . . . 45
3.5.2 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.5.3 The Maximum Entropy (MaxEnt) Approximation . . . . . . . . . 45
3.6 Stochastic Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . 46
3.6.1 Distributional Estimation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
3.7 Example: Scalar Multiplicative Decomposition . . . . . . . . . . . . . . . . . . 48
3.7.1 Classical Modelling . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.7.2 The Bayesian Formulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
3.7.3 Full Bayesian Solution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.7.4 The Variational Bayes (VB) Approximation . . . . . . . . . . . . . . 51
3.7.5 Comparison with Other Techniques . . . . . . . . . . . . . . . . . . . . . 54
3.8 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
4 Principal Component Analysis and Matrix Decompositions . . . . . . . . . 57
4.1 Probabilistic Principal Component Analysis (PPCA) . . . . . . . . . . . . . 58
4.1.1 Maximum Likelihood (ML) Estimation for the PPCA Model 59
4.1.2 Marginal Likelihood Inference of A. . . . . . . . . . . . . . . . . . . . . 61
4.1.3 Exact Bayesian Analysis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
4.1.4 The Laplace Approximation . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
4.2 The Variational Bayes (VB) Method for the PPCA Model . . . . . . . . . 62
4.3 Orthogonal Variational PCA (OVPCA) . . . . . . . . . . . . . . . . . . . . . . . . 69
4.3.1 The Orthogonal PPCA Model . . . . . . . . . . . . . . . . . . . . . . . . . . 70
4.3.2 The VB Method for the Orthogonal PPCA Model . . . . . . . . . 70
4.3.3 Inference of Rank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.3.4 Moments of the Model Parameters . . . . . . . . . . . . . . . . . . . . . . 78
4.4 Simulation Studies . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.4.1 Convergence to Orthogonal Solutions: VPCA vs. FVPCA . . 79
4.4.2 Local Minima in FVPCA and OVPCA . . . . . . . . . . . . . . . . . . 82
4.4.3 Comparison of Methods for Inference of Rank . . . . . . . . . . . . 83
4.5 Application: Inference of Rank in a Medical Image Sequence. . . . . . 85
4.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
5 Functional Analysis of Medical Image Sequences . . . . . . . . . . . . . . . . . 89
5.1 A Physical Model for Medical Image Sequences . . . . . . . . . . . . . . . . 90
5.1.1 Classical Inference of the Physiological Model . . . . . . . . . . . 92
5.2 The FAMIS Observation Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
5.2.1 Bayesian Inference of FAMIS and Related Models . . . . . . . . 94
5.3 The VB Method for the FAMIS Model . . . . . . . . . . . . . . . . . . . . . . . . . 94
5.4 The VBMethod for FAMIS: Alternative Priors . . . . . . . . . . . . . . . . . . 99
5.5 Analysis of Clinical Data Using the FAMIS Model . . . . . . . . . . . . . . 102
5.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
6 On-line Inference of Time-Invariant Parameters . . . . . . . . . . . . . . . . . . 109
6.1 Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2 Bayesian Recursive Inference . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
6.2.1 The Dynamic Exponential Family (DEF) . . . . . . . . . . . . . . . . 112
6.2.2 Example: The AutoRegressive (AR) Model . . . . . . . . . . . . . . 114
6.2.3 Recursive Inference of non-DEF models . . . . . . . . . . . . . . . . . 117
6.3 The VB Approximation in On-Line Scenarios . . . . . . . . . . . . . . . . . . . 118
6.3.1 Scenario I: VB-Marginalization for Conjugate Updates . . . . 118
6.3.2 Scenario II: The VB Method in One-Step Approximation . . . 121
6.3.3 Scenario III: Achieving Conjugacy in non-DEF Models via
the VB Approximation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
6.3.4 The VB Method in the On-Line Scenarios . . . . . . . . . . . . . . . 126
6.4 Related Distributional Approximations . . . . . . . . . . . . . . . . . . . . . . . . 127
6.4.1 The Quasi-Bayes (QB) Approximation in On-Line Scenarios 128
6.4.2 Global Approximation via the Geometric Approach . . . . . . . 128
6.4.3 One-step Fixed-Form (FF) Approximation . . . . . . . . . . . . . . . 129
6.5 On-line Inference of a Mixture of AutoRegressive (AR) Models . . . 130
6.5.1 The VBMethod for ARMixtures. . . . . . . . . . . . . . . . . . . . . . . 130
6.5.2 Related Distributional Approximations for AR Mixtures . . . 133
6.5.2.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . 133
6.5.2.2 One-step Fixed-Form (FF) Approximation . . . . . . . 135
6.5.3 Simulation Study: On-line Inference of a Static Mixture . . . . 135
6.5.3.1 Inference of a Many-Component Mixture . . . . . . . . 136
6.5.3.2 Inference of a Two-Component Mixture . . . . . . . . . 136
6.5.4 Data-Intensive Applications of Dynamic Mixtures . . . . . . . . . 139
6.5.4.1 Urban Vehicular Traffic Prediction . . . . . . . . . . . . . . 141
6.6 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
7 On-line Inference of Time-Variant Parameters . . . . . . . . . . . . . . . . . . . . 145
7.1 Exact Bayesian Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
7.2 The VB-Approximation in Bayesian Filtering . . . . . . . . . . . . . . . . . . . 147
7.2.1 The VB method for Bayesian Filtering . . . . . . . . . . . . . . . . . . 149
7.3 Other Approximation Techniques for Bayesian Filtering . . . . . . . . . . 150
7.3.1 Restricted VB (RVB) Approximation . . . . . . . . . . . . . . . . . . . 150
7.3.2 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
7.3.3 Stabilized Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
7.3.3.1 The Choice of the Forgetting Factor . . . . . . . . . . . . . 154
7.4 The VB-Approximation in Kalman Filtering . . . . . . . . . . . . . . . . . . . . 155
7.4.1 The VB method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
7.4.2 Loss of Moment Information in the VB Approximation . . . . 158
7.5 VB-Filtering for the Hidden Markov Model (HMM) . . . . . . . . . . . . . 158
7.5.1 Exact Bayesian filtering for known T . . . . . . . . . . . . . . . . . . . 159
7.5.2 The VB Method for the HMM Model with Known T . . . . . . 160
7.5.3 The VB Method for the HMM Model with Unknown T . . . . 162
7.5.4 Other Approximate Inference Techniques . . . . . . . . . . . . . . . 164
7.5.4.1 Particle Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
7.5.4.2 Certainty Equivalence Approach . . . . . . . . . . . . . . . 165
7.5.5 Simulation Study: Inference of Soft Bits . . . . . . . . . . . . . . . . . 166
7.6 The VB-Approximation for an Unknown Forgetting Factor . . . . . . . 168
7.6.1 Inference of a Univariate AR Model with Time-Variant
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
7.6.2 Simulation Study: Non-stationary AR Model Inference via
Unknown Forgetting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.6.2.1 Inference of an AR Process with Switching
Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
7.6.2.2 Initialization of Inference for a Stationary AR
Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
8 The Mixture-based Extension of the AR Model (MEAR) . . . . . . . . . . . . 179
8.1 The Extended AR (EAR) Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
8.1.1 Bayesian Inference of the EAR Model. . . . . . . . . . . . . . . . . . . 181
8.1.2 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
8.2 The EAR Model with Unknown Transformation: the MEAR Model 182
8.3 The VB Method for the MEAR Model . . . . . . . . . . . . . . . . . . . . . . . . . 183
8.4 Related Distributional Approximations for MEAR . . . . . . . . . . . . . . . 186
8.4.1 The Quasi-Bayes (QB) Approximation . . . . . . . . . . . . . . . . . . 186
8.4.2 The Viterbi-Like (VL) Approximation . . . . . . . . . . . . . . . . . . . 187
8.5 Computational Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
8.6 The MEAR Model with Time-Variant Parameters . . . . . . . . . . . . . . . . 191
8.7 Application: Inference of an AR Model Robust to Outliers . . . . . . . . 192
8.7.1 Design of the Filter-bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
8.7.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
8.8 Application: Inference of an AR Model Robust to Burst Noise . . . . 196
8.8.1 Design of the Filter-Bank . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
8.8.2 Simulation Study . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
8.8.3 Application in Speech Reconstruction . . . . . . . . . . . . . . . . . . . 201
8.9 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
- Method Draw基于Web的矢量绘图应用程序 2次下载
- RFID-based-indoor-tracking-method 15次下载
- 产品变更通知：CMV2000_CMV4000_PN000192_1-00.pdf 9次下载
- 基于AdaBoost_Bayes算法的中文文本分类系统 2次下载
- Configuration Method 3次下载
- 基于NSCT子带自适应Bayes阈值图像去噪方法 28次下载
- Study on A Control Method of P 35次下载
- Battery charger and method of 19次下载
- 基于Bayes序贯估计的无线传感器网络数据融合算法 21次下载
- 多响应线性回归模型Bayes最优设计的等价性定理 15次下载
- Research for new method for hi 6次下载
- 基于位置和速度的点状运动目标Bayes跟踪 7次下载
- Testing method of printed wiri 0次下载
- Dynamic Testing Method for Yar 15次下载
- Investigation on a Method of I 15次下载
- 如何通过模板模式重构代码 206次阅读
- Feko处理问题的方法 810次阅读
- ART虚拟机method tracing技术解析 405次阅读
- TDDFT计算的激发态结果分析 5862次阅读
- 如何去掉SPI0和UART0选项 726次阅读
- 关于AI遗传算法的详解 8.3w次阅读
- 宽禁带器件和仿真环境介绍 1316次阅读
- 在贴片加工厂中有哪些安全防护需要了解 1197次阅读
- 复合放大器实现高精度的高输出驱动能力 获得最佳的性能 1467次阅读
- 用降压型稳压器或线性稳压器电源时值来会为负载供电 872次阅读
- 锂电池并联充电时保护板均衡原理 2.7w次阅读
- 更小更智能的电机控制器推进HEV／EV市场 1022次阅读
- 讲讲很经典ESD的理论,如何防止静电放电损伤呢？ 4.6w次阅读
- 如何理解贝叶斯公式 3186次阅读
- 串行程序如何并行化,串行和并行的区别 2.2w次阅读
上传资料赚积分下载排行
本周
- 1电子电路原理第七版PDF电子教材免费下载
- 0.00 MB | 1490次下载 | 免费
- 2单片机典型实例介绍
- 18.19 MB | 92次下载 | 1 积分
- 3S7-200PLC编程实例详细资料
- 1.17 MB | 27次下载 | 1 积分
- 4笔记本电脑主板的元件识别和讲解说明
- 4.28 MB | 18次下载 | 4 积分
- 5开关电源原理及各功能电路详解
- 0.38 MB | 10次下载 | 免费
- 6基于AT89C2051/4051单片机编程器的实验
- 0.11 MB | 4次下载 | 免费
- 7蓝牙设备在嵌入式领域的广泛应用
- 0.63 MB | 3次下载 | 免费
- 89天练会电子电路识图
- 5.91 MB | 3次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 2PADS 9.0 2009最新版 -下载
- 0.00 MB | 66304次下载 | 免费
- 3protel99下载protel99软件下载(中文版)
- 0.00 MB | 51209次下载 | 免费
- 4LabView 8.0 专业版下载 (3CD完整版)
- 0.00 MB | 51043次下载 | 免费
- 5555集成电路应用800例(新编版)
- 0.00 MB | 33562次下载 | 免费
- 6接口电路图大全
- 未知 | 30320次下载 | 免费
- 7Multisim 10下载Multisim 10 中文版
- 0.00 MB | 28588次下载 | 免费
- 8开关电源设计实例指南
- 未知 | 21539次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935053次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537791次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420026次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234313次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233045次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191183次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183277次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138039次下载 | 免费
工商网监
评论