EE364a 凸优化学习笔记
课程介绍 EE364a 课程主页:提供了教材和 slides、往年试卷等资料 Convex Optimization edX 课程页面:可以跳转 YouTube 用双语字幕插件学习,同时提供了课程讨论区 CVXPY:一个基于 Python 的凸优化库 Lecture 1 Introduction Mathematical optimization 最优化 优化问题:在一些约束的情况下,最小化一个目标函数 记法:$f_0(x) → min\ s.t.; f_i(x) \le b_i$ 把 min 和 s.t. 当做 attribute 属性名而不是单词 $x$:优化变量/决策变量 $f_0$:目标函数 决策如何 irritate 刺激 $f_i$:约束 另一种 interpretation 就是资源 $b_i$就是 budget 举三个例子: 投资 约束:预算、最大最小份额 目标:风险或者回报 电路设计 约束:制造工艺、频率、空间 目标:最小功率 机器学习 约束:先验知识、参数之间的耦合 目标:优秀的模型 一般的最优化问题,不是导数为零那么简单,方法都有些妥协(时间复杂度、不是总能找到解) 例外:一些经典问题,如最小二乘、线性规划、凸优化 Quiz The symbol x* usually denotes a solution Least-squares and linear programming 最小二乘和线性规划 最小二乘也叫 regression 回归 时间复杂度和$n^2k$成正比,$k$可以是案例数量、数据数量,$n$可以是特征、回归量 一个成熟的算法,200 年了...