Introduction

• 受到压缩感知技术的启发,本文提出了一种将每个NIR 作为基底去张成目标函数空间的方法.

  • 对于信号 \(s\), 基底空间是\(f_i(p)\) (实际上对于不同的\(f_i\)预先训练得到, 具体的\(f_i(p)\) 计算在后)
    \(s(p) = \sum_{i=1}^n \alpha_i f_i(p)\)
  • 这些基底 \(\{f_i\}_{1}^K\) 在所有的 样本中是共享的, 对于不同的instance 系数是不同的.实际上就是将压缩感知中的基底替换成了Learned NIR function的方式.

Preliminaries

Compressed Sensing 和 Inverse Imaging

• Compressed Sensing 和字典学习是Inverse Imaging 问题中一类很重要的方法

  • 在经典的信号处理中,信号被离散表示为向量的形式, 如何从观测 \(y\in\mathbb{R}^M\) 中恢复原始信号 \(x\in \mathbb{R}^N(M<<N)\)?
    \(y = Ax+\eta\)

  • 对于这样一个欠定线性系统(underdetermined linear system)来说,压缩感知提供了一个有效的方法: 假设信号 \(x\) 能够用空间中的一组基来表出:
    \(\Psi = [\psi_1 \cdots \psi_K]\in \mathbb{R}^{N\times K}\)

  • 那么可以通过优化
    \(\underset{\alpha}{\arg \min }||\boldsymbol{\alpha}||_0 \text { subject to }||\boldsymbol{y}-\boldsymbol{A} \boldsymbol{\Psi} \boldsymbol{\alpha}||_2<\varepsilon\)

    来求解系数.

    • 其中, \(\alpha\in \mathbb{R}^K\) 是稀疏编码系数, $||\eta||<\epsilon$ 是噪声水平上界
    • 可以将\(l_0\) 替换成\(l_1\) 来获得一个凸解.

Implicit Neural Representation

\(f_{\theta}: \mathbb{R}^{m} \rightarrow \mathbb{R}\)

Mixture-of-Expert Training

• 这种方法是通过引入一个Mixture-of-Expert(MoE) layer (包含一些专家网络作为子网络) ,然后训练一个Gating 网络来选择这些专家网络的稀疏组合.
  • \(G(x)\) : Gating 网络的输出
  • \(E_{i}(x)\) : 第\(i\) 个专家网络的输出
    \(y = \sum_{i=1}^nG(x)_iE_i(x)\)
  • \(n\) : 专家网络的个数 $||G(x)||_{0}=k$(稀疏系数)
  • 常用的稀疏化方法Top-K
    \(G(\boldsymbol{x})=\text { Normalize }(\operatorname{TopK}(H(\boldsymbol{x}), k)) \text {, }\)
    \(\operatorname{TopK}(x, k)_i= \begin{cases}x_i & \text { if } x_i \text { is in top } k \text { elements } \\ 0 & \text { otherwise }\end{cases}\)

Method

学习的隐函数基

\(f(\boldsymbol{x})=\alpha_1 b_1(\boldsymbol{x})+\cdots+\alpha_n b_n(\boldsymbol{x}) \quad \forall \boldsymbol{x} \in \mathbb{R}^m\)

• 其中每个\(b_{i}\) 都是一个NIR 网络, 这些函数基底称谓Neural Implicit Dictionary(隐式神经字典)