机器学习系统 2-5 - 系统级优化

Posted at 2021-04-25Updated at 2021-04-25 机器学习  机器学习 推理优化 

推理优化除了对模型本身的优化，还需要考虑计算框架、推理服务等系统层面的优化。

# 框架

• 编译器优化
• 线程并行
• Cache优化
• Memory
• 稀疏化
• 内存精细管理
• 专用指令，比如ARM的NEON、Intel的AVX
• 亲核性，NUMA

# 服务

• 线程/进程/服务实例并行
• 调度绑定
• 资源复用
• 网络开销
• 缓存
• 延时抖动
• 服务稳定性