并行算法设计与性能优化

《高性能计算技术丛书：并行算法设计与性能优化》是“并行计算与性能优化”系列的第1本，主要讲解了并行计算的核心理论、算法设计和实践，以及代码的性能优化，第2本和第3本则涵盖了并行编程方法与优化实践、科学计算与企业级应用的并行优化等重要主题，这些内容被许多开发人员视为“不传之秘”。本书作者是国内的并行计算专家，曾任英伟达并行计算工程师和百度在线高级研发工程师，在该领域的经验和修为极为深厚，他毫不吝啬地将自己多年的积累呈现在这3本书中，得到了百度深度学习研究院“杰出科学家”吴韧的高度评价和强烈推荐。《高性能计算技术丛书：并行算法设计与性能优化》结合大量示例和伪代码，详细介绍了单核代码的性能优化和向量化技术，在现代多核处理器上如何设计并行算法，以及基于GPU和移动处理器（ARM）的代码性能优化与并行化。《高性能计算技术丛书：并行算法设计与性能优化》12章，逻辑上分为四大部分：并行计算理论基础主要介绍并行现状、与并行计算紧密相关的现代处理器的技术与特点，算法与程序性能的度量和分析的新旧标准及实用工具，以及代码依赖关系的分析和去除处理。代码优化首先从系统、应用、算法、函数、循环、语句和指令7大维度讲解了常见的串行代码优化手段，然后讲解了如何通过多种方式将现有的串行代码向量化和并行化，以提高效率和利用率。并行算法设计考量主要讲解了如何设计优良的并行算法以及将并行算法映射到具体硬件上，涵盖常见的并行编程环境、并行算法设计方法、并行算法的缺陷、编程模式实践、一般准则，等等。遗留代码的并行化主要讲解了如何找出软件的计算热点，如何合理地选择部分并行或者整体并行，然后将实现后的代码嵌入原软件，以提高企业现有代码的利用率，并以实例加以说明。