大规模数据管理
Piethein Strengholt
戴伟 译
出版时间:2025年02月
页数:340
“这里蕴含着智慧:新旧的方法论和最佳实践在这里被平衡地运用,这得益于长期实践的经验。最棒的是施特伦霍尔特展示了新一代企业数据管理是一项团队活动,解决方案需要包容并对接到所有参与者。”
——Joe Hellerstein
Trifacta的共同创始人及CSO
“在这本创新的著作中,Piethein Strengholt提出了一种全新的方法,来构建数据管理领域的架构。这本书将指导并启发那些在2020年之后负责设计数据管理架构的人们。”
——Santhosh Pillai
荷兰银行总架构师兼数据管理负责人

随着数据管理和集成持续不断地快速进化,把所有的数据存储在像数据仓库等单一位置的办法不再有可拓展性。在不久的将来,数据需要分散式存储并对多个技术解决方案提供可用性。通过这本实用指南,你将学习如何将企业从复杂且紧密耦合的数据环境迁移到一个更灵活的架构,以适应现代数据消费的需求。
企业高管、数据架构师、分析团队,以及合规与治理人员将学习如何使用可拓展架构来构建现代可拓展的数据环境。这种架构可以逐步引入而无需大规模的前期投入。本书作者提供了蓝图、原则、观察、最佳实践及模式,帮助你快速掌握相关知识。
● 研究数据管理趋势,包括技术发展、法规要求和隐私问题。
● 深入了解可拓展架构,学习各组件之间如何协同工作。
● 探索数据治理和数据安全、主数据管理、自助式数据市场,以及元数据的重要性。

  1. 前言
  2. 第1章 数据管理的变革
  3. 1.1 数据管理
  4. 1.2 分析正在分割数据景观
  5. 1.3 软件交付的速度正在发生变化
  6. 1.4 网络变得更加快捷
  7. 1.5 隐私和安全性是重中之重
  8. 1.6 运营和事物系统需要被整合
  9. 1.7 数据商业化需要生态系统到生态系统的架构
  10. 1.8 企业受困于过时的数据架构
  11. 1.8.1 企业数据仓库和商业智能
  12. 1.8.2 数据湖
  13. 1.8.3 中心化视角
  14. 1.9 小结
  15. 第2章 初窥可拓展架构:大规模数据管理
  16. 2.1 普遍认可的起点
  17. 2.1.1 每一个应用程序都有一个应用程序数据库
  18. 2.1.2 应用程序都是特定的而且有独特的上下文
  19. 2.1.3 黄金数据源
  20. 2.1.4 无法摆脱的数据集成困境
  21. 2.1.5 应用程序既是数据提供者也是数据消费者
  22. 2.2 关键的理论考量
  23. 2.2.1 面向对象的编程原则
  24. 2.2.2 领域驱动设计
  25. 2.2.3 业务架构
  26. 2.3 通信和集成模式
  27. 2.3.1 点对点
  28. 2.3.2 孤岛
  29. 2.3.3 轮辐模型
  30. 2.4 可扩展架构
  31. 2.4.1 黄金数据源和域数据存储
  32. 2.4.2 数据交付契约和数据共享协议
  33. 2.4.3 摆脱孤岛方案
  34. 2.4.4 企业规模的领域驱动设计
  35. 2.4.5 读优化的数据
  36. 2.4.6 从整体的视角看数据层
  37. 2.4.7 元数据和目标运营模式
  38. 2.5 小结
  39. 第3章 管理海量数据:只读数据存储架构
  40. 3.1 RDS架构简介
  41. 3.2 命令和查询职责分离
  42. 3.2.1 什么是CQRS
  43. 3.2.2 规模化的CQRS
  44. 3.3 只读数据存储组件和服务
  45. 3.3.1 元数据
  46. 3.3.2 数据质量
  47. 3.3.3 RDS层级
  48. 3.3.4 数据摄取
  49. 3.3.5 集成商业化现成解决方案
  50. 3.3.6 从外部API和SaaS提取数据
  51. 3.3.7 历史数据服务
  52. 3.3.8 设计的变化
  53. 3.3.9 数据复制
  54. 3.3.10 访问层
  55. 3.3.11 文件操作服务
  56. 3.3.12 交付通知服务
  57. 3.3.13 匿名服务
  58. 3.3.14 分布式编排
  59. 3.4 智能消费服务
  60. 3.5 按需填充RDS
  61. 3.6 直接使用RDS的考量
  62. 3.7 小结
  63. 第4章 API架构的服务和API管理
  64. 4.1 API架构简介
  65. 4.2 什么是面向服务的架构
  66. 4.2.1 企业应用集成
  67. 4.2.2 服务编排
  68. 4.2.3 服务编舞
  69. 4.2.4 公共服务和私有服务
  70. 4.2.5 服务模型和规范数据模型
  71. 4.2.6 SOA与企业数据仓库架构的相似之处
  72. 4.3 SOA的现代观点
  73. 4.3.1 API网关
  74. 4.3.2 责任模式
  75. 4.3.3 企业服务总线的新职责
  76. 4.3.4 服务合约
  77. 4.3.5 服务发现
  78. 4.4 微服务
  79. 4.4.1 API网关在微服务中的作用
  80. 4.4.2 函数
  81. 4.4.3 服务网格
  82. 4.4.4 微服务的边界
  83. 4.4.5 在API参考架构内的微服务
  84. 4.5 生态系统通信
  85. 4.6 基于API的通信渠道
  86. 4.6.1 GraphQL
  87. 4.6.2 为前端服务的后端
  88. 4.7 元数据
  89. 4.8 利用RDS进行实时和密集读取
  90. 4.9 小结
  91. 第5章 事件和响应管理:流式架构
  92. 5.1 流式架构简介
  93. 5.2 异步事件模型与众不同
  94. 5.3 事件驱动架构是什么样的
  95. 5.3.1 调停者拓扑
  96. 5.3.2 代理者拓扑
  97. 5.3.3 事件处理风格
  98. 5.4 Apache Kafka简易入门
  99. 5.4.1 分布式事件数据
  100. 5.4.2 Apache Kafka的功能
  101. 5.5 流式架构
  102. 5.5.1 事件生产者
  103. 5.5.2 事件消费者
  104. 5.5.3 事件平台
  105. 5.5.4 事件溯源和命令溯源
  106. 5.5.5 治理模型
  107. 5.5.6 业务流
  108. 5.5.7 流式数据消费模式
  109. 5.5.8 事件携带状态转移
  110. 5.5.9 扮演RDS的角色
  111. 5.5.10 使用流式处理来填充RDS
  112. 5.5.11 用来指导领域的控制措施和政策
  113. 5.6 作为运营支撑的流式处理
  114. 5.7 保证与一致性
  115. 5.7.1 一致性水平
  116. 5.7.2 “至少一次、恰好一次和至多一次”的处理
  117. 5.7.3 消息顺序
  118. 5.7.4 死信队列
  119. 5.7.5 流式处理的互操作性
  120. 5.8 用于治理和自助服务模型的元数据
  121. 5.9 小结
  122. 第6章 将知识串联起来
  123. 6.1 架构回顾
  124. 6.1.1 RDS架构
  125. 6.1.2 API架构
  126. 6.1.3 流式架构
  127. 6.1.4 强化模式
  128. 6.2 企业互操作性标准
  129. 6.2.1 稳定的数据端点
  130. 6.2.2 数据交付契约
  131. 6.2.3 可访问和可寻址的数据
  132. 6.2.4 跨网络原则
  133. 6.3 企业数据标准
  134. 6.3.1 消费优化原则
  135. 6.3.2 元数据的可发现性
  136. 6.3.3 语义一致性
  137. 6.3.4 提供相应的元数据
  138. 6.3.5 数据来源与移动
  139. 6.4 参考架构
  140. 6.5 小结
  141. 第7章 可持续的数据治理与数据安全
  142. 7.1 数据治理
  143. 7.1.1 组织:数据治理的角色
  144. 7.1.2 流程:数据治理的活动
  145. 7.1.3 人员:信任与道德、社会和经济的考量
  146. 7.1.4 技术:黄金数据源,所有权和应用程序管理
  147. 7.1.5 数据:黄金数据源,黄金源数据集和分类
  148. 7.2 数据安全
  149. 7.2.1 时下的孤岛方法
  150. 7.2.2 架构的统一数据安全
  151. 7.2.3 身份提供者
  152. 7.2.4 安全参考架构和数据上下文方法
  153. 7.2.5 安全处理流程
  154. 7.3 实践指南
  155. 7.3.1 RDS架构
  156. 7.3.2 API架构
  157. 7.3.3 流式架构
  158. 7.3.4 智能学习引擎
  159. 7.4 小结
  160. 第8章 从数据获取价值
  161. 8.1 消费模式
  162. 8.1.1 直接使用只读数据存储
  163. 8.1.2 领域数据存储
  164. 8.2 目标运营模式
  165. 8.3 作为目标用户群体的数据专业人员
  166. 8.4 业务需求
  167. 8.5 非功能性需求
  168. 8.6 创建数据管道和数据模型
  169. 8.7 分发集成数据
  170. 8.8 商业智能能力
  171. 8.9 自助服务能力
  172. 8.10 分析能力
  173. 8.10.1 自动化部署的标准基础设施
  174. 8.10.2 无状态模型
  175. 8.10.3 预设和配置好的工作台
  176. 8.10.4 模型集成模式的标准化
  177. 8.10.5 自动化
  178. 8.10.6 模型元数据
  179. 8.11 高级分析参考架构
  180. 8.12 小结
  181. 第9章 掌握企业数据资产
  182. 9.1 揭秘主数据管理
  183. 9.2 主数据管理风格
  184. 9.3 主数据管理参考架构
  185. 9.3.1 设计主数据管理解决方案
  186. 9.3.2 MDM的分发
  187. 9.3.3 主标识号
  188. 9.3.4 参考数据与主数据
  189. 9.4 确定企业数据的范围
  190. 9.5 MDM和数据质量即服务
  191. 9.6 精选数据
  192. 9.6.1 元数据交换
  193. 9.6.2 集成视图
  194. 9.6.3 可复用组件和集成逻辑
  195. 9.6.4 数据重新发布
  196. 9.7 与数据治理的关系
  197. 9.8 小结
  198. 第10章 通过元数据实现数据民主化
  199. 10.1 元数据管理
  200. 10.2 企业元数据模型
  201. 10.3 企业知识图谱
  202. 10.4 元数据管理的架构方法
  203. 10.4.1 元数据互操作性
  204. 10.4.2 元数据存储库
  205. 10.5 能提供快速访问授权数据的市场
  206. 10.6 小结
  207. 第11章 结论
  208. 11.1 交付模式
  209. 11.1.1 完全去中心化方案
  210. 11.1.2 部分去中心化方案
  211. 11.1.3 构建团队
  212. 11.1.4 内部开源策略
  213. 11.2 文化
  214. 11.3 技术选择
  215. 11.4 传统企业架构的没落
  216. 11.4.1 蓝图和图表
  217. 11.4.2 现代技能
  218. 11.4.3 控制和管理
  219. 11.5 最后的话
  220. 术语
书名:大规模数据管理
作者:Piethein Strengholt
译者:戴伟 译
国内出版社:中国电力出版社
出版时间:2025年02月
页数:340
书号:978-7-5198-9017-9
原版书书名:Data Management at Scale
原版书出版商:O'Reilly Media
Piethein Strengholt
 
Piethein Strengholt喜爱为复杂问题寻找实用且持久的解决方案。在担任战略顾问和自由职业应用程序开发人员超过十年之久后,他作为首席架构师加入了荷兰银行(ABN AMRO),推进数据管理、云计算和系统集成等领域的发展。在这个激动人心的职位上,他负责监督公司的数据战略及其对组织的影响。他和家人目前住在荷兰。
 
 
封面上的动物是一只欧洲绿蜥蜴(学名:Lacerta viridis),它分布在其命名的大陆 —— 欧洲的东南部地区。欧洲绿蜥蜴倾向于栖息在密集的树篱和灌木丛中,那里它们可以捕捉昆虫和小型无脊椎动物,并且容易出来晒太阳。
欧洲绿蜥蜴在它们的喉咙部位有蓝色的鳞片,这在雄蜥蜴中尤其明显。它们有时吃水果、鸟蛋、小蜥蜴和老鼠。这些蜥蜴可以长到16寸长,其中尾巴占了三分之二的长度。假如有捕食者抓住了欧洲绿蜥蜴的尾巴,它可以脱落尾巴以逃脱,并且之后会再生长出来。
购买选项
定价:98.00元
书号:978-7-5198-9017-9
出版社:中国电力出版社