第 1 章 · 第 1 节 基础

1.1 数据生成与加载

学习目标

能够将 CSV 字符串转换为可计算的字段,并说明合成数据的使用边界。

本节要点

  • CSV 先按字符串读入,再显式转换数值和日期;字段名映射是维护选择,不是语法要求。
  • 加载后检查缺失、格式、合理范围和记录数;字段齐全不等于数据准确。
  • 合成数据必须标注生成方式和用途边界,不能用来推断真实分布。

01理解概念

案例

本章采用中国石油大学(华东)2025 级新生数据,阐述数据的特性。为了防止数据隐私泄露,数据采用 DeepSeek 大模型生成。数据文件 data/newstudent.csv,含 80 条记录。

AI 合成数据的可信度边界

数据质量四维度(Wang & Strong 1996):准确性 / 完整性 / 一致性 / 时效性。

DeepSeek 生成数据:

  • ✅ 完整性:字段齐全
  • ⚠️ 准确性:姓名/籍贯是虚构的,不能用作真实人口分析
  • ⚠️ 采样偏差:模型倾向"看起来合理"的分布(如民族偏汉族、籍贯偏大城市)

课堂要点:教学场景使用合成数据没问题,但必须标注"合成数据",避免学生误以为真实分布。

加载后的检查顺序

读取 CSV 后,先检查字段是否缺失、格式是否一致、数值是否在合理范围,再做类型转换和分组统计。字段齐全只说明结构完整,不代表数据准确;合成数据还应说明生成方法和用途边界。

02动手实验

试一试:重新加载数据,比较年龄与生日字段的类型。思考:为什么不能直接用这些数据推断真实新生分布?

实验将在进入此区域时加载,需要启用 JavaScript。

做完后:你应该看到
年龄和生日已经转换为 number / Date,记录数保持不变;能说明为什么这些记录不能代表真实新生分布。
03代码与讲解收起 / 展开 +

关键代码 ① 字段名映射

把中文列名映射成统一的英文变量名,方便团队维护、搜索和后续处理。JavaScript 支持中文属性名;使用中文键本身不会造成语法或编码错误。

// 关键点 ①:字段映射 —— 中文 → 英文
const COLUMN_MAP = {
  "序号": "id",
  "姓名": "name",
  "性别": "gender",
  "生日": "birthday",
  "年龄": "age",
  "班级": "class",
};

字段映射的用途:把外部文件的字段名与程序内部约定分开,便于以后更换文件或增加数据源。中文键可以正常使用;是否映射成英文应由项目约定决定。读取、保存文件时统一使用 UTF-8,并检查列名是否含空格。

关键代码 ② 类型转换函数

CSV 加载后所有字段都是字符串,需要把序号/年龄 → Number,生日 → Date 对象。

// 关键点 ②:类型转换函数 (推荐方式)
function transformRow(d) {
  return {
    id:       +d["序号"],              // 一元 + 把字符串转 Number
    name:     d["姓名"].trim(),       // trim() 去掉首尾空白
    birthday: new Date(d["生日"]), // 字符串 → Date 对象
    age:      +d["年龄"],
    class:    d["班级"].trim(),
  };
}

类型转换:+d["年龄"] 是把字符串转成数值的简写,也可以使用 Number()。空字符串会被转为 0,应先检查缺失值。日期建议按已知格式使用 d3.timeParse("%Y-%m-%d");trim() 可去掉班级等字段首尾的空格。

关键代码 ③ d3.csv 第二参直接传 row 回调

// 关键点 ③:一行完成加载 + 转换(代码示例 1)
const data = await d3.csv("data/newstudent.csv", transformRow);

// 验证类型确实转换了:
console.log(typeof data[0].age);        // "number"
console.log(data[0].birthday instanceof Date); // true

加载过程:d3.csv() 返回 Promise,可用 await 或 .then() 获取结果。row 回调在解析每行时完成转换,省去加载后再写一次 map;它并不是逐字节读取的流式接口。网络请求异步进行,数据解析和回调仍在当前 JavaScript 执行环境中完成。

04练习

CSV 中读到的年龄是字符串 "18"。要计算下一年的年龄,应该先做什么?

学完后,可以标记进度。

第 1 章 · 第 2 节 基础

1.2 DIKW 模型

学习目标

用同一个案例区分数据、信息、知识和决策,理解 DIKW 的教学用途与局限。

本节要点

  • DIKW 是从原始记录到判断的组织层次,不是自动流水线。
  • 可视化主要把数据组织成信息;解释需要背景和验证,决策还需要人的判断。
  • DIKW 是教学脚手架,层次边界会重叠,分析也可能来回进行。

01理解概念

案例

DIKW 金字塔:数据是"原始数据",信息是"组织好的数据",知识是"模式/规律",智慧是"判断/战略"。

层含义回答的问题
数据原始、离散的观察结果—
信息经过处理、组织、赋予上下文的数据谁 / 什么 / 何时 / 何地
知识对信息的进一步提炼和理解如何
智慧运用知识做出明智判断和战略决策为什么 / 应该怎么做

可视化在 DIKW 中的位置

可视化的作用:把 Data 组织成 Information,支持发现模式、形成 Knowledge,也能为决策提供证据。图表不会自动产生可靠解释或 Wisdom;还需要背景知识、验证和人的判断。

  • ✅ Data → Information:把表格"翻译"成可读图形(折线图、柱状图、热图)
  • Information → Knowledge:通过比较、统计、背景知识和验证解释模式;机器学习是可选工具。
  • Knowledge → Wisdom:图表可以辅助判断,但决策责任和价值取舍需要人来承担。

Rowley (2007) 批评:DIKW 是过度简化的层次模型,现实中 Data 与 Information 的界限模糊。但作为教学脚手架,仍然最有价值。

02动手实验

试一试:依次选择金字塔的四层,用“原始年龄记录 → 年龄分布 → 分布解释 → 教学安排”描述它们的联系。

实验将在进入此区域时加载,需要启用 JavaScript。

做完后:你应该看到
能把原始年龄记录、年龄分布、分布解释和教学安排对应到四层,并指出图表不能替代决策。
03代码与讲解收起 / 展开 +

关键代码 ① SVG 金字塔路径

金字塔由 4 个 trapezoid 拼接而成 —— D3 path 的 d 属性。

// 关键点 ①:trapezoid 路径 —— 从上到下 4 个点的连线
const topW = 60, botW = 120;
const yTop = 20, yBot = 100;
const path = `
  M ${cx - topW/2} ${yTop}
  L ${cx + topW/2} ${yTop}
  L ${cx + botW/2} ${yBot}
  L ${cx - botW/2} ${yBot}
  Z
`;

关键点解释:SVG path 的 M(moveto)、L(lineto)、Z(close) 是 3 个最常用指令。 模板字符串 `${...}` 可以直接嵌入 JS 变量,比字符串拼接更可读。 实践:复杂形状用 D3 的 d3.symbol()(内置 ★●▲ 等),自己 path 容易出错。

关键代码 ② 交互高亮(hover/click)

// 关键点 ②:选择集绑定事件 —— D3 的事件模型
const g = svg.append("g")
  .style("cursor", "pointer")
  .on("mouseover", function() {       // 注意 function 而非箭头函数
    d3.select(this).select("path")
       .transition().duration(150)
       .attr("fill", d3.color(layer.color).brighter(0.5));
  })
  .on("click", () => showDetail(layer));

关键点解释:必须用 function() 而非箭头函数—— 因为 D3 回调里要用 this 访问当前元素,箭头函数会捕获外层 this 导致失效。这是 D3 最常见的坑。 transition().duration() 是 D3 内置动画 API,比 jQuery 还简洁。

04练习

把原始年龄表整理成年龄分布图,最直接完成了哪一步?

学完后,可以标记进度。

第 1 章 · 第 3 节 基础

1.3 数据属性与视觉通道

学习目标

根据名义、序数、区间和比率尺度,为数据选择合适的视觉编码。

本节要点

  • 先确定测量尺度:名义、序数、区间或比率,再选择视觉通道。
  • 位置和长度适合同一尺度上的定量比较;色相和形状适合区分类别;有序明度可以表达顺序。
  • 编码错配会丢失信息,例如用色相编码数值就难以比较大小。

01理解概念

案例(3 大类)

课程材料给出 3 类属性:

  • 类别型属性:符号或名称,无顺序关系(性别、姓名)
  • 序数型属性:属性值有顺序(学位:本科/硕士/博士)
  • 数值型属性:定量方法(年龄、价格)

Stevens 测量尺度(1946)—— 4 类

Stevens 把测量尺度分为 4 类,比课程材料更精细:

类别允许的运算典型示例对应数据类型
名义 Nominal等价 / 不等价姓名、性别类别型
序数 Ordinal+ > <等级、班级序号序数型
区间 Interval+ 加减温度(°C)—
比率 Ratio+ 加减乘除年龄、价格数值型

关键区别:区间尺度没有"真零点"(0°C 不是"没有温度");比率尺度有真零点(0 元 = 没有钱)。

Mackinlay 视觉通道排序(1986)

Mackinlay 提出视觉通道分 3 档:

档次通道适合的属性
定量型位置、长度、角度比率 / 区间
顺序型亮度、密度、饱和度序数
定性型色相、形状名义

核心发现:位置是最强的定量通道;色相是最强的定性通道。错配 → 信息丢失。

编码前的检查清单

  • 名义数据:先问“是否相同”,优先色相、形状和直接标签;不要用连续位置暗示顺序。
  • 序数数据:先问“谁高谁低”,可用位置或有序明度;色相本身不表达顺序。
  • 区间 / 比率数据:先问“差多少 / 几倍”,优先共同尺度上的位置和长度;区间数据不能做倍数比较。
  • 类别较多时,增加直接标签、分面或形状,不要只靠颜色区分。

02动手实验

试一试:比较年龄的位置编码与颜色编码。判断哪一幅更容易回答“谁大两岁”,以及哪一种适合表达班级。

实验将在进入此区域时加载,需要启用 JavaScript。

做完后:你应该看到
位置编码更容易判断谁大两岁,色相适合区分班级;能说明区间数据和比率数据的区别。
03代码与讲解收起 / 展开 +

关键代码 ① 比例尺选型

// 连续定量数据 → 连续比例尺
const xNumeric = d3.scaleLinear().domain([0, 100]).range([0, 800]);

// 名义 / 序数数据 → 离散位置
const xCategory = d3.scaleBand()
  .domain(["软件1班", "软件2班"]).range([0, 800]);

关键点解释:D3 比例尺的 domain() 是数据域(输入),range() 是值域(输出像素)。 选错比例尺是初学者最常犯的错:类别数据用 scaleLinear 会算出没有意义的中间值(如 0.5 班)。 记忆口诀:连续定量用 Linear,离散分类用 Band,序数可用 Point。

关键代码 ② colormap 选型

// 顺序型:数量有顺序
const sequentialColor = d3.scaleSequential(d3.interpolateViridis);
// 定性型:无序类别
const categoricalColor = d3.scaleOrdinal(d3.schemeTableau10);
// 发散型:有意义的中点
const divergingColor = d3.scaleDiverging(d3.interpolateRdBu);

关键点解释:Viridis 是顺序 colormap 的标杆,色觉缺陷(CVD)友好且感知均匀。 常见错误:用彩虹色 interpolateRainbow 编码数值数据 —— 既不 CVD 友好,又有假边界(蓝色→绿色跳跃)。 课堂提问:什么时候用发散型?答:有"中间值"的数据(如正负、温度 vs 平均值)。

04练习

本科、硕士、博士属于哪一种测量尺度?

学完后,可以标记进度。

第 1 章 · 第 4 节 基础

1.4 数据变换

学习目标

区分筛选、映射、分组和聚合,并能追踪变换前后的数据结构。

本节要点

  • map 和 filter 改变记录,reduce 汇总为结果,group 保留分组,rollup 用汇总值替代分组。
  • 先确定输出类型是数组、数值还是 Map,再决定下一步操作。
  • 数组函数不自动保证不修改对象;要检查回调是否改变原数据。

01理解概念

案例(8 个函数)

课程材料列出 D3 提供的 8 个常见函数:

  1. map(iterable, mapper) —— 类似 Array.map
  2. reduce(iterable, reducer, init) —— 类似 Array.reduce
  3. cross(...iterables, reducer) —— 笛卡尔积
  4. merge(iterables) —— 合并为扁平数组
  5. pairs(iterable, reducer) —— 相邻元素对
  6. transpose(matrix) —— 矩阵转置
  7. zip(...arrays) —— 按位合并
  8. filter(iterable, test) —— 类似 Array.filter

函数式数据流

这 8 个函数的共同特点:

  • 输入与输出:map、filter 等通常生成新数组;reduce 则可返回数值、对象等不同类型。
  • 纯函数:只有回调本身没有副作用时,整段变换才可按纯函数理解;回调仍能修改对象。
  • 组合:先检查上一层的输出类型,再选择下一层操作;Map、数值和数组的用法不同。

为什么函数式?

  • 可推理:每层变换独立可测
  • 可并行:map/reduce/filter 天然支持并行化
  • 可缓存:纯函数的输出可以记忆化

数据立方体(OLAP)雏形:transpose 做宽/长格式转换,group + rollup 做切片/切块/钻取 —— 这正是 BI 系统的核心。

02动手实验

试一试:依次选择 map、reduce、group 和 rollup,比较输出是数值、数组还是分组结果。

实验将在进入此区域时加载,需要启用 JavaScript。

做完后:你应该看到
能预测每个函数的输出类型和长度,并说明 group 与 rollup 在保留信息上的差别。
03代码与讲解收起 / 展开 +

关键代码 ① map / reduce 的链式组合

// 关键点 ①:函数式数据流 —— map 后接 filter 再 reduce
const avgAge =
  students
    .filter(s => s.gender === "男")    // ① 过滤男生
    .map(s => s.age)                    // ② 提取年龄
    .reduce((sum, a) => sum + a, 0) // ③ 合计
  / students.filter(s => s.gender === "男").length; // ④ 求平均

关键点解释:链式调用的每一步返回新数组,不会修改原数组。 与命令式对比:命令式需要 4 个临时变量 + 一个 for 循环,函数式一行搞定。 性能权衡:每次 map/filter 都会创建新数组,对超大数组有性能损耗(百万级以上才显著)。

关键代码 ② cross(笛卡尔积)

// 关键点 ②:cross —— 笛卡尔积,用于两两组合
const genders = ["男", "女"];
const majors  = ["软件工程", "数据科学"];
const combos  = d3.cross(genders, majors);
// → [["男","软件工程"], ["男","数据科学"], ["女","软件工程"], ["女","数据科学"]]

组合数量:笛卡尔积的大小等于各数组长度的乘积。例如 3 个数组各有 2 个元素时,共有 2 × 2 × 2 = 8 个组合。reducer 可把每个组合转换成所需结果。

关键代码 ③ group / rollup(聚合)

// 关键点 ③:group 与 rollup —— 层次聚合
// group 返回 Map(保留所有元素)
const byClass = d3.group(students, s => s.class);
// rollup 返回 Map(每个 key 只保留聚合值)
const countByClass = d3.rollup(
  students,
  v => v.length,
  s => s.class
);

关键点解释:group vs rollup 是"分组保留"vs"分组聚合"的区别。 rollup 第二参是 reducer 函数(这里取长度),后续章节 doc-02 会详细用 rollup 做树形数据。

04练习

要得到每个班级的人数,最直接的操作是什么?

学完后,可以标记进度。

第 1 章 · 第 5 节 基础

1.5 D3 数据绑定

学习目标

理解 key 如何匹配数据和元素,解释 enter、update、exit 同时存在的情形。

本节要点

  • selection 选择元素,data 建立数据与元素的对应关系。
  • enter、update、exit 可以同时存在;数据与元素数量相等不代表没有三态。
  • key 用稳定且唯一的字段保持身份;没有 key 时 D3 按数组下标匹配。

01理解概念

案例(6 个选择器方法)

课程材料梳理了 6 个选择器方法:

方法返回
d3.select单个元素
d3.selectAll多个元素的 selection
selection.select每个选中元素的后代中第一个
selection.selectAll后代中所有
selection.selectChild直接子元素第一个
selection.selectChildren所有直接子元素

Data-Join 三态模型(Mike Bostock)

D3 的核心是 Data-Join:把数据数组"绑定"到 DOM 元素上。

当数据变化时:

  • enter:新数据没有匹配到已有元素,需要添加元素。
  • update:数据与已有元素匹配成功,可以更新属性。
  • exit:已有元素没有匹配到新数据,需要移除。
three states

Data-Join vs 命令式 DOM

命令式声明式(Data-Join)
createElement 后逐个 append.data(arr).join(...) 一行
全量重绘增量更新(性能好)
元素身份丢失key 函数保留稳定身份(动画自然)
与数据流脱节与函数式数据流天然契合

key 函数为什么重要

用稳定且唯一的字段(如 id)作为 key,数据重排或增删时元素仍能保持身份;若不提供 key,D3 按数组下标匹配,重排会让已有元素被当成新元素,过渡动画和选中状态都可能错位。

02动手实验

试一试:选择“替换一个对象”,观察数据数量不变时的三种状态;再切换按位置匹配,比较元素身份的变化。

实验将在进入此区域时加载,需要启用 JavaScript。

做完后:你应该看到
替换一个对象时能看到 enter、update、exit 同时发生;切换按位置匹配后能指出元素身份的变化。
03代码与讲解收起 / 展开 +

关键代码 ① .join(enter, update, exit) 三态

// 关键点 ①:D3 v5+ 的 join() API —— 优雅处理三态
const circles = svg.selectAll("circle")
  .data(currentData)
  .join(
    enter  => enter.append("circle").attr("fill", "green"),  // enter
    update => update.attr("fill", "cyan"),                              // update
    exit   => exit.remove()                                                   // exit
  );

关键点解释:join 的三个回调分别在 enter / update / exit 阶段被调用。 这种"声明式三态"比 v3 的 enter().append() + exit().remove() 写法更简洁,逻辑更不易出错。 类比:React 的 diff + patch —— 同样思想,但 React 帮你做了,D3 让你自己写变换函数。

关键代码 ② key 函数保身份

// 关键点 ②:key 函数 —— 元素身份的稳定器
// ❌ 不带 key:数据顺序变化 → 所有元素都"update",过渡动画错乱
svg.selectAll("circle").data(newData);

// ✅ 带 key:用唯一字段绑定身份,元素"知道自己是哪个"
svg.selectAll("circle").data(newData, d => d.id);

// 同样的逻辑用 React 描述:key={item.id}

关键点解释:key 函数是 D3 动画的灵魂。 没有 key 时,D3 按 index 绑定身份:数据重排会导致"所有元素都换位置"。 带 key 后,每个 circle 知道自己的 id 是什么,重排时只是 cx 变化,过渡动画自然。 类比:与 React 的 key={item.id} 完全相同的思想。

关键代码 ③ d3.select vs d3.selectAll

// 关键点 ③:选择器的核心区别
// select:返回 1 个元素(第一个匹配);数据绑定只对这一个元素
const title = d3.select("#title");

// selectAll:返回多个元素;数据绑定按顺序一一对应
const bars = d3.selectAll(".bar").data(values);

元素数量可以不同:先用 selectAll 取得选择集,再用 data 建立对应关系,最后通过 join 补充或移除元素。匹配取决于 key 或下标;即使数量相等,也可能同时出现 enter、update 和 exit。

04练习

按 id 匹配,旧数据是 A、B、C,新数据是 A、C、D。结果是什么?

学完后,可以标记进度。

搜索课程

搜索全部 27 个小节的讲解与代码。