使用 WebRTC 进行实时通信

1. 简介

WebRTC 是一个开源项目,旨在让 Web 应用和原生应用能够实时通信音频、视频和数据。

WebRTC 有多个 JavaScript API,点击链接即可查看演示。

我可以在哪里使用 WebRTC?

在 Firefox、Opera 以及桌面版和 Android 版 Chrome 中。WebRTC 还适用于 iOS 和 Android 上的原生应用。

什么是信令?

WebRTC 使用 RTCPeerConnection 在浏览器之间传输流式数据,但还需要一种机制来协调通信和发送控制消息,这一过程称为信令。WebRTC 未指定信令方法和协议。在此 Codelab 中,您将使用 Socket.IO 进行消息传递,但还有许多替代方案。

什么是 STUN 和 TURN?

WebRTC 旨在实现点对点连接,以便用户可以通过尽可能最直接的路由进行连接。不过,WebRTC 旨在应对现实世界的网络环境:客户端应用需要遍历 NAT 网关和防火墙,并且点对点网络需要后备方案,以防直接连接失败。在此过程中,WebRTC API 会使用 STUN 服务器获取您计算机的 IP 地址,并使用 TURN 服务器作为中继服务器,以防点对点通信失败。(WebRTC 实际应用示例对此进行了更详细的说明。)

WebRTC 安全吗?

所有 WebRTC 组件都必须进行加密,并且其 JavaScript API 只能从安全来源(HTTPS 或 localhost)使用。WebRTC 标准未定义信令机制,因此您需要自行确保使用安全协议。

2. 概览

构建一个应用,使用摄像头获取视频和拍摄快照,并使用 WebRTC 进行点对点分享。在此过程中,您将学习如何使用核心 WebRTC API,以及如何使用 Node.js 设置消息传递服务器。

学习内容

  • 从摄像头获取视频
  • 使用 RTCPeerConnection 流式传输视频
  • 使用 RTCDataChannel 流式传输数据
  • 设置信令服务以交换消息
  • 合并对等连接和信令
  • 拍摄照片并使用数据通道分享

所需条件

  • Chrome 47 或更高版本
  • Web Server for Chrome,或使用您自己选择的 Web 服务器。
  • 示例代码
  • 文本编辑器
  • 具备 HTML、CSS 和 JavaScript 方面的基础知识

3. 获取示例代码

下载代码

如果您熟悉 git,则可以通过克隆从 GitHub 下载此 Codelab 的代码:

git clone https://github.com/googlecodelabs/webrtc-web

或者,点击以下按钮下载代码的 .zip 文件:

打开下载的 ZIP 文件。这将解压项目文件夹 (adaptive-web-media),其中包含本 Codelab 的每个步骤的一个文件夹,以及您需要的所有资源。

您将在名为 work 的目录中完成所有编码工作。

step-nn 文件夹包含此 Codelab 的每个步骤的完成版本。这些内容可供参考。

安装并验证网络服务器

虽然您可以随意使用自己的网络服务器,但此 Codelab 旨在与 Chrome Web Server 搭配使用。如果您尚未安装该应用,则可以通过 Chrome 应用商店安装。

安装 Web Server for Chrome 应用后,点击书签栏、新标签页或应用启动器中的 Chrome 应用快捷方式:

点击“Web Server”图标:

接下来,您将看到以下对话框,该对话框可让您配置本地网络服务器:

点击 CHOOSE FOLDER(选择文件夹)按钮,然后选择您刚刚创建的 work 文件夹。这样,您就可以在 Chrome 中使用“网络服务器”对话框中网络服务器网址部分突出显示的网址查看正在进行的工作。

在选项下,选中自动显示 index.html 旁边的复选框,如下所示:

然后,将标有 Web Server: STARTED(网络服务器:已启动)的切换开关滑到左侧,再滑回右侧,以停止并重启服务器。

现在,点击突出显示的网络服务器网址,在网络浏览器中访问您的工作网站。您应该会看到如下所示的页面,该页面对应于 work/index.html:

显然,此应用尚未执行任何有趣的操作。到目前为止,它只是一个最小框架,我们用它来确保您的 Web 服务器正常运行。您将在后续步骤中添加功能和布局特性。

4. 通过摄像头流式传输视频

学习内容

在此步骤中,您将了解如何:

  • 从摄像头获取视频流。
  • 操控直播播放。
  • 使用 CSS 和 SVG 操控视频。

此步骤的完整版本位于 step-01 文件夹中。

一点点 HTML…

将 video 元素和 script 元素添加到 work 目录中的 index.html:

<!DOCTYPE html>
<html>
<head>
  <title>Realtime communication with WebRTC</title>
  <link rel="stylesheet" href="css/main.css">
</head>
<body>
  <h1>Realtime communication with WebRTC</h1>
  <video autoplay playsinline></video>
  <script src="js/main.js"></script>
</body>
</html>

…以及一点点 JavaScript

将以下代码添加到 js 文件夹中的 main.js:

'use strict';

// On this codelab, you will be streaming only video (video: true).
const mediaStreamConstraints = {
  video: true,
};

// Video element where stream will be placed.
const localVideo = document.querySelector('video');

// Local stream that will be reproduced on the video.
let localStream;

// Handles success by adding the MediaStream to the video element.
function gotLocalMediaStream(mediaStream) {
  localStream = mediaStream;
  localVideo.srcObject = mediaStream;
}

// Handles error by logging a message to the console with the error message.
function handleLocalMediaStreamError(error) {
  console.log('navigator.getUserMedia error: ', error);
}

// Initializes media stream.
navigator.mediaDevices.getUserMedia(mediaStreamConstraints)
  .then(gotLocalMediaStream).catch(handleLocalMediaStreamError);

试试看

在浏览器中打开 index.html,您应该会看到如下所示的内容(当然,其中包含网络摄像头拍摄的画面!):

运作方式

调用 getUserMedia() 后,浏览器会请求用户授予访问其摄像头的权限(如果这是首次请求访问当前来源的摄像头)。如果成功,系统会返回一个 MediaStream,媒体元素可以使用 srcObject 属性来使用该 MediaStream:

navigator.mediaDevices.getUserMedia(mediaStreamConstraints)
  .then(gotLocalMediaStream).catch(handleLocalMediaStreamError);


}
function gotLocalMediaStream(mediaStream) {
  localVideo.srcObject = mediaStream;
}

借助 constraints 实参,您可以指定要获取的媒体。在此示例中,由于音频默认处于停用状态,因此仅录制视频:

const mediaStreamConstraints = {
  video: true,
};

您可以使用约束条件来满足其他要求,例如视频分辨率:

const hdConstraints = {
  video: {
    width: {
      min: 1280
    },
    height: {
      min: 720
    }
  }
}

MediaTrackConstraints 规范列出了所有可能的限制条件类型,但并非所有浏览器都支持所有选项。如果所选摄像头不支持请求的分辨率,系统会拒绝 getUserMedia() 并显示 OverconstrainedError,并且不会提示用户授予摄像头访问权限。

如果 getUserMedia() 成功,来自摄像头的视频流会被设置为视频元素的来源:

function gotLocalMediaStream(mediaStream) {
  localVideo.srcObject = mediaStream;
}

奖励分

  • 传递给 getUserMedia() 的 localStream 对象位于全局范围内,因此您可以从浏览器控制台检查该对象:打开控制台,输入 stream,然后按 Return 键。(如需在 Chrome 中查看控制台,请按 Ctrl-Shift-J,如果您使用的是 Mac,请按 Command-Option-J。)
  • localStream.getVideoTracks() 会返回什么?
  • 尝试致电localStream.getVideoTracks()[0].stop()。
  • 查看 constraints 对象:如果将其更改为 {audio: true, video: true},会发生什么情况?
  • 视频元素的尺寸是多少?如何通过 JavaScript 获取视频的自然尺寸(而非显示尺寸)?使用 Chrome 开发者工具进行检查。
  • 尝试向视频元素添加 CSS 滤镜。例如:
video {
  filter: blur(4px) invert(1) opacity(0.5);
}
  • 尝试添加 SVG 滤镜。例如:
video {
   filter: hue-rotate(180deg) saturate(200%);
 }

要点回顾

在此步骤中,您学习了如何:

  • 从摄像头获取视频。
  • 设置媒体限制条件。
  • 干扰视频元素。

此步骤的完整版本位于 step-01 文件夹中。

提示

最佳做法

  • 确保视频元素不会超出其容器。我们添加了 width 和 max-width,用于为视频设置首选大小和大小上限。浏览器会自动计算高度:
video {
  max-width: 100%;
  width: 320px;
}

后续步骤

您有视频,但如何直播呢?请在下一步中一探究竟!

5. 使用 RTCPeerConnection 流式传输视频

学习内容

在此步骤中,您将了解如何:

  • 使用 WebRTC 填充程序 adapter.js 消除浏览器差异。
  • 使用 RTCPeerConnection API 流式传输视频。
  • 控制媒体捕获和流式传输。

此步骤的完整版本位于 step-2 文件夹中。

什么是 RTCPeerConnection?

RTCPeerConnection 是一个 API,用于进行 WebRTC 通话以流式传输视频和音频,以及交换数据。

此示例在同一页面上的两个 RTCPeerConnection 对象(称为对等方)之间建立连接。

虽然没有太多实际用途,但有助于了解 RTCPeerConnection 的工作原理。

添加视频元素和控制按钮

在 index.html 中,将单个视频元素替换为两个视频元素和三个按钮:

<video id="localVideo" autoplay playsinline></video>
<video id="remoteVideo" autoplay playsinline></video>

<div>
  <button id="startButton">Start</button>
  <button id="callButton">Call</button>
  <button id="hangupButton">Hang Up</button>
</div>

一个视频元素将显示来自 getUserMedia() 的视频流,另一个视频元素将显示使用 RTCPeerconnection 流式传输的同一视频。(在实际应用中,一个视频元素会显示本地视频流,另一个会显示远程视频流。)

添加 adapter.js 填充代码

在 main.js 的链接上方添加一个指向当前版本 adapter.js 的链接:

<script src="https://webrtc.github.io/adapter/adapter-latest.js"></script>

Index.html 现在应如下所示:

<!DOCTYPE html>
<html>

<head>
  <title>Realtime communication with WebRTC</title>
  <link rel="stylesheet" href="css/main.css">
</head>

<body>
  <h1>Realtime communication with WebRTC</h1>

  <video id="localVideo" autoplay playsinline></video>
  <video id="remoteVideo" autoplay playsinline></video>

  <div>
    <button id="startButton">Start</button>
    <button id="callButton">Call</button>
    <button id="hangupButton">Hang Up</button>
  </div>

  <script src="https://webrtc.github.io/adapter/adapter-latest.js"></script>
  <script src="js/main.js"></script>
</body>
</html>

安装 RTCPeerConnection 代码

将 main.js 替换为 step-02 文件夹中的版本。

拨打电话

打开 index.html,点击开始按钮以从网络摄像头获取视频,然后点击通话以建立对等连接。您应该会在两个视频元素中看到相同的视频(来自您的摄像头)。查看浏览器控制台,了解 WebRTC 日志记录。

运作方式

此步骤会执行很多操作…

WebRTC 使用 RTCPeerConnection API 建立连接,以便在 WebRTC 客户端(称为对等方)之间流式传输视频。

在此示例中,两个 RTCPeerConnection 对象位于同一页面上:pc1 和 pc2。虽然没有太多实际用途,但非常适合演示 API 的工作原理。

在 WebRTC 对等方之间设置通话涉及三项任务:

  • 为通话的每一端创建一个 RTCPeerConnection,并在每一端添加来自 getUserMedia() 的本地数据流。
  • 获取并分享网络信息:潜在连接端点称为 ICE 候选。
  • 获取和共享本地和远程描述:SDP 格式的本地媒体元数据。

假设 Alice 和 Bob 想使用 RTCPeerConnection 设置视频聊天。

首先,Alice 和 Bob 交换网络信息。“寻找候选地址”一词是指使用 ICE 框架寻找网络接口和端口的过程。

  1. Alice 创建一个具有 onicecandidate (addEventListener('icecandidate')) 处理程序的 RTCPeerConnection 对象。这对应于 main.js 中的以下代码:
let localPeerConnection;
localPeerConnection = new RTCPeerConnection(servers);
localPeerConnection.addEventListener('icecandidate', handleConnection);
localPeerConnection.addEventListener(
    'iceconnectionstatechange', handleConnectionChange);
  1. Alice 调用 getUserMedia() 并添加传递给该方法的流:
navigator.mediaDevices.getUserMedia(mediaStreamConstraints).
  then(gotLocalMediaStream).
  catch(handleLocalMediaStreamError);
function gotLocalMediaStream(mediaStream) {
  localVideo.srcObject = mediaStream;
  localStream = mediaStream;
  trace('Received local stream.');
  callButton.disabled = false;  // Enable call button.
}
localPeerConnection.addStream(localStream);
trace('Added local stream to localPeerConnection.');
  1. 当有可用的候选网络时,系统会调用第 1 步中的 onicecandidate 处理程序。
  2. Alice 将序列化的候选数据发送给 Bob。在实际应用中,此过程(称为信令)通过消息传递服务进行,您将在后续步骤中了解如何执行此操作。当然,在此步骤中,两个 RTCPeerConnection 对象位于同一页面上,可以直接通信,无需外部消息传递。
  3. 当 Bob 收到 Alice 发送的候选消息时,他会调用 addIceCandidate(),将候选信息添加到远程对等端描述中:
function handleConnection(event) {
  const peerConnection = event.target;
  const iceCandidate = event.candidate;

  if (iceCandidate) {
    const newIceCandidate = new RTCIceCandidate(iceCandidate);
    const otherPeer = getOtherPeer(peerConnection);

    otherPeer.addIceCandidate(newIceCandidate)
      .then(() => {
        handleConnectionSuccess(peerConnection);
      }).catch((error) => {
        handleConnectionFailure(peerConnection, error);
      });

    trace(`${getPeerName(peerConnection)} ICE candidate:\n` +
          `${event.candidate.candidate}.`);
  }
}

WebRTC 对等端还需要找出并交换本地和远程音频和视频媒体信息,例如分辨率和编解码器功能。通过交换元数据 blob(称为“提议”和“应答”),使用会话描述协议格式(称为 SDP)来交换媒体配置信息:

  1. Alice 运行 RTCPeerConnection createOffer() 方法。返回的 promise 提供了一个 RTCSessionDescription:Alice 的本地会话描述:
trace('localPeerConnection createOffer start.');
localPeerConnection.createOffer(offerOptions)
  .then(createdOffer).catch(setSessionDescriptionError);
  1. 如果成功,Alice 会使用 setLocalDescription() 设置本地描述,然后使用其信令通道将此会话描述发送给 Bob。
  2. Bob 使用 setRemoteDescription() 将 Alice 发送给他的描述设置为远程描述。
  3. Bob 运行 RTCPeerConnection createAnswer() 方法,向其传递从 Alice 处获得的远程描述,以便生成与 Alice 的会话兼容的本地会话。createAnswer() promise 会传递 RTCSessionDescription:Bob 将其设置为本地描述,并将其发送给 Alice。
  4. 当 Alice 收到 Bob 的会话描述后,她会使用 setRemoteDescription() 将其设置为远程描述。
// Logs offer creation and sets peer connection session descriptions.
function createdOffer(description) {
  trace(`Offer from localPeerConnection:\n${description.sdp}`);

  trace('localPeerConnection setLocalDescription start.');
  localPeerConnection.setLocalDescription(description)
    .then(() => {
      setLocalDescriptionSuccess(localPeerConnection);
    }).catch(setSessionDescriptionError);

  trace('remotePeerConnection setRemoteDescription start.');
  remotePeerConnection.setRemoteDescription(description)
    .then(() => {
      setRemoteDescriptionSuccess(remotePeerConnection);
    }).catch(setSessionDescriptionError);

  trace('remotePeerConnection createAnswer start.');
  remotePeerConnection.createAnswer()
    .then(createdAnswer)
    .catch(setSessionDescriptionError);
}

// Logs answer to offer creation and sets peer connection session descriptions.
function createdAnswer(description) {
  trace(`Answer from remotePeerConnection:\n${description.sdp}.`);

  trace('remotePeerConnection setLocalDescription start.');
  remotePeerConnection.setLocalDescription(description)
    .then(() => {
      setLocalDescriptionSuccess(remotePeerConnection);
    }).catch(setSessionDescriptionError);

  trace('localPeerConnection setRemoteDescription start.');
  localPeerConnection.setRemoteDescription(description)
    .then(() => {
      setRemoteDescriptionSuccess(localPeerConnection);
    }).catch(setSessionDescriptionError);
}
  1. Ping!

奖励分

  1. 查看 chrome://webrtc-internals。此操作会提供 WebRTC 统计信息和调试数据。(如需查看 Chrome 网址的完整列表,请访问 chrome://about。)
  2. 使用 CSS 设置页面样式:
  • 将视频并排显示。
  • 将按钮设为相同宽度,并使用更大的文字。
  • 确保布局在移动设备上正常显示。
  1. 在 Chrome 开发者工具控制台中,查看 localStream、localPeerConnection 和 remotePeerConnection。
  2. 在控制台中,查看 localPeerConnectionpc1.localDescription。SDP 格式是什么样的?

要点回顾

在此步骤中,您学习了如何:

  • 使用 WebRTC 填充程序 adapter.js 消除浏览器差异。
  • 使用 RTCPeerConnection API 流式传输视频。
  • 控制媒体捕获和流式传输。
  • 在对等方之间共享媒体和网络信息,以实现 WebRTC 通话。

此步骤的完整版本位于 step-2 文件夹中。

提示

  • 此步骤中有很多内容需要学习!如需查找更详细地介绍 RTCPeerConnection 的其他资源,请访问 webrtc.org。如果您想使用 WebRTC,但不想处理 API,本页面提供了有关 JavaScript 框架的建议。
  • 如需详细了解 adapter.js 填充代码,请参阅 adapter.js GitHub 代码库。
  • 想看看全球最棒的视频聊天应用是什么样子吗?查看 AppRTC,这是 WebRTC 项目中用于 WebRTC 通话的规范应用:应用、代码。通话设置时间少于 500 毫秒。

最佳做法

  • 为了确保代码在未来仍能正常运行,请使用基于 Promise 的新 API,并通过使用 adapter.js 确保与不支持这些 API 的浏览器兼容。

后续步骤

此步骤展示了如何使用 WebRTC 在对等端之间流式传输视频,但此 Codelab 也涉及数据!

在下一步中,您将了解如何使用 RTCDataChannel 流式传输任意数据。

6. 使用 RTCDataChannel 交换数据

学习内容

  • 如何在 WebRTC 端点(对等端)之间交换数据。

此步骤的完整版本位于 step-03 文件夹中。

更新 HTML

在此步骤中,您将使用 WebRTC 数据通道在同一页面上的两个 textarea 元素之间发送文本。这虽然没有太大用处,但确实展示了如何使用 WebRTC 共享数据以及流式传输视频。

从 index.html 中移除视频和按钮元素,并将其替换为以下 HTML:

<textarea id="dataChannelSend" disabled
    placeholder="Press Start, enter some text, then press Send."></textarea>
<textarea id="dataChannelReceive" disabled></textarea>

<div id="buttons">
  <button id="startButton">Start</button>
  <button id="sendButton">Send</button>
  <button id="closeButton">Stop</button>
</div>

一个文本区域用于输入文本,另一个文本区域用于显示在对等端之间流式传输的文本。

index.html 现在应如下所示:

<!DOCTYPE html>
<html>
<head>
  <title>Realtime communication with WebRTC</title>
  <link rel="stylesheet" href="css/main.css">
</head>
<body>
  <h1>Realtime communication with WebRTC</h1>
  <textarea id="dataChannelSend" disabled
    placeholder="Press Start, enter some text, then press Send."></textarea>
  <textarea id="dataChannelReceive" disabled></textarea>
  <div id="buttons">
    <button id="startButton">Start</button>
    <button id="sendButton">Send</button>
    <button id="closeButton">Stop</button>
  </div>
  <script src="https://webrtc.github.io/adapter/adapter-latest.js"></script>
  <script src="js/main.js"></script>
</body>
</html>

更新 JavaScript

将 main.js 替换为 step-03/js/main.js 的内容。

尝试在对等端之间流式传输数据:打开 index.html,按 Start(开始)设置对等连接,在左侧的 textarea 中输入一些文本,然后点击 Send(发送)以使用 WebRTC 数据通道传输文本。

运作方式

此代码使用 RTCPeerConnection 和 RTCDataChannel 来实现文本消息交换。

此步骤中的大部分代码与 RTCPeerConnection 示例中的代码相同。

sendData() 和 createConnection() 函数包含大部分新代码:

function createConnection() {
  dataChannelSend.placeholder = '';
  var servers = null;
  pcConstraint = null;
  dataConstraint = null;
  trace('Using SCTP based data channels');
  // For SCTP, reliable and ordered delivery is true by default.
  // Add localConnection to global scope to make it visible
  // from the browser console.
  window.localConnection = localConnection =
      new RTCPeerConnection(servers, pcConstraint);
  trace('Created local peer connection object localConnection');

  sendChannel = localConnection.createDataChannel('sendDataChannel',
      dataConstraint);
  trace('Created send data channel');

  localConnection.onicecandidate = iceCallback1;
  sendChannel.onopen = onSendChannelStateChange;
  sendChannel.onclose = onSendChannelStateChange;

  // Add remoteConnection to global scope to make it visible
  // from the browser console.
  window.remoteConnection = remoteConnection =
      new RTCPeerConnection(servers, pcConstraint);
  trace('Created remote peer connection object remoteConnection');

  remoteConnection.onicecandidate = iceCallback2;
  remoteConnection.ondatachannel = receiveChannelCallback;

  localConnection.createOffer().then(
    gotDescription1,
    onCreateSessionDescriptionError
  );
  startButton.disabled = true;
  closeButton.disabled = false;
}

function sendData() {
  var data = dataChannelSend.value;
  sendChannel.send(data);
  trace('Sent Data: ' + data);
}

RTCDataChannel 的语法有意与 WebSocket 类似,具有 send() 方法和 message 事件。

请注意 dataConstraint 的用法。您可以配置数据通道,以实现不同类型的数据共享,例如,优先考虑可靠传输而非性能。如需详细了解这些选项,请访问 Mozilla 开发者网络。

奖励分

  1. WebRTC 数据通道使用的协议 SCTP 默认会启用可靠且有序的数据传送。在什么情况下 RTCDataChannel 需要提供可靠的数据传输?在什么情况下性能可能更重要,即使这意味着会丢失一些数据?
  2. 使用 CSS 改进页面布局,并向“dataChannelReceive”文本区域添加占位符属性。
  3. 在移动设备上测试该网页。

要点回顾

在此步骤中,您学习了如何:

  • 在两个 WebRTC 对等端之间建立连接。
  • 在对等方之间交换文本数据。

此步骤的完整版本位于 step-03 文件夹中。

了解详情

后续步骤

您已经了解了如何在同一页面上的对等端之间交换数据,但如何在不同机器之间交换数据呢?首先,您需要设置一个信令通道来交换元数据消息。在下一步中了解具体方法!

7. 设置信令服务以交换消息

学习内容

在此步骤中,您将了解如何:

  • 使用 npm 安装 package.json 中指定的项目依赖项
  • 运行 Node.js 服务器,并使用 node-static 传送静态文件。
  • 使用 Socket.IO 在 Node.js 上设置消息传递服务。
  • 使用该功能创建“聊天室”并交换消息。

此步骤的完整版本位于 step-04 文件夹中。

概念

为了设置和维护 WebRTC 通话,WebRTC 客户端(对等方)需要交换元数据:

  • 候选(网络)信息。
  • 提议和应答消息,用于提供媒体信息,例如分辨率和编解码器。

换句话说,在进行音频、视频或数据的点对点流式传输之前,需要先交换元数据。此过程称为“信令”。

在前面的步骤中,发送方和接收方 RTCPeerConnection 对象位于同一页面上,因此“信令”只是在对象之间传递元数据。

在实际应用中,发送方和接收方 RTCPeerConnection 在不同设备上的网页中运行,您需要一种方法让它们能够通信元数据。

为此,您需要使用信令服务器:一种可以在 WebRTC 客户端(对等端)之间传递消息的服务器。实际消息是纯文本:字符串化的 JavaScript 对象。

前提条件:安装 Node.js

为了运行此 Codelab 的后续步骤(文件夹 step-04 到 step-06),您需要使用 Node.js 在 localhost 上运行服务器。

您可以直接从 Node.js 网站下载并安装 Node.js,也可以使用您首选的软件包管理器进行下载和安装。

安装完成后,您将能够导入后续步骤所需的依赖项(运行 npm install),以及运行一个小型 localhost 服务器来执行 Codelab(运行 node index.js)。这些命令将在需要时在后文中指出。

关于此应用

WebRTC 使用客户端 JavaScript API,但在实际使用中,还需要信令(消息传递)服务器以及 STUN 和 TURN 服务器。详细了解 WebRTC 基础架构。

在此步骤中,您将使用 Socket.IO Node.js 模块和 JavaScript 库来构建一个简单的 Node.js 信令服务器,用于收发消息。具备 Node.js 和 Socket.IO 使用经验会有帮助,但不是硬性要求;消息传递组件非常简单。

在此示例中,服务器(Node.js 应用)在 index.js 中实现,在其上运行的客户端(Web 应用)在 index.html 中实现。

此步骤中的 Node.js 应用有两项任务。

首先,它充当消息中继:

socket.on('message', function (message) {
  log('Got message: ', message);
  socket.broadcast.emit('message', message);
});

其次,它会管理 WebRTC 视频聊天“聊天室”:

if (numClients === 0) {
  socket.join(room);
  socket.emit('created', room, socket.id);
} else if (numClients === 1) {
  socket.join(room);
  socket.emit('joined', room, socket.id);
  io.sockets.in(room).emit('ready');
} else { // max two clients
  socket.emit('full', room);
}

我们的 WebRTC 应用最多允许两个对等方共享一个聊天室。

HTML 和 JavaScript

更新 index.html,使其如下所示:

<!DOCTYPE html>
<html>
<head>
  <title>Realtime communication with WebRTC</title>
  <link rel="stylesheet" href="css/main.css">
</head>
<body>
  <h1>Realtime communication with WebRTC</h1>
  <script src="/socket.io/socket.io.js"></script>
  <script src="js/main.js"></script>
</body>
</html>

在此步骤中,您不会在页面上看到任何内容:所有日志记录都会在浏览器控制台中完成。(如需在 Chrome 中查看控制台,请按 Ctrl-Shift-J,如果您使用的是 Mac,请按 Command-Option-J。)

将 js/main.js 替换为以下内容:

'use strict';

var isInitiator;

window.room = prompt("Enter room name:");

var socket = io.connect();

if (room !== "") {
  console.log('Message from client: Asking to join room ' + room);
  socket.emit('create or join', room);
}

socket.on('created', function(room, clientId) {
  isInitiator = true;
});

socket.on('full', function(room) {
  console.log('Message from client: Room ' + room + ' is full :^(');
});

socket.on('ipaddr', function(ipaddr) {
  console.log('Message from client: Server IP address is ' + ipaddr);
});

socket.on('joined', function(room, clientId) {
  isInitiator = false;
});

socket.on('log', function(array) {
  console.log.apply(console, array);
});

设置 Socket.IO 以在 Node.js 上运行

在 HTML 文件中,您可能已经看到您正在使用 Socket.IO 文件:

<script src="/socket.io/socket.io.js"></script>

在 work 目录的顶层,创建一个名为 package.json 的文件,其中包含以下内容:

{
  "name": "webrtc-codelab",
  "version": "0.0.1",
  "description": "WebRTC codelab",
  "dependencies": {
    "node-static": "^0.7.10",
    "socket.io": "^1.2.0"
  }
}

这是一个应用清单,用于告知 Node Package Manager (npm) 要安装哪些项目依赖项。

如需安装依赖项(例如 /socket.io/socket.io.js),请在 work 目录中通过命令行终端运行以下命令:

npm install

您应该会看到一个安装日志,其结尾大致如下:

如您所见,npm 已安装 package.json 中定义的依赖项。

在 work 目录的顶层(而不是 js 目录中)创建一个新文件 index.js,并添加以下代码:

'use strict';

var os = require('os');
var nodeStatic = require('node-static');
var http = require('http');
var socketIO = require('socket.io');

var fileServer = new(nodeStatic.Server)();
var app = http.createServer(function(req, res) {
  fileServer.serve(req, res);
}).listen(8080);

var io = socketIO.listen(app);
io.sockets.on('connection', function(socket) {

  // convenience function to log server messages on the client
  function log() {
    var array = ['Message from server:'];
    array.push.apply(array, arguments);
    socket.emit('log', array);
  }

  socket.on('message', function(message) {
    log('Client said: ', message);
    // for a real app, would be room-only (not broadcast)
    socket.broadcast.emit('message', message);
  });

  socket.on('create or join', function(room) {
    log('Received request to create or join room ' + room);

    var clientsInRoom = io.sockets.adapter.rooms[room];
    var numClients = clientsInRoom ? Object.keys(clientsInRoom.sockets).length : 0;

    log('Room ' + room + ' now has ' + numClients + ' client(s)');

    if (numClients === 0) {
      socket.join(room);
      log('Client ID ' + socket.id + ' created room ' + room);
      socket.emit('created', room, socket.id);

    } else if (numClients === 1) {
      log('Client ID ' + socket.id + ' joined room ' + room);
      io.sockets.in(room).emit('join', room);
      socket.join(room);
      socket.emit('joined', room, socket.id);
      io.sockets.in(room).emit('ready');
    } else { // max two clients
      socket.emit('full', room);
    }
  });

  socket.on('ipaddr', function() {
    var ifaces = os.networkInterfaces();
    for (var dev in ifaces) {
      ifaces[dev].forEach(function(details) {
        if (details.family === 'IPv4' && details.address !== '127.0.0.1') {
          socket.emit('ipaddr', details.address);
        }
      });
    }
  });

});

在命令行终端中,在 work 目录下运行以下命令:

node index.js

在浏览器中,打开 localhost:8080。

每次打开此网址时,系统都会提示您输入会议室名称。如需加入同一聊天室,请每次都选择相同的聊天室名称,例如“foo”。

打开一个新标签页,然后再次打开 localhost:8080。选择相同的房间名称。

在第三个标签页或窗口中打开 localhost:8080。再次选择相同的房间名称。

检查每个标签页中的控制台:您应该会看到上述 JavaScript 代码的日志记录。

奖励分

  1. 有哪些替代消息机制?使用“纯”WebSocket 时可能会遇到哪些问题?
  2. 扩缩此应用可能会涉及哪些问题?您能否开发一种方法来测试数千或数百万个同时发出的房间请求?
  3. 此应用使用 JavaScript 提示来获取聊天室名称。想办法从网址中获取聊天室名称。例如,localhost:8080/foo 会将聊天室命名为 foo。

要点回顾

在此步骤中,您学习了如何:

  • 使用 npm 安装 package.json 中指定的项目依赖项。
  • 运行 Node.js 服务器以传送静态文件。
  • 使用 socket.io 在 Node.js 上设置消息传递服务。
  • 使用该功能创建“聊天室”并交换消息。

此步骤的完整版本位于 step-04 文件夹中。

了解详情

后续步骤

了解如何使用信令让两个用户建立对等连接。

8. 合并对等连接和信令

学习内容

在此步骤中,您将了解如何:

  • 使用在 Node.js 上运行的 Socket.IO 运行 WebRTC 信令服务
  • 使用该服务在对等方之间交换 WebRTC 元数据。

此步骤的完整版本位于 step-05 文件夹中。

替换 HTML 和 JavaScript

将 index.html 的内容替换为以下内容:

<!DOCTYPE html>
<html>

<head>

  <title>Realtime communication with WebRTC</title>

  <link rel="stylesheet" href="/css/main.css">

</head>

<body>

  <h1>Realtime communication with WebRTC</h1>

  <div id="videos">
    <video id="localVideo" autoplay muted></video>
    <video id="remoteVideo" autoplay></video>
  </div>

  <script src="/socket.io/socket.io.js"></script>
  <script src="https://webrtc.github.io/adapter/adapter-latest.js"></script>
  <script src="js/main.js"></script>
  
</body>

</html>

将 js/main.js 替换为 step-05/js/main.js 的内容。

运行 Node.js 服务器

如果您不是在 work 目录中学习此 Codelab,则可能需要为 step-05 文件夹或当前工作文件夹安装依赖项。从工作目录运行以下命令:

npm install

安装完成后,如果 Node.js 服务器未运行,请在 work 目录中调用以下命令来启动它:

node index.js

确保您使用的是上一步中实现 Socket.IO 的 index.js 版本。如需详细了解 Node 和 Socket IO,请参阅“设置信令服务以交换消息”部分。

在浏览器中,打开 localhost:8080。

在新标签页或窗口中再次打开 localhost:8080。一个视频元素将显示来自 getUserMedia() 的本地视频流,另一个视频元素将显示使用 RTCPeerconnection 流式传输的“远程”视频。

在浏览器控制台中查看日志记录。

奖励积分

  1. 此应用仅支持一对一视频聊天。您如何更改设计,让多人可以共享同一个视频聊天室?
  2. 该示例对聊天室名称 foo 进行了硬编码。启用其他房间名称的最佳方式是什么?
  3. 用户如何分享聊天室名称?尝试构建一种替代方案,避免共享聊天室名称。
  4. 您会如何更改应用
  • 使用 canvas 元素拍照并从中获取数据。
  • 与远程用户交换图片数据。

此步骤的完整版本位于 step-06 文件夹中。

运作方式

之前,您已了解如何使用 RTCDataChannel 交换短信。

此步骤可让您共享整个文件:在本示例中,即使用 getUserMedia() 拍摄的照片。

此步骤的核心部分如下:

  1. 建立数据通道。请注意,您在此步骤中不会向对等连接添加任何媒体流。
  2. 使用 getUserMedia() 捕获用户的摄像头视频流:
var video = document.getElementById('video');

function grabWebCamVideo() {
  console.log('Getting user media (video) ...');
  navigator.mediaDevices.getUserMedia({
    video: true
  })
  .then(gotStream)
  .catch(function(e) {
    alert('getUserMedia() error: ' + e.name);
  });
}
  1. 当用户点击 Snap 按钮时,从视频流中获取快照(视频帧),并将其显示在 canvas 元素中:
var photo = document.getElementById('photo');
var photoContext = photo.getContext('2d');

function snapPhoto() {
  photoContext.drawImage(video, 0, 0, photo.width, photo.height);
  show(photo, sendBtn);
}
  1. 当用户点击发送按钮时,将图片转换为字节,并使用数据通道发送:
function sendPhoto() {
  // Split data channel message in chunks of this byte length.
  var CHUNK_LEN = 64000;
  var img = photoContext.getImageData(0, 0, photoContextW, photoContextH),
    len = img.data.byteLength,
    n = len / CHUNK_LEN | 0;

  console.log('Sending a total of ' + len + ' byte(s)');
  dataChannel.send(len);

  // split the photo and send in chunks of about 64KB
  for (var i = 0; i < n; i++) {
    var start = i * CHUNK_LEN,
      end = (i + 1) * CHUNK_LEN;
    console.log(start + ' - ' + (end - 1));
    dataChannel.send(img.data.subarray(start, end));
  }

  // send the reminder, if any
  if (len % CHUNK_LEN) {
    console.log('last ' + len % CHUNK_LEN + ' byte(s)');
    dataChannel.send(img.data.subarray(n * CHUNK_LEN));
  }
}
  1. 接收端将数据通道消息字节转换回图片,并向用户显示该图片:
function receiveDataChromeFactory() {
  var buf, count;

  return function onmessage(event) {
    if (typeof event.data === 'string') {
      buf = window.buf = new Uint8ClampedArray(parseInt(event.data));
      count = 0;
      console.log('Expecting a total of ' + buf.byteLength + ' bytes');
      return;
    }

    var data = new Uint8ClampedArray(event.data);
    buf.set(data, count);

    count += data.byteLength;
    console.log('count: ' + count);

    if (count === buf.byteLength) {
      // we're done: all data chunks have been received
      console.log('Done. Rendering photo.');
      renderPhoto(buf);
    }
  };
}

function renderPhoto(data) {
  var canvas = document.createElement('canvas');
  canvas.width = photoContextW;
  canvas.height = photoContextH;
  canvas.classList.add('incomingPhoto');
  // trail is the element holding the incoming images
  trail.insertBefore(canvas, trail.firstChild);

  var context = canvas.getContext('2d');
  var img = context.createImageData(photoContextW, photoContextH);
  img.data.set(data);
  context.putImageData(img, 0, 0);
}

获取代码

将 work 文件夹的内容替换为 step-06 的内容。现在,work 中的 index.html 文件应如下所示:

<!DOCTYPE html>
<html>

<head>

  <title>Realtime communication with WebRTC</title>

  <link rel="stylesheet" href="/css/main.css">

</head>

<body>

  <h1>Realtime communication with WebRTC</h1>

  <h2>
    <span>Room URL: </span><span id="url">...</span>
  </h2>

  <div id="videoCanvas">
    <video id="camera" autoplay></video>
    <canvas id="photo"></canvas>
  <script src="js/main.js"></script>

</body>

</html>

如果您不是在 work 目录中学习本 Codelab,则可能需要为 step-06 文件夹或当前工作文件夹安装依赖项。只需在工作目录中运行以下命令:

npm install

安装完成后,如果 Node.js 服务器未运行,请从 work 目录中调用以下命令来启动它:

node index.js

请确保您使用的是实现 Socket.IO 的 index.js 版本,并且在进行更改后记得重启 Node.js 服务器。如需详细了解 Node 和 Socket IO,请参阅“设置信令服务以交换消息”部分。

如有必要,请点击允许按钮,允许应用使用您的摄像头。

该应用将创建一个随机会议室 ID,并将该 ID 添加到网址中。在新的浏览器标签页或窗口中打开地址栏中的网址。

点击 Snap & Send(抓拍并发送)按钮,然后查看页面底部另一个标签页中的“Incoming”(传入)区域。该应用会在标签页之间传输照片。

您应会看到类似下图的界面:

奖励分

  1. 如何更改代码,以便能够分享任何文件类型?

了解详情

要点回顾

  • 如何使用 canvas 元素拍照并从中获取数据。
  • 如何与远程用户交换这些数据。

此步骤的完整版本位于 step-06 文件夹中。

9. 恭喜

您构建了一个用于实时视频流式传输和数据交换的应用!

要点回顾

在此 Codelab 中,您学习了如何执行以下操作:

  • 从摄像头获取视频。
  • 使用 RTCPeerConnection 在线播放视频。
  • 使用 RTCDataChannel 流式传输数据。
  • 设置信令服务以交换消息。
  • 合并对等连接和信令。
  • 拍摄照片并使用数据通道分享照片。

后续步骤

了解详情

  • webrtc.org 提供了各种 WebRTC 入门资源。