现在,许多浏览器都能够访问用户的视频和音频输入。不过,具体取决于浏览器,它可能是完全动态的嵌入式体验,也可能是委托给用户设备上的其他应用。
从简单开始,逐步深入
最简单的方法就是直接向用户索要预录制的文件。为此,请创建一个简单的文件输入元素,并添加一个 accept
过滤器(表示我们只能接受音频文件),以及一个 capture
属性(表示我们希望直接从麦克风获取文件)。
<input type="file" accept="audio/*" capture />
此方法适用于所有平台。在桌面设备上,系统会提示用户从文件系统上传文件(忽略 capture
属性)。在 iOS 上的 Safari 中,它会打开麦克风应用,以便您录制音频,然后将其发回给网页;在 Android 上,它会让用户选择使用哪个应用录制音频,然后将其发回给网页。
用户录制完毕并返回到网站后,您需要通过某种方式获取文件数据。您可以通过将 onchange
事件附加到输入元素,然后读取事件对象的 files
属性来快速访问。
<input type="file" accept="audio/*" capture id="recorder" />
<audio id="player" controls></audio>
<script>
const recorder = document.getElementById('recorder');
const player = document.getElementById('player');
recorder.addEventListener('change', function (e) {
const file = e.target.files[0];
const url = URL.createObjectURL(file);
// Do something with the audio file.
player.src = url;
});
</script>
</audio>
获得文件访问权限后,您可以对其执行任何操作。例如,您可以:
- 将其直接附加到
<audio>
元素,以便您播放 - 将其下载到用户的设备上
- 将其附加到
XMLHttpRequest
以将其上传到服务器 - 将其传递给 Web Audio API 并对其应用滤镜
虽然使用输入元素方法来访问音频数据很常见,但它是最不受欢迎的选项。我们非常希望能够访问麦克风,并直接在网页中提供良好的体验。
以互动方式使用麦克风
新型浏览器可以直接与麦克风通信,这让我们能够打造与网页完全集成的体验,用户无需离开浏览器。
获取麦克风使用权限
我们可以使用 WebRTC 规范中名为 getUserMedia()
的 API 直接访问麦克风。getUserMedia()
会提示用户授予对已连接的麦克风和摄像头的访问权限。
如果成功,该 API 将返回一个 Stream
,其中包含来自摄像头或麦克风的数据,然后我们可以将其附加到 <audio>
元素、附加到 WebRTC 串流、附加到 Web Audio AudioContext
,或使用 MediaRecorder
API 进行保存。
如需从麦克风获取数据,只需在传递给 getUserMedia()
API 的约束条件对象中设置 audio: true
即可。
<audio id="player" controls></audio>
<script>
const player = document.getElementById('player');
const handleSuccess = function (stream) {
if (window.URL) {
player.srcObject = stream;
} else {
player.src = stream;
}
};
navigator.mediaDevices
.getUserMedia({audio: true, video: false})
.then(handleSuccess);
</script>
如果您想选择特定麦克风,可以先枚举可用的麦克风。
navigator.mediaDevices.enumerateDevices().then((devices) => {
devices = devices.filter((d) => d.kind === 'audioinput');
});
然后,您可以在调用 getUserMedia
时传递要使用的 deviceId
。
navigator.mediaDevices.getUserMedia({
audio: {
deviceId: devices[0].deviceId,
},
});
这本身没什么用。我们只能获取音频数据并进行播放。
访问麦克风的原始数据
如需访问麦克风的原始数据,我们必须获取 getUserMedia()
创建的数据流,然后使用 Web Audio API 处理数据。Web Audio API 是一个简单的 API,可获取输入源并将这些源连接到可处理音频数据(调整增益等)的节点,最终连接到扬声器,以便用户能够听到声音。
您可以连接的节点之一是 AudioWorkletNode
。借助此节点,您可以使用低级功能进行自定义音频处理。实际的音频处理是在 AudioWorkletProcessor
中的 process()
回调方法中进行的。调用此函数可提交输入和参数并提取输出。
如需了解详情,请参阅输入音频 Worklet。
<script>
const handleSuccess = async function(stream) {
const context = new AudioContext();
const source = context.createMediaStreamSource(stream);
await context.audioWorklet.addModule("processor.js");
const worklet = new AudioWorkletNode(context, "worklet-processor");
source.connect(worklet);
worklet.connect(context.destination);
};
navigator.mediaDevices.getUserMedia({ audio: true, video: false })
.then(handleSuccess);
</script>
// processor.js
class WorkletProcessor extends AudioWorkletProcessor {
process(inputs, outputs, parameters) {
// Do something with the data, e.g. convert it to WAV
console.log(inputs);
return true;
}
}
registerProcessor("worklet-processor", WorkletProcessor);
缓冲区中存储的数据是来自麦克风的原始数据,您可以通过多种方式处理这些数据:
- 直接将其上传到服务器
- 在本地存储
- 将其转换为专用文件格式(例如 WAV),然后将其保存到服务器或本地
保存麦克风中的数据
保存来自麦克风的数据的最简单方法是使用 MediaRecorder
API。
MediaRecorder
API 将获取由 getUserMedia
创建的数据流,然后逐步将数据流中的数据保存到首选目的地。
<a id="download">Download</a>
<button id="stop">Stop</button>
<script>
const downloadLink = document.getElementById('download');
const stopButton = document.getElementById('stop');
const handleSuccess = function(stream) {
const options = {mimeType: 'audio/webm'};
const recordedChunks = [];
const mediaRecorder = new MediaRecorder(stream, options);
mediaRecorder.addEventListener('dataavailable', function(e) {
if (e.data.size > 0) recordedChunks.push(e.data);
});
mediaRecorder.addEventListener('stop', function() {
downloadLink.href = URL.createObjectURL(new Blob(recordedChunks));
downloadLink.download = 'acetest.wav';
});
stopButton.addEventListener('click', function() {
mediaRecorder.stop();
});
mediaRecorder.start();
};
navigator.mediaDevices.getUserMedia({ audio: true, video: false })
.then(handleSuccess);
</script>
在本例中,我们将数据直接保存到一个数组中,稍后可以将其转换为 Blob
,然后使用 Blob
将数据保存到我们的 Web 服务器或直接保存到用户设备上的存储空间。
以负责任的方式请求使用麦克风权限
如果用户之前未向您的网站授予麦克风访问权限,那么在您调用 getUserMedia
时,浏览器会提示用户向您的网站授予麦克风权限。
用户不喜欢看到系统提示他们访问机器上强大的设备,他们会经常阻止此类请求,或者如果不了解系统创建此类提示的背景信息,则会忽略此类提示。最佳实践是仅在首次需要时请求访问麦克风。用户授予访问权限后,系统不会再次询问;但是,如果用户拒绝授予访问权限,您将无法再次向用户请求权限。
使用 Permissions API 检查您是否已拥有访问权限
getUserMedia
API 无法让您知道自己是否已获得麦克风访问权限。这会给您带来一个问题,为了提供一个漂亮的界面来让用户授予您麦克风访问权限,您必须请求麦克风访问权限。
在某些浏览器中,可以使用 Permission API 解决此问题。借助 navigator.permission
API,您无需再次提示即可查询访问特定 API 的能力状态。
如需查询您是否有权访问用户的麦克风,您可以将 {name: 'microphone'}
传入查询方法,该方法将返回以下任一值:
granted
- 用户之前已向您授予麦克风访问权限;prompt
- 用户尚未向您授予访问权限,当您调用getUserMedia
时,系统会提示您;denied
- 系统或用户已明确禁止访问麦克风,因此您将无法访问麦克风。
现在,您可以快速检查是否需要更改界面,以适应用户需要执行的操作。
navigator.permissions.query({name: 'microphone'}).then(function (result) {
if (result.state == 'granted') {
} else if (result.state == 'prompt') {
} else if (result.state == 'denied') {
}
result.onchange = function () {};
});