몰입형 웹에 오신 것을 환영합니다.

몰입형 웹은 브라우저를 통해 호스팅되는 가상 세계 환경을 의미합니다. 이 전체 가상 현실 환경은 브라우저 또는 VR 지원 헤드셋에 표시되었습니다.

Joe Medley
Joe Medley

몰입형 웹은 브라우저를 통해 호스팅되는 가상 세계 환경을 의미합니다. 여기에는 브라우저 또는 VR 지원 헤드셋(예: Google Daydream, Oculus Rift, Samsung Gear VR, HTC Vive, Windows 혼합 현실 헤드셋)에 표시되는 전체 가상 현실(VR) 환경과 AR 지원 휴대기기용으로 개발된 증강 현실 환경이 포함됩니다.

몰입형 환경을 설명하기 위해 두 가지 용어를 사용하지만, 이 두 용어는 완전한 현실에서 완전히 몰입형 VR 환경에 이르는 스펙트럼으로 생각해야 하며, 그 사이에 다양한 수준의 AR이 있습니다.

몰입형 환경의 예는 다음과 같습니다.

  • 몰입형 360도 동영상
  • 몰입형 환경에서 제공되는 기존 2D (또는 3D) 동영상
  • 데이터 시각화
  • 홈쇼핑
  • 예술
  • 아무도 생각하지 못한 멋진 아이디어

거기에 어떻게 가나요?

몰입형 웹은 거의 1년 동안 초기 형태로 제공되어 왔습니다. 이는 Chrome 62부터 오리진 트라이얼에서 사용할 수 있는 WebVR 1.1 API를 통해 이루어졌습니다. 이 API는 Firefox 및 Edge와 Safari용 폴리필에서도 지원됩니다.

하지만 이제는 앞으로 나아가야 할 때입니다.

오리진 트라이얼은 2018년 7월 24일에 종료되었으며 사양은 WebXR Device API 및 새로운 오리진 트라이얼로 대체되었습니다.

WebVR 1.1은 어떻게 되었나요?

WebVR 1.1에서 많은 것을 배웠지만 시간이 지남에 따라 개발자가 빌드하려는 애플리케이션 유형을 지원하려면 몇 가지 주요 변경사항이 필요하다는 것이 분명해졌습니다. 여기에서 다루기에는 너무 많은 교훈을 얻었지만, API가 기본 JavaScript 스레드에 명시적으로 연결되어 있다는 점, 개발자가 명백히 잘못된 구성을 설정할 수 있는 기회가 너무 많다는 점, 매직 윈도우와 같은 일반적인 사용이 의도적인 기능이 아닌 부작용이라는 점 등이 있습니다. (매직 윈도우는 헤드셋 없이 몰입형 콘텐츠를 보는 기술로, 앱이 기기의 방향 센서를 기반으로 단일 뷰를 렌더링합니다.)

새로운 디자인은 더 간단한 구현과 큰 성능 개선을 지원합니다. 동시에 AR 및 기타 사용 사례가 등장하면서 향후 이러한 사용 사례를 지원하도록 API를 확장할 수 있는 것이 중요해졌습니다.

WebXR Device API는 이러한 확장된 사용 사례를 염두에 두고 설계되고 이름이 지정되었으며 더 나은 경로를 제공합니다. WebVR 구현자는 WebXR Device API로 이전하기로 약속했습니다.

WebXR Device API란 무엇인가요?

이전의 WebVR 사양과 마찬가지로 WebXR Device API는 Google, Microsoft, Mozilla 등의 참여자가 있는 Immersive Web Community Group의 제품입니다. XR의 'X'는 몰입형 경험의 스펙트럼에 있는 모든 것을 나타내는 일종의 대수 변수로 사용됩니다. 앞서 언급한 오리진 트라이얼과 폴리필을 통해 사용할 수 있습니다.

이 도움말이 Chrome 67 베타 기간에 처음 게시되었을 때는 VR 기능만 사용 설정되었습니다. 증강 현실은 Chrome 69에 도입되었습니다. 웹용 증강 현실에서 자세히 알아보세요.

이 새로운 API에는 이 도움말에서 다룰 수 있는 것보다 더 많은 내용이 있습니다. WebXR 샘플을 이해하는 데 충분한 정보를 제공해 드리겠습니다. 자세한 내용은 원본 설명과 몰입형 웹 얼리 어답터 가이드를 참고하세요. 오리진 트라이얼이 진행됨에 따라 후자를 확장할 예정입니다. 언제든지 문제를 열거나 pull 요청을 제출하세요.

이 도움말에서는 XR 세션 시작, 중지, 실행과 입력 처리에 관한 몇 가지 기본사항을 설명합니다.

화면에 AR/VR 콘텐츠를 그리는 방법은 다루지 않겠습니다. WebXR Device API는 이미지 렌더링 기능을 제공하지 않습니다. 질문자님이 결정하실 문제입니다. 그리기는 WebGL API를 사용하여 수행됩니다. 정말 야심이 있다면 그렇게 할 수 있습니다. 하지만 프레임워크를 사용하는 것이 좋습니다. 몰입형 웹 샘플은 Cottontail이라는 데모용으로 만든 샘플을 사용합니다. Three.js는 5월부터 WebXR을 지원했습니다. A-Frame에 대해서는 아무것도 듣지 못했습니다.

앱 시작 및 실행

기본 프로세스는 다음과 같습니다.

  1. XR 기기를 요청합니다.
  2. 사용 가능한 경우 XR 세션을 요청합니다. 사용자가 휴대전화를 헤드셋에 넣도록 하려면 몰입형 세션이라고 하며, 들어가려면 사용자 동작이 필요합니다.
  3. 세션을 사용하여 초당 60개의 이미지 프레임을 제공하는 렌더링 루프를 실행합니다. 각 프레임에서 화면에 적절한 콘텐츠를 그립니다.
  4. 사용자가 종료하기로 결정할 때까지 렌더링 루프를 실행합니다.
  5. XR 세션을 종료합니다.

코드를 포함하여 조금 더 자세히 살펴보겠습니다. 지금부터 보여드릴 내용으로는 앱을 실행할 수 없습니다. 하지만 이는 단지 개념을 설명하기 위한 것입니다.

XR 기기 요청

여기에서 표준 기능 감지 코드를 확인할 수 있습니다. 이 코드를 checkForXR()과 같은 함수로 래핑할 수 있습니다.

몰입형 세션을 사용하지 않는 경우 기능 알림 및 사용자 동작 가져오기를 건너뛰고 바로 세션을 요청할 수 있습니다. 몰입형 세션은 헤드셋이 필요한 세션입니다. 비몰입형 세션은 기기 화면에 콘텐츠를 표시하기만 합니다. 전자는 대부분의 사람들이 가상 현실이나 증강 현실을 언급할 때 생각하는 것입니다. 후자는 '매직 윈도우'라고도 합니다.

if (navigator.xr) {
    navigator.xr.requestDevice()
    .then(xrDevice => {
    // Advertise the AR/VR functionality to get a user gesture.
    })
    .catch(err => {
    if (err.name === 'NotFoundError') {
        // No XRDevices available.
        console.error('No XR devices available:', err);
    } else {
        // An error occurred while requesting an XRDevice.
        console.error('Requesting XR device failed:', err);
    }
    })
} else{
    console.log("This browser does not support the WebXR API.");
}

XR 세션 요청

기기와 사용자 동작이 준비되었으므로 이제 세션을 가져올 차례입니다. 세션을 만들려면 브라우저에 그릴 캔버스가 필요합니다.

xrPresentationContext = htmlCanvasElement.getContext('xrpresent');
let sessionOptions = {
    // The immersive option is optional for non-immersive sessions; the value
    //   defaults to false.
    immersive: false,
    outputContext: xrPresentationContext
}
xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Use a WebGL context as a base layer.
    xrSession.baseLayer = new XRWebGLLayer(session, gl);
    // Start the render loop
})

렌더링 루프 실행

이 단계의 코드는 약간의 정리가 필요합니다. 이를 풀기 위해 몇 가지 단어를 던져보겠습니다. 최종 코드를 미리 보려면 앞으로 이동하여 간단히 살펴본 후 전체 설명을 확인하세요. 추론할 수 없는 부분이 상당히 많습니다.

렌더링 루프의 기본 프로세스는 다음과 같습니다.

  1. 애니메이션 프레임을 요청합니다.
  2. 기기 위치를 쿼리합니다.
  3. 기기의 위치를 기반으로 기기 위치에 콘텐츠를 그립니다.
  4. 입력 장치에 필요한 작업을 실행합니다.
  5. 사용자가 종료하기로 결정할 때까지 초당 60회 반복합니다.

프레젠테이션 프레임 요청

'프레임'이라는 단어는 Web XR 컨텍스트에서 여러 의미를 갖습니다. 첫 번째는 참조 프레임으로, 좌표계의 원점이 계산되는 위치와 기기가 움직일 때 원점에 발생하는 상황을 정의합니다. (사용자가 움직일 때 뷰가 동일하게 유지되나요, 아니면 실제 생활에서처럼 이동하나요?)

두 번째 프레임 유형은 프레젠테이션 프레임으로, XRFrame 객체로 표현됩니다. 이 객체에는 AR/VR 장면의 단일 프레임을 기기에 렌더링하는 데 필요한 정보가 포함되어 있습니다. requestAnimationFrame()를 호출하여 프레젠테이션 프레임을 가져오기 때문에 이 부분은 조금 헷갈릴 수 있습니다. 이렇게 하면 window.requestAnimationFrame()와 호환됩니다.

더 많은 내용을 설명하기 전에 코드를 제공하겠습니다. 아래 샘플은 렌더링 루프가 시작되고 유지되는 방식을 보여줍니다. 프레임이라는 단어의 이중 사용에 주목하세요 requestAnimationFrame()에 대한 재귀 호출을 확인합니다. 이 함수는 초당 60회 호출됩니다.

xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
    xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
    // The time argument is for future use and not implemented at this time.
    // Process the frame.
    xrFrame.session.requestAnimationFrame(onFrame);
    }
});

포즈

화면에 무언가를 그리기 전에 디스플레이 기기가 가리키는 위치를 알아야 하며 화면에 액세스해야 합니다. 일반적으로 AR/VR에서 사물의 위치와 방향을 포즈라고 합니다. 뷰어와 입력 장치 모두에 포즈가 있습니다. (입력 장치는 나중에 다루겠습니다.) 뷰어 및 입력 장치 포즈는 모두 열 주요 순서로 Float32Array에 저장된 4x4 행렬로 정의됩니다. 현재 애니메이션 프레임 객체에서 XRFrame.getDevicePose()를 호출하여 뷰어의 포즈를 가져옵니다. 항상 포즈가 반환되었는지 테스트합니다. 문제가 발생하면 화면에 그리지 않아야 합니다.

let pose = xrFrame.getDevicePose(xrFrameOfRef);
if (pose) {
    // Draw something to the screen.
}

조회수

포즈를 확인한 후에는 그림을 그릴 차례입니다. 그리는 객체를 뷰 (XRView)라고 합니다. 여기서 세션 유형이 중요해집니다. 뷰는 XRFrame 객체에서 배열로 가져옵니다. 몰입형이 아닌 세션에 있는 경우 배열에는 뷰가 하나 있습니다. 몰입형 세션에 있는 경우 배열에는 각 눈에 하나씩 두 개가 있습니다.

for (let view of xrFrame.views) {
    // Draw something to the screen.
}

이는 WebXR과 다른 몰입형 시스템 간의 중요한 차이점입니다. 하나의 뷰를 반복하는 것이 무의미해 보일 수 있지만 이렇게 하면 다양한 기기에 단일 렌더링 경로를 사용할 수 있습니다.

전체 렌더링 루프

이 모든 것을 종합하면 아래와 같은 코드가 됩니다. 입력 장치에 대한 자리표시자를 남겨두었으며, 이는 이후 섹션에서 다루겠습니다.

xrSession.requestFrameOfReference('eye-level')
.then(xrFrameOfRef => {
    xrSession.requestAnimationFrame(onFrame(time, xrFrame) {
    // The time argument is for future use and not implemented at this time.
    let pose = xrFrame.getDevicePose(xrFrameOfRef);
    if (pose) {
        for (let view of xrFrame.views) {
        // Draw something to the screen.
        }
    }
    // Input device code will go here.
    frame.session.requestAnimationFrame(onFrame);
    }
}

XR 세션 종료

XR 세션은 XRSession.end() 호출을 통해 자체 코드에 의해 종료되는 등 여러 가지 이유로 종료될 수 있습니다. 다른 원인으로는 헤드셋 연결이 끊어지거나 다른 애플리케이션이 헤드셋을 제어하는 경우가 있습니다. 따라서 올바르게 작동하는 애플리케이션은 종료 이벤트를 모니터링하고 이벤트가 발생하면 세션 및 렌더러 객체를 삭제해야 합니다. 종료된 XR 세션은 다시 시작할 수 없습니다.

xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Create a WebGL layer and initialize the render loop.
    xrSession.addEventListener('end', onSessionEnd);
});

// Restore the page to normal after immersive access has been released.
function onSessionEnd() {
    xrSession = null;

    // Ending the session stops executing callbacks passed to the XRSession's
    // requestAnimationFrame(). To continue rendering, use the window's
    // requestAnimationFrame() function.
    window.requestAnimationFrame(onDrawFrame);
}

상호작용은 어떻게 작동하나요?

애플리케이션 수명 주기와 마찬가지로 AR 또는 VR에서 객체와 상호작용하는 방법을 간단히 살펴보겠습니다.

WebXR Device API는 사용자 입력에 '포인트 앤 클릭' 방식을 채택합니다. 이 접근 방식을 사용하면 모든 입력 소스에 입력 장치가 가리키는 위치를 나타내는 정의된 포인터 광선과 항목이 선택된 시점을 나타내는 이벤트가 있습니다. 앱은 포인터 광선을 그리고 가리키는 위치를 표시합니다. 사용자가 입력 장치를 클릭하면 이벤트(구체적으로 select, selectStart, selectEnd)가 실행됩니다. 앱은 클릭된 항목을 확인하고 적절하게 응답합니다.

입력 장치 및 포인터 광선

사용자에게 포인터 광선은 컨트롤러와 가리키는 대상 사이의 희미한 선일 뿐입니다. 하지만 앱에서 그려야 합니다. 즉, 입력 장치의 포즈를 가져오고 해당 위치에서 AR/VR 공간의 객체까지 선을 그립니다. 이 프로세스는 대략 다음과 같습니다.

let inputSources = xrSession.getInputSources();
for (let xrInputSource of inputSources) {
    let inputPose = frame.getInputPose(inputSource, xrFrameOfRef);
    if (!inputPose) {
    continue;
    }
    if (inputPose.gripMatrix) {
    // Render a virtual version of the input device
    //   at the correct position and orientation.
    }
    if (inputPose.pointerMatrix) {
    // Draw a ray from the gripMatrix to the pointerMatrix.
    }
}

이것은 Immersive Web Community Group의 입력 추적 샘플의 축소 버전입니다. 프레임 렌더링과 마찬가지로 포인터 광선과 기기를 그리는 것은 개발자의 몫입니다. 앞서 언급했듯이 이 코드는 렌더링 루프의 일부로 실행되어야 합니다.

가상 공간에서 항목 선택하기

AR/VR에서 단순히 사물을 가리키는 것은 별로 쓸모가 없습니다. 유용한 작업을 하려면 사용자가 항목을 선택할 수 있어야 합니다. WebXR Device API는 사용자 상호작용에 응답하는 세 가지 이벤트(select, selectStart, selectEnd)를 제공합니다. 예상치 못한 특이한 점이 있는데, 입력 장치가 클릭되었다는 것만 알려준다는 것입니다. 환경에서 어떤 항목을 클릭했는지는 알려주지 않습니다. 이벤트 핸들러는 XRSession 객체에 추가되며 사용 가능해지는 즉시 추가해야 합니다.

xrDevice.requestSession(sessionOptions)
.then(xrSession => {
    // Create a WebGL layer and initialize the render loop.
    xrSession.addEventListener('selectstart', onSelectStart);
    xrSession.addEventListener('selectend', onSelectEnd);
    xrSession.addEventListener('select', onSelect);
});

이 코드는 입력 선택 예를 기반으로 합니다. 더 많은 컨텍스트를 원하는 경우 참고하세요.

클릭된 항목을 파악하려면 포즈를 사용합니다. (놀라셨나요? 그렇지 않으실 겁니다.) 세부정보는 앱 또는 사용 중인 프레임워크에 따라 다르므로 이 도움말에서 다루지 않습니다. Cottontail의 접근 방식은 입력 선택 예시에 있습니다.

function onSelect(ev) {
    let inputPose = ev.frame.getInputPose(ev.inputSource, xrFrameOfRef);
    if (!inputPose) {
    return;
    }
    if (inputPose.pointerMatrix) {
    // Figure out what was clicked and respond.
    }
}

결론: 향후 전망

앞서 언급했듯이 증강 현실은 Chrome 69 (2018년 6월 중 Canary)에서 지원될 예정입니다. 그럼에도 불구하고 지금까지 개발된 기능을 사용해 보시기 바랍니다. 개선하려면 의견이 필요합니다. ChromeStatus.com에서 WebXR Hit Test를 확인하여 진행 상황을 추적하세요. WebXR 앵커를 따라 포즈 추적을 개선할 수도 있습니다.