Excalidraw と Fugu: コア ユーザー ジャーニーの改善

十分に発達した科学技術は、魔法と見分けがつかない。理解していない限り。私の名前は Thomas Steiner です。Google のデベロッパー リレーションズに勤務しています。Google I/O での講演をまとめたこの記事では、新しい Fugu API の一部と、それらが Excalidraw PWA のコア ユーザー ジャーニーをどのように改善するかについて説明します。これらのアイデアからインスピレーションを得て、独自のアプリに適用していただければ幸いです。

Excalidraw を使い始めたきっかけ

まず、あるストーリーから始めたいと思います。2020 年 1 月 1 日、Facebook のソフトウェア エンジニアである Christopher Chedeau 氏が、開発を始めた小さな描画アプリについてツイートしました。このツールを使用すると、漫画風の手書きのボックスや矢印を描くことができます。翌日には、楕円やテキストを描画したり、オブジェクトを選択して移動したりできるようになりました。1 月 3 日に、このアプリは Excalidraw という名前になりました。優れたサイド プロジェクトの例に漏れず、ドメイン名の購入は Christopher 氏が最初に行ったことの 1 つでした。この時点で、色を使用して、描画全体を PNG としてエクスポートできます。

Excalidraw プロトタイプ アプリケーションのスクリーンショット。長方形、矢印、楕円、テキストがサポートされていることが示されています。

1 月 15 日、Christopher 氏はブログ投稿を公開しました。この投稿は、私を含め、X(旧 Twitter)で多くの注目を集めました。この投稿は、次のような印象的な統計から始まっています。

  • 12,000 人のユニーク アクティブ ユーザー
  • GitHub で 1,500 個のスターを獲得
  • 26 人の協力者

わずか 2 週間前に始まったプロジェクトとしては、悪くない結果です。しかし、私が本当に興味をそそられたのは、投稿のさらに下の方でした。Christopher 氏は、今回は新しいことを試したと書いています。それは、pull リクエストを送信したすべてのユーザーに無条件で commit アクセス権を付与するというものです。ブログ投稿を読んだ同日に、Excalidraw に ファイル システム Access API のサポートを追加する pull リクエストを送信し、誰かが提出した機能リクエストを修正しました。

PR を発表したツイートのスクリーンショット。

私の pull リクエストは 1 日後にマージされ、それ以降、私は完全な commit アクセス権を持つようになりました。言うまでもなく、私は権力を乱用しませんでした。これまでの 149 人の貢献者も同様です。

現在、Excalidraw は、オフライン サポート、優れたダークモード、そして File System Access API によるファイルのオープンと保存機能を備えた、インストール可能な本格的なプログレッシブ ウェブアプリです。

現在の Excalidraw PWA のスクリーンショット。

Lipis 氏が Excalidraw に多くの時間を費やしている理由

「Excalidraw に出会った経緯」の話はこれで終わりですが、Excalidraw の素晴らしい機能について説明する前に、Panayiotis を紹介します。Panayiotis Lipiridis 氏は、インターネット上では単に lipis として知られており、Excalidraw への最も多作な貢献者です。lipis 氏に、Excalidraw にこれほど多くの時間を費やす理由を尋ねました。

他の皆さんと同じように、私も Christopher 氏のツイートでこのプロジェクトを知りました。私の最初の貢献は、Open Color ライブラリを追加したことでした。この色は、現在も Excalidraw の一部として使用されています。プロジェクトが成長し、リクエストがかなり増えたため、私の次の大きな貢献は、ユーザーが図面を共有できるように図面を保存するバックエンドを構築することでした。しかし、私が貢献する本当の理由は、Excalidraw を試した人が、再びそれを使用する口実を探していることです。

lipis さんの意見に完全に同意します。Excalidraw を試した人は、再び使用する口実を探しています。

Excalidraw の動作

ここでは、Excalidraw を実際に使用する方法を説明します。私は絵が得意ではありませんが、Google I/O のロゴはシンプルなので、試してみましょう。ボックスは「i」、線はスラッシュ、円は「o」です。Shift キーを押しながらドラッグすると、正円になります。スラッシュを少し移動して、見栄えを良くします。「i」と「o」に色を付けます。青色は良好な状態です。別の塗りつぶしスタイルを試してみましょう。すべてソリッドか、クロスハッチか?いいえ、ケバは素晴らしいです。完璧ではありませんが、Excalidraw のアイデアなので、保存しましょう。

保存アイコンをクリックし、ファイル保存ダイアログでファイル名を入力します。File System Access API をサポートするブラウザである Chrome では、これはダウンロードではなく、実際の保存オペレーションです。ファイルの場所と名前を選択でき、編集した場合は同じファイルに保存できます。

ロゴを変更して「i」を赤にしてみましょう。ここで [保存] を再度クリックすると、変更内容は以前と同じファイルに保存されます。その証拠に、キャンバスをクリアしてファイルを開き直してみましょう。ご覧のとおり、変更された赤と青のロゴが再び表示されています。

ファイルを操作する

現在、File System Access API をサポートしていないブラウザでは、保存操作ごとにダウンロードが行われるため、変更を加えると、ファイル名に増分番号が付いた複数のファイルが作成され、ダウンロード フォルダがいっぱいになります。しかし、このデメリットがあっても、ファイルを保存することはできます。

ファイルを開く

では、その秘訣は何でしょうか。ファイル システム アクセス API をサポートしているブラウザとサポートしていないブラウザで、開く操作と保存する操作をどのように機能させることができるでしょうか。Excalidraw でファイルを開く処理は、loadFromJSON)( という関数で行われます。この関数は、fileOpen() という関数を呼び出します。

export const loadFromJSON = async (localAppState: AppState) => {
  const blob = await fileOpen({
    description: 'Excalidraw files',
    extensions: ['.json', '.excalidraw', '.png', '.svg'],
    mimeTypes: ['application/json', 'image/png', 'image/svg+xml'],
  });
  return loadFromBlob(blob, localAppState);
};

fileOpen() 関数は、Excalidraw で使用する browser-fs-access という小さなライブラリから取得されます。このライブラリは、File System Access API を介してファイル システムへのアクセスを提供し、以前の代替を備えているため、どのブラウザでも使用できます。

まず、API がサポートされている場合の実装について説明します。受け入れ可能な MIME タイプとファイル拡張子をネゴシエートした後、中心となるのは File System Access API の関数 showOpenFilePicker() を呼び出すことです。この関数は、複数のファイルが選択されているかどうかに応じて、ファイルの配列または単一のファイルを返します。残っているのは、ファイル オブジェクトにファイル ハンドルを配置して、再度取得できるようにすることだけです。

export default async (options = {}) => {
  const accept = {};
  // Not shown: deal with extensions and MIME types.
  const handleOrHandles = await window.showOpenFilePicker({
    types: [
      {
        description: options.description || '',
        accept: accept,
      },
    ],
    multiple: options.multiple || false,
  });
  const files = await Promise.all(handleOrHandles.map(getFileWithHandle));
  if (options.multiple) return files;
  return files[0];
  const getFileWithHandle = async (handle) => {
    const file = await handle.getFile();
    file.handle = handle;
    return file;
  };
};

フォールバック実装は、"file" 型の input 要素に依存します。受け入れ可能な MIME タイプと拡張子のネゴシエーションが完了したら、次のステップとして、プログラムで入力要素をクリックしてファイルを開くダイアログを表示します。変更時(ユーザーが 1 つまたは複数のファイルを選択したとき)に、Promise が解決されます。

export default async (options = {}) => {
  return new Promise((resolve) => {
    const input = document.createElement('input');
    input.type = 'file';
    const accept = [
      ...(options.mimeTypes ? options.mimeTypes : []),
      options.extensions ? options.extensions : [],
    ].join();
    input.multiple = options.multiple || false;
    input.accept = accept || '*/*';
    input.addEventListener('change', () => {
      resolve(input.multiple ? Array.from(input.files) : input.files[0]);
    });
    input.click();
  });
};

ファイルを保存しています

次は節約についてです。Excalidraw では、保存は saveAsJSON() という関数で行われます。まず、Excalidraw 要素配列を JSON にシリアル化し、JSON を blob に変換してから、fileSave() という関数を呼び出します。この関数も、browser-fs-access ライブラリによって提供されます。

export const saveAsJSON = async (
  elements: readonly ExcalidrawElement[],
  appState: AppState,
) => {
  const serialized = serializeAsJSON(elements, appState);
  const blob = new Blob([serialized], {
    type: 'application/vnd.excalidraw+json',
  });
  const fileHandle = await fileSave(
    blob,
    {
      fileName: appState.name,
      description: 'Excalidraw file',
      extensions: ['.excalidraw'],
    },
    appState.fileHandle,
  );
  return { fileHandle };
};

まず、File System Access API をサポートするブラウザの実装を見てみましょう。最初の数行は少し複雑に見えますが、MIME タイプとファイル拡張子のネゴシエーションを行っているだけです。以前に保存したことがあり、すでにファイル ハンドルがある場合は、保存ダイアログを表示する必要はありません。ただし、これが最初の保存である場合は、ファイル ダイアログが表示され、アプリは今後の使用のためにファイル ハンドルを取得します。残りの処理は、書き込み可能なストリームを介してファイルに書き込むだけです。

export default async (blob, options = {}, handle = null) => {
  options.fileName = options.fileName || 'Untitled';
  const accept = {};
  // Not shown: deal with extensions and MIME types.
  handle =
    handle ||
    (await window.showSaveFilePicker({
      suggestedName: options.fileName,
      types: [
        {
          description: options.description || '',
          accept: accept,
        },
      ],
    }));
  const writable = await handle.createWritable();
  await writable.write(blob);
  await writable.close();
  return handle;
};

「名前を付けて保存」機能

既存のファイル ハンドルを無視する場合は、「名前を付けて保存」機能を実装して、既存のファイルに基づいて新しいファイルを作成できます。これを示すために、既存のファイルを開いて変更を加え、既存のファイルを上書きせずに、[名前を付けて保存] 機能を使用して新しいファイルを作成します。元のファイルはそのまま残ります。

ファイル システム Access API をサポートしていないブラウザの実装は短くなります。これは、値が目的のファイル名である download 属性と、href 属性値として blob URL を持つアンカー要素を作成するだけだからです。

export default async (blob, options = {}) => {
  const a = document.createElement('a');
  a.download = options.fileName || 'Untitled';
  a.href = URL.createObjectURL(blob);
  a.addEventListener('click', () => {
    setTimeout(() => URL.revokeObjectURL(a.href), 30 * 1000);
  });
  a.click();
};

その後、アンカー要素がプログラムによってクリックされます。メモリリークを防ぐため、blob URL は使用後に取り消す必要があります。これは単なるダウンロードであるため、ファイル保存ダイアログは表示されず、すべてのファイルがデフォルトの Downloads フォルダに保存されます。

ドラッグ&ドロップ

デスクトップでのシステム統合で私が気に入っているものの 1 つが、ドラッグ&ドロップです。Excalidraw では、.excalidraw ファイルをアプリケーションにドロップすると、すぐに開いて編集を開始できます。File System Access API をサポートするブラウザでは、変更をすぐに保存することもできます。必要なファイル ハンドルはドラッグ&ドロップ操作で取得されているため、ファイル保存ダイアログを表示する必要はありません。

これを実現する秘訣は、File System Access API がサポートされている場合に、データ転送アイテムで getAsFileSystemHandle() を呼び出すことです。次に、このファイル ハンドルを loadFromBlob() に渡します。これは、数段落前に説明したものです。ファイルに対してできることは、開く、保存する、上書き保存する、ドラッグする、ドロップするなど、たくさんあります。同僚の Pete と私は、これらのテクニックをすべて記事にまとめました。少し早すぎた場合は、この記事で復習してください。

const file = event.dataTransfer?.files[0];
if (file?.type === 'application/json' || file?.name.endsWith('.excalidraw')) {
  this.setState({ isLoading: true });
  // Provided by browser-fs-access.
  if (supported) {
    try {
      const item = event.dataTransfer.items[0];
      file as any.handle = await item as any
        .getAsFileSystemHandle();
    } catch (error) {
      console.warn(error.name, error.message);
    }
  }
  loadFromBlob(file, this.state).then(({ elements, appState }) =>
    // Load from blob
  ).catch((error) => {
    this.setState({ isLoading: false, errorMessage: error.message });
  });
}

ファイルの共有

現在 Android、ChromeOS、Windows で利用できるもう 1 つのシステム統合は、Web Share Target API を介したものです。これは、ファイルアプリの Downloads フォルダです。2 つのファイルが表示されます。1 つは untitled という名前とタイムスタンプが付いたファイルです。内容を確認するには、その他アイコン、[共有] の順にクリックします。表示されるオプションの 1 つが Excalidraw です。アイコンをタップすると、ファイルに I/O ロゴのみが含まれていることがわかります。

非推奨の Electron バージョンに関する Lipis

ファイルに対して行える操作で、まだ説明していないものがあります。それはダブルクリックです。通常、ファイルをダブルクリックすると、ファイルの MIME タイプに関連付けられているアプリが開きます。たとえば、.docx の場合は Microsoft Word になります。

Excalidraw には、このようなファイル形式の関連付けをサポートするアプリの Electron バージョンがありました。そのため、.excalidraw ファイルをダブルクリックすると、Excalidraw Electron アプリが開いていました。以前に紹介した Lipis 氏は、Excalidraw Electron の作成者であり、非推奨者でもありました。Electron バージョンを非推奨にできると考えた理由を尋ねたところ、

Electron アプリは、主にダブルクリックでファイルを開きたいという理由から、当初から要望がありました。また、アプリストアでアプリを公開することも予定していました。同時に、代わりに PWA を作成することを提案する人もいたため、両方を作成しました。幸いなことに、ファイル システム アクセス、クリップボード アクセス、ファイル操作などの Project Fugu API が導入されました。ワンクリックで、Electron の余分な負荷をかけずに、デスクトップまたはモバイルにアプリをインストールできます。Electron バージョンを非推奨にして、ウェブアプリに集中し、可能な限り優れた PWA にすることは、簡単な決断でした。さらに、PWA を Google Play ストアと Microsoft Store に公開できるようになりました。これは非常に大きな変化です。

Electron 向け Excalidraw が非推奨になったのは、Electron が悪いからではなく、ウェブが十分に優れているからだと言えます。気に入った!

ファイル操作

「ウェブは十分に優れている」と言えるのは、近日提供予定のファイル処理などの機能があるからです。

これは通常の macOS Big Sur のインストールです。Excalidraw ファイルを右クリックするとどうなるか見てみましょう。インストール済みの PWA である Excalidraw で開くことを選択できます。もちろん、ダブルクリックでも機能しますが、スクリーンキャストでデモを行うにはあまりドラマチックではありません。

では、その仕組みについて説明します。最初のステップは、アプリケーションが処理できるファイル形式をオペレーティング システムに認識させることです。これを行うには、ウェブアプリ マニフェストの file_handlers という新しいフィールドを使用します。値は、アクションと accept プロパティを持つオブジェクトの配列です。アクションによって、オペレーティング システムがアプリを起動する URL パスが決まります。accept オブジェクトは、MIME タイプと関連するファイル拡張子の Key-Value ペアです。

{
  "name": "Excalidraw",
  "description": "Excalidraw is a whiteboard tool...",
  "start_url": "/",
  "display": "standalone",
  "theme_color": "#000000",
  "background_color": "#ffffff",
  "file_handlers": [
    {
      "action": "/",
      "accept": {
        "application/vnd.excalidraw+json": [".excalidraw"]
      }
    }
  ]
}

次のステップは、アプリケーションの起動時にファイルを処理することです。これは launchQueue インターフェースで行われます。ここでは、setConsumer() を呼び出してコンシューマーを設定する必要があります。この関数のパラメータは、launchParams を受け取る非同期関数です。この launchParams オブジェクトには、操作するファイルハンドルの配列を取得する files というフィールドがあります。最初のファイル ハンドルのみを対象とし、このファイル ハンドルから blob を取得して、おなじみの loadFromBlob() に渡します。

if ('launchQueue' in window && 'LaunchParams' in window) {
  window as any.launchQueue
    .setConsumer(async (launchParams: { files: any[] }) => {
      if (!launchParams.files.length) return;
      const fileHandle = launchParams.files[0];
      const blob: Blob = await fileHandle.getFile();
      blob.handle = fileHandle;
      loadFromBlob(blob, this.state).then(({ elements, appState }) =>
        // Initialize app state.
      ).catch((error) => {
        this.setState({ isLoading: false, errorMessage: error.message });
      });
    });
}

この説明が速すぎた場合は、私の記事で File Handling API の詳細をご覧ください。ファイル操作を有効にするには、試験運用版のウェブ プラットフォーム フィーチャー トグルを設定します。今年後半に Chrome に導入される予定です。

クリップボードの統合

Excalidraw のもう一つの優れた機能は、クリップボードとの統合です。図形描画全体または一部をクリップボードにコピーし、必要に応じて透かしを追加して、別のアプリに貼り付けることができます。ちなみに、これは Windows 95 のペイントアプリのウェブ版です。

この仕組みは驚くほどシンプルです。必要なのは、blob としてのキャンバスだけです。その後、blob を含む ClipboardItem を含む 1 要素の配列を navigator.clipboard.write() 関数に渡して、クリップボードに書き込みます。Clipboard API でできることについて詳しくは、Jason の記事と私の記事をご覧ください。

export const copyCanvasToClipboardAsPng = async (canvas: HTMLCanvasElement) => {
  const blob = await canvasToBlob(canvas);
  await navigator.clipboard.write([
    new window.ClipboardItem({
      'image/png': blob,
    }),
  ]);
};

export const canvasToBlob = async (canvas: HTMLCanvasElement): Promise<Blob> => {
  return new Promise((resolve, reject) => {
    try {
      canvas.toBlob((blob) => {
        if (!blob) {
          return reject(new CanvasError(t('canvasError.canvasTooBig'), 'CANVAS_POSSIBLY_TOO_BIG'));
        }
        resolve(blob);
      });
    } catch (error) {
      reject(error);
    }
  });
};

他のユーザーと共同作業する

セッション URL の共有

Excalidraw には共同作業モードもあります。複数のユーザーが同じドキュメントで共同作業できます。新しいセッションを開始するには、ライブ コラボレーション ボタンをクリックしてセッションを開始します。Excalidraw に統合されている Web Share API のおかげで、セッション URL を共同編集者と簡単に共有できます。

リアルタイムの共同編集

ここでは、Pixelbook、Google Pixel 3a、iPad Pro で Google I/O のロゴを操作して、コラボレーション セッションをローカルでシミュレートしました。1 台のデバイスで行った変更が、他のすべてのデバイスに反映されていることがわかります。

すべてのカーソルが動いているのを確認することもできます。Google Pixelbook のカーソルはトラックパッドで操作するため、安定して移動しますが、Google Pixel 3a と iPad Pro のカーソルは、指でタップして操作するため、あちこちにジャンプします。

共同編集者のステータスを確認する

リアルタイムのコラボレーション エクスペリエンスを向上させるために、アイドル検出システムも実行されています。iPad Pro のカーソルを使用すると、緑色のドットが表示されます。別のブラウザタブやアプリに切り替えると、ドットが黒くなります。Excalidraw アプリで何もしていないときは、カーソルがアイドル状態であることを示す 3 つの zZZ が表示されます。

当社の出版物を熱心に読んでいる方は、アイドル検出が Idle Detection API を通じて実現されていると考えるかもしれません。これは、Project Fugu のコンテキストで取り組まれている初期段階の提案です。ネタバレ注意: 実際はそうではありません。Excalidraw にはこの API に基づく実装がありましたが、最終的には、ポインタの動きとページの公開設定の測定に基づく、より従来型のアプローチを採用することにしました。

WICG Idle Detection リポジトリに登録された Idle Detection フィードバックのスクリーンショット。

Idle Detection API がユースケースを解決できなかった理由について、フィードバックを提出しました。Project Fugu のすべての API はオープンに開発されているため、誰でも参加して意見を述べることができます。

Lipis 氏が Excalidraw の開発を阻害している要因について語る

これに関連して、Excalidraw の開発を妨げているウェブ プラットフォームに欠けているものは何か、lipis 氏に最後の質問をしました。

File System Access API は素晴らしいですが、最近、私がよく使うファイルのほとんどは、ハードディスクではなく Dropbox や Google ドライブに保存されています。File System Access API に、Dropbox や Google などのリモート ファイル システム プロバイダが統合でき、デベロッパーがコードを記述できる抽象化レイヤが含まれていればよいと思います。ユーザーは、信頼できるクラウド プロバイダにファイルが安全に保管されていることを確認して、安心できます。

lipis さんの意見に完全に同意します。私もクラウドに住んでいます。これがすぐに実装されることを期待しています。

タブ付きアプリケーション モード

いつも YouTube をご利用いただきありがとうございます。Excalidraw には、非常に優れた API 統合が数多くあります。ファイル システム、ファイル操作、クリップボード、ウェブ共有、ウェブ共有ターゲット。もう 1 つあります。これまでは、一度に 1 つのドキュメントしか編集できませんでした。アプリを開いても、Excalidraw で、タブ付きアプリケーション モードの初期バージョンを初めてお試しください。次のように表示されます。

インストール済みの Excalidraw PWA をスタンドアロン モードで実行し、既存のファイルを開いています。次に、スタンドアロン ウィンドウで新しいタブを開きます。これは通常のブラウザタブではなく、PWA タブです。この新しいタブで 2 つ目のファイルを開き、同じアプリ ウィンドウから独立して作業できます。

タブ付きアプリケーション モードは初期段階にあり、すべてが確定しているわけではありません。ご興味のある方は、こちらの記事でこの機能の現在の状況をご確認ください。

結び

この機能やその他の機能に関する最新情報を入手するには、Fugu API トラッカーをご覧ください。ウェブをさらに進化させ、プラットフォームでより多くのことができるようになることを楽しみにしています。Excalidraw のさらなる進化と、皆様が開発する素晴らしいアプリケーションに期待しています。excalidraw.com にアクセスして作成を開始します。

本日ご紹介した API が皆様のアプリに登場するのを楽しみにしています。私の名前は Tom です。Twitter やインターネット全般で @tomayac として活動しています。ご視聴ありがとうございました。引き続き Google I/O をお楽しみください。