Excalidraw и Fugu: улучшение основных путей пользователей

Любая достаточно развитая технология неотличима от магии. Если вы не понимаете его. Меня зовут Томас Штайнер, я работаю в отделе по связям с разработчиками в Google. В этой статье, основанной на моем докладе на Google I/O, я рассмотрю некоторые новые API Fugu и то, как они улучшают основные пути пользователей в PWA Excalidraw, чтобы вы могли вдохновиться этими идеями и применить их в своих собственных приложениях.

Как я пришел к Excalidraw

Я хочу начать с истории. 1 января 2020 года Кристофер Шедо, разработчик программного обеспечения в Facebook, опубликовал твит о небольшом приложении для рисования, над которым он начал работать. С помощью этого инструмента вы можете рисовать рамки и стрелки, которые выглядят как нарисованные от руки. На следующий день вы могли рисовать эллипсы и текст, а также выбирать объекты и перемещать их. 3 января приложение получило название Excalidraw, и, как и в случае с любым хорошим побочным проектом, покупка доменного имени была одним из первых действий Кристофера. Теперь вы можете использовать цвета и экспортировать весь рисунок в формате PNG.

Скриншот прототипа приложения Excalidraw, показывающий, что оно поддерживает прямоугольники, стрелки, эллипсы и текст.

15 января Кристофер опубликовал запись в блоге, которая привлекла много внимания в Твиттере, в том числе и мое. В начале публикации приводилась впечатляющая статистика:

  • 12 тыс. уникальных активных пользователей
  • 1500 звезд на GitHub
  • 26 участников

Для проекта, который начался всего две недели назад, это совсем неплохо. Но больше всего меня заинтересовало то, что было написано дальше. Кристофер написал, что в этот раз он попробовал кое-что новое: предоставил всем, кто отправил pull-запрос, безусловный доступ к коммитам. В тот же день, когда я прочитал запись в блоге, я создал pull-запрос, который добавил поддержку File System Access API в Excalidraw, выполнив запрос на добавление функции, который кто-то подал.

Скриншот твита, в котором я объявляю о своем личном рекорде.

Мой pull-запрос был объединен на следующий день, и с тех пор у меня был полный доступ к фиксации. Само собой, я не злоупотреблял своей властью. И никто из 149 участников не сделал этого.

Сегодня Excalidraw – это полноценное устанавливаемое прогрессивное веб-приложение с поддержкой офлайн-режима, потрясающей тёмной темой и возможностью открывать и сохранять файлы благодаря File System Access API.

Скриншот современного веб-приложения Excalidraw.

Липис о том, почему он посвящает так много времени Excalidraw

На этом моя история о том, как я пришел в Excalidraw, заканчивается, но прежде чем я перейду к некоторым удивительным функциям Excalidraw, я имею удовольствие представить Панайотиса. Панайотис Липиридис (Panayiotis Lipiridis), в интернете известный как lipis, – самый активный участник проекта Excalidraw. Я спросил lipis, что мотивирует его посвящать так много времени Excalidraw:

Как и все остальные, я узнал об этом проекте из твита Кристофера. Моим первым вкладом было добавление библиотеки Open Color, цвета которой до сих пор являются частью Excalidraw. По мере того как проект рос и мы получали довольно много запросов, моим следующим большим вкладом было создание бэкенда для хранения рисунков, чтобы пользователи могли ими делиться. Но больше всего меня мотивирует то, что каждый, кто попробовал Excalidraw, ищет повод использовать его снова.

Я полностью согласен с lipis. Каждый, кто попробовал Excalidraw, ищет повод использовать его снова.

Excalidraw в действии

Теперь я хочу показать вам, как вы можете использовать Excalidraw на практике. Я не очень хороший художник, но логотип Google I/O достаточно прост, поэтому позвольте мне попробовать. Коробка – это "i", линия – косая черта, а "o" – круг. Я удерживаю клавишу Shift, чтобы получился идеальный круг. Давайте я немного передвину косую черту, чтобы она выглядела лучше. Теперь добавим цвета для букв "i" и "o". Синий – это хорошо. Может, другой стиль заливки? Сплошная или штриховка? Нет, штриховка выглядит отлично. Не идеально, но в этом и есть идея Excalidraw. Сохраняем.

Я нажимаю на значок сохранения и ввожу название файла в диалоговом окне сохранения файла. В Chrome, браузере, который поддерживает File System Access API, это не скачивание, а настоящее сохранение, при котором я могу выбрать местоположение и имя файла, а если я внесу изменения, я могу просто сохранить их в том же файле.

Я изменю логотип и сделаю букву "i" красной. Если я снова нажму "Сохранить", изменения будут сохранены в том же файле, что и раньше. Чтобы доказать это, я очищу холст и снова открою файл. Как видите, измененный красно-синий логотип снова там.

Работа с файлами

В браузерах, которые в настоящее время не поддерживают File System Access API, каждая операция сохранения представляет собой скачивание, поэтому, когда я вношу изменения, у меня получается несколько файлов с увеличивающимся номером в имени файла, которые заполняют мою папку «Загрузки». Но несмотря на этот недостаток, я всё равно могу сохранить файл.

Открытие файлов

В чем же секрет? Как реализовать открытие и сохранение файлов в разных браузерах, которые могут поддерживать или не поддерживать File System Access API? Открытие файла в Excalidraw происходит в функции loadFromJSON)(, которая, в свою очередь, вызывает функцию fileOpen().

export const loadFromJSON = async (localAppState: AppState) => {
  const blob = await fileOpen({
    description: 'Excalidraw files',
    extensions: ['.json', '.excalidraw', '.png', '.svg'],
    mimeTypes: ['application/json', 'image/png', 'image/svg+xml'],
  });
  return loadFromBlob(blob, localAppState);
};

Функция fileOpen() из небольшой библиотеки browser-fs-access, которую я написал и которую мы используем в Excalidraw. Эта библиотека предоставляет доступ к файловой системе через File System Access API с резервным вариантом, поэтому ее можно использовать в любом браузере.

Сначала я покажу вам, как реализовать API, если он поддерживается. После согласования принятых MIME-типов и расширений файлов центральная часть вызывает функцию File System Access API showOpenFilePicker(). Эта функция возвращает массив файлов или один файл в зависимости от того, выбрано ли несколько файлов. Осталось только поместить дескриптор файла в объект файла, чтобы его можно было снова получить.

export default async (options = {}) => {
  const accept = {};
  // Not shown: deal with extensions and MIME types.
  const handleOrHandles = await window.showOpenFilePicker({
    types: [
      {
        description: options.description || '',
        accept: accept,
      },
    ],
    multiple: options.multiple || false,
  });
  const files = await Promise.all(handleOrHandles.map(getFileWithHandle));
  if (options.multiple) return files;
  return files[0];
  const getFileWithHandle = async (handle) => {
    const file = await handle.getFile();
    file.handle = handle;
    return file;
  };
};

Резервная реализация основана на элементе input типа "file". После согласования принимаемых MIME-типов и расширений следующим шагом является программный щелчок по элементу ввода, чтобы отобразилось диалоговое окно открытия файла. Когда пользователь выбирает один или несколько файлов, обещание выполняется.

export default async (options = {}) => {
  return new Promise((resolve) => {
    const input = document.createElement('input');
    input.type = 'file';
    const accept = [
      ...(options.mimeTypes ? options.mimeTypes : []),
      options.extensions ? options.extensions : [],
    ].join();
    input.multiple = options.multiple || false;
    input.accept = accept || '*/*';
    input.addEventListener('change', () => {
      resolve(input.multiple ? Array.from(input.files) : input.files[0]);
    });
    input.click();
  });
};

Сохранение файлов

Теперь о сохранении. В Excalidraw сохранение происходит в функции saveAsJSON(). Сначала он сериализует массив элементов Excalidraw в JSON, преобразует JSON в blob, а затем вызывает функцию с именем fileSave(). Эта функция также предоставляется библиотекой browser-fs-access.

export const saveAsJSON = async (
  elements: readonly ExcalidrawElement[],
  appState: AppState,
) => {
  const serialized = serializeAsJSON(elements, appState);
  const blob = new Blob([serialized], {
    type: 'application/vnd.excalidraw+json',
  });
  const fileHandle = await fileSave(
    blob,
    {
      fileName: appState.name,
      description: 'Excalidraw file',
      extensions: ['.excalidraw'],
    },
    appState.fileHandle,
  );
  return { fileHandle };
};

Сначала рассмотрим реализацию для браузеров с поддержкой File System Access API. Первые несколько строк выглядят немного сложными, но они всего лишь согласовывают MIME-типы и расширения файлов. Если я уже сохранял файл и у меня есть его дескриптор, диалоговое окно сохранения не должно показываться. Но если это первое сохранение, отображается диалоговое окно файла, и приложение получает дескриптор файла для дальнейшего использования. Остальное – это просто запись в файл, которая происходит через записываемый поток.

export default async (blob, options = {}, handle = null) => {
  options.fileName = options.fileName || 'Untitled';
  const accept = {};
  // Not shown: deal with extensions and MIME types.
  handle =
    handle ||
    (await window.showSaveFilePicker({
      suggestedName: options.fileName,
      types: [
        {
          description: options.description || '',
          accept: accept,
        },
      ],
    }));
  const writable = await handle.createWritable();
  await writable.write(blob);
  await writable.close();
  return handle;
};

Функция "Сохранить как"

Если я решу игнорировать уже существующий дескриптор файла, я могу реализовать функцию "сохранить как", чтобы создать новый файл на основе существующего. Чтобы показать это, я открою существующий файл, внесу некоторые изменения, а затем не перезапишу существующий файл, а создам новый файл с помощью функции сохранения. Исходный файл при этом не меняется.

Реализация для браузеров, которые не поддерживают File System Access API, короткая, поскольку все, что она делает, – это создает элемент привязки с атрибутом download, значением которого является желаемое имя файла, и URL-адресом blob в качестве значения атрибута href.

export default async (blob, options = {}) => {
  const a = document.createElement('a');
  a.download = options.fileName || 'Untitled';
  a.href = URL.createObjectURL(blob);
  a.addEventListener('click', () => {
    setTimeout(() => URL.revokeObjectURL(a.href), 30 * 1000);
  });
  a.click();
};

Затем программно выполняется клик по элементу привязки. Чтобы предотвратить утечку памяти, после использования URL объекта blob необходимо отозвать. Поскольку это просто скачивание, диалоговое окно сохранения файла не показывается, и все файлы попадают в папку Downloads по умолчанию.

Перетаскивание

Одна из моих любимых системных интеграций на компьютере – это перетаскивание. Когда я перетаскиваю файл .excalidraw в Excalidraw, он сразу открывается и я могу начать редактирование. В браузерах, поддерживающих File System Access API, я могу сразу сохранить изменения. Диалоговое окно сохранения файла не требуется, поскольку необходимый дескриптор файла был получен в результате операции перетаскивания.

Секрет в том, чтобы вызвать getAsFileSystemHandle() для элемента передачи данных, когда поддерживается API доступа к файловой системе. Затем я передаю этот дескриптор файла в loadFromBlob(), который вы можете помнить из пары абзацев выше. С файлами можно делать столько всего: открывать, сохранять, перезаписывать, перетаскивать. Мой коллега Пит и я описали все эти приемы и многое другое в нашей статье, чтобы вы могли ознакомиться с ними, если все это было слишком быстро.

const file = event.dataTransfer?.files[0];
if (file?.type === 'application/json' || file?.name.endsWith('.excalidraw')) {
  this.setState({ isLoading: true });
  // Provided by browser-fs-access.
  if (supported) {
    try {
      const item = event.dataTransfer.items[0];
      file as any.handle = await item as any
        .getAsFileSystemHandle();
    } catch (error) {
      console.warn(error.name, error.message);
    }
  }
  loadFromBlob(file, this.state).then(({ elements, appState }) =>
    // Load from blob
  ).catch((error) => {
    this.setState({ isLoading: false, errorMessage: error.message });
  });
}

Предоставление доступа к файлам

Ещё один способ интеграции с системой, который сейчас доступен на Android, ChromeOS и Windows, – это Web Share Target API. Я нахожусь в приложении "Файлы" в папке Downloads. Я вижу два файла, один из которых имеет неясное название untitled и временную метку. Чтобы проверить, что в нем содержится, я нажимаю на три точки, затем нажимаю "Поделиться", и один из вариантов, который появляется, это Excalidraw. Если нажать на значок, то можно увидеть, что файл содержит только логотип I/O.

Lipis об устаревшей версии Electron

Ещё одно действие, которое можно выполнять с файлами, – это двойной клик. Обычно при двойном клике по файлу открывается приложение, связанное с MIME-типом файла. Например, для .docx это будет Microsoft Word.

Раньше у Excalidraw была версия Electron, которая поддерживала такие ассоциации типов файлов, поэтому, когда вы нажимали дважды на файл .excalidraw, открывалось приложение Excalidraw Electron. Липис, с которым вы уже встречались ранее, был одновременно и создателем, и тем, кто прекратил поддержку Excalidraw Electron. Я спросил его, почему он считает, что можно отказаться от версии Electron:

Пользователи с самого начала просили нас создать приложение на базе Electron, в основном потому, что хотели открывать файлы, нажимая дважды. Мы также планировали разместить приложение в магазинах приложений. Параллельно кто-то предложил создать PWA, поэтому мы сделали и то, и другое. К счастью, мы узнали об API Project Fugu, таких как доступ к файловой системе, доступ к буферу обмена, обработка файлов и многое другое. Вы можете установить приложение на компьютер или мобильное устройство одним кликом, не утяжеляя его фреймворком Electron. Мы решили отказаться от версии Electron, сосредоточиться на веб-приложении и сделать его лучшим PWA. Кроме того, теперь мы можем публиковать PWA в Google Play и Microsoft Store. Это очень много!

Можно сказать, что Excalidraw для Electron не был устаревшим, потому что Electron плохой, вовсе нет, а потому, что Интернет стал достаточно хорошим. Мне нравится!

Обработка файлов

Когда я говорю, что "веб стал достаточно хорош", я имею в виду такие функции, как предстоящая обработка файлов.

Это обычная установка macOS Big Sur. Теперь посмотрите, что произойдет, если я нажму правой кнопкой мыши на файл Excalidraw. Я могу открыть его в Excalidraw, установленном PWA. Конечно, нажать дважды тоже сработает, но это не так эффектно выглядит на скринкасте.

Как это работает? Первый шаг – сообщить операционной системе, какие типы файлов может обрабатывать мое приложение. Для этого я использую новое поле file_handlers в манифесте веб-приложения. Значение этого свойства – массив объектов со свойством action и свойством accept. Действие определяет путь URL, по которому операционная система запускает приложение, а объект accept – это пары "ключ-значение" MIME-типов и связанных расширений имени файла.

{
  "name": "Excalidraw",
  "description": "Excalidraw is a whiteboard tool...",
  "start_url": "/",
  "display": "standalone",
  "theme_color": "#000000",
  "background_color": "#ffffff",
  "file_handlers": [
    {
      "action": "/",
      "accept": {
        "application/vnd.excalidraw+json": [".excalidraw"]
      }
    }
  ]
}

Следующий шаг – обработка файла при запуске приложения. Это происходит в интерфейсе launchQueue, где мне нужно задать потребителя, вызвав setConsumer(). Параметр этой функции – асинхронная функция, которая получает launchParams. У этого объекта launchParams есть поле files, которое возвращает массив дескрипторов файлов для обработки файлов. Меня интересует только первый, и из этого дескриптора обработки файлов я получаю BLOB, который затем передаю нашему старому другу loadFromBlob().

if ('launchQueue' in window && 'LaunchParams' in window) {
  window as any.launchQueue
    .setConsumer(async (launchParams: { files: any[] }) => {
      if (!launchParams.files.length) return;
      const fileHandle = launchParams.files[0];
      const blob: Blob = await fileHandle.getFile();
      blob.handle = fileHandle;
      loadFromBlob(blob, this.state).then(({ elements, appState }) =>
        // Initialize app state.
      ).catch((error) => {
        this.setState({ isLoading: false, errorMessage: error.message });
      });
    });
}

Если вы не успели уловить суть, прочитайте мою статью о File Handling API. Чтобы включить обработку файлов, установите флаг экспериментальных функций веб-платформы. Она должна появиться в Chrome в этом году.

Интеграция с буфером обмена

Ещё одна интересная функция Excalidraw – интеграция с буфером обмена. Я могу скопировать весь рисунок или его часть в буфер обмена, добавить водяной знак и вставить в другое приложение. Кстати, это веб-версия приложения Paint для Windows 95.

Принцип работы удивительно прост. Все, что мне нужно, – это холст в виде объекта blob, который я затем записываю в буфер обмена, передавая массив из одного элемента с ClipboardItem с объектом blob в функцию navigator.clipboard.write(). Подробнее о том, что можно делать с помощью Clipboard API, читайте в статье, которую мы написали вместе с Джейсоном.

export const copyCanvasToClipboardAsPng = async (canvas: HTMLCanvasElement) => {
  const blob = await canvasToBlob(canvas);
  await navigator.clipboard.write([
    new window.ClipboardItem({
      'image/png': blob,
    }),
  ]);
};

export const canvasToBlob = async (canvas: HTMLCanvasElement): Promise<Blob> => {
  return new Promise((resolve, reject) => {
    try {
      canvas.toBlob((blob) => {
        if (!blob) {
          return reject(new CanvasError(t('canvasError.canvasTooBig'), 'CANVAS_POSSIBLY_TOO_BIG'));
        }
        resolve(blob);
      });
    } catch (error) {
      reject(error);
    }
  });
};

Совместная работа

Как поделиться URL сеанса

Знаете ли вы, что в Excalidraw также есть режим совместной работы? Разные люди могут работать вместе над одним и тем же документом. Чтобы начать новый сеанс, я нажимаю кнопку совместной работы в реальном времени, а затем запускаю сеанс. Я могу легко поделиться URL-адресом сеанса со своими соавторами благодаря Web Share API , который интегрирован в Excalidraw.

Совместная работа в реальном времени

Я смоделировал сеанс совместной работы на месте, работая над логотипом Google I/O на своем Pixelbook, телефоне Pixel 3a и iPad Pro. Как видите, изменения, которые я вношу на одном устройстве, отражаются на всех остальных.

Я даже вижу, как перемещаются курсоры. Курсор Pixelbook движется плавно, поскольку управляется сенсорной панелью, а курсоры телефона Pixel 3a и планшета iPad Pro прыгают, поскольку я управляю этими устройствами, нажимая пальцем.

Просмотр статусов соавторов

Чтобы улучшить совместную работу в реальном времени, в системе даже есть функция обнаружения бездействия. Когда я использую курсор на iPad Pro, он выглядит как зеленая точка. Точка становится черной, когда я переключаюсь на другую вкладку браузера или приложение. А когда я нахожусь в приложении Excalidraw, но ничего не делаю, курсор показывает, что я бездействую, что символизируется тремя буквами zZZ.

Постоянные читатели наших публикаций могут подумать, что обнаружение бездействия реализовано с помощью Idle Detection API – раннего предложения, которое разрабатывалось в рамках проекта Fugu. Спойлер: нет. Хотя у нас была реализация на основе этого API в Excalidraw, в конце концов мы решили использовать более традиционный подход, основанный на измерении движения указателя и видимости страницы.

Скриншот отзыва об Idle Detection API, опубликованного в репозитории WICG Idle Detection.

Мы отправили отзыв о том, почему Idle Detection API не решает нашу задачу. Все API Project Fugu разрабатываются открыто, поэтому каждый может внести свой вклад и быть услышанным!

Липис о том, что сдерживает Excalidraw

Кстати, я задал lipis последний вопрос о том, чего, по его мнению, не хватает веб-платформе, что сдерживает Excalidraw:

File System Access API – это здорово, но знаете что? Большинство файлов, которые мне нужны, хранятся в Dropbox или Google Диск, а не на жестком диске. Я бы хотел, чтобы File System Access API включал уровень абстракции для поставщиков удаленных файловых систем, таких как Dropbox или Google, для интеграции и чтобы разработчики могли писать код. Пользователи могли бы расслабиться и знать, что их файлы в безопасности с поставщиком облачных сервисов, которому они доверяют.

Я полностью согласен с lipis, я тоже живу в облаке. Надеюсь, что это будет реализовано в ближайшее время.

Режим приложения с вкладками

Вау! Мы видели много отличных интеграций API в Excalidraw. Файловая система, обработка файлов, буфер обмена, веб-обмен и цель веб-обмена. Но есть ещё кое-что. До сих пор я мог редактировать только один документ за раз. Не проблема! Попробуйте раннюю версию режима приложения с вкладками в Excalidraw. Вот как это выглядит.

У меня открыт файл в установленном PWA Excalidraw, которое работает в автономном режиме. Теперь я открываю новую вкладку в отдельном окне. Это не обычная вкладка браузера, а вкладка PWA. В этой новой вкладке я могу открыть второй файл и работать с ними независимо в одном окне приложения.

Режим приложения с вкладками находится на ранней стадии разработки, и не все его функции окончательно определены. Если вас интересует эта тема, прочитайте мою статью о текущем статусе этой функции.

Заключение

Чтобы быть в курсе этой и других функций, следите за нашим трекером Fugu API. Мы рады развивать веб-технологии и предоставлять вам больше возможностей. Надеемся, что Excalidraw будет и дальше развиваться, а вы создадите ещё много потрясающих приложений. Перейти на сайт excalidraw.com

Мне не терпится увидеть, как вы будете использовать API, о которых я сегодня рассказал. Меня зовут Том, вы можете найти меня как @tomayac в Твиттере и в интернете в целом. Спасибо за внимание и приятного просмотра других презентаций Google I/O.