• express - фреймворк web-приложений для Node.js
• ioredis - библиотека для эффективной работы с Redis
• fs - библиотека для работы с файловой системой (является частью Node.js)
• moment - библиотека для работы с датами и временем
• request - библиотека для выполнения HTTP-запросов в Node.js

В программе использована конвейерная обработка данных для сведения к минимуму задержек при множественных операциях. Конвейерная обработка в Redis представляет собой метод повышения эффективности, позволяющий одновременно выполнить несколько команд без ожидания ответа на каждую отдельную команду.

Шаг 1: Получаем ответ от внешнего источника данных

  const databaseResponse = await downloadPage(url);

Шаг 2: Получаем массив ключей из ответа

  const keys = Object.keys(databaseResponse);

Шаг 3: Объявляем конвейеры для проверки наличия ключей в Redis и добавления данных

  const existsPipeline = redis.pipeline();
  const updatePipeline = redis.pipeline();

Шаг 4: Добавляем команды проверки наличия в Redis для каждого ключа в конвейер

  for (const key of keys) {
      const currentDate = databaseResponse[key].Date;
      existsPipeline.exists(currentDate);
  }

Шаг 5: Запускаем конвейер проверки наличия и ждём результат

  const existsResults = await existsPipeline.exec();

Шаг 6: Добавляем данные для отсутствующих ключей

  for (let i = 0; i < keys.length; i++) {
      const key = keys[i];
      const currentDate = databaseResponse[key].Date;
      const keyExistsInRedis = existsResults[i][1] === 1;
      if (!keyExistsInRedis) {
          const newDataArray = JSON.stringify(databaseResponse[key]);
          updatePipeline.set(currentDate, newDataArray, 'EX', REDIS_EXPIRY_SECONDS);
      }
  }

Шаг 7: Запускаем конвейер добавления данных и ждём результат

  await updatePipeline.exec();