Различия

Здесь показаны различия между двумя версиями данной страницы.

--- doc:1605:643.mgul.21010-10_13_01 [2024/01/04 14:21]
aminaraon [updateDataInRedis(url)]
+++ doc:1605:643.mgul.21010-10_13_01 [2024/01/04 15:05] (текущий)
aminaraon [checkDateRangeInRedis(formattedStartDate, formattedEndDate, keysArray)]
@@ Строка 26: / Строка 26: @@
 ====== Дополнительные объяснения по функциям ======
 ===== updateDataInRedis(url) =====
+В программе использована конвейерная обработка данных для сведения к минимуму задержек при множественных операциях. Конвейерная обработка в Redis представляет собой метод повышения эффективности, позволяющий одновременно выполнить несколько команд без ожидания ответа на каждую отдельную команду.
+=====
 Шаг 1: Получаем ответ от внешнего источника данных
     const databaseResponse = await downloadPage(url);
@@ Строка 52: / Строка 54: @@
 Шаг 7: Запускаем конвейер добавления данных и ждём результат
     await updatePipeline.exec();
+===== requestAdditionalDataIfMissing(formattedStartDate, formattedEndDate, filteredKeys) =====
+Шаг №1: Инициализация флага для отслеживания обновлений в Redis.
+    let flag = false;
+Шаг №2: Задаем максимальную разницу по времени между записями в секундах
+    const secondsThreshold = 360;
+Шаг №3: Проверяем и добавляем данные, если разница между первым ключом в Redis и начальной датой больше secondsThreshold
+    const firstKey = filteredKeys[0];
+    const formattedFirstKey = moment(firstKey).format(DATE_FORMAT);
+    const startDifference = moment(formattedFirstKey).diff(moment(formattedStartDate), 'seconds');
+    if (Math.abs(startDifference) > secondsThreshold) {
+        flag = true;
+        const dataUrl = `${URL_DBROBO}${formattedStartDate}${SDATE_QUERY_PARAM}${formattedFirstKey}`;
+        await updateDataInRedis(dataUrl);
+    }
+Шаг №4: Проверка и добавление данных для промежуточных ключей
+    for (let i = 0; i < filteredKeys.length - 2; i++) {
+        const firstDate = filteredKeys[i];
+        const secondDate = filteredKeys[i + 1];
+        const formattedFirstDate = moment(firstDate).format(DATE_FORMAT);
+        const formattedSecondDate = moment(secondDate).format(DATE_FORMAT);
+        const secondsDifference = moment(formattedSecondDate).diff(moment(formattedFirstDate), 'seconds');
+        if (secondsDifference > secondsThreshold) {
+            flag = true;
+            const dataUrl = `${URL_DBROBO}${formattedFirstDate}${SDATE_QUERY_PARAM}${formattedSecondDate}`;
+            await updateDataInRedis(dataUrl);
+        }
+    }
+Шаг №5: Проверяем и добавляем данные, если разница между последним ключом в Redis и конечной датой больше secondsThreshold
+    const lastKey = filteredKeys[filteredKeys.length - 1];
+    const formattedLastKey = moment(lastKey).format(DATE_FORMAT);
+    const endDifference = moment(formattedEndDate).diff(moment(formattedLastKey), 'seconds');
+    if (Math.abs(endDifference) > secondsThreshold) {
+        flag = true;
+        const dataUrl = `${URL_DBROBO}${formattedLastKey}${SDATE_QUERY_PARAM}${formattedEndDate}`;
+        await updateDataInRedis(dataUrl);
+    }
+Шаг №6: Если флаг установлен в true, возвращение новых отсортированных и отфильтрованных ключей из Redis, иначе возвращаем filteredKeys
+    return flag ? await sortedAndFilteredKeys(formattedStartDate, formattedEndDate) : filteredKeys;
+===== checkDateRangeInRedis(formattedStartDate, formattedEndDate, keysArray) =====
+Шаг №1: Инициализация переменных, получение начальной и конечной временных меток из Redis
+    const startDate = keysArray[0];
+    const endDate = keysArray[keysArray.length - 1];
+Шаг №2: Расчет временной разницы в минутах между конечной датой Redis и заданной начальной датой.
+    let startDifference = moment(endDate).diff(moment(formattedStartDate), 'minutes');
+Шаг №3: Проверка, находится ли заданная начальная дата внутри или частично пересекается с временным диапазоном Redis.
+    if (startDate <= formattedStartDate && formattedStartDate < endDate && Math.abs(startDifference) >= 5) {
+        // Если условие выполняется, возвращаем true, указывая на пересечение временных диапазонов.
+        return true;
+    }
+Шаг №4: Расчет временной разницы в минутах между заданной конечной датой массива и начальной датой Redis.
+    let endDifference = moment(formattedEndDate).diff(moment(startDate), 'minutes');
+Шаг №5: Если ни одно из условий не выполнилось, возвращаем false, указывая на отсутствие пересечения временных диапазонов, иначе true
+    return formattedStartDate <= startDate && startDate < formattedEndDate && Math.abs(endDifference) >= 5;

Robo wiki

Инструменты пользователя

Инструменты сайта

Различия

Инструменты страницы