Data gateway что это
Часто задаваемые вопросы о Data Gateway
Ниже приведены ответы на распространенные вопросы о Data Gateway.
Какие операционные системы поддерживает Data Gateway?
Для серверного развертывания можно использовать универсальный установщик Oracle для установки в Linux. Для персонального развертывания можно скопировать двоичные файлы в MacOS или Windows.
Что такое архитектура Data Gateway?
В чем разница между Remote Data Connector и Data Gateway?
Data Gateway заменяет утилиту Remote Data Connector, которая использовалась в более ранних выпусках. По-прежнему можно использовать Remote Data Connector, но мы рекомендуем использовать Data Gateway. Data Gateway имеет множество преимуществ по сравнению с Remote Data Connector:
Где установить Data Gateway?
Data Gateway устанавливается в подсети, которая обеспечивает видимость как Oracle Analytics Cloud, так и целевых источников данных. В вашей сети должен быть разрешен исходящий (выходной) трафик с узла, на котором установлен шлюз Data Gateway, в общедоступный Интернет через порт 443, чтобы шлюз Data Gateway мог обмениваться данными с Oracle Analytics Cloud. Кроме того, с сети должен быть разрешен исходящий трафик от агента Data Gateway к источнику данных. Например, сеть можно проверить, открыв браузер на узле, где установлен шлюз Data Gateway, и подключившись к Oracle Analytics Cloud. Подключение от того же узла к источнику данных также можно проверить с помощью универсального инструмента JDBC.
Можно ли развернуть несколько агентов Data Gateway?
Да. Для обслуживания одного экземпляра сервиса Oracle Analytics Cloud можно настроить несколько агентов Data Gateway. Тем не менее, все эти агенты должны быть способны обслуживать все удаленные запросы (то есть нельзя настроить один агент для обслуживания запросов только одного источника данных, а другой агент для обслуживания запросов другого источника данных). Кроме того, в серверных развертываниях на каждом узле (физическом или виртуальном) можно установить несколько агентов Data Gateway. Для обеспечения высокой доступности Oracle рекомендует использовать не менее двух экземпляров Data Gateway (т. е. две ВМ) на каждый экземпляр Oracle Analytics Cloud.
Как настроить высокую степень доступности для Data Gateway?
На стороне Oracle Analytics Cloud высокая степень доступности обеспечивается изначально. На стороне Data Gateway высокую степень доступности можно настроить, развернув по два экземпляра Data Gateway для каждого экземпляра Oracle Analytics Cloud.
Почему трафик Data Gateway только исходящий?
Data Gateway регулярно обменивается данными с Oracle Analytics Cloud, чтобы узнать, есть ли запросы Oracle Analytics Cloud, требующие обработки. Этот процесс называется Long-Polling (длинные опросы). Data Gateway отправляет сервису Oracle Analytics Cloud длинный HTTP-запрос с шифрованием TLS и ожидает обработки запроса в Oracle Analytics Cloud. Если по истечении двух минут от Oracle Analytics Cloud не поступают запросы, Data Gateway прекращает обработку запроса и отправляет его повторно, чтобы избежать следующих нежелательных вариантов событий: запрос определяется как неработающий и его обработка прекращается или срок действия сетевого подключения признается истекшим.
Как Data Gateway управляет сертификатами SSL?
Для связи по протоколу HTTPS между Data Gateway и Oracle Analytics Cloud используется SSL-сертификат экземпляра службы Oracle Analytics Cloud. Тот же сертификат используется для шифрования подключений браузера к Oracle Analytics Cloud.
Как определить конфигурацию Data Gateway?
Для определения конфигурации сервера, на котором размещается шлюз Data Gateway, используйте рекомендации по определению конфигурации Remote Data Connector: пропускная способность 100 Мбит/с, 5000 строк набора результатов и задержка 35 мс. Производительность и использование ресурсов в Data Gateway такие же, как в Remote Data Connector.
Где выполняется Data Gateway? Можно ли установить этот шлюз на виртуальной машине (ВМ)?
На стороне источника данных агент Data Gateway обычно выполняется на сервере или виртуальной машине рядом с источником данных. Кроме того, Data Gateway можно запустить на ноутбуке или вычислительном экземпляре в облаке, если Data Gateway может подключиться к источнику данных.
Можно ли вместе с моим экземпляром Oracle Analytics Cloud одновременно использовать Data Gateway и Remote Data Connector?
Как защищен сетевой трафик Data Gateway?
При установке и настройке Data Gateway создается открытый ключ. Этот открытый ключ используется вместе с закрытым ключом в Oracle Analytics Cloud для шифрования всех соединений между Oracle Analytics Cloud и Data Gateway. Функции безопасности Data Gateway предотвращают «атаки повторного воспроизведения» и атаки типа «злоумышленник в середине». Шифрование TLS1.2, разворачиваемое при подключении по протоколу HTTPS, обеспечивает дополнительный уровень шифрования.
Может ли Data Gateway ограничивать запросы, влияющие на производительность или безопасность?
Data Gateway не ограничивает размер строки запроса. Ограничение на размер строки запроса определяется количеством процессоров Oracle Compute Unit (OCPU), имеющихся у сервиса Oracle Analytics Cloud.
Как настроен тайм-аут для Data Gateway?
Для Data Gateway используется то же самое время ожидания выполнения запроса, что и для Oracle Analytics Cloud. См. Пределы запроса данных (проекты визуализации данных, классические анализы и информационные панели).
Общие сведения о локальном шлюзе данных
Мы разделили документацию по локальному шлюзу данных на материалы по Power BI и общие материалы, которые применимы ко всем службам, поддерживаемым шлюзом. Сейчас вы находитесь в материалах по Power BI. Чтобы отправить отзыв об этой статье или общем интерфейсе работы с документами о шлюзе, прокрутите статью до конца.
Локальный шлюз данных выполняет функцию моста, обеспечивая быструю и безопасную передачу данных (которые не находятся в облаке) между локальной средой и рядом облачных служб Майкрософт. К ним относятся Power BI, PowerApps, Power Automate, Azure Analysis Services и Azure Logic Apps. Благодаря шлюзу организации могут хранить базы данных и другие источники данных в локальной сети с возможностью безопасно использовать эти локальные данные в облачных службах.
Как работает шлюз
Типы шлюзов
Существует три типа шлюзов, предназначенных для разных сценариев.
Локальный шлюз данных позволяет нескольким пользователям подключаться к нескольким локальным источникам данных. Вы можете использовать локальный шлюз данных со всеми поддерживаемыми службами в рамках одной установки шлюза. Этот шлюз отлично подходит для сложных сценариев, в которых несколько пользователей обращаются к нескольким источникам данных.
Локальный шлюз данных (персональный режим) позволяет одному пользователю подключаться к источникам. Его невозможно использовать совместно с другими пользователями. Локальный шлюз данных (персональный режим) можно использовать только с Power BI. Этот шлюз отлично подходит для тех случаев, когда только один автор создает отчеты и ему не нужно предоставлять другим пользователям доступ к локальным источникам данных.
Шлюз данных виртуальной сети позволяет нескольким пользователям подключаться к нескольким источникам данных, защищенным виртуальными сетями. Установка не требуется, так как это управляемая служба Майкрософт. Этот шлюз отлично подходит для сложных сценариев, в которых несколько пользователей обращаются к нескольким источникам данных.
Использование шлюза
Чтобы использовать шлюз, нужно выполнить пять основных действий:
Что такое локальный шлюз данных?
В настоящее время Microsoft активно поддерживает только последние шесть выпусков локального шлюза данных. Мы выпускаем новое обновление для шлюзов данных каждый месяц.
Локальный шлюз данных действует как мост. Он обеспечивает быструю и безопасную передачу данных между локальными данными (т. е. данными, которые не находятся в облаке) и несколькими облачными службами Майкрософт. Эти службы включают Power BI, Power Apps, Power Automate, Azure Analysis Services и Azure Logic Apps.
Благодаря шлюзу организации могут хранить базы данных и другие источники данных в локальной сети, сохраняя возможность безопасно использовать эти локальные данные в облачных службах.
Принцип работы шлюза
Дополнительные сведения о принципах работы шлюза см. в статье Архитектура локального шлюза данных.
Типы шлюзов
Существует два типа локальных шлюзов данных, предназначенные для разных сценариев.
Локальный шлюз данных: позволяет нескольким пользователям подключаться к нескольким локальным источникам данных. В рамках одной установки шлюза вы можете использовать локальный шлюз данных со всеми поддерживаемыми службами. Этот шлюз отлично подходит для сложных сценариев, в которых несколько пользователей обращаются к нескольким источникам данных.
Локальный шлюз данных (персональный режим): позволяет одному пользователю подключаться к источникам данных. Его невозможно использовать совместно с другими пользователями. Локальный шлюз данных (персональный режим) можно использовать только с Power BI. Этот шлюз отлично подходит для тех случаев, когда только один автор создает отчеты и ему не нужно предоставлять другим пользователям доступ к локальным источникам данных.
Кроме того, существует шлюз данных виртуальной сети (VNet), который позволяет нескольким пользователям подключаться к нескольким источникам данных, которые защищены виртуальными сетями. Установка не требуется, поскольку это управляемая служба Microsoft. Этот шлюз отлично подходит для сложных сценариев, в которых несколько пользователей обращаются к нескольким источникам данных. Виртуальные сетевые шлюзы данных подробно рассматриваются в Что такое шлюз данных виртуальной сети (VNet).
Использование шлюза
Чтобы использовать шлюз, нужно выполнить четыре основных действия.
Рекомендации
Документация по шлюзу
Этот документ содержит общую информацию о локальном шлюзе данных, которая относится ко всем службам, которые поддерживает шлюз. Вы можете получить более подробную информацию о локальном шлюзе данных для конкретных продуктов, посетив следующие сайты, посвященные конкретным продуктам.
Power BI Gateway – полное руководство, охватывающее все основные аспекты
В этой статье мы узнаем о шлюзе, который используется в Power BI. Мы начнем с изучения основных концепций шлюза. Затем перейдем к пониманию типов шлюзов, их архитектуры, использования и процесса установки.
Что такое Power BI Gateway?
Power BI Gateway – это программное обеспечение, необходимое для доступа к данным, расположенным в локальной сети. Шлюз действует как охранник для локального источника данных. Если кому-то нужен доступ к локальным данным из облачного или веб-приложения, запрос проходит через шлюз. Все запросы на подключение обслуживаются шлюзом, и доступ предоставляется на основе аутентификации и требований.
Шлюзы не передают данные из локального источника на клиентскую платформу. Но он подключает эту платформу напрямую к локальному источнику данных. Клиент может получить прямой доступ к данным из своего локального местоположения, чтобы использовать их для создания отчетов, информационных моделей и анализа данных. Шлюз используется для облегчения соединений между одним источником данных или несколькими источниками данных с локальным источником данных.
Типы шлюзов Power BI
Вы можете выбрать один из двух доступных типов шлюзов:
Локальный шлюз данных (рекомендуемый/стандартный):
Эта версия локального шлюза данных позволяет подключаться к нескольким локальным источникам данных более чем одному пользователю. Вы можете использовать данные в Power BI, Azure Analysis Services, Azure Logic Apps, Microsoft Flow, PowerApps и т. д. Вы можете установить прямые подключения к нескольким источникам данных, просто установив этот тип шлюза данных. Этот шлюз данных рекомендуется для сложных сценариев, когда нескольким пользователям требуется доступ к нескольким источникам данных.
Локальный шлюз данных (персональный режим):
Персональный режим локального шлюза данных используется только одним пользователем для подключения к разным источникам данных. Рекомендуется использовать тогда, когда доступ к источникам данных требуется только одному человеку. Создавая отчеты и информационные панели с помощью Power BI, пользователь не может делиться своими правами доступа с другими пользователями.
Архитектура шлюза Power BI
Шлюз Power BI действует как посредник между облачными службами и локальными источниками данных. Локальные шлюзы данных работают как служба Windows. Эта служба Windows регистрируется в облачной службе шлюза через шину Azure.
Вы можете изучить архитектуру и работу шлюзов данных с помощью схемы и пунктов, приведенных ниже:
В основном архитектура разделена на две части:
Локальные источники данных
Как использовать шлюз в Power BI?
Выполнив четыре шага, указанные ниже, вы будете готовы использовать шлюз данных в Power BI:
Как установить Power BI Gateway
Вы можете установить приложение шлюза на любой сервер в локальном домене.
Требования
Убедитесь, что ваша система соответствует приведенным ниже спецификациям, необходимым для установки шлюза данных для Power BI:
Процесс установки Power BI Gateway
Следуйте инструкциям, чтобы установить шлюз данных для Power BI в своей системе.
Шаг 1. Перейдите в рабочее пространство Power BI и щелкните стрелку загрузки. Нажмите на опцию «Шлюз данных».
Шаг 2. Откроется страница загрузки шлюза данных. Нажмите на опцию «ЗАГРУЗИТЬ ШЛЮЗ».
Шаг 3: Откроется мастер установки. Щелкните «Далее».
Шаг 4: Выберите тип шлюза и нажмите «Далее».
Шаг 5: Вы можете оставить путь установки по умолчанию или ввести новый. Проставьте флажки, затем нажмите «Установить».
Шаг 6. Введите адрес электронной почты своей учетной записи Power BI. Нажмите «Войти».
Шаг 7: На этом шаге выберите «Зарегистрировать новый шлюз на этом компьютере». Затем нажмите «Далее».
Шаг 8: Введите имя шлюза и создайте ключ восстановления. Щелкните «Настроить».
Шаг 9: В следующем окне будет показан статус подтверждения установки вместе с другой информацией, такая как службы, с которыми будет использоваться этот шлюз.
Добавление источника данных для шлюза
В предыдущем разделе мы узнали о том, как установить или создать новый шлюз для Power BI. Далее мы посмотрим, как добавить источник данных для этого шлюза. Нам нужно добавить локальный источник данных. Мы подключимся к этому источнику данных из облачного сервиса через шлюз. Power BI Workspace – это наш облачный сервис.
Это откроет все пути ко всем источникам данных, которые используются в этом файле Power BI. Выберите источник данных, который вы хотите добавить в качестве источника данных шлюза. Затем нажмите опцию «Изменить источник..».
Подключение шлюза к набору данных
Следующим шагом после добавления источника данных к шлюзу является установка соединения. Это подключение поможет пользователю Power BI использовать наборы данных из локального источника данных. Добавленный вами источник данных должен находиться на вашем локальном устройстве. Только тогда вы сможете получить к нему доступ из службы Power BI.
Устранение неполадок шлюза Power BI
Есть некоторые общие проблемы, с которыми пользователи обычно сталкиваются при создании соединений шлюза и выполнении других действий, связанных со шлюзом:
На этом мы завершаем наше руководство по Power BI Gateway. Мы надеемся, что вы нашли наше объяснение полезным.
fesor / README.md
Существует 4 основных подхода для организации рабоыт с базой данных, Table Gateway, Row Data Gateway, Active Record и Data Mapper. Все эти подходы объеденяет то, что они скрывают от нас базу данных и нюансы работы с ними (в частности SQL). На сегодняшний день самым популярным подходом являются Active Record и Data Mapper, все о них слышали, но для того что бы более полно представлять, как развивалась идея, стоит рассказать и о первых двух.
Table Data Gateway
Можно было бы конечно сделать объект, и держать логику хранения данных внутри. Но в таком случае у нас наши сущности будут зависеть от базы данных, и их будет не так уж легко тестировать. Тесты будут требовать подключения к базе данных и от того станут медленными.
Для решения этой проблемы, нам нужна прослойка между сущностью и базой данных. Row Data Gateway. При этом подходе мы проэцируем отдельные ряды нашей таблицы на объекты, которые служат промежуточным звеном и инкпсулируют все детали о том как сохраняется информация в себе. В итоге наши сущности могут работать через этот gateway используя штатные средства языка программирования.
Отдельно стоит заметить, что поскольку Row Data Gateway представляет собой отдельную строку таблицы, для выборки нужных рядов нам нужно уже делать отдельный компонент Finder.
AR и Row Data Gateway не очень удобно тестировать. Нам хочется полной независимости от базы данных.
Object Relation Mapping
Поскольку первые два подхода практически не используются, рассмотрим Active Record и Data Mapper. В чем координальное отличие?
В рамках Active Record (или Active State) мы работаем с объектами как отображением элементов нашей базы данных, как если бы у нас был прямой доступ к ним без SQL прослойки. В DataMapper мы работаем исключительно с нашими объектами, которые лежат в памяти, и просим отдельную штуку (мэппер) что бы тот синхронизировал состояние объектов в памяти и в базе (сохранил состояние по сути).
Доустим у нас есть некий граф объектов, с которым мы работаем в рамках бизнес транзакции. И мы должны сохранить изменения в базу, то есть объект на верху графа и все связанные с ним сущности. Если руководствоваться паттерном «Информационный эксперт», заниматься этим должен тот, кто знает как это делать. В случае AR эта логика выносится прямо в сущности и мы явно задаем в каком порядке что сохранять. В случае же с DM у сущности нет таких знаний и мы выделяем все в отдельный компонент, что дает нам дополнительные варианты как это организовать удобнее для нас. От тупого разруливания графа «руками», до алгоритмов, которые разруливают это автоматически.
На негодняшний день в чистом виде в рамках существующих ORM вы можете встретить только DataMapper. ORM на основе Active Record так или иначе внутри используют намного более сложные концепции, дабы упростить разработчикам жизнь и снизить сложность.
Реализации ORM использующие Data Mapper
Реализации ORM использующие Active Record