Data sharing что это

Руководство по Совместное использование данных с помощью Azure Data Share

Из этого руководства вы узнаете, как настроить новый Azure Data Share и начать предоставлять свои данные клиентам и партнерам за пределами вашей организации Azure.

Из этого руководства вы узнаете, как выполнять следующие задачи:

Предварительные требования

Предоставление общего доступа к данным из учетной записи хранения

Предоставление общего доступа к данным из источника на основе SQL

Ниже приведен список предварительных условий для предоставления общего доступа к данным из источника SQL.

Предварительные требования для предоставления общего доступа к данным Базы данных SQL Azure или Azure Synapse Analytics (ранее — хранилище данных SQL Azure)

Необходимые условия для предоставления общего доступа к данным из пула SQL Azure Synapse Analytics (рабочая область)

Разрешение на запись в пул SQL в рабочей области Synapse, которое предоставляется через Microsoft.Synapse/workspaces/sqlPools/write. Это разрешение назначено роли участника.

Разрешение на доступ управляемого удостоверения Data Share к пулу SQL рабочей области Synapse. Это можно обеспечить следующим образом.

На портале Azure перейдите в рабочую область Synapse. Выберите на панели навигации слева «Администратор Active Directory для SQL» и назначьте себе роль администратора Azure Active Directory.

Откройте Synapse Studio, затем выберите Управление в области навигации слева. Выберите Управление доступом в разделе «Безопасность». Назначьте себе роль Администратор SQL или Администратор рабочей области.

В Synapse Studio в области навигации слева выберите Разработка. Выполните указанный ниже сценарий в пуле SQL, чтобы добавить управляемое удостоверение для ресурса Data Share в качестве db_datareader.

— это имя вашего ресурса Data Share. Если вы еще не создали ресурс Data Share, вы можете вернуться к этому требованию позже.

Доступ к брандмауэру рабочей области Synapse. Это можно обеспечить следующим образом.

Предоставление общего доступа к данным из Azure Data Explorer

Вход на портал Azure

Создание учетной записи для общего доступа к данным

Создайте ресурс Azure Data Share в группе ресурсов Azure.

Нажмите кнопку меню в левом верхнем углу окна портала и выберите элемент Создать ресурс (+).

Найдите Data Share.

Выберите Data Share и команду Создать.

Укажите основные сведения о ресурсе Azure Data Share, указав следующую информацию.

Выберите Проверить и создать, а затем Создать, чтобы подготовить учетную запись для общего ресурса данных. Подготовка новой учетной записи для общего доступа к данным обычно занимает около 2 минут или меньше.

Когда развертывание будет завершено, выберите Перейти ресурсу.

Создайте ресурс Azure Data Share в группе ресурсов Azure.

Чтобы подготовить среду для Azure CLI, выполните указанные ниже действия.

Используйте среду Bash в Azure Cloud Shell.

При необходимости установите Azure CLI, чтобы выполнять справочные команды CLI.

Если вы используете локальную установку, выполните вход в Azure CLI с помощью команды az login. Чтобы выполнить аутентификацию, следуйте инструкциям в окне терминала. Сведения о дополнительных возможностях, доступных при входе, см. в статье Вход с помощью Azure CLI.

Если появится запрос, установите расширения Azure CLI при первом использовании. Дополнительные сведения о расширениях см. в статье Использование расширений с Azure CLI.

Выполните команду az version, чтобы узнать установленную версию и зависимые библиотеки. Чтобы обновиться до последней версии, выполните команду az upgrade.

Чтобы создать ресурс, выполните следующие команды:

Выполните команду az account set, чтобы установить свою подписку в качестве текущей подписки по умолчанию:

Выполните команду az provider register, чтобы зарегистрировать поставщик ресурсов:

Выполните команду az group create, чтобы создать группу ресурсов или использовать существующую группу ресурсов:

Выполните команду az datashare account create, чтобы создать учетную запись Data Share:

Выполните команду az datashare account list, чтобы просмотреть учетные записи Data Share:

Создайте ресурс Azure Data Share в группе ресурсов Azure.

Сначала подготовьте среду для PowerShell. Вы можете либо запускать команды PowerShell локально, либо использовать среду Bash в Azure Cloud Shell.

Чтобы создать ресурс, выполните следующие команды:

Подключитесь к учетной записи Azure, выполнив команду Connect-AzAccount.

Установите нужную подписку, если их несколько, выполнив команду Set-AzContext.

Выполните команду New-AzResourceGroup, чтобы создать группу ресурсов, или используйте существующую группу ресурсов:

Выполните команду New-AzDataShare, чтобы создать учетную запись Data Share:

Выполните команду Get-AzDataShareAccount, чтобы просмотреть список ваших учетных записей Data Share:

Создание общей папки

Перейдите на страницу «Обзор Data Share».

Выберите команду Начать совместное использование данных.

Нажмите кнопку создания.

Введите сведения о совместном использовании. Укажите имя, тип совместного использования, описание содержимого и условия использования (необязательно).

Выберите Continue (Продолжить).

Чтобы добавить наборы данных в общий ресурс, выберите Добавить наборы данных.

Выберите тип набора данных, который хотите добавить. Вы увидите другой список типов наборов данных в зависимости от типа ресурса (моментальный снимок или на странице), который вы выбрали на предыдущем этапе. При предоставлении общего доступа к данным из Базы данных SQL Azure или Azure Synapse Analytics (ранее — Хранилище SQL Azure) вам будет предложено указать метод аутентификации, чтобы отобразить таблицы. Выберите значение «Аутентификация AAD» и установите флажок Разрешить Data Share выполнять указанный выше скрипт create user от моего имени.

Перейдите к объекту, доступ к которому нужно предоставить, и выберите «Добавить наборы данных».

На вкладке «Получатели» введите адреса электронной почты получателей данных, выбрав команду «+Добавить получателя».

Выберите Continue (Продолжить).

Если выбран тип общего доступа к моментальным снимкам, вы можете настроить расписание моментальных снимков для предоставления обновлений данных потребителям.

Выберите время начала и интервал повторения.

Выберите Continue (Продолжить).

На вкладке «Просмотр и создание» просмотрите содержимое пакета, параметры, получателей и параметры синхронизации. Нажмите кнопку Создать.

Выполните команду az storage account create, чтобы создать учетную запись хранения для этого ресурса Data Share:

Выполните команду az storage container create, чтобы создать контейнер в учетной записи хранения, созданной в предыдущей команде:

Выполните команду az datashare create, чтобы создать Data Share:

Выполните команду az datashare invitation create, чтобы создать приглашение для указанного адреса:

Если у вас еще нет данных, к которым нужно предоставить общий доступ, можно выполнить следующие действия, чтобы создать учетную запись хранения. Если у вас уже есть хранилище, можно перейти к шагу 2.

Выполните команду New-AzStorageAccount, чтобы создать учетную запись хранения Azure:

Выполните команду New-AzStorageContainer, чтобы создать в новой учетной записи хранения Azure контейнер, в котором будут размещаться ваши данные:

Выполните команду Set-AzStorageBlobContent, чтобы отправить файл. В следующем примере файл textfile.csv из папки D:\testFiles в локальной памяти отправляется в созданный контейнер.

Дополнительные сведения о работе со Службой хранилища Azure в PowerShell см. в этом руководстве по работе с PowerShell в Службе хранилища Azure.

Выполните команду New-AzDataShare, чтобы создать ресурс Data Share:

Выполните команду New-AzDataShareInvitation, чтобы создать приглашение для указанного адреса:

Выполните команду New-AzDataShareSynchronizationSetting, чтобы настроить периодичность синхронизации для вашей общей папки. Синхронизация может выполняться ежедневно, ежечасно или в определенное время.

Azure Data Share создан, и получатель Data Share готов принять ваше приглашение.

Очистка ресурсов

Если ресурс больше не нужен, перейдите на страницу Общие сведения об общем ресурсе данных и нажмите Удалить, чтобы удалить его.

Дальнейшие действия

Из этого руководства вы узнали, как создать службу Azure Data Share и пригласить получателей. Чтобы узнать больше о том, как потребитель данных может получить и принять Data Share, см. пособие о том, как принять и получить данные.

Источник

Несмотря на политику в отношении обмена и архивирования данных, утаивание данных по-прежнему имеет место. Авторы могут не архивировать данные или архивировать только часть данных. Отсутствие архивирования данных само по себе не является удержанием данных. Когда исследователь запрашивает дополнительную информацию, автор иногда отказывается ее предоставить. Когда авторы утаивают подобные данные, они рискуют потерять доверие научного сообщества.

Совместное использование данных может также указывать на обмен личной информацией на платформе социальных сетей.

СОДЕРЖАНИЕ

Политика правительства США

Федеральный закон

9 августа 2007 года президент Буш подписал Закон Америки КОНКУРЕНТ (или Закон « Америка создает возможности для значимого продвижения передового опыта в области технологий, образования и науки»), требующий от гражданских федеральных агентств предоставления руководящих принципов, политик и процедур для облегчения и оптимизации открытый обмен данными и исследованиями между агентствами, общественностью и политиками. См. Раздел 1009.

Политика обмена данными NIH

В Заключительном заявлении NIH об обмене данными исследований говорится:

«NIH подтверждает свою поддержку концепции обмена данными. Мы считаем, что обмен данными необходим для ускоренного преобразования результатов исследований в знания, продукты и процедуры для улучшения здоровья человека. NIH одобряет обмен окончательными данными исследований для достижения этих и других важных научных целей. NIH ожидает и поддерживает своевременный выпуск и совместное использование окончательных данных исследований, поддерживаемых NIH, для использования другими исследователями. «NIH признает, что исследователи, которые собирают данные, имеют законную заинтересованность в получении выгоды от затраченных ими времени и усилий. Поэтому мы пересмотрели наше определение «своевременной публикации и обмена», чтобы не позднее момента принятия к публикации основных выводов из окончательного набора данных. NIH по-прежнему ожидает, что первоначальные исследователи могут получить пользу от первого и непрерывного использования, но не от длительного исключительного использования ».

Политика NSF из Общих условий гранта

36. Обмен выводами, данными и другими продуктами исследований.

а. NSF… ожидает, что исследователи поделятся с другими исследователями не более чем за дополнительную плату и в разумные сроки данными, образцами, физическими коллекциями и другими вспомогательными материалами, созданными или собранными в ходе работы. Он также побуждает награжденных делиться программным обеспечением и изобретениями или иным образом действовать, чтобы внедряемые в них инновации были широко полезными и применимыми.

б. Могут быть разрешены корректировки и, в случае необходимости, исключения для защиты прав отдельных лиц и субъектов, достоверности результатов или целостности коллекций или для удовлетворения законных интересов исследователей.

Управление честности исследований

Обвинения в неправомерном проведении медицинских исследований влекут за собой серьезные последствия. Министерство здравоохранения и социальных служб США создало офис для надзора за расследованиями заявлений о неправомерном поведении, включая утаивание данных. Сайт определяет миссию:

«Office of Research Integrity (ORI) продвигает честность в биомедицинских и поведенческих исследованиях, поддерживаемых Службой общественного здравоохранения США (PHS), примерно в 4000 учреждениях по всему миру. ORI отслеживает институциональные расследования неправомерных действий в исследованиях и способствует ответственному проведению исследований (RCR) посредством просветительская, профилактическая и регулирующая деятельность ».

Идеалы в обмене данными

Некоторые исследовательские организации особенно серьезно относятся к обмену данными. WaveLab Стэнфордского университета придерживается философии воспроизводимости исследований и раскрытия всех алгоритмов и исходного кода, необходимых для воспроизведения результатов исследования. В статье под названием «WaveLab и воспроизводимые исследования» авторы описывают некоторые проблемы, с которыми они столкнулись, пытаясь воспроизвести собственное исследование по прошествии определенного периода времени. Во многих случаях это было настолько сложно, что они отказывались от усилий. Этот опыт убедил их в важности раскрытия исходного кода. Философия описана:

Международная политика

Проблемы обмена данными в академических кругах

Генетика

Утаивание данных стало настолько обычным явлением в генетике, что исследователи из Массачусетской больницы общего профиля опубликовали в журнале статью на эту тему. Исследование показало, что «из-за того, что им было отказано в доступе к данным, 28% генетиков сообщили, что не смогли подтвердить опубликованные исследования».

Психология

В исследовании 2006 года было замечено, что из 141 автора публикации эмпирических статей Американской психологической ассоциации (APA) 103 (73%) не предоставили свои данные в течение 6-месячного периода. В ходе последующего исследования, опубликованного в 2015 году, было обнаружено, что 246 из 394 авторов статей в журналах APA не предоставили свои данные по запросу (62%).

Археология

Ученые на стажировке

Исследование обучаемых ученых показало, что многие из них уже сталкивались с сокрытием данных. Это исследование вызвало опасения, что будущее поколение ученых не будет придерживаться установленной практики.

Разные подходы в разных сферах

Требования к обмену данными чаще предъявляются учреждениями, финансирующими агентствами и изданиями в области медицинских и биологических наук, чем в области физических наук. Требования сильно различаются в зависимости от того, должны ли данные вообще передаваться, кому эти данные должны быть предоставлены и кто должен нести расходы по обмену данными.

Финансирующие организации, такие как NIH и NSF, как правило, требуют большего обмена данными, но даже эти требования, как правило, признают озабоченность по поводу конфиденциальности пациентов, затрат, понесенных при обмене данными, и законности запроса. Частные интересы и государственные учреждения, представляющие интересы национальной безопасности (оборона и правоохранительные органы), часто препятствуют обмену данными и методами посредством соглашений о неразглашении.

Смотрите также

использованная литература

Литература

Источник

Что такое Azure Data Share?

В современном мире данные рассматриваются как ключевой стратегический ресурс, которым многие организации должны просто и безопасно делиться со своими клиентами и партнерами. Сегодня есть много способов, которыми клиенты обмениваются данными, в том числе через FTP, электронную почту, API-интерфейсы и т. д. Организации могут легко потерять след того, с кем они поделились своими данными. Совместное использование данных через FTP или через собственную API-инфраструктуру зачастую дорого подготавливать и администрировать. С использованием этих методов совместного доступа в больших масштабах связаны накладные расходы на управление.

Многие организации несут ответственность за данные, которыми они делятся. В дополнение к подотчетности, многим организациям требуется простой способ контролировать и отслеживать весь свой обмен данными. В современном мире ожидается, что объем данных будет продолжать расти экспоненциальными темпами, поэтому организациям необходим простой способ обмена большими данными. Клиентам требуются самые актуальные данные, чтобы получать своевременную аналитику.

Служба Azure Data Share позволяет организациям просто и безопасно обмениваться данными со множеством клиентов и партнеров. Всего за несколько щелчков мыши вы можете создать учетную запись для обмена данными, добавить наборы данных и пригласить своих клиентов и партнеров использовать общий ресурс с данными. Поставщики данных всегда контролируют данные, которыми они поделились. Служба Azure Data Share упрощает контроль и мониторинг того, когда и кем были переданы определенные данные.

Поставщик данных может контролировать способ обработки своих данных, определяя условия использования общего ресурса с данными. Потребитель данных должен принять эти условия, прежде чем сможет получить доступ к данным. Поставщики данных могут указать частоту, с которой их потребители данных будут получать обновления. Поставщик данных может отозвать доступ к новым обновлениям в любое время.

Служба Azure Data Share улучшает возможности получения аналитических данных, упрощая объединение данных третьих сторон для обогащения сценариев аналитики и ИИ. Вы можете с легкостью использовать средства аналитики Azure для подготовки, обработки и анализа данных, размещенных в Azure Data Share.

Поставщик данных и потребитель данных должны иметь подписку Azure для совместного использования и получения данных. Если у вас еще нет подписки Azure, создайте бесплатную учетную запись Azure.

Сценарии использования Azure Data Share

Azure Data Share можно использовать в различных отраслях. Например, розничный продавец хочет поделиться данными о последних точках продаж со своими поставщиками. Используя службу Azure Data Share, он может настроить общий ресурс, содержащий данные о точках продаж, для всех своих поставщиков и делиться сведениями о продажах на почасовой или ежедневной основе.

Служба Azure Data Share также позволяет создать магазин данных для конкретной отрасли. Например, для правительственного или исследовательского учреждения, которое регулярно делится анонимными данными о росте населения с третьими сторонами.

Еще один вариант использования Azure Data Share — создание консорциума данных. Например, несколько различных исследовательских учреждений могут обмениваться данными с одним уполномоченным органом. Данные анализируются, агрегируются и обрабатываются с помощью аналитических средств Azure, а затем передаются заинтересованным сторонам.

Принцип работы

В настоящее время Azure Data Share предлагает совместное использование, на основе моментальных снимков и на месте.

В методе совместного использования на основе моментальных снимков данные перемещаются из подписки Azure поставщика данных и попадают в подписку Azure потребителя данных. Как поставщик данных вы предоставляете общий ресурс и приглашаете в него получателей. Потребители данных получают приглашение для доступа к общему ресурсу по электронной почте. Как только потребитель данных примет приглашение, он может активировать полный снимок данных, которым вы поделились. Эти данные поступают в учетную запись хранения потребителей данных. Потребители данных могут получать регулярные добавочные обновления данных, которыми с ними поделились. Так у них всегда будет самая последняя версия данных.

Поставщики данных могут предлагать своим потребителям добавочные обновления данных с помощью расписания моментальных снимков. Можно настроить расписание, при котором моментальные снимки создаются на почасовой или ежедневной основе. Когда потребитель данных принимает и настраивает свой общий ресурс, он может подписаться на расписание моментальных снимков. Это выгодно в тех случаях, когда общие данные обновляются на регулярной основе, а потребителю данных требуются самые актуальные данные.

Когда потребитель данных принимает доступ к общему ресурсу, он может получать данные в выбранном хранилище данных. Например, если поставщик данных предоставляет общий доступ к данным с помощью хранилища BLOB-объектов Azure, потребитель данных может получать эти данные в Azure Data Lake Storage. Аналогично, если поставщик данных совместно использует данные из Azure Synapse Analytics, потребитель данных может выбрать, хочет ли он принимать данные в Azure Data Lake Store, Базе данных SQL Azure или Azure Synapse Analytics. В случае совместного использования с источниками на основе SQL потребитель данных также может выбрать, будет ли он принимать данные в Parquet или CSV.

Благодаря совместному использованию на месте, поставщики данных могут совместно использовать данные в том месте, где они находятся, не копируя их. После установления связи для совместного использования через поток приглашений создается символьная ссылка между хранилищем исходных данных поставщика данных и целевым хранилищем данных потребителя. Потребитель данных может считывать и запрашивать данные в режиме реального времени, используя собственное хранилище данных. Изменения в хранилище исходных данных немедленно становятся доступными потребителю данных. Сейчас для Azure Data Explorer доступна функция совместного использования на месте.

Ключевые возможности

Служба Azure Data Share позволяет поставщикам данных следующее:

Делиться данными из списка неподдерживаемых хранилищ данных с клиентами и партнерами за пределами вашей организации.

Следить за тем, с кем они поделились своими данными.

Выбрать совместное использование на основе моментального снимка или на месте.

Устанавливать частоту, с которой потребители данных получают обновления данных.

Разрешить своим клиентам извлекать последнюю версию данных по мере необходимости или предоставить возможность автоматически получать добавочные изменения данных с заданным интервалом.

Azure Data Share позволяет потребителям данных следующее:

Просматривать описание типа данных, размещенных для совместного доступа.

Просматривать условия использования данных.

Принимать или отклонять приглашение от Azure Data Share.

Принимайте данные, предоставленные вам, в поддерживаемых хранилищах данных.

Доступ к локально хранимым данным или создание полных либо инкрементных моментальных снимков общих данных.

Все перечисленные выше ключевые функции поддерживаются на портале Azure и в REST API. Дополнительные сведения об использовании данных Azure Data Share в REST API см. в нашей справочной документации.

Поддерживаемые регионы

Список регионов Azure, в которых доступна служба Azure Data Share, см. на странице продуктов, доступных по регионам.

Метаданные, хранящиеся в Azure Data Share, в Юго-Восточной Азии (Сингапур) хранятся в регионе, а для всех других поддерживаемых регионов — в географической области. Сама служба Azure Data Share не хранит копию общих данных. Данные хранятся в хранилищах данных, которые являются общими. Например, если поставщик данных хранит свои данные в учетной записи Azure Data Lake Storage, расположенной в регионе «Западная часть США», данные будут храниться именно в этом регионе. Если он обменивается данными с учетной записью хранения Azure, расположенной в Западной Европе, через моментальный снимок, данные передаются непосредственно в учетную запись хранения Azure, расположенную в регионе «Западная Европа».

Служба Azure Data Share не обязательно должна быть доступна в вашем регионе, чтобы вы могли ее использовать. Например, если у вас есть данные, хранящиеся в учетной записи хранения Azure, расположенной в регионе, где служба Azure Data Share еще не доступна, вы все равно можете использовать эту службу для обмена данными.

Дальнейшие действия

Чтобы узнать, как приступить к обмену данными, перейдите к этому руководству.

Источник