Data integrity что это такое
Это магическое словосочетание — Data Integrity
Если не у всех, то у очень многих сейчас на слуху это чарующее воображение словосочетание Data Integrity- целостность данных. Это интуитивно осознаваемое понятие стремительно ворвалось в фармацевтический обиход по мере выхода в последние годы достаточно большого количества руководств, посвященных этому вопросу:
В феврале 2019-го появилось русскоязычное Руководство по Целостности данных и валидации компьютеризированных систем от ГИЛС и НП, разработанное при участии специалистов PQE. Это уникальный в своём роде русскоязычный документ (ведь все остальные документы, упоминаемые в этом контексте, англоязычные и/или зарубежного происхождения). Помимо целостности данных это Руководство увязывает описанное словосочетание, собственно, с валидацией компьютеризированных систем, потому что трудно представить эти понятия в отрыве.
Нет, я, конечно, замечу, что понятие «целостность данных» в фарма касается в т.ч. и бумажных документов. Вместе с тем, позволю себе два оценочных суждения: 1) целостность данных в бумажном виде – это то, к чему нужно стремиться, но на практике это практически утопия, если подходить к этому вопросу со всей строгостью и пытаться с доказательной базой наперевес продемонстрировать следование принципам ALCOA & ALCOA+; 2) число программных решений в рамках автоматизации бизнес-процессов почти ультимативно выводит нас на обсуждение целостности данных в разрезе компьютеризированных систем и их валидации. Так что Руководство ГИЛС и НП появилось очень своевременно и сгруппировано оно весьма полезным образом. Ведь если брать зарубежные аналоги, они ведь лишь дополняют разного рода базовые руководства калибра GAMP 5, PIC/S, OECD, EDQM и т.п.
Адресуясь к этому Руководству, хочу затронуть лишь один, достаточно инновационный аспект. Принципы ALCOA & ALCOA + таковыми в нашем стремительно меняющемся мире уже не являются. Именно они как раз и понимаются интуитивно и, по сути, лишь консолидируют требования GMP на этот счет, «размазанные тонким слоем» по всему тексту GMP. Ведь Прослеживаемость (Attributable), Читаемость (Legible), Своевременность (Contemporaneous), Подлинность (Original) и Точность (Accurate)), а также (Полнота (Complete), Последовательность (Consistent), Устойчивость (Enduring) и Доступность (Available) – это и есть составляющие вышеупомянутых акронимов, смысл которых раскрыт не только в Руководстве, но и в ряде других, предшествующих ему документов.
Мне, как автору данного очерка, гораздо более серьезным показался следующий пассаж в Руководстве, возникший, впрочем, не случайно, а присутствующей в т.ч. в новейшем Руководстве по целостности данных от MHRA. Это акроним DIRA (data integrity risk assessment). В эпоху, когда только ленивый не упоминает об оценке рисков к месту и не к месту, данный пункт (6.2 Руководства ГИЛС и НП) можно воспринять, как дежурный. Однако вчитаемся в следующую фразу:
Примером приемлемого подхода является оценка риска целостности данных (data integrity risk assessment — DIRA), при которой процессы, производящие данные, или в результате которых получены данные, картируются, критические воздействия идентифицируются, а присущие риски документируются
Что же подразумевается под «картированием процессов»? Кто-то ясно себе представляет, как это будет выглядеть на практике? В MHRA изложено тоже самое практически буквально:
An example of a suitable approach is to perform a data integrity risk assessment (DIRA) where the processes that produce data or where data is obtained are mapped out and each of the formats and their controls are identified and the data criticality and inherent risks documented
Впрочем, подсказки присутствуют буквально сразу же по соседству:
Оценка рисков должна быть сосредоточена на бизнес-процессе, например: производство, контроль качества
Дело в том, что индустрия не «картирования», а моделирования бизнес-процессов развита очень хорошо примерно с 60-х годов прошлого века, а в 90-е годы уже появились программные решения, которые позволяют выполнить это моделирование «не пешком». В 1960-е годы развивался подход функционального моделирования (SADT = structured analysis and design technique), в 90-е родилось семейство стандартов IDEFx. Помимо этого, развивались другие нотации моделирования бизнес-процессов – ARIS, DFD и т.п. В настоящее время на авансцену довольно мощно вышла методология BPMN 2.0 – вот краткий очерк применительно к фарма в отношении указанных методологий. Объединяет их все одно общее свойство – это своеобразный «костыль для мозга», ведь сформулировать хотя бы на уровне требований информационную модель к будущей компьютеризированной системе без специальных инструментов практически невозможно. Точнее как, попытаться можно, но это только бумажные СМК успешно «преодолевают» нестыковки и коллизии, которые стерпит бумага. Попытка информатизировать «захламеленный» бизнес-процесс приведёт к тому, что на выходе получиться «мертворожденное» приложение, например, в части либо документооборота, либо учета лабораторной деятельности, либо статусов сырья, материалов и готовой продукции, которое будет внедряться «вечно».
Было бы очень ценно узнать мнения авторов Руководств или мнения экспертного сообщества, что подразумеваются под такими терминами, как «картирование процессов». На мой взгляд всё достаточно логично сводится к стандартной бизнес-аналитике. Ведь попытка выполнить заявленные действия как-то иначе будет сродни изобретению колеса. Вот абстрактный пример – отталкиваемся от прямой формулировки – процессы, производящие данные, картируются. Сколько процессов на среднестатистическом фармпредприятии? Понято, что зависит от уровня декомпозиции, но тем не менее? Очевидно, что эти бизнес-процессы нужно «посчитать», «инвентаризировать». Далее, речь идёт о данных. Сколько и каких данных генерирует среднестатистическое фармпредприятие? Ответ аналогичный. Если кто-либо попытается это сделать «пешком», «карандашиком в блокнотик», то неизбежно зароется в рутине. И для блокнотика или для «номинального» документа с титульным листом DIRA этого может оказаться и достаточно. Но построить работающую компьютеризированную систему таким образом, не то, чтобы не удастся – просто в процессе разработки и тестирования будут неприемлемо большие затраты на разрешение непродуманных коллизий или противоречий. Ведь если, к примеру, вы не продумали в модели системы, как будет работать 1С, то ошибка в модели приведёт к тому, что программа просто прервёт свою функцию или выполнить её неправильно. Причем логические ошибки можно искать годами. А система тем временем не сформирует бланк, не передаст выполнение функции на следующий шаг, не предоставит полномочия ответственному специалисту и т.п.
Взгляните, как выглядит пример стандартного бизнес-процесса (относительно простого) в демонстрационной версии системы BPMS CE ELMA:
Это пример улучшения бизнес-процесса. Как прочитать данную диаграмму, выполненную в нотации BPMN 2.0? Укрупнённо – есть дорожки (пулы) ответственности- Инициатор, Владелец процесса, Исполнитель. Есть ключевые этапы и виды деятельности – старт процесса (зеленый кружок), операции различных видов (пользовательская задача, оповещение и т.п.) и закономерное завершение процесса (красный кружок). Данная нотация позволяет выяснить «кто на ком стоял» (с). Ведь чем грешит бумажный документооборот? Неопределенностью. Кто заполняет журнал или бланк, в какой момент заполняет его, какие данные при этом генерируются и т.д. Нотация BPMN 2.0 в значительной степени снимет такие вопросы, поскольку модели проверяются на непротиворечивость перед их публикацией. Это и составляет ключевое отличие от «наскальной живописи», выполненной в Visio или иными графическими редакторами. Это в простом примере выше вы довольно легко «по наитию» накидаете сценарий. А если у вас таких бизнес-процессов тысячи? А если большинство сценариев – межмодульные? Впрочем, к этому образцу у читателя вполне должен сформироваться ясный ответ. Преимуществом любой нотации бизнес-моделирования являются встроенные проверки состоятельности нашей модели, прежде чем отдать её в реализацию.
Ценность данной нотации состоит в том, что она формализует комплекс всех бизнес-процессов предприятия, накладывая её на сформированную и поддерживаемую организационную структуру, а её преимущество по отношении к другим нотациям – это то, что бизнес-логика может быть автоматом транслирована в код (т.н. low code программирование) и на выходе можно получить сразу готовое решение, чья модель всех устраивает. Например, это может быть внутрифирменный портал.
Что при этом является дополнительным преимуществом, так это то, что многие вопросы в отношении целостности данных решены будут ещё на проектном этапе. Нецелостная модель просто «не взлетит». А самый распространенный вопрос – кто, в какой момент и какие данные внёс или имеет право внести – будут решены ещё на уровне проверки модели.
Я постараюсь развить данную тематику на ближайшей Российской неделе валидации. Ведь очевидно, что подобные вопросы будут приобретать только всё большую актуальность. Мне же представляется, что адресация к стандартным практикам моделирования бизнес-процессов — вполне обоснованное решение указанных вопросов.
СОДЕРЖАНИЕ
Типы целостности
Физическая целостность
Логическая целостность
Как физическая, так и логическая целостность часто имеют много общих проблем, таких как человеческие ошибки и недостатки проектирования, и оба должны соответствующим образом обрабатывать параллельные запросы на запись и извлечение данных, последний из которых является полностью самостоятельной темой.
Если в секторе данных есть только логическая ошибка, его можно использовать повторно, перезаписав его новыми данными. В случае физической ошибки затронутый сектор данных навсегда становится непригодным для использования.
Базы данных
Типы ограничений целостности
Целостность данных обычно обеспечивается в системе баз данных с помощью ряда ограничений или правил целостности. Три типа ограничений целостности являются неотъемлемой частью реляционной модели данных: целостность объекта, ссылочная целостность и целостность домена.
Если база данных поддерживает эти функции, она несет ответственность за обеспечение целостности данных, а также за модель согласованности для хранения и извлечения данных. Если база данных не поддерживает эти функции, приложения несут ответственность за обеспечение целостности данных, в то время как база данных поддерживает модель согласованности для хранения и поиска данных.
Наличие единой, хорошо контролируемой и четко определенной системы целостности данных увеличивает
Современные базы данных поддерживают эти функции (см. Сравнение систем управления реляционными базами данных ), и де-факто ответственность за обеспечение целостности данных стала возложена на базу данных. Компании и многие системы баз данных предлагают продукты и услуги для переноса устаревших систем на современные базы данных.
Примеры
Примером механизма целостности данных являются отношения между родителями и потомками связанных записей. Если родительская запись владеет одной или несколькими связанными дочерними записями, все процессы ссылочной целостности обрабатываются самой базой данных, что автоматически обеспечивает точность и целостность данных, так что ни одна дочерняя запись не может существовать без родительской записи (также называемой осиротевшей) и что ни один родитель не теряет свои дочерние записи. Это также гарантирует, что никакая родительская запись не может быть удалена, пока родительская запись владеет какими-либо дочерними записями. Все это обрабатывается на уровне базы данных и не требует проверки целостности кода в каждом приложении.
Файловые системы
data integrity
Смотреть что такое «data integrity» в других словарях:
Data integrity — in its broadest meaning refers to the trustworthiness of system resources over their entire life cycle. In more analytic terms, it is the representational faithfulness of information to the true state of the object that the information represents … Wikipedia
Data Integrity — [engl.], Datenintegrität … Universal-Lexikon
data integrity — duomenų vientisumas statusas Aprobuotas sritis informacija, informacinės technologijos ir informacinė visuomenė apibrėžtis Elektroninės informacijos savybė – elektroninė informacija nebuvo atsitiktinai ar neteisėtai pakeista ar sunaikinta.… … Lithuanian dictionary (lietuvių žodynas)
data integrity — duomenų nepažeistumas statusas T sritis informatika apibrėžtis Duomenų tapatumo išsaugojimas juos laikant, perkeliant į kitą vietą, persiunčiant tinklu. Duomenys turi išlikti absoliučiai tokie pat, kokie buvo pradžioje. Tai gali užtikrinti… … Enciklopedinis kompiuterijos žodynas
data integrity — duomenų vientisumas statusas T sritis informatika apibrėžtis Perduodamų ir apdorojamų duomenų suderinamumas, tikslumas ir neprieštaringumas. atitikmenys: angl. data integrity ryšiai: dar žiūrėk – apsauga … Enciklopedinis kompiuterijos žodynas
Data integrity — An ISO term. The property that data has not been altered or destroyed in an unauthorised manner … International financial encyclopaedia
data integrity — A measure of accuracy based on error detection … IT glossary of terms, acronyms and abbreviations
Data Integrity Field — DIF stands for Data Integrity Field. The purpose of this field is to provide End to End data protection in Computer/Enterprise data storage methodology. Data integrity concerns are not new, and protection mechanisms abound. Packet based storage… … Wikipedia
Data warehouse — Overview In computing, a data warehouse (DW) is a database used for reporting and analysis. The data stored in the warehouse is uploaded from the operational systems. The data may pass through an operational data store for additional operations… … Wikipedia
Integrity constraints — are used to ensure accuracy and consistency of data in a relational database. Data integrity is handled in a relational database through the concept of referential integrity. There are many types of integrity constraints that play a role in… … Wikipedia
Data quality — Data are of high quality if they are fit for their intended uses in operations, decision making and planning (J. M. Juran). Alternatively, the data are deemed of high quality if they correctly represent the real world construct to which they… … Wikipedia
Целостность данных
Целостность данных — термин в информатике и теории телекоммуникаций, который означает, что данные полны, условие того, что данные не были изменены при выполнении любой операции над ними, будь то передача, хранение или представление.
В телекоммуникации целостность данных часто проверяют, используя MAC-код сообщения (Message authentication code).
В криптографии и информационной безопасности целостность данных в общем — это данные в том виде, в каком они были созданы. Примеры нарушения целостности данных:
В теории баз данных целостность данных означает корректность данных и их непротиворечивость. Обычно она также включает целостность связей, которая исключает ошибки связей между первичным и вторичным ключом. К примеру, когда существуют дочерние записи-сироты, которые не имеют связи с родительскими записями.
Пример проверки целостности данных в криптографии — это использование хеш-функции, к примеру хеш-функцией тоже изменится.
Целостность данных — свойство, при выполнении которого данные сохраняют заранее определённый вид и качество.
Смотреть что такое «Целостность данных» в других словарях:
целостность данных — Свойство, при выполнении которого данные сохраняют заранее определенный вид и качество. [http://www.rfcmd.ru/glossword/1.8/index.php?a=index d=23] целостность данных Сервис контроля доступа, гарантирующий, что принятые по сети данные не были… … Справочник технического переводчика
Целостность данных — свойство, при выполнении которого данные сохраняют заранее определенный вид и качество. По английски: Data integrity См. также: Информационная безопасность Финансовый словарь Финам … Финансовый словарь
Целостность данных — Целостность (данных) (integrity (of data)): свойство данных сохранять точность и непротиворечивость независимо от внесенных изменений (ИСО/МЭК 2382 8). Источник: ИНФОРМАТИЗАЦИЯ ЗДОРОВЬЯ. ТРЕБОВАНИЯ К АРХИТЕКТУРЕ ЭЛЕКТРОННОГО УЧЕТА ЗДОРОВЬЯ.… … Официальная терминология
целостность (данных) — (integrity (of data)): Свойство данных сохранять точность и непротиворечивость независимо от внесенных изменений (ИСО/МЭК 2382 8). Источник: ГОСТ Р ИСО/ТС 18308 2008: Информатизация здоровья. Требования к архитектуре электронного учета здоровья … Словарь-справочник терминов нормативно-технической документации
целостность данных — 2.23 целостность данных (data integrity): Соответствие значений всех данных базы данных определенному непротиворечивому набору правил. Источник: ГОСТ Р ИСО/МЭК ТО 10032 2007: Эталонная модель управления данными целостность данных: Способность… … Словарь-справочник терминов нормативно-технической документации
Целостность информации — Целостность информации (также целостность данных) термин в информатике и теории телекоммуникаций, который означает, что данные полны, условие того, что данные не были изменены при выполнении любой операции над ними, будь то передача,… … Википедия
целостность системы — 1. Качество системы, которым она обладает, если корректно выполняет все свои функции, свободна от намеренных или случайных несанкционированных манипуляций. 2. Состояние системы, в котором существует полная гарантия того, что при любых условиях… … Справочник технического переводчика
целостность — 2.15 целостность (integrity): Свойство сохранения правильности и полноты активов. Источник … Словарь-справочник терминов нормативно-технической документации
Целостность базы данных — свойство базы данных, означающее, что БД содержит полную и непротиворечивую информацию, необходимую для корректного функционирования приложений. Для обеспечения целостности накладывают ограничения целостности. См. также: Базы данных Финансовый… … Финансовый словарь
целостность на уровне ссылок — ссылочная целостность целостность ссылочных данных — [Л.Г.Суменко. Англо русский словарь по информационным технологиям. М.: ГП ЦНИИС, 2003.] Тематики информационные технологии в целом Синонимы ссылочная целостностьцелостность ссылочных… … Справочник технического переводчика
Data Integrity
Смотреть что такое «Data Integrity» в других словарях:
Data integrity — in its broadest meaning refers to the trustworthiness of system resources over their entire life cycle. In more analytic terms, it is the representational faithfulness of information to the true state of the object that the information represents … Wikipedia
Data Integrity — [engl.], Datenintegrität … Universal-Lexikon
data integrity — duomenų vientisumas statusas Aprobuotas sritis informacija, informacinės technologijos ir informacinė visuomenė apibrėžtis Elektroninės informacijos savybė – elektroninė informacija nebuvo atsitiktinai ar neteisėtai pakeista ar sunaikinta.… … Lithuanian dictionary (lietuvių žodynas)
data integrity — duomenų nepažeistumas statusas T sritis informatika apibrėžtis Duomenų tapatumo išsaugojimas juos laikant, perkeliant į kitą vietą, persiunčiant tinklu. Duomenys turi išlikti absoliučiai tokie pat, kokie buvo pradžioje. Tai gali užtikrinti… … Enciklopedinis kompiuterijos žodynas
data integrity — duomenų vientisumas statusas T sritis informatika apibrėžtis Perduodamų ir apdorojamų duomenų suderinamumas, tikslumas ir neprieštaringumas. atitikmenys: angl. data integrity ryšiai: dar žiūrėk – apsauga … Enciklopedinis kompiuterijos žodynas
Data integrity — An ISO term. The property that data has not been altered or destroyed in an unauthorised manner … International financial encyclopaedia
data integrity — A measure of accuracy based on error detection … IT glossary of terms, acronyms and abbreviations
Data Integrity Field — DIF stands for Data Integrity Field. The purpose of this field is to provide End to End data protection in Computer/Enterprise data storage methodology. Data integrity concerns are not new, and protection mechanisms abound. Packet based storage… … Wikipedia
Data warehouse — Overview In computing, a data warehouse (DW) is a database used for reporting and analysis. The data stored in the warehouse is uploaded from the operational systems. The data may pass through an operational data store for additional operations… … Wikipedia
Integrity constraints — are used to ensure accuracy and consistency of data in a relational database. Data integrity is handled in a relational database through the concept of referential integrity. There are many types of integrity constraints that play a role in… … Wikipedia
Data quality — Data are of high quality if they are fit for their intended uses in operations, decision making and planning (J. M. Juran). Alternatively, the data are deemed of high quality if they correctly represent the real world construct to which they… … Wikipedia