SCAN: Технологии

Что такое оцифровка?

02.10.2015, Пт, 14:05, Мск 2707

Сканирование, ретроконверсия и сопутствующие услуги. Обзор технологий перевода документов в электронный вид.

Существует несколько вариантов организации процессов оцифровки. Они могут производиться самостоятельно или с аутсорсингом услуг, с вывозом документов или выполнением работ на своей территории. При оцифровке могут применяться офисные, профессиональные документные или планетарные сканеры. Данные могут извлекаться в ручном, полуавтоматическом или автоматическом режимах, с проведением предварительной архивной обработки бумажных документов или классификацией информации уже в электронном виде и т.д.

Какой путь выбрать?

Решение зависит от конкретной задачи, потому что каждое из вышеупомянутых «или» определяет качество получаемого результата и стоимость работ. Например, извечен вопрос сшитых документов: выгодней медленно отсканировать в сшитом состоянии или потратиться на расшивку, зато быстро оцифровать на документных сканерах?

Самый простой способ выбрать наиболее подходящий для вас путь – обратиться за экспертизой к специализирующейся на оцифровке организации. Заинтересованные в работах, крупные компании проведут обследование бесплатно, и за вас определят оптимальный подход. Не пренебрегайте этой возможностью и не ждите склонения к заказу услуг: большинство этих компаний также заинтересованы в поставке оборудования и ПО для самостоятельной оцифровки.

Сколько документов нужно сканировать?

Определяющий параметр – объем документов.

Определяющий параметр – объем документов. Для ежедневного сканирования небольших пачек расшитых документов (например, первичной бухгалтерии) подойдет обычный офисный сканер, выдерживающий нагрузку в несколько тысяч страниц в день. Нужно лишь дополнить его удобной программой для индексирования.

Для регулярного сканирования больших объемов необходимо профессиональное оборудование. Это – промышленные сканеры, которые стоят немалых денег (подобное оборудование используют ФНС, ФТС, крупные банки). Поэтому менее дорогой альтернативой может стать рамочное соглашение на оказание периодических услуг оцифровки.

Перевод в электронный вид больших ретроспективных массивов своими силами экономически не обоснован: помимо закупки оборудования и обучения сотрудников, потребуются значительные трудовые и временные затраты. Однозначно эффективнее заказывать услугу, так как крупная компания может выделить большой штат и решить задачу оперативно.

Где сканировать документы?

Определяющий параметр – востребованность сканируемых документов. Влияет ли на деятельность организации изъятие документов на время сканирования? Особенно это критично при оцифровке документов, к которым регулярно обращаются сотрудники, либо которые могут быть внезапно запрошены контролирующим органом, а также для устранения связанных с документами ЧП. Примеры: финансовые и кадровые документы, техническая и эксплуатационная документация, книги ЗАГС и другие отраслевые фонды.

Участок сканирования, организованный в помещениях компании-заказчика услуг.

Если необходимо оцифровать их достаточно быстро, то традиционным подходом является заказ услуг с выездом бригады сканирования на вашу территорию. Зачастую это оказывается дешевле, чем доставлять документы на производство исполнителя и обратно, но все определяет территориальная удаленность. Регламент выездных работ подразумевает сканирование выданного дела в течение одного-двух рабочих дней, без длительного изъятия из рабочего процесса.

Расшивать ли документы?

Определяющие параметры: состояние документов и возможность расшивки. Если есть такая возможность, и бумага пригодна для протяжки документным сканером, то следует расшивать. Дело в том, что сканирование сшитых документов на планетарном (книжном) сканере в несколько десятков раз медленнее потоковой оцифровки. Пропорционально увеличиваются время работ и стоимость труда. Сканирование на документных сканерах, даже с учетом расшивки, оперативнее и дешевле.

Расшивать можно самостоятельно, а можно доверить это исполнителю.

Расшивать можно самостоятельно, а можно доверить это исполнителю: если выбрана авторитетная компания, опасаться утраты документов не стоит. Наоборот, жесткая регламентация всех процессов и качественные материалы позволяют компаниям застраховаться от дополнительных финансовых потерь и ущерба имиджу. Этому подходу доверяют даже российские суды: при организации сканирования обычно внутренним приказом разрешается расшивка и последующая сшивка судебных дел.

К слову, крупные компании параллельно могут провести профессиональную архивную обработку: во-первых, часть работ итак выполняется при подготовке к сканированию, во-вторых, архивная обработка помогает выявить невостребованные документы и сократить объемы сканируемых массивов, что может снизить стоимость работ.

Какое качество выбрать?

Сегодня высококачественно можно отсканировать любой объект: от маленькой библиотечной карточки до карт формата 8А0 и театральных декораций.

Определяющие параметры: вид документа и объем получаемого ресурса в электронной форме. Сегодня сканирующее оборудование позволяет получать образы с разрешением от 200 до 1200 точек на дюйм (dpi). Для художественных произведений обычно применяется разрешение 400–600 dpi, позволяющее создавать высококачественные репродукции. Более высокое качество используется только при необходимости увеличения изображения и детализации мелких предметов, например, монет.

Детализированные и неконтрастные чертежи, часто выполненные на кальке и синьке, нуждаются в сканировании с разрешением 300-400 точек на дюйм и дополнительной обработке изображений в графических редакторах. Остальные документы обычно сканируются с разрешением 300 dpi, достаточным для распечатки копий без потери качества. Необходимая обрезка изображений, геометрическое исправление, цветокоррекция, конвертация в форматы pdf, tiff, jpegи др. может проводиться в полностью автоматическом режиме программами, встроенными в сканирующее оборудование или поставляемыми вместе с ним.

В большинстве случаев используется цветной режим съемки. Это нужно для всех документов, в которые вносились исправления или ставились печати поверх текста, для удостоверения того, что электронная копия снималась с оригинала документа с печатью и подписью, а также для читаемости угасающих текстов и передачи уникальных особенностей оригинала. Необходимость цветного сканирования художественных произведений не обсуждается. Режим «градации серого» применяется лишь в некоторых случаях: когда документы не содержат цветных атрибутов, либо когда необходимо сократить объем получаемого электронного ресурса.

Сканирование может осуществляться самостоятельно. Главной задачей становится обучение сотрудников правильной работе со сложной техникой, так как качество получаемых изображений важно для последующего индексирования: плохо отсканированный документ, тени, засветка и другие дефекты на электронном образе могут сделать нечитаемой важную информацию. Это не позволит применить технологии автоматического извлечения данных и может привести к ошибкам в индексировании. Загрузка ошибочных данных в некоторые системы (государственные реестры, бухгалтерские учетные системы) не позволительна.

Индексирование

Простое сканирование применяется редко, поскольку при последующей работе искать информацию в наборе графических файлов будет лишь немногим проще перелистывания бумаги. Для возможности поиска необходимо выделить в документе несколько атрибутов (индексных полей).

Сотрудники, задействованные в массовом индексировании документов методом ручного ввода.

Выделенные атрибуты можно внести в имя файла. Такая практика сложилась в российских судах: для того чтобы оператор сканирования не имел доступа к внутренним системам суда, при оцифровке все необходимые реквизиты вносятся в имя файла. В последующем эти реквизиты распознаются системой судопроизводства при загрузке каждого документа по отдельности.

Но обычно оцифрованные документы загружаются в информационную систему группой, что требует создания базы данных. Так, если необходимо прикрепить документ к уже существующей карточке в учетной системе, бывает достаточно извлечь пару однозначно определяющих его реквизитов – обычно номер и дату.

Если же нужно сформировать поисковую базу на основании самих документов, то объем извлекаемых данных определяется задачей: от пары реквизитов для поиска файла в электронном архиве до переноса всей значимой информации в аналитическую БД (ФИО, адресов, ИНН, КПП, дат, номеров документов-приложений и т.д.).

Свои правила индексирования применяются в музеях, библиотеках и архивах при оцифровке единиц хранения и учетных документов. Отдельным направлением услуг также является векторизация, которая применяется, в частности, при оцифровке каротажных лент (автоматическая) и чертежей (ручная отрисовка в CAD-системах).

Сколько данных извлекать?Ответ на этот вопрос также лучше получить, воспользовавшись экспертизой, так как количество извлекаемых реквизитов зависит от функциональной задачи и в значительной мере определяет стоимость оцифровки. В некоторых случаях можно ограничиться подборками документов, когда электронные образы объединяются под эгидой основного документа (например, договора или реестра счетов). В других необходимо извлечение всех содержащихся в документе данных для заполнения карточки информационной системы.

Примеры извлекаемых данных

Анализ размещенных на портале zakupki.gov.ru заказов компаний с государственным участием и госучреждений (44-ФЗ, 223-ФЗ), показывает, что:

– Для привязки электронных копий ОРД к системе электронного документооборота достаточно номера, даты и типа документа.

– Сканирование финансовой документации часто сопровождается извлечением номера, даты, наименований и реквизитов плательщиков, сумм.

– Оцифровка архивных документов муниципалитетов (постановления администраций, горисполкомов, сельсоветов и т.д.) в целях оказания услуг и инвентаризации объектов земельно-имущественных отношений требует извлечения номера и даты документа, всех встречаемых ФИО и адресов. Причем адреса необходимо сопоставлять с текущими справочниками КЛАДР/ФИАС.

– Оцифровка документов Архивного фонда РФ сопровождается строгим заполнением НСА и описанием фондов в соответствии с архивным законодательством.

– Индексирование описей и реестров подразумевает распознаванием всех порядковых записей.

– Для работы с чертежами в электронном виде необходимо извлечь практически все поля штампа.

– Сканирование составных дел требует не только извлечения реквизита каждого документа, но и установления взаимосвязей. Наиболее сложен случай конструкторской документации, где формируемая база данных обладает многоуровневой иерархией и связями документов.

21.01.2016, Чт, 17:51, Мск, Текст: Павел Притула 3068

Перевод в электронный вид исторических документов и формирование баз данных на основе архивных описей – один из сложнейших видов оцифровки, требующий особого оборудования, технологий и внимательного отношения к оригиналам документов.

Как и во всех остальных отраслях государственной и коммерческой деятельности, оцифровка фондов в государственных и муниципальных архивах служит решению сразу нескольких задач: наведению порядка в фондовом учете, упрощению поиска документов, снижению нагрузки на сотрудников и времени при отработке запросов пользователей, сохранению ветхих оригиналов, переходу к предоставлению архивных услуг в электронном виде, в том числе платных услуг.

Работы по переводу архивных фондов в электронный вид начались еще на рубеже тысячелетий. За прошедшее с тех пор время российскими архивами оцифрованы сотни тысяч исторических документов и описей. Но все равно это лишь малая часть Архивного Фонда РФ.

Два подхода

1. Если условно представить фонды архивного учреждения в виде пирамиды, то основной ее объем будут составлять непосредственно документы, и лишь малую часть на вершине – научно-справочный аппарат (описи), обеспечивающий навигацию по фондам и поиск требуемых дел и документов.

Многие учреждения используют оцифровку для решения разовых, узких задач. По аналогии с внедрением множества программных продуктов под каждую мелкую задачу, такая оцифровка называется «лоскутной». Например, в связи с юбилеем значимой для субъекта РФ личности ожидается увеличение интереса исследователей к архивным документам. Архив получает финансирование, сканирует эти фонды и переводит в формат базы данных 2–3 соответствующие описи.

Например, в связи с юбилеем значимой для субъекта РФ личности ожидается увеличение интереса исследователей к архивным документам. Архив получает финансирование, сканирует эти фонды и переводит в формат базы данных 2–3 соответствующие описи.

Этот путь – несистемный подход, позволяющий отчитаться о выполненной работе в короткий промежуток времени, но никак не отражающийся на общей эффективности работы архива, так как суммарный объем переведенных в электронный вид документов составляет доли процента от фондов учреждений. Многие архивы идут этим путем исключительно из-за недостатка финансирования. Но большинство все-таки понимает, что необходимы долгосрочные, плановые работы.

2. Поэтому многие добиваются длительных программных бюджетов и следуют другой стратегии, гораздо более перспективной с точки зрения развития архивных услуг и онлайн-сервисов. Эту стратегию поддерживает и Федеральное архивное агентство (Росархив).

Приоритет в ней отдается переводу в электронный вид всего научно-справочного аппарата. Этот путь позволяет перейти к полноценному автоматизированному учету фондов, в том числе к созданию единых информационных систем для региональных архивов.

Кроме того, появляется возможность простого и удобного поиска по фондам, что облегчает внутреннюю деятельность и позволяет перейти к предоставлению архивных услуг в электронном виде.

Документы сканируются в текущем режиме при поступлении запросов от пользователей. Для этого архиву достаточно иметь хотя бы один профессиональный сканер. А вот для оцифровки больших по объему массивов, описей, а также особо ценных документов по прежнему привлекаются эксперты из организаций, специализирующихся на сканировании и ретроконверсии.

Специфика оцифровки архивных документов

Теперь рассмотрим чуть подробнее некоторые особенности сканирования и индексирования архивных документов и описей. В отличие, к примеру, от тиражируемых книг, в архивах почти каждый документ уникален. Огромная ответственность ложится на оператора сканирования, который должен увидеть особое состояние документа (ветхость, повреждения, уход текста в корешок, особую сшивку и т.д.) и оперативно настроить оборудование, либо передать документ на реставрацию.

Один из часто сканируемых видов архивных фондов – межевые дела. Это стандартный архивный документ с толстым корешком. Однако среди его листов встречаются вложения формата до А0. Расшивать дела нельзя, протяжную технику не применишь. Исполнитель должен обладать другим классом оборудования – широкоформатными сканерами планетарного типа (пример).

Очень высокое значение приобретает опыт , которого привлекают к работам в учреждении. Как показала многолетняя практика, частая перенастройка оборудования, необходимость в режиме реального времени отслеживать качество оригиналов и получаемых электронных образов не под силу новичкам в оцифровке. Если конкурс выиграла такая компания, велики риски значительно увеличить сроки проекта или получить некачественный ресурс (поэтому нужно обязательно досконально проверять подготовленные электронные образы при сдаче работ).

Оборудование

Особенности документов предъявляют симметрично высокие требования и к оборудованию. Для архивных документов можно использовать исключительно бесконтактную сканирующую технику – планетарные сканеры.

Причем сканер должен обладать высочайшими характеристиками разрешения, цветопередачи и контрастности, так как велико наличие неконтрастных, угасающих текстов и изображений. Какое оборудование пользуется популярностью на рынке планетарных сканеров, можно узнать из нашего обзора 2014 года.

Первый такой сканер был разработан ЭЛАР в рамках проекта оцифровки фонда 350 «Ревизские сказки и исповедальные ведомости» Российского государственного архива древних актов. Для того, чтобы сканировать ветхие оригиналы высотой до 50 см и весом до 50 кг, сканер оснащен моторизированной колыбелью. Безопасный уровень силы прижатия к стеклу контролируется несколькими сенсорами.

Особая структура, толщина, вес архивных документов иногда приводят к необходимости разработки специальной техники. Так, в большинстве государственных архивов среди востребованных фондов генеалогической направленности имеются дела толщиной более 30 см и весом до 60 кг: например, материалы переписей населения (переписные книги), документы церковных приходов о рождении и пр. Долгое время, несмотря на востребованность, эти фонды не сканировались по причине отсутствия оборудования. Подходящие сканеры появились на рынке только в конце 2013 г., но сегодня уже завоевали популярность.

Индексирование

Чтобы вести учет и иметь возможность искать документы, их надо проиндексировать – заполнить карточки в АИС. Большинство архивных документов и описей выполнены вручную или с помощью печатной машинки, то есть не поддаются качественному программному распознаванию. Требуется ручная ретроконверсия.

Снова появляются дополнительные требования к исполнителю. Во-первых, он должен обладать достаточным штатом, чтобы выполнить работу в срок. В наиболее масштабных на сегодня проектах по оцифровке архивных фондов участвовало до 700 операторов индексирования. Держать такой постоянный штат невыгодно, поэтому крупные и опытные компании именно для крупных региональных архивных проектов часто привлекают местное население. Впервые такая технология была применена при оцифровке метрических книг для проекта «Поколения Пермского края». Через Центр занятости были временно трудоустроены несколько сот человек. Причем работали они на дому, через специальное приложение.

Классический пример – в старинном документе указана дата 37 мая. Обученный и здравомыслящий оператор, естественно, не стал вносить неверные данные, а уточнил дату по соседним листам метрической книги.

Главный вопрос – как добиться 100% качества? Ведь в ФИО, датах, номерах ошибаться нельзя. На помощь приходят жесткая система и технологии. Например, метод двойного ввода, когда информация попадает в Базу данных только после одинакового внесения 2 операторами.

Но все равно остается проблема мертвых языков и написания. При ретроконверсии таких документов на первый план выходит опыт руководителей групп индексирования, которым часто приходится решать и сложные нестандартные задачи.

Описи

А теперь о главном. Как уже отмечалось в начале статьи, перспективной стратегией оцифровки архивных фондов является перевод в электронный вид полного НСА. Это – наиболее сложная работа. Методическими рекомендациями Росархива установлены правила ведения баз данных по архивным описям. Поэтому описи необходимо индексировать по широкому набору полей.

Сложность оцифровки архивных описей учтена, в том числе, в 44-ФЗ «О контрактной системе». Согласно ч. 2 ст. 56 закона, «оказание услуг, связанных с необходимостью допуска подрядчиков, исполнителей к учетным базам данных музеев, архивов, библиотек» является основанием для проведения конкурса с ограниченным участием (участие ограничено результатами предквалификационного отбора). То есть только после подтверждения претендентом своих компетенций и опыта выполнения аналогичных проектов.

Описи, как и документы, могут быть ветхими и написаны на одном из мертвых языков. Описи могут иметь очень сложную структуру и содержать . Отличается формат описей для обычной и научно-технической документации, а также объектов нефондового учета. Сформированную базу данных надо заносить в программный комплекс «Архивный фонд» и т.д.

Без глубокого понимания процессов архивной деятельности, знания нормативной и методологической базы осуществить качественный перевод НСА в электронный вид не получится. Поэтому необходимо доверять оцифровку только проверенным компаниям, доказавшим на деле свое умение обращаться с архивными фондами. А оценить бюджет можно, заказав .

В последние годы все более популярной становится оцифровка документов в архиве. Обычная бумага портится, стареет, а информация, которая в ней находится, может полностью потеряться. Ведь раньше и бумага была другая, и условия хранения документов совсем иные. Именно поэтому требуется оцифровка архивов.На сегодняшний день оцифровка архивов пользуется наибольшим спросом у крупных организаций, которые давно мечтают все свои архивы перевести на безбумажную технологию.

Поиск за секунды

Если для того, чтобы найти и сделать ксерокопию документа с нужным номером, находящегося в бумажном архиве, может тратиться огромное количество драгоценного рабочего времени, то с использованием цифрового архива данная задача будет решена буквально за одну-две секунды. При этом такое время нужно на поиск нужного документа и на его печать.

Любая фирма, организация буквально ежедневно отправляет контрагентам документы, которые так нужны для сопровождения сделок. Если будет выполнена и вы, и ваши сотрудники в любой момент смогут с легкостью отправить по электронной почте любой нужный документ, а если нужно будет, то и быстро отпечатать.

Чем больше организация, тем сложнее ее документооборот

Cледовательно, и в архиве хранится просто огромное количество документов. Если просуммировать, сколько рабочего времени за год уходит на поиски оригинальных документов в архивах, а также снятие их копий, получается приличная сумма. Если же будет выполнена оцифровка архивов, то есть их переведут в электронный вид, эта сумма уменьшится в несколько раз.

Наше профессиональное оборудование дает возможность сканировать документы в потоковом режиме ежедневно со скоростью до четырехсот тысяч страниц А4.

Оцифровка архива – это удобнее, чем хранить документы в бумажном варианте

Ведь содержимое нескольких десятков тысяч папок можно с легкостью уместить на одном жестком диске. Следует также знать, что электронный архив – это еще и практично, так как намного проще управление электронными документами. Когда будет выполнена оцифровка документов, они сразу же станут доступными частным лицам и организациям, причем сразу сотням. Это и стало причиной того, что на сегодняшний день во всем мире переходят к электронным носителям. Это поможет сохранить информацию, а также сделать ее доступной для многих.

В век наукоемких технологий и стремительного технического прогресса, когда цифровые технологии охватывают все больше сфер человеческой деятельности, начиная от финансов и кончая космическими путешествиями, абсолютно логично использовать все преимущества цифрового формата и в деловом документообороте. Все больше и больше компаний понимают всю эффективность, которую дает перевод всей документации в цифровой вид.

Что же представляет из себя оцифровка документа ?

По сути это перевод документа на твердом носителе (это могут быть как бумажные документы, так и аудио видео записи на соответствующих носителях) в некий компьютерный код, доступный затем для просмотра, редактирования или копирования.

Трудно переоценить преимущества документов в цифровом виде. В отличие от документов на традиционных носителях, такие документы:

• практически не подвержены старению,
• не занимают места,
• легко редактируются,
• легко копируются,
• и главное они всегда под рукой.

При правильной организации электронного архива эффективность работы любой компании несомненно возрастет. Отпадает надобность в хранении и обслуживании бумажных архивов и документации, повышается скорость делопроизводства и технологических процессов. Получение, редакция и распространение необходимых для работы документов будет занимать существенно меньшее время. Тексты договоров, схемы и чертежи могут быть найдены, отредактированы и распечатаны за время в разы меньшее, если бы это касалось бумажных версий документов.

Экономя время, мы получаем огромный выигрыш в эффективности и производительности.

Однако, при всей кажущейся простоте, оцифровка документов не такое уж и простое дело.

Качественная оцифровка документов представляет собой достаточно кропотливый и трудоемкий процесс, поскольку включает в себя не только, а скорее всего не столько, сам процесс сканирования, сколько дополнительные операции с обрабатываемым документом.

• подготовка документа к оцифровке,
• расшивка и последующая сшивка многостраничного документа (если это допустимо),
• устранение, насколько это возможно, механических повреждений, замятий и заломов,
• сверка результата оцифровки с оригиналом.