Исследователь использует машинное обучение для оцифровки древних текстов цивилизации долины Инда

Цивилизация долины реки Инд считается одной из трех древнейших в мировой истории, наряду с Месопотамией и Египтом. Имея бо́льшую географическую протяженность, она существовала с 3300 года до н.э. на территории современных Пакистана и Индии и обладала стандартизированными весами и мерами, искусными ремесленниками, развитой системой торговли и более чем 500 символами для коммуникации.

Однако один вопрос десятилетиями мешает ученым узнать больше: были ли эти символы языком или скорее пиктограммами? Несмотря на попытки перевода надписей, выполненных справа налево, консенсуса нет. Профессор информатики Дебасис Митра подключился к решению этой задачи благодаря гранту Национального фонда гуманитарных наук (NEH) США «Древняя оцифровка и архивирование (ASDA) артефактов долины Инда с использованием глубокого обучения».

Исследование направлено не на разрешение спора, а на создание инструмента для ученых. Разрабатываемая система автоматического распознавания письменности (ASR) с помощью двухэтапных искусственных нейронных сетей извлекает закодированные последовательности графем (минимальных единиц письма) из набора более чем 1000 фотографий индских печатей, достигая 88% успеха в их обнаружении.

Основная сложность — острая нехватка данных для обучения алгоритмов, причем имеющиеся данные часто «зашумлены» или искажены. Для пополнения базы Митра сотрудничает с археологами и привлекает студентов Индийского статистического института. Цель текущего этапа — создать базу данных оцифрованных мотивов и графем.

В перспективе планируется разработать систему, позволяющую археологам в полевых условиях загружать фотографии символов со смартфона прямо в базу для оцифровки. Для Митры, как для уроженца Индии, эта работа имеет особую ценность: «Это часть моей истории, что дает дополнительную мотивацию».