Восстановление, размещение и датировка древних текстов посредством сотрудничества ИИ и историков.

Рождение человеческой письменности ознаменовало начало История и имеет решающее значение для нашего понимания прошлых цивилизаций и мира, в котором мы живем сегодня. Например, более 2500 лет назад греки начали писать на камне, керамике и металле, чтобы документировать все: от договоров аренды и законов до календарей и оракулов, давая детальное представление о Средиземноморском регионе. К сожалению, это неполная запись. Многие из сохранившихся надписей были повреждены на протяжении веков или перемещены с первоначального места. Кроме того, современные методы датирования, такие как радиоуглеродное датированиене может быть использован на этих материалах, что затрудняет интерпретацию надписей и отнимает много времени.

В соответствии с Миссия DeepMind решения проблемы интеллекта для развития науки и человечества, мы сотрудничали с Кафедра гуманитарных наук Венецианского университета Ка Фоскари, Факультет классической литературы Оксфордского университетаи Кафедра информатики Афинского университета экономики и бизнеса изучить, как машинное обучение может помочь историкам лучше интерпретировать эти надписи, давая более глубокое понимание древней истории и раскрывая потенциал сотрудничества между ИИ и историками.

В бумага опубликовано сегодня в Природа, мы совместно представляем Итаку — первую глубокую нейронную сеть, способную восстановить недостающий текст поврежденных надписей, определить их исходное местоположение и помочь установить дату их создания. Итака названа в честь греческого острова в Гомера Одиссея и основывается и расширяется Пифия, наша предыдущая система, ориентированная на восстановление текста. Наши оценки показывают, что Итака достигает 62% точности при восстановлении поврежденных текстов, 71% точности при определении их исходного местоположения и может датировать тексты с точностью до 30 лет от диапазона их достоверных дат. Историки уже использовали этот инструмент для переоценки важных периодов греческой истории.

Чтобы сделать наши исследования широко доступными для исследователей, преподавателей, сотрудников музеев и других лиц, мы установили партнерские отношения с Google Облако и Google Искусство и культура запустить бесплатная интерактивная версия Итаки. И чтобы помочь дальнейшим исследованиям, мы также с открытым исходным кодом наш код, предварительно обученная модель и интерактивный блокнот Colaboratory.

Инструменты для совместной работы

Итака обучается на крупнейший цифровой набор данных греческих надписей из Гуманитарный институт Паккарда. Обработка естественного языка модели обычно обучаются с использованием слов, поскольку порядок, в котором они появляются в предложениях, и отношения между ними обеспечивают дополнительный контекст и значение. Например, «однажды» имеет больше значения, чем каждый символ или слово, увиденное отдельно. Однако многие из надписей, которые историки заинтересованы проанализировать с помощью Итаки, повреждены и часто отсутствуют фрагменты текста. Чтобы наша модель по-прежнему работала при наличии одного из них, мы обучили ее, используя в качестве входных данных как слова, так и отдельные символы. Механизм разреженного самообслуживания, лежащий в основе модели, оценивает эти два входных сигнала параллельно, позволяя Итаке оценивать надписи по мере необходимости.

Чтобы максимизировать ценность Итаки как исследовательского инструмента, мы также создали ряд наглядных пособий, чтобы историки могли легко интерпретировать результаты Итаки:

• Гипотезы восстановления: Итака генерирует несколько прогнозных гипотез для задачи восстановления текста, чтобы историки могли выбирать из своего опыта.
• Географическая принадлежность: Итака демонстрирует свою неопределенность, предоставляя историкам распределение вероятностей по всем возможным предсказаниям, а не только по одному результату. В результате он возвращает вероятности для 84 различных древних регионов, отражающих уровень достоверности. Он визуализирует эти результаты на карте, чтобы пролить свет на возможные географические связи в древнем мире.
• Хронологическая атрибуция: Датируя текст, Итака производит распределение предсказанных дат по всем десятилетиям от 800 г. до н.э. до 800 г. н.э. Это может позволить историкам визуализировать достоверность модели для конкретных диапазонов дат, что может дать ценную историческую информацию.
• Карты значимости: Чтобы передать результаты историкам, Итака использует метод, обычно используемый в компьютерном зрении, который определяет, какие входные последовательности больше всего способствуют предсказанию. В выводе слова выделяются цветом разной интенсивности, что привело к прогнозам Итаки об отсутствующем тексте, местоположении и датах.

Участие в исторических дебатах

Наша экспериментальная оценка показывает, как проектные решения и средства визуализации Итаки облегчают исследователям интерпретацию результатов. Эксперты-историки, с которыми мы работали, достигли точности 25%, работая в одиночку над восстановлением древних текстов. Но при использовании Итаки их производительность увеличивается до 72%, превосходя индивидуальную производительность модели и демонстрируя потенциал сотрудничества человека и машины для продвижения исторической интерпретации, установления относительных датировок исторических событий и даже внесения вклада в текущие методологические дебаты.

Например, историки в настоящее время расходятся во мнениях относительно даты ряда важных событий. Афинские указы сделанные в то время, когда жили такие известные личности, как Сократ и Перикл. Долгое время считалось, что указы были написаны до 446/445 г. до н.э., хотя новые данные позволяют предположить, что они датируются 420-ми гг. до н.э. Хотя это может показаться небольшой разницей, эти указы имеют фундаментальное значение для нашего понимания политической истории классических Афин.

Наш набор обучающих данных содержит более раннюю цифру 446/445 г. до н.э. Чтобы проверить предсказания Итаки, мы переобучили его на наборе данных, который не содержал датированных надписей, а затем представили эти отложенные тексты для анализа. Примечательно, что средняя прогнозируемая дата принятия указов в Итаке — 421 г. до н. э., что соответствует последним достижениям в области датирования и показывает, как машинное обучение может способствовать дебатам вокруг одного из самых значительных моментов в греческой истории.

Мы считаем, что это только начало таких инструментов, как Итака, и потенциал сотрудничества между машинным обучением и гуманитарными науками. Древняя Греция играет важную роль в нашем понимании средиземноморского мира, но это всего лишь часть обширной глобальной картины цивилизаций. С этой целью в настоящее время мы работаем над версиями Итаки, обученными на других древних языках, и историки уже могут использовать свои наборы данных в текущей архитектуре для изучения других древних систем письменности, от аккадский к Демотический и иврит к майя. Мы надеемся, что такие модели, как Итака, смогут раскрыть потенциал сотрудничества между ИИ и гуманитарными науками, преобразуя то, как мы изучаем и пишем о некоторых из наиболее важных периодов в истории человечества.