「ハーバード、98万冊の著作権フリー書籍データ公開！」

🔸 ざっくり内容：

ハーバード大学ロースクール図書館が、約98万3000冊の著作権フリー書籍からテキストを抽出したデータセット「Institutional Books」を公開しました。このデータセットは、Googleブックスのインデックス化プロジェクトを活用しており、合計3億8600万ページの内容から構成されています。書籍は254種類の言語で書かれており、特に英語、ドイツ語、フランス語などが多く確認されています。

データセットでは、書籍の分類も行われており、「言語、文学」が最も多く、続いて「法律」や「科学」が含まれています。また、書籍の年代は1800年から1900年頃に集中しています。

データ抽出には特別なパイプラインが開発され、OCR（光学式文字認識）を用いてテキスト化と分類が行われました。特に新たな発見として、ラテン語書籍の一部が実際にはフランス語も含まれていたことが挙げられています。

このデータセットは非営利目的で自由に利用可能で、以下のリンクからアクセスできます。さらに、データ構築に関するソースコードや論文も公開されており、研究者や開発者にとって貴重なリソースとなっています。

• Institutional Booksデータセット
• 構築に使用したパイプラインのGitHub
• 関連論文

この取り組みは、デジタルアーカイブの発展を促進し、多様な言語とテーマにアクセスできる機会を提供する点で重要です。

🧠 編集部の見解：
ハーバード大学が公開した「Institutional Books」は、98万冊以上の著作権フリーな書籍からのテキストデータを含む、非常に貴重なデータセットですね。この情報は、テキスト解析や自然言語処理の研究に大いに役立つことでしょう。特に、さまざまな言語（254種も！）にわたる書籍が収められている点が印象的です。英語が主流ですが、それ以外にも多様な言語が含まれていることで、多文化理解や言語学の研究の場にも貢献しそうです。

## 社会的影響

このプロジェクトは、デジタルアーカイブやオープンデータの流れと深い関わりがあります。近年、多くの大学や図書館が、自ら保有する文献をデジタル化し、一般に公開する動きが活発化しています。これにより、研究者や学生はもちろん、一般の人々が知識にアクセスしやすくなり、教育の機会が広がるのは素晴らしいことです。

## 複雑な歴史の中での位置づけ

また、1800年代から1900年代にかけての書籍が多いとのことですが、これはその時代が科学、文学、倫理といった多くの分野で大きな変革を迎えていた時期でもあります。歴史的文脈を学ぶための材料としても、非常に重要です。

## 豆知識

最後に、実はアメリカ議会図書館の分類表を基に書籍を分類していることからも、既存の情報科学の枠組みとの統一性を持たせようとする試みが感じられます。このようなデータがオープンに公開されることで、異なる研究やプロジェクト同士が協力し、新たな価値を生む可能性が高まります。

結局のところ、こうした取り組みは現代社会の知識の民主化に大きく寄与していると言えるでしょう！興味深い資料が手に入る時代に感謝ですね。

• キーワード: Institutional Books