• 文献检索
  • 文档翻译
  • 深度研究
  • 学术资讯
  • Suppr Zotero 插件Zotero 插件
  • 邀请有礼
  • 套餐&价格
  • 历史记录
应用&插件
Suppr Zotero 插件Zotero 插件浏览器插件Mac 客户端Windows 客户端微信小程序
定价
高级版会员购买积分包购买API积分包
服务
文献检索文档翻译深度研究API 文档MCP 服务
关于我们
关于 Suppr公司介绍联系我们用户协议隐私条款
关注我们

Suppr 超能文献

核心技术专利:CN118964589B侵权必究
粤ICP备2023148730 号-1Suppr @ 2026

文献检索

告别复杂PubMed语法,用中文像聊天一样搜索,搜遍4000万医学文献。AI智能推荐,让科研检索更轻松。

立即免费搜索

文件翻译

保留排版,准确专业,支持PDF/Word/PPT等文件格式,支持 12+语言互译。

免费翻译文档

深度研究

AI帮你快速写综述,25分钟生成高质量综述,智能提取关键信息,辅助科研写作。

立即免费体验

20世纪90年代大规模数据处理的挑战:综合公共使用微观数据系列(IPUMS)的经验

Challenges of Large-Scale Data Processing in the 1990s: The IPUMS Experience.

作者信息

Magnuson Diana L, Ruggles Steven

机构信息

Institute for Social Research and Data Innovation, University of Minnesota, Minneapolis, MN, 55455, USA.

出版信息

IEEE Ann Hist Comput. 2022 Oct-Dec;44(4):71-83. doi: 10.1109/mahc.2022.3214736.

DOI:10.1109/mahc.2022.3214736
PMID:37159752
原文链接:https://pmc.ncbi.nlm.nih.gov/articles/PMC10163666/
Abstract

When it was launched in 1991, the Integrated Public Use Microdata Series (IPUMS) project faced a challenging environment and limited resources. Few datasets were interoperable and much data collected at great public expense was inaccessible to most researchers. Documentation of datasets was nonstandardized, incomplete, and inadequate for automated processing. With insufficient attention to preservation, valuable scientific data were disappearing (see Bogue et al., 1976). IPUMS was established to address these critical issues. At the outset, IPUMS faced daunting barriers of inadequate data processing, storage, and network capacity. This anecdote describes the improvised computational infrastructure developed in the decade from 1989 to 1999 to process, manage, and disseminate the world's largest population datasets. We use a combination of archival sources, interviews, and our own memories to trace the development of the IPUMS computing environment during a period of explosive technical innovation. The development of IPUMS is part of a larger story of the development of social science infrastructure in the late 20th century and its contribution to democratizing data access.

摘要

1991年启动时,综合公共使用微观数据系列(IPUMS)项目面临着充满挑战的环境和有限的资源。很少有数据集是可互操作的,而且大多数研究人员无法获取许多以高昂公共成本收集的数据。数据集的文档是非标准化的、不完整的,并且不足以进行自动化处理。由于对保存不够重视,宝贵的科学数据正在消失(见博格等人,1976年)。IPUMS的设立就是为了解决这些关键问题。一开始,IPUMS面临着数据处理、存储和网络能力不足的艰巨障碍。这个轶事描述了1989年至1999年这十年间为处理、管理和传播世界上最大的人口数据集而临时搭建的计算基础设施。我们结合档案资料、访谈以及我们自己的记忆,来追溯IPUMS计算环境在技术创新爆发时期的发展历程。IPUMS的发展是20世纪后期社会科学基础设施发展这一更大故事的一部分,以及它对数据获取民主化的贡献。

相似文献

1
Challenges of Large-Scale Data Processing in the 1990s: The IPUMS Experience.20世纪90年代大规模数据处理的挑战:综合公共使用微观数据系列(IPUMS)的经验
IEEE Ann Hist Comput. 2022 Oct-Dec;44(4):71-83. doi: 10.1109/mahc.2022.3214736.
2
Interoperable and accessible census and survey data from IPUMS.来自综合公共使用微观数据系列(IPUMS)的可互操作且可访问的人口普查和调查数据。
Sci Data. 2018 Feb 27;5:180007. doi: 10.1038/sdata.2018.7.
3
IPUMS-International Statistical Disclosure Controls: 159 Census Microdata Samples in Dissemination, 100+ in Preparation.综合公共使用微观数据系列国际版统计披露控制:159个普查微观数据样本正在发布,100多个正在准备中。
Priv Stat Databases. 2010 Sep;6344:74-84. doi: 10.1007/978-3-642-15838-4_7.
4
Thanks to 70 years of Inter American Statistical cooperation, the world's largest integrated census microdata dissemination site www.ipums.org/international.得益于70年的美洲统计合作,全球最大的综合普查微观数据传播网站www.ipums.org/international。
Estadastica. 2013 Jun;65(184):31-45.
5
IPUMS-International High Precision Population Census Microdata Samples: Balancing the Privacy-Quality Tradeoff by Means of Restricted Access Extracts.综合公共使用微样本国际项目 - 国际高精度人口普查微观数据样本:通过受限访问提取物平衡隐私与质量的权衡
Priv Stat Databases. 2006 Dec;4302:375-382. doi: 10.1007/11930242_31.
6
THE IPUMS COLLABORATION: INTEGRATING AND DISSEMINATING THE WORLD'S POPULATION MICRODATA.综合公共使用微观数据系列合作项目:整合与传播全球人口微观数据
J Demogr Economics. 2015 Jun;81(2):203-216.
7
Terra Populus' Architecture for Integrated Big Geospatial Services.Terra Populus的集成大型地理空间服务架构。
Trans GIS. 2017 Jun;21(3):546-559. doi: 10.1111/tgis.12286. Epub 2017 Jun 23.
8
IPUMS International: A review and future prospects of a unique global statistical cooperation programme.综合公共使用微观数据国际项目(IPUMS International):一项独特的全球统计合作项目的回顾与未来展望
Stat J IAOS. 2016;32(4):715-727. doi: 10.3233/SJI-161022. Epub 2016 Nov 15.
9
IPUMS-Terra: Integrated Big Heterogeneous Spatio-Temporal Data Analysis System.IPUMS-Terra:综合大型异构时空数据分析系统。
J Geogr Syst. 2018 Oct;20(4):343-361. doi: 10.1007/s10109-018-0277-2. Epub 2018 Sep 6.
10
Statistical coherence of primary schooling in IPUMS-International integrated population samples for China, India, Vietnam, and ten other Asia-Pacific countries.中国、印度、越南及其他十个亚太国家在IPUMS-国际综合人口样本中的小学教育统计一致性。
Chin J Sociol. 2015 Sep;1(3):333-355. doi: 10.1177/2057150X15593710.

本文引用的文献

1
The Revival of Quantification: Reflections on Old New Histories.量化的复兴:对新旧历史的反思
Soc Sci Hist. 2021 Spring;45(1):1-25. doi: 10.1017/ssh.2020.44. Epub 2021 Jan 12.
2
Census Technology, Politics, and Institutional Change, 1790-2020.《人口普查技术、政治与制度变迁,1790 - 2020》
J Am Hist. 2020 Jun;107(1):19-51. doi: 10.1093/jahist/jaaa007. Epub 2020 Jun 1.