400 050 6600
数据分析师

手机号

验证码

30天自动登录
当前位置:首页 - Q&A问答

Q&AQ&A问答

数据库为什么成为共享数据的灵丹妙药?

来源:CPDA数据分析师网 / 作者:数据君 / 时间:2020-09-07

尽管其他数据库侧重于存储和处理大量数据

但用Go编写却侧重于在人与组织之间移动数据以及在这些数据上进行协作,而如今,这些数据依赖于他称为完全过时的系统,他指出了所有公开发布的数据,例如来自新闻机构,政府,体育联盟和科学界的数据,以及需要私人共享的企业报告。

 

这通常以两种方式之一完成

静态快照,静态CSV文件或JSON文件,这对于发布者来说确实很容易,但是对于消费者来说却很难。或者,您可以通过API发布数据,这对于消费者来说更容易使用,但是对于提供者来说确实非常困难。提供者必须构建,保护并维护[API],而且如果您查看公开共享的数据,则其中充满了错误,真的很乱 存在格式错误,事实错误,拼写错误。

 

由于存在太多错误,您会看到不同格式的扩散,同一数据集的不同版本仅稍有不同

如果您想使用此公共数据,那么很难知道哪一个是正确的数据。为什么要更改?谁改变了?他们什么时候改变的?我们研究了这个问题,发现它与软件工程师的确非常相似,我们认为Git只是解决问题的一种非常优雅的方式。我们认为解决源代码的相同想法可以用于数据。

 

了解发生了什么变化

取代企业使用的整体式MySQLMongo或其他数据库,但将使编写用于消耗和理解数据及其更改方式的软件更加容易,它将更加高效,因此您不必一遍又一遍地下载数据,它具有原子提交,您可以编程API,因此可以将其用作应用程序数据库。我们目前还没有一种复杂的查询语言,但是该设计支持一种查询语言,如果您有一种查询语言,则可以以结构化的方式浏览数据。

 

并不覆盖数据而是在添加数据

随着时间的推移,您终将对数据库进行所有更改,您可以计算详细的差异并了解数据如何更改,如果数据集很大,则可以计算差异汇总,就像Git一样,您可以高效地进行同步,因此可以将数据从数据库的一个实例移动到另一个实例,该数据库的任何实例都可以与另一个实例断开连接,建立自己的变更历史记录,然后可以合并并合并这些变更。

 

建立在结构化数据库的基本属性以及Git的概念的基础上,以基于以下概念创建去中心化数据库

1、任何对等方的状态都与其他状态一样有效。

2、数据库的所有提交都将保留并随时可用。

3、任何对等方都可以独立于彼此之间的通信而自由前进,同时保留在将来某个时刻协调变更的能力。

 

通常情况正在改变

然后您必须再次下载所有数据,您必须看一下然后说,好有什么变化?开发人员花费大量时间抱怨编写此类代码,而团队中没有人愿意这样做,因此源代码真的过时了,因为它们一直在延迟不得不重新导入数据的不可避免的成本。

 

Prev article

仪表板浪费时间和金钱?

Next article

使用离线优先原则能构建更可靠的Web应用程序吗?

数据分析师

报名咨询

数据分析师

报名缴费

数据分析师

客服中心

数据分析师

课程服务

数据分析师

认证服务