doc/index.org

   1 #+TITLE: Sixth Data - Data storage and computing engine
   2
   3 * (document settings) :noexport:
   4 ** use dark style for TWBS-HTML exporter
   5 #+HTML_HEAD: <link href="https://bootswatch.com/3/darkly/bootstrap.min.css" rel="stylesheet">
   6 #+HTML_HEAD: <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.3/jquery.min.js"></script>
   7 #+HTML_HEAD: <script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/3.3.5/js/bootstrap.min.js"></script>
   8 #+HTML_HEAD: <style type="text/css">
   9 #+HTML_HEAD:   footer {background-color: #111 !important;}
  10 #+HTML_HEAD:   pre {background-color: #111; color: #ccc;}
  11 #+HTML_HEAD: </style>
  12
  13 * General
  14 - This is a subproject of [[https://www3.svjatoslav.eu/projects/sixth/][Sixth]]
  15
  16 - This program is free software: you can redistribute it and/or modify
  17   it under the terms of the [[https://www.gnu.org/licenses/lgpl.html][GNU Lesser General Public License]] as
  18   published by the Free Software Foundation, either version 3 of the
  19   License, or (at your option) any later version.
  20
  21 - Program author:
  22   - Svjatoslav Agejenko
  23   - Homepage: https://svjatoslav.eu
  24   - Email: mailto://svjatoslav@svjatoslav.eu
  25
  26 - [[https://www.svjatoslav.eu/projects/][Other software projects hosted at svjatoslav.eu]]
  27
  28 ** Source code
  29 - [[https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=snapshot;h=HEAD;sf=tgz][Download latest snapshot in TAR GZ format]]
  30
  31 - [[https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=summary][Browse Git repository online]]
  32
  33 - Clone Git repository using command:
  34   : git clone https://www2.svjatoslav.eu/git/sixth-data.git
  35
  36 * Vision / goal
  37   :PROPERTIES:
  38   :ID:       f6764282-a6f6-44e6-8716-b428074dd093
  39   :END:
  40 Provide versioned, clustered, flexible, distributed, multi-dimensional
  41 data storage engine for the [[http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html][Sixth computation engine]].
  42
  43 + Speaking of traditional relational database and object oriented
  44   business applications:
  45
  46   + I hate object-relational impedance mismatch.
  47
  48   + I don't like to convert data between persistent database and
  49     runtime objects for every transaction. How about creating united
  50     database/computation engine instead to:
  51
  52   + Eliminate constant moving and converting of data between 2 systems
  53     and make computing happen close to where the data is stored.
  54
  55   + Abstract away difference between RAM VS persistent storage. Let
  56     the system decide at runtime which data to keep in what kind of
  57     memory.
  58
  59 * Inspiration
  60 + Relational databases:
  61   + Transactional.
  62   + Indexable / Quickly searchable.
  63
  64 + Git (version control system)
  65   + Versionable
  66   + Branchable / mergeable.
  67   + Transparent cansistency, checksumming and deduplication.
  68   + (Git as a database:
  69   https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/ )
  70
  71 ** Brain
  72   :PROPERTIES:
  73   :ID:       d2375acc-af14-4f18-8ad0-7949501178c5
  74   :END:
  75 + Brain appears to have more than 3D dimensional design:
  76   https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/
  77
  78 + Brain appears to use geometry to map thoughts and even sounds:
  79   https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/
  80
  81
  82 + It directly inspires following ideas
  83   + [[id:5d287158-53ea-44a2-a754-dd862366066a][Distributed comutation and data storage]]
  84   + [[id:a117c11e-97c1-4822-88b2-9fc10f96caec][Mapping of hyperspace to traditional object-oriented model]]
  85   + [[id:b6b15bd2-c78b-4c51-a343-72843a515c29][Handling of relations]]
  86 * Ideas
  87 ** Distributed computation and data storage
  88    :PROPERTIES:
  89    :ID:       5d287158-53ea-44a2-a754-dd862366066a
  90    :END:
  91 Maybe every problem can be translated to geometry (use any shapes and
  92 as many dimensions as you need). Solution(s) to such problems would
  93 then appear as relatively simple search/comparison/lookup results. As
  94 a bonus, such geometrical *data storage* AND *computation* can be
  95 naturally made in *parallel* and *distributed*. That's what neurons in
  96 the brain appear to be doing ! :) . Learning means building/updating
  97 the model (the hard part). Question answering is making (relatively
  98 simple) lookups (geometrical queries) against the model.
  99 ** Mapping of hyperspace to traditional object-oriented model
 100    :PROPERTIES:
 101    :ID:       a117c11e-97c1-4822-88b2-9fc10f96caec
 102    :END:
 103 Object oriented programming is inspired by the way human mind
 104 operates. It allows programmer to express ideas to computer in a more
 105 human-like terms.
 106
 107 It is possible to map object model to geometrical hyperspace:
 108
 109 + Object is a point in space (universe). Each object member variable
 110   translates to its own dimension. That is: if class declares 4
 111   variables for an object, then corresponding object can be stored as
 112   a single point inside 4 dimensional space. Variable values translate
 113   to point coordinates in space. That is: Integer, floating point
 114   number and even boolean and string can be translated to linear value
 115   that can be used as a coordinate along particular dimension.
 116
 117 + Each class declares its own space (universe). All class instances
 118   (objects) are points inside that particular universe. References
 119   between objects of different types are hyperlinks (portals) between
 120   different universes.
 121 ** Handling of relations
 122    :PROPERTIES:
 123    :ID:       b6b15bd2-c78b-4c51-a343-72843a515c29
 124    :END:
 125 Consider we want to create database of books and authors. Book can
 126 have multiple authors, and single person can be author for multiple
 127 books. It is possible to store how many hours of work each author has
 128 contributed to every book, using hyperspace as follows:
 129
 130 + Every dimension corresponds to one particular book author. (10
 131   authors in the database, would require 10 dimensional space)
 132   + Point in space corresponds to one particular book.
 133     + Point location along particular (author) dimension corresponds
 134       to amount of work contributed by particular author for given
 135       book.
 136
 137 Alternatively:
 138
 139 + Every dimension corresponds to one particular book.
 140   + Point in space corresponds to one particular author in the entire
 141     database.
 142     + Point location along particular (book) dimension corresponds to
 143       amount of work contributed for book by given author (point).
 144
 145 ** Layered architecture
 146 + layer 1 :: disk / block storage / partition
 147
 148 + layer 2 :: key/value storage. Keys are unique and are dictated by
 149              storage engine. Value is arbitrary but limited size byte
 150              array. This layer is responsible for handling disk
 151              defragmentation and consistency in case of crash
 152              recovery.
 153
 154 + layer 3 :: key/value storage. Keys are content hashes. Values are
 155              arbitrary but limited size content byte arrays. This
 156              layer effectively implements content addressable
 157              storage. Content addressible storage enables GIT-like
 158              behavior (possibility for competing branches, retaining
 159              history, transparent deduplication)
 160
 161 + layer 4 :: Implements arbitrary dimensional multiverse.
 162
 163 + layer 5 :: Distributed computation engine.
 164 * Current status
 165 - More or less defined [[id:f6764282-a6f6-44e6-8716-b428074dd093][Vision / goal]].
 166
 167 - Collected some [[id:d2375acc-af14-4f18-8ad0-7949501178c5][ideas]].
 168
 169 - Implemented very simple persistent key-value map.
 170   - Long term goal is to use it as a backing storage engine and
 171     implement more advanced features on top of this.
 172
 173 * See also
 174 Interesting or competing projects with good ideas:
 175
 176 + GRAKN.AI
 177   + database in the form of a knowledge graph that uses machine
 178     reasoning to simplify data processing challenges for AI
 179     applications. https://grakn.ai/
 180
 181 + [[http://wiki.squeak.org/squeak/2665][Magma]]
 182   + Multi-user object database for Squeak
 183
 184 + [[http://esug.org/data/ESUG2015/3%20wednesday/1100-1130%20SQL%20Queries%20on%20Smalltalk%20Objects/SQL%20Queries%20in%20Smalltalk%20(James%20Foster).pdf][Gemstone/S]]
 185   + Completely distributed smalltalk based computing
 186     system.
 187
 188 + [[http://www.uruk.org/emu/Taos.html][TAOS]]
 189   + Completely distributed operating system/virtual machine:
 190
 191 + [[https://github.com/vygr/ChrysaLisp][ChrysaLisp]]
 192   + Assembler/C-Script/Lisp 64 bit, MIMD, multi CPU, multi threaded,
 193     multi core, multi user Parallel OS. With GUI, Terminal, OO
 194     Assembler, Class libraries, C-Script compiler, Lisp interpreter,
 195     Debugger, and more...