doc/index.html

   1 <!doctype html>
   2 <html lang="en">
   3 <head>
   4 <title>Sixth Data - Data storage and computing engine</title>
   5 <!-- 2019-01-18 Fri 23:27 -->
   6 <meta charset="utf-8">
   7 <meta name="viewport" content="width=device-width, initial-scale=1">
   8 <meta name="generator" content="Org-mode">
   9 <meta name="author" content="Svjatoslav Agejenko">
  10 <link href="https://bootswatch.com/3/darkly/bootstrap.min.css" rel="stylesheet">
  11 <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.3/jquery.min.js"></script>
  12 <script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/3.3.5/js/bootstrap.min.js"></script>
  13 <style type="text/css">
  14 footer {background-color: #111 !important;}
  15 pre {background-color: #111; color: #ccc;}
  16 </style>
  17 <style type="text/css">
  18 /* org mode styles on top of twbs */
  19
  20 html {
  21     position: relative;
  22     min-height: 100%;
  23 }
  24
  25 body {
  26     font-size: 18px;
  27     margin-bottom: 105px;
  28 }
  29
  30 footer {
  31     position: absolute;
  32     bottom: 0;
  33     width: 100%;
  34     height: 101px;
  35     background-color: #f5f5f5;
  36 }
  37
  38 footer > div {
  39     padding: 10px;
  40 }
  41
  42 footer p {
  43     margin: 0 0 5px;
  44     text-align: center;
  45     font-size: 16px;
  46 }
  47
  48 #table-of-contents {
  49     margin-top: 20px;
  50     margin-bottom: 20px;
  51 }
  52
  53 blockquote p {
  54     font-size: 18px;
  55 }
  56
  57 pre {
  58     font-size: 16px;
  59 }
  60
  61 .footpara {
  62     display: inline-block;
  63 }
  64
  65 figcaption {
  66   font-size: 16px;
  67   color: #666;
  68   font-style: italic;
  69   padding-bottom: 15px;
  70 }
  71
  72 /* from twbs docs */
  73
  74 .bs-docs-sidebar.affix {
  75     position: static;
  76 }
  77 @media (min-width: 768px) {
  78     .bs-docs-sidebar {
  79         padding-left: 20px;
  80     }
  81 }
  82
  83 /* All levels of nav */
  84 .bs-docs-sidebar .nav > li > a {
  85     display: block;
  86     padding: 4px 20px;
  87     font-size: 14px;
  88     font-weight: 500;
  89     color: #999;
  90 }
  91 .bs-docs-sidebar .nav > li > a:hover,
  92 .bs-docs-sidebar .nav > li > a:focus {
  93     padding-left: 19px;
  94     color: #A1283B;
  95     text-decoration: none;
  96     background-color: transparent;
  97     border-left: 1px solid #A1283B;
  98 }
  99 .bs-docs-sidebar .nav > .active > a,
 100 .bs-docs-sidebar .nav > .active:hover > a,
 101 .bs-docs-sidebar .nav > .active:focus > a {
 102     padding-left: 18px;
 103     font-weight: bold;
 104     color: #A1283B;
 105     background-color: transparent;
 106     border-left: 2px solid #A1283B;
 107 }
 108
 109 /* Nav: second level (shown on .active) */
 110 .bs-docs-sidebar .nav .nav {
 111     display: none; /* Hide by default, but at >768px, show it */
 112     padding-bottom: 10px;
 113 }
 114 .bs-docs-sidebar .nav .nav > li > a {
 115     padding-top: 1px;
 116     padding-bottom: 1px;
 117     padding-left: 30px;
 118     font-size: 12px;
 119     font-weight: normal;
 120 }
 121 .bs-docs-sidebar .nav .nav > li > a:hover,
 122 .bs-docs-sidebar .nav .nav > li > a:focus {
 123     padding-left: 29px;
 124 }
 125 .bs-docs-sidebar .nav .nav > .active > a,
 126 .bs-docs-sidebar .nav .nav > .active:hover > a,
 127 .bs-docs-sidebar .nav .nav > .active:focus > a {
 128     padding-left: 28px;
 129     font-weight: 500;
 130 }
 131
 132 /* Nav: third level (shown on .active) */
 133 .bs-docs-sidebar .nav .nav .nav {
 134     padding-bottom: 10px;
 135 }
 136 .bs-docs-sidebar .nav .nav .nav > li > a {
 137     padding-top: 1px;
 138     padding-bottom: 1px;
 139     padding-left: 40px;
 140     font-size: 12px;
 141     font-weight: normal;
 142 }
 143 .bs-docs-sidebar .nav .nav .nav > li > a:hover,
 144 .bs-docs-sidebar .nav .nav .nav > li > a:focus {
 145     padding-left: 39px;
 146 }
 147 .bs-docs-sidebar .nav .nav .nav > .active > a,
 148 .bs-docs-sidebar .nav .nav .nav > .active:hover > a,
 149 .bs-docs-sidebar .nav .nav .nav > .active:focus > a {
 150     padding-left: 38px;
 151     font-weight: 500;
 152 }
 153
 154 /* Show and affix the side nav when space allows it */
 155 @media (min-width: 992px) {
 156     .bs-docs-sidebar .nav > .active > ul {
 157         display: block;
 158     }
 159     /* Widen the fixed sidebar */
 160     .bs-docs-sidebar.affix,
 161     .bs-docs-sidebar.affix-bottom {
 162         width: 213px;
 163     }
 164     .bs-docs-sidebar.affix {
 165         position: fixed; /* Undo the static from mobile first approach */
 166         top: 20px;
 167     }
 168     .bs-docs-sidebar.affix-bottom {
 169         position: absolute; /* Undo the static from mobile first approach */
 170     }
 171     .bs-docs-sidebar.affix .bs-docs-sidenav,.bs-docs-sidebar.affix-bottom .bs-docs-sidenav {
 172         margin-top: 0;
 173         margin-bottom: 0
 174     }
 175 }
 176 @media (min-width: 1200px) {
 177     /* Widen the fixed sidebar again */
 178     .bs-docs-sidebar.affix-bottom,
 179     .bs-docs-sidebar.affix {
 180         width: 263px;
 181     }
 182 }
 183 </style>
 184 <script type="text/javascript">
 185 $(function() {
 186     'use strict';
 187
 188     $('.bs-docs-sidebar li').first().addClass('active');
 189
 190     $(document.body).scrollspy({target: '.bs-docs-sidebar'});
 191
 192     $('.bs-docs-sidebar').affix();
 193 });
 194 </script>
 195 </head>
 196 <body>
 197 <div id="content" class="container">
 198 <div class="row"><div class="col-md-9"><h1 class="title">Sixth Data - Data storage and computing engine</h1>
 199
 200 <div id="outline-container-sec-1" class="outline-2">
 201 <h2 id="sec-1"><span class="section-number-2">1</span> General</h2>
 202 <div class="outline-text-2" id="text-1">
 203 <ul class="org-ul">
 204 <li>This is a subproject of <a href="http://www3.svjatoslav.eu/projects/sixth/">Sixth</a>
 205 </li>
 206
 207 <li>This program is free software: you can redistribute it and/or modify
 208 it under the terms of the <a href="https://www.gnu.org/licenses/lgpl.html">GNU Lesser General Public License</a> as
 209 published by the Free Software Foundation, either version 3 of the
 210 License, or (at your option) any later version.
 211 </li>
 212
 213 <li>Program author:
 214 <ul class="org-ul">
 215 <li>Svjatoslav Agejenko
 216 </li>
 217 <li>Homepage: <a href="http://svjatoslav.eu">http://svjatoslav.eu</a>
 218 </li>
 219 <li>Email: <a href="mailto://svjatoslav@svjatoslav.eu">mailto://svjatoslav@svjatoslav.eu</a>
 220 </li>
 221 </ul>
 222 </li>
 223
 224 <li><a href="http://www.svjatoslav.eu/projects/">Other software projects hosted at svjatoslav.eu</a>
 225 </li>
 226 </ul>
 227 </div>
 228
 229 <div id="outline-container-sec-1-1" class="outline-3">
 230 <h3 id="sec-1-1"><span class="section-number-3">1.1</span> Source code</h3>
 231 <div class="outline-text-3" id="text-1-1">
 232 <ul class="org-ul">
 233 <li><a href="http://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=snapshot;h=HEAD;sf=tgz">Download latest snapshot in TAR GZ format</a>
 234 </li>
 235
 236 <li><a href="http://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=summary">Browse Git repository online</a>
 237 </li>
 238
 239 <li>Clone Git repository using command:
 240 <pre class="example">
 241 git clone http://www2.svjatoslav.eu/git/sixth-data.git
 242
 243 </pre>
 244 </li>
 245 </ul>
 246 </div>
 247 </div>
 248 </div>
 249
 250 <div id="outline-container-sec-2" class="outline-2">
 251 <h2 id="sec-2"><a id="ID-f6764282-a6f6-44e6-8716-b428074dd093" name="ID-f6764282-a6f6-44e6-8716-b428074dd093"></a><span class="section-number-2">2</span> Vision / goal</h2>
 252 <div class="outline-text-2" id="text-2">
 253 <p>
 254 Provide versioned, clustered, flexible, distributed, multi-dimensional
 255 data storage engine for the <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth computation engine</a>.
 256 </p>
 257
 258 <ul class="org-ul">
 259 <li>Speaking of traditional relational database and object oriented
 260 business applications:
 261
 262 <ul class="org-ul">
 263 <li>I hate object-relational impedance mismatch.
 264 </li>
 265
 266 <li>I don't like to convert data between persistent database and
 267 runtime objects for every transaction. How about creating united
 268 database/computation engine instead to:
 269 </li>
 270
 271 <li>Eliminate constant moving and converting of data between 2 systems
 272 and make computing happen close to where the data is stored.
 273 </li>
 274
 275 <li>Abstract away difference between RAM VS persistent storage. Let
 276 the system decide at runtime which data to keep in what kind of
 277 memory.
 278 </li>
 279 </ul>
 280 </li>
 281 </ul>
 282 </div>
 283 </div>
 284
 285 <div id="outline-container-sec-3" class="outline-2">
 286 <h2 id="sec-3"><span class="section-number-2">3</span> Inspiration</h2>
 287 <div class="outline-text-2" id="text-3">
 288 <ul class="org-ul">
 289 <li>Relational databases:
 290 <ul class="org-ul">
 291 <li>Transactional.
 292 </li>
 293 <li>Indexable / Quickly searchable.
 294 </li>
 295 </ul>
 296 </li>
 297
 298 <li>Git (version control system)
 299 <ul class="org-ul">
 300 <li>Versionable
 301 </li>
 302 <li>Branchable / mergeable.
 303 </li>
 304 <li>Transparent cansistency, checksumming and deduplication.
 305 </li>
 306 <li>(Git as a database:
 307 </li>
 308 </ul>
 309 <p>
 310 <a href="https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/">https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/</a> )
 311 </p>
 312 </li>
 313 </ul>
 314 </div>
 315
 316 <div id="outline-container-sec-3-1" class="outline-3">
 317 <h3 id="sec-3-1"><a id="ID-d2375acc-af14-4f18-8ad0-7949501178c5" name="ID-d2375acc-af14-4f18-8ad0-7949501178c5"></a><span class="section-number-3">3.1</span> Brain</h3>
 318 <div class="outline-text-3" id="text-3-1">
 319 <ul class="org-ul">
 320 <li>Brain appears to have more than 3D dimensional design:
 321 <a href="https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/">https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/</a>
 322 </li>
 323
 324 <li>Brain appears to use geometry to map thoughts and even sounds:
 325 <a href="https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/">https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/</a>
 326 </li>
 327 </ul>
 328
 329
 330 <ul class="org-ul">
 331 <li>It directly inspires following ideas
 332 <ul class="org-ul">
 333 <li><a href="#sec-4-1">Distributed comutation and data storage</a>
 334 </li>
 335 <li><a href="#sec-4-2">Mapping of hyperspace to traditional object-oriented model</a>
 336 </li>
 337 <li><a href="#sec-4-3">Handling of relations</a>
 338 </li>
 339 </ul>
 340 </li>
 341 </ul>
 342 </div>
 343 </div>
 344 </div>
 345 <div id="outline-container-sec-4" class="outline-2">
 346 <h2 id="sec-4"><span class="section-number-2">4</span> Ideas</h2>
 347 <div class="outline-text-2" id="text-4">
 348 </div><div id="outline-container-sec-4-1" class="outline-3">
 349 <h3 id="sec-4-1"><a id="ID-5d287158-53ea-44a2-a754-dd862366066a" name="ID-5d287158-53ea-44a2-a754-dd862366066a"></a><span class="section-number-3">4.1</span> Distributed computation and data storage</h3>
 350 <div class="outline-text-3" id="text-4-1">
 351 <p>
 352 Maybe every problem can be translated to geometry (use any shapes and
 353 as many dimensions as you need). Solution(s) to such problems would
 354 then appear as relatively simple search/comparison/lookup results. As
 355 a bonus, such geometrical *data storage* AND *computation* can be
 356 naturally made in *parallel* and *distributed*. That's what neurons in
 357 the brain appear to be doing ! :) . Learning means building/updating
 358 the model (the hard part). Question answering is making (relatively
 359 simple) lookups (geometrical queries) against the model.
 360 </p>
 361 </div>
 362 </div>
 363 <div id="outline-container-sec-4-2" class="outline-3">
 364 <h3 id="sec-4-2"><a id="ID-a117c11e-97c1-4822-88b2-9fc10f96caec" name="ID-a117c11e-97c1-4822-88b2-9fc10f96caec"></a><span class="section-number-3">4.2</span> Mapping of hyperspace to traditional object-oriented model</h3>
 365 <div class="outline-text-3" id="text-4-2">
 366 <p>
 367 Object oriented programming is inspired by the way human mind
 368 operates. It allows programmer to express ideas to computer in a more
 369 human-like terms.
 370 </p>
 371
 372 <p>
 373 It is possible to map object model to geometrical hyperspace:
 374 </p>
 375
 376 <ul class="org-ul">
 377 <li>Object is a point in space (universe). Each object member variable
 378 translates to its own dimension. That is: if class declares 4
 379 variables for an object, then corresponding object can be stored as
 380 a single point inside 4 dimensional space. Variable values translate
 381 to point coordinates in space. That is: Integer, floating point
 382 number and even boolean and string can be translated to linear value
 383 that can be used as a coordinate along particular dimension.
 384 </li>
 385
 386 <li>Each class declares its own space (universe). All class instances
 387 (objects) are points inside that particular universe. References
 388 between objects of different types are hyperlinks (portals) between
 389 different universes.
 390 </li>
 391 </ul>
 392 </div>
 393 </div>
 394 <div id="outline-container-sec-4-3" class="outline-3">
 395 <h3 id="sec-4-3"><a id="ID-b6b15bd2-c78b-4c51-a343-72843a515c29" name="ID-b6b15bd2-c78b-4c51-a343-72843a515c29"></a><span class="section-number-3">4.3</span> Handling of relations</h3>
 396 <div class="outline-text-3" id="text-4-3">
 397 <p>
 398 Consider we want to create database of books and authors. Book can
 399 have multiple authors, and single person can be author for multiple
 400 books. It is possible to store how many hours of work each author has
 401 contributed to every book, using hyperspace as follows:
 402 </p>
 403
 404 <ul class="org-ul">
 405 <li>Every dimension corresponds to one particular book author. (10
 406 authors in the database, would require 10 dimensional space)
 407 <ul class="org-ul">
 408 <li>Point in space corresponds to one particular book.
 409 <ul class="org-ul">
 410 <li>Point location along particular (author) dimension corresponds
 411 to amount of work contributed by particular author for given
 412 book.
 413 </li>
 414 </ul>
 415 </li>
 416 </ul>
 417 </li>
 418 </ul>
 419
 420 <p>
 421 Alternatively:
 422 </p>
 423
 424 <ul class="org-ul">
 425 <li>Every dimension corresponds to one particular book.
 426 <ul class="org-ul">
 427 <li>Point in space corresponds to one particular author in the entire
 428 database.
 429 <ul class="org-ul">
 430 <li>Point location along particular (book) dimension corresponds to
 431 amount of work contributed for book by given author (point).
 432 </li>
 433 </ul>
 434 </li>
 435 </ul>
 436 </li>
 437 </ul>
 438 </div>
 439 </div>
 440
 441 <div id="outline-container-sec-4-4" class="outline-3">
 442 <h3 id="sec-4-4"><span class="section-number-3">4.4</span> Layered architecture</h3>
 443 <div class="outline-text-3" id="text-4-4">
 444 <dl class="org-dl">
 445 <dt> layer 1 </dt><dd>disk / block storage / partition
 446 </dd>
 447
 448 <dt> layer 2 </dt><dd>key/value storage. Keys are unique and are dictated by
 449 storage engine. Value is arbitrary but limited size byte
 450 array. This layer is responsible for handling disk
 451 defragmentation and consistency in case of crash
 452 recovery.
 453 </dd>
 454
 455 <dt> layer 3 </dt><dd>key/value storage. Keys are content hashes. Values are
 456 arbitrary but limited size content byte arrays. This
 457 layer effectively implements content addressable
 458 storage. Content addressible storage enables GIT-like
 459 behavior (possibility for competing branches, retaining
 460 history, transparent deduplication)
 461 </dd>
 462
 463 <dt> layer 4 </dt><dd>Implements arbitrary dimensional multiverse.
 464 </dd>
 465
 466 <dt> layer 5 </dt><dd>Distributed computation engine.
 467 </dd>
 468 </dl>
 469 </div>
 470 </div>
 471 </div>
 472 <div id="outline-container-sec-5" class="outline-2">
 473 <h2 id="sec-5"><span class="section-number-2">5</span> Current status</h2>
 474 <div class="outline-text-2" id="text-5">
 475 <ul class="org-ul">
 476 <li>More or less defined <a href="#sec-2">Vision / goal</a>.
 477 </li>
 478
 479 <li>Collected some <a href="#sec-3-1">ideas</a>.
 480 </li>
 481
 482 <li>Implemented very simple persistent key-value map.
 483 <ul class="org-ul">
 484 <li>Long term goal is to use it as a backing storage engine and
 485 implement more advanced features on top of this.
 486 </li>
 487 </ul>
 488 </li>
 489 </ul>
 490 </div>
 491 </div>
 492
 493 <div id="outline-container-sec-6" class="outline-2">
 494 <h2 id="sec-6"><span class="section-number-2">6</span> See also</h2>
 495 <div class="outline-text-2" id="text-6">
 496 <p>
 497 Interesting or competing projects with good ideas:
 498 </p>
 499
 500 <ul class="org-ul">
 501 <li>GRAKN.AI
 502 <ul class="org-ul">
 503 <li>database in the form of a knowledge graph that uses machine
 504 reasoning to simplify data processing challenges for AI
 505 applications. <a href="https://grakn.ai/">https://grakn.ai/</a>
 506 </li>
 507 </ul>
 508 </li>
 509
 510 <li><a href="http://wiki.squeak.org/squeak/2665">Magma</a>
 511 <ul class="org-ul">
 512 <li>Multi-user object database for Squeak
 513 </li>
 514 </ul>
 515 </li>
 516
 517 <li><a href="http://esug.org/data/ESUG2015/3%20wednesday/1100-1130%20SQL%20Queries%20on%20Smalltalk%20Objects/SQL%20Queries%20in%20Smalltalk%20(James%20Foster).pdf">Gemstone/S</a>
 518 <ul class="org-ul">
 519 <li>Completely distributed smalltalk based computing
 520 system.
 521 </li>
 522 </ul>
 523 </li>
 524
 525 <li><a href="http://www.uruk.org/emu/Taos.html">TAOS</a>
 526 <ul class="org-ul">
 527 <li>Completely distributed operating system/virtual machine:
 528 </li>
 529 </ul>
 530 </li>
 531
 532 <li><a href="https://github.com/vygr/ChrysaLisp">ChrysaLisp</a>
 533 <ul class="org-ul">
 534 <li>Assembler/C-Script/Lisp 64 bit, MIMD, multi CPU, multi threaded,
 535 multi core, multi user Parallel OS. With GUI, Terminal, OO
 536 Assembler, Class libraries, C-Script compiler, Lisp interpreter,
 537 Debugger, and more&#x2026;
 538 </li>
 539 </ul>
 540 </li>
 541 </ul>
 542 </div>
 543 </div>
 544 </div><div class="col-md-3"><nav id="table-of-contents">
 545 <div id="text-table-of-contents" class="bs-docs-sidebar">
 546 <ul class="nav">
 547 <li><a href="#sec-1">1. General</a>
 548 <ul class="nav">
 549 <li><a href="#sec-1-1">1.1. Source code</a></li>
 550 </ul>
 551 </li>
 552 <li><a href="#sec-2">2. Vision / goal</a></li>
 553 <li><a href="#sec-3">3. Inspiration</a>
 554 <ul class="nav">
 555 <li><a href="#sec-3-1">3.1. Brain</a></li>
 556 </ul>
 557 </li>
 558 <li><a href="#sec-4">4. Ideas</a>
 559 <ul class="nav">
 560 <li><a href="#sec-4-1">4.1. Distributed computation and data storage</a></li>
 561 <li><a href="#sec-4-2">4.2. Mapping of hyperspace to traditional object-oriented model</a></li>
 562 <li><a href="#sec-4-3">4.3. Handling of relations</a></li>
 563 <li><a href="#sec-4-4">4.4. Layered architecture</a></li>
 564 </ul>
 565 </li>
 566 <li><a href="#sec-5">5. Current status</a></li>
 567 <li><a href="#sec-6">6. See also</a></li>
 568 </ul>
 569 </div>
 570 </nav>
 571 </div></div></div>
 572 <footer id="postamble" class="">
 573 <div><p class="author">Author: Svjatoslav Agejenko</p>
 574 <p class="date">Created: 2019-01-18 Fri 23:27</p>
 575 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 26.1 (<a href="http://orgmode.org">Org-mode</a> 9.1.9)</p>
 576 </div>
 577 </footer>
 578 </body>
 579 </html>