added PhantomOS reference
[sixth-data.git] / doc / index.html
1 <!doctype html>
2 <html lang="en">
3 <head>
4 <title>Sixth Data - Data storage and computing engine</title>
5 <!-- 2019-10-21 Mon 22:18 -->
6 <meta charset="utf-8">
7 <meta name="viewport" content="width=device-width, initial-scale=1">
8 <meta name="generator" content="Org-mode">
9 <meta name="author" content="Svjatoslav Agejenko">
10 <link href="https://bootswatch.com/3/darkly/bootstrap.min.css" rel="stylesheet">
11 <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.3/jquery.min.js"></script>
12 <script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/3.3.5/js/bootstrap.min.js"></script>
13 <style type="text/css">
14 footer {background-color: #111 !important;}
15 pre {background-color: #111; color: #ccc;}
16 </style>
17 <style type="text/css">
18 /* org mode styles on top of twbs */
19
20 html {
21     position: relative;
22     min-height: 100%;
23 }
24
25 body {
26     font-size: 18px;
27     margin-bottom: 105px;
28 }
29
30 footer {
31     position: absolute;
32     bottom: 0;
33     width: 100%;
34     height: 101px;
35     background-color: #f5f5f5;
36 }
37
38 footer > div {
39     padding: 10px;
40 }
41
42 footer p {
43     margin: 0 0 5px;
44     text-align: center;
45     font-size: 16px;
46 }
47
48 #table-of-contents {
49     margin-top: 20px;
50     margin-bottom: 20px;
51 }
52
53 blockquote p {
54     font-size: 18px;
55 }
56
57 pre {
58     font-size: 16px;
59 }
60
61 .footpara {
62     display: inline-block;
63 }
64
65 figcaption {
66   font-size: 16px;
67   color: #666;
68   font-style: italic;
69   padding-bottom: 15px;
70 }
71
72 /* from twbs docs */
73
74 .bs-docs-sidebar.affix {
75     position: static;
76 }
77 @media (min-width: 768px) {
78     .bs-docs-sidebar {
79         padding-left: 20px;
80     }
81 }
82
83 /* All levels of nav */
84 .bs-docs-sidebar .nav > li > a {
85     display: block;
86     padding: 4px 20px;
87     font-size: 14px;
88     font-weight: 500;
89     color: #999;
90 }
91 .bs-docs-sidebar .nav > li > a:hover,
92 .bs-docs-sidebar .nav > li > a:focus {
93     padding-left: 19px;
94     color: #A1283B;
95     text-decoration: none;
96     background-color: transparent;
97     border-left: 1px solid #A1283B;
98 }
99 .bs-docs-sidebar .nav > .active > a,
100 .bs-docs-sidebar .nav > .active:hover > a,
101 .bs-docs-sidebar .nav > .active:focus > a {
102     padding-left: 18px;
103     font-weight: bold;
104     color: #A1283B;
105     background-color: transparent;
106     border-left: 2px solid #A1283B;
107 }
108
109 /* Nav: second level (shown on .active) */
110 .bs-docs-sidebar .nav .nav {
111     display: none; /* Hide by default, but at >768px, show it */
112     padding-bottom: 10px;
113 }
114 .bs-docs-sidebar .nav .nav > li > a {
115     padding-top: 1px;
116     padding-bottom: 1px;
117     padding-left: 30px;
118     font-size: 12px;
119     font-weight: normal;
120 }
121 .bs-docs-sidebar .nav .nav > li > a:hover,
122 .bs-docs-sidebar .nav .nav > li > a:focus {
123     padding-left: 29px;
124 }
125 .bs-docs-sidebar .nav .nav > .active > a,
126 .bs-docs-sidebar .nav .nav > .active:hover > a,
127 .bs-docs-sidebar .nav .nav > .active:focus > a {
128     padding-left: 28px;
129     font-weight: 500;
130 }
131
132 /* Nav: third level (shown on .active) */
133 .bs-docs-sidebar .nav .nav .nav {
134     padding-bottom: 10px;
135 }
136 .bs-docs-sidebar .nav .nav .nav > li > a {
137     padding-top: 1px;
138     padding-bottom: 1px;
139     padding-left: 40px;
140     font-size: 12px;
141     font-weight: normal;
142 }
143 .bs-docs-sidebar .nav .nav .nav > li > a:hover,
144 .bs-docs-sidebar .nav .nav .nav > li > a:focus {
145     padding-left: 39px;
146 }
147 .bs-docs-sidebar .nav .nav .nav > .active > a,
148 .bs-docs-sidebar .nav .nav .nav > .active:hover > a,
149 .bs-docs-sidebar .nav .nav .nav > .active:focus > a {
150     padding-left: 38px;
151     font-weight: 500;
152 }
153
154 /* Show and affix the side nav when space allows it */
155 @media (min-width: 992px) {
156     .bs-docs-sidebar .nav > .active > ul {
157         display: block;
158     }
159     /* Widen the fixed sidebar */
160     .bs-docs-sidebar.affix,
161     .bs-docs-sidebar.affix-bottom {
162         width: 213px;
163     }
164     .bs-docs-sidebar.affix {
165         position: fixed; /* Undo the static from mobile first approach */
166         top: 20px;
167     }
168     .bs-docs-sidebar.affix-bottom {
169         position: absolute; /* Undo the static from mobile first approach */
170     }
171     .bs-docs-sidebar.affix .bs-docs-sidenav,.bs-docs-sidebar.affix-bottom .bs-docs-sidenav {
172         margin-top: 0;
173         margin-bottom: 0
174     }
175 }
176 @media (min-width: 1200px) {
177     /* Widen the fixed sidebar again */
178     .bs-docs-sidebar.affix-bottom,
179     .bs-docs-sidebar.affix {
180         width: 263px;
181     }
182 }
183 </style>
184 <script type="text/javascript">
185 $(function() {
186     'use strict';
187
188     $('.bs-docs-sidebar li').first().addClass('active');
189
190     $(document.body).scrollspy({target: '.bs-docs-sidebar'});
191
192     $('.bs-docs-sidebar').affix();
193 });
194 </script>
195 </head>
196 <body>
197 <div id="content" class="container">
198 <div class="row"><div class="col-md-9"><h1 class="title">Sixth Data - Data storage and computing engine</h1>
199
200 <div id="outline-container-sec-1" class="outline-2">
201 <h2 id="sec-1"><span class="section-number-2">1</span> General</h2>
202 <div class="outline-text-2" id="text-1">
203 <ul class="org-ul">
204 <li>This is a subproject of <a href="https://www3.svjatoslav.eu/projects/sixth/">Sixth</a>
205 </li>
206
207 <li>This program is free software: you can redistribute it and/or modify
208 it under the terms of the <a href="https://www.gnu.org/licenses/lgpl.html">GNU Lesser General Public License</a> as
209 published by the Free Software Foundation, either version 3 of the
210 License, or (at your option) any later version.
211 </li>
212
213 <li>Program author:
214 <ul class="org-ul">
215 <li>Svjatoslav Agejenko
216 </li>
217 <li>Homepage: <a href="https://svjatoslav.eu">https://svjatoslav.eu</a>
218 </li>
219 <li>Email: <a href="mailto://svjatoslav@svjatoslav.eu">mailto://svjatoslav@svjatoslav.eu</a>
220 </li>
221 </ul>
222 </li>
223
224 <li><a href="https://www.svjatoslav.eu/projects/">Other software projects hosted at svjatoslav.eu</a>
225 </li>
226 </ul>
227 </div>
228
229 <div id="outline-container-sec-1-1" class="outline-3">
230 <h3 id="sec-1-1"><span class="section-number-3">1.1</span> Source code</h3>
231 <div class="outline-text-3" id="text-1-1">
232 <ul class="org-ul">
233 <li><a href="https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=snapshot;h=HEAD;sf=tgz">Download latest snapshot in TAR GZ format</a>
234 </li>
235
236 <li><a href="https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=summary">Browse Git repository online</a>
237 </li>
238
239 <li>Clone Git repository using command:
240 <pre class="example">
241 git clone https://www2.svjatoslav.eu/git/sixth-data.git
242
243 </pre>
244 </li>
245
246 <li>See <a href="https://www3.svjatoslav.eu/projects/sixth-data/apidocs/">JavaDoc</a>.
247 </li>
248 </ul>
249 </div>
250 </div>
251 </div>
252
253 <div id="outline-container-sec-2" class="outline-2">
254 <h2 id="sec-2"><a id="ID-f6764282-a6f6-44e6-8716-b428074dd093" name="ID-f6764282-a6f6-44e6-8716-b428074dd093"></a><span class="section-number-2">2</span> Vision / goal</h2>
255 <div class="outline-text-2" id="text-2">
256 <p>
257 Provide versioned, clustered, flexible, distributed, multi-dimensional
258 data storage engine for the <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth computation engine</a>.
259 </p>
260
261 <ul class="org-ul">
262 <li>Speaking of traditional relational database and object oriented
263 business applications:
264
265 <ul class="org-ul">
266 <li>I hate object-relational impedance mismatch.
267 </li>
268
269 <li>I don't like to convert data between persistent database and
270 runtime objects for every transaction. How about creating united
271 database/computation engine instead to:
272
273 <ul class="org-ul">
274 <li>Eliminate constant moving and converting of data between 2 systems
275 and make computing happen close to where the data is stored.
276 </li>
277
278 <li>Abstract away difference between RAM VS persistent storage. Let
279 the system decide at runtime which data to keep in what kind of
280 memory.
281 </li>
282 </ul>
283 </li>
284 </ul>
285 </li>
286 </ul>
287 </div>
288 </div>
289
290 <div id="outline-container-sec-3" class="outline-2">
291 <h2 id="sec-3"><span class="section-number-2">3</span> Inspiration</h2>
292 <div class="outline-text-2" id="text-3">
293 <ul class="org-ul">
294 <li>Relational databases:
295 <ul class="org-ul">
296 <li>Transactional.
297 </li>
298 <li>Indexable / Quickly searchable.
299 </li>
300 </ul>
301 </li>
302
303 <li>Git (version control system)
304 <ul class="org-ul">
305 <li>Versionable
306 </li>
307 <li>Branchable / mergeable.
308 </li>
309 <li>Transparent cansistency, checksumming and deduplication.
310 </li>
311 <li>(Git as a database:
312 </li>
313 </ul>
314 <p>
315 <a href="https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/">https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/</a> )
316 </p>
317 </li>
318 </ul>
319 </div>
320
321 <div id="outline-container-sec-3-1" class="outline-3">
322 <h3 id="sec-3-1"><a id="ID-d2375acc-af14-4f18-8ad0-7949501178c5" name="ID-d2375acc-af14-4f18-8ad0-7949501178c5"></a><span class="section-number-3">3.1</span> Brain</h3>
323 <div class="outline-text-3" id="text-3-1">
324 <ul class="org-ul">
325 <li>Brain appears to have more than 3D dimensional design:
326 <a href="https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/">https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/</a>
327 </li>
328
329 <li>Brain appears to use geometry to map thoughts and even sounds:
330 <ul class="org-ul">
331 <li><a href="https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/">https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/</a>
332 </li>
333 <li><a href="https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328">https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328</a>
334 </li>
335 </ul>
336 </li>
337
338 <li>It directly inspires <a href="#sec-4-1">Geometrical computation</a> idea and nicely fits
339 with <a href="#sec-3-2">CM-1 Connection Machine</a> design.
340 </li>
341 </ul>
342 </div>
343 </div>
344
345 <div id="outline-container-sec-3-2" class="outline-3">
346 <h3 id="sec-3-2"><a id="ID-01aa65c1-3d44-44a8-9b90-58454bc6be80" name="ID-01aa65c1-3d44-44a8-9b90-58454bc6be80"></a><span class="section-number-3">3.2</span> CM-1 Connection Machine</h3>
347 <div class="outline-text-3" id="text-3-2">
348 <p>
349 <a href="https://en.wikipedia.org/wiki/Connection_Machine">https://en.wikipedia.org/wiki/Connection_Machine</a>
350 </p>
351
352 <ul class="org-ul">
353 <li>see: <a href="#sec-4-1">Geometrical computation</a>
354 </li>
355
356 <li>Computation unit has local CPU and RAM.
357 </li>
358
359 <li>Data is pre-distributed across computation units.
360 </li>
361
362 <li>Machine's internal 12-dimensional hypercube network allows to
363 efficiently simulate arbitrary dimensional network topology between
364 computational units. So that when we are solving/simulating for
365 example 5 dimensional problem, we can arrange computational units
366 into virtual 5D network. See:
367 <a href="http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html">http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html</a>
368 </li>
369 </ul>
370 </div>
371 </div>
372 </div>
373
374 <div id="outline-container-sec-4" class="outline-2">
375 <h2 id="sec-4"><span class="section-number-2">4</span> Ideas</h2>
376 <div class="outline-text-2" id="text-4">
377 </div><div id="outline-container-sec-4-1" class="outline-3">
378 <h3 id="sec-4-1"><a id="ID-171fe375-c737-41e6-b429-a414f6abc5d8" name="ID-171fe375-c737-41e6-b429-a414f6abc5d8"></a><span class="section-number-3">4.1</span> Geometrical computation</h3>
379 <div class="outline-text-3" id="text-4-1">
380 <ul class="org-ul">
381 <li>Inspired by <a href="#sec-3-1">Brain</a>.
382 </li>
383 <li>Wits nicely with <a href="#sec-3-2">CM-1 Connection Machine</a> properties.
384 </li>
385 </ul>
386 </div>
387
388 <div id="outline-container-sec-4-1-1" class="outline-4">
389 <h4 id="sec-4-1-1"><a id="ID-5d287158-53ea-44a2-a754-dd862366066a" name="ID-5d287158-53ea-44a2-a754-dd862366066a"></a><span class="section-number-4">4.1.1</span> Distributed computation and data storage</h4>
390 <div class="outline-text-4" id="text-4-1-1">
391 <p>
392 Maybe every problem can be translated to geometry (use any shapes and
393 as many dimensions as you need). Solution(s) to such problems would
394 then appear as relatively simple search/comparison/lookup results. As
395 a bonus, such geometrical *data storage* AND *computation* can be
396 naturally made in *parallel* and *distributed*. That's what neurons in
397 the brain appear to be doing ! :) . Learning means building/updating
398 the model (the hard part). Question answering is making (relatively
399 simple) lookups (geometrical queries) against the model.
400 </p>
401 </div>
402 </div>
403 <div id="outline-container-sec-4-1-2" class="outline-4">
404 <h4 id="sec-4-1-2"><a id="ID-a117c11e-97c1-4822-88b2-9fc10f96caec" name="ID-a117c11e-97c1-4822-88b2-9fc10f96caec"></a><span class="section-number-4">4.1.2</span> Mapping of hyperspace to traditional object-oriented model</h4>
405 <div class="outline-text-4" id="text-4-1-2">
406 <p>
407 Object oriented programming is inspired by the way human mind
408 operates. It allows programmer to express ideas to computer in a more
409 human-like terms.
410 </p>
411
412 <p>
413 It is possible to map object model to geometrical hyperspace:
414 </p>
415
416 <ul class="org-ul">
417 <li>Object is a point in space (universe). Each object member variable
418 translates to its own dimension. That is: if class declares 4
419 variables for an object, then corresponding object can be stored as
420 a single point inside 4 dimensional space. Variable values translate
421 to point coordinates in space. That is: Integer, floating point
422 number and even boolean and string can be translated to linear value
423 that can be used as a coordinate along particular dimension.
424 </li>
425
426 <li>Each class declares its own space (universe). All class instances
427 (objects) are points inside that particular universe. References
428 between objects of different types are hyperlinks (portals) between
429 different universes.
430 </li>
431 </ul>
432 </div>
433 </div>
434 <div id="outline-container-sec-4-1-3" class="outline-4">
435 <h4 id="sec-4-1-3"><a id="ID-b6b15bd2-c78b-4c51-a343-72843a515c29" name="ID-b6b15bd2-c78b-4c51-a343-72843a515c29"></a><span class="section-number-4">4.1.3</span> Handling of relations</h4>
436 <div class="outline-text-4" id="text-4-1-3">
437 <p>
438 Consider we want to create database of books and authors. Book can
439 have multiple authors, and single person can be author for multiple
440 books. It is possible to store how many hours of work each author has
441 contributed to every book, using hyperspace as follows:
442 </p>
443
444 <ul class="org-ul">
445 <li>Every dimension corresponds to one particular book author. (10
446 authors in the database, would require 10 dimensional space)
447 <ul class="org-ul">
448 <li>Point in space corresponds to one particular book.
449 <ul class="org-ul">
450 <li>Point location along particular (author) dimension corresponds
451 to amount of work contributed by particular author for given
452 book.
453 </li>
454 </ul>
455 </li>
456 </ul>
457 </li>
458 </ul>
459
460 <p>
461 Alternatively:
462 </p>
463
464 <ul class="org-ul">
465 <li>Every dimension corresponds to one particular book.
466 <ul class="org-ul">
467 <li>Point in space corresponds to one particular author in the entire
468 database.
469 <ul class="org-ul">
470 <li>Point location along particular (book) dimension corresponds to
471 amount of work contributed for book by given author (point).
472 </li>
473 </ul>
474 </li>
475 </ul>
476 </li>
477 </ul>
478 </div>
479 </div>
480 </div>
481
482 <div id="outline-container-sec-4-2" class="outline-3">
483 <h3 id="sec-4-2"><span class="section-number-3">4.2</span> Layered architecture</h3>
484 <div class="outline-text-3" id="text-4-2">
485 <dl class="org-dl">
486 <dt> layer 1 </dt><dd>disk / block storage / partition
487 </dd>
488
489 <dt> layer 2 </dt><dd>key/value storage. Keys are unique and are dictated by
490 storage engine. Value is arbitrary but limited size byte
491 array. This layer is responsible for handling disk
492 defragmentation and consistency in case of crash
493 recovery.
494 </dd>
495
496 <dt> layer 3 </dt><dd>key/value storage. Keys are content hashes. Values are
497 arbitrary but limited size content byte arrays. This
498 layer effectively implements content addressable
499 storage. Content addressible storage enables GIT-like
500 behavior (possibility for competing branches, retaining
501 history, transparent deduplication)
502 </dd>
503
504 <dt> layer 4 </dt><dd>Implements arbitrary dimensional multiverse.
505 </dd>
506
507 <dt> layer 5 </dt><dd>Distributed computation engine.
508 </dd>
509 </dl>
510 </div>
511 </div>
512 </div>
513 <div id="outline-container-sec-5" class="outline-2">
514 <h2 id="sec-5"><span class="section-number-2">5</span> Current status</h2>
515 <div class="outline-text-2" id="text-5">
516 <ul class="org-ul">
517 <li>More or less defined <a href="#sec-2">Vision / goal</a>.
518 </li>
519
520 <li>Collected some <a href="#sec-3-1">ideas</a>.
521 </li>
522
523 <li>Implemented very simple persistent key-value map.
524 <ul class="org-ul">
525 <li>Long term goal is to use it as a backing storage engine and
526 implement more advanced features on top of this.
527 </li>
528 </ul>
529 </li>
530 </ul>
531 </div>
532 </div>
533
534 <div id="outline-container-sec-6" class="outline-2">
535 <h2 id="sec-6"><span class="section-number-2">6</span> See also</h2>
536 <div class="outline-text-2" id="text-6">
537 <p>
538 Interesting or competing projects with good ideas:
539 </p>
540
541 <ul class="org-ul">
542 <li><a href="#sec-3-2">CM-1 Connection Machine</a>
543 </li>
544
545 <li><a href="http://phantomos.org/">http://phantomos.org/</a>
546 <ul class="org-ul">
547 <li>Programs run forever. System crash or reboot does not destroy
548 state of running program.
549 </li>
550 </ul>
551 </li>
552
553 <li>Taichi: A Language for High-Performance Computation onSpatially
554 Sparse Data Structures
555 <ul class="org-ul">
556 <li><a href="http://taichi.graphics/wp-content/uploads/2019/09/taichi_lang.pdf">http://taichi.graphics/wp-content/uploads/2019/09/taichi_lang.pdf</a>
557 </li>
558 </ul>
559 </li>
560
561 <li>GRAKN.AI
562 <ul class="org-ul">
563 <li>database in the form of a knowledge graph that uses machine
564 reasoning to simplify data processing challenges for AI
565 applications. <a href="https://grakn.ai/">https://grakn.ai/</a>
566 </li>
567 </ul>
568 </li>
569
570 <li><a href="http://wiki.squeak.org/squeak/2665">Magma</a>
571 <ul class="org-ul">
572 <li>Multi-user object database for Squeak
573 </li>
574 </ul>
575 </li>
576
577 <li><a href="http://esug.org/data/ESUG2015/3%20wednesday/1100-1130%20SQL%20Queries%20on%20Smalltalk%20Objects/SQL%20Queries%20in%20Smalltalk%20(James%20Foster).pdf">Gemstone/S</a>
578 <ul class="org-ul">
579 <li>Completely distributed smalltalk based computing
580 system.
581 </li>
582 </ul>
583 </li>
584
585 <li><a href="http://www.uruk.org/emu/Taos.html">TAOS</a>
586 <ul class="org-ul">
587 <li>Completely distributed operating system/virtual machine:
588 </li>
589 </ul>
590 </li>
591
592 <li><a href="https://github.com/vygr/ChrysaLisp">ChrysaLisp</a>
593 <ul class="org-ul">
594 <li>Assembler/C-Script/Lisp 64 bit, MIMD, multi CPU, multi threaded,
595 multi core, multi user Parallel OS. With GUI, Terminal, OO
596 Assembler, Class libraries, C-Script compiler, Lisp interpreter,
597 Debugger, and more&#x2026;
598 </li>
599 </ul>
600 </li>
601 </ul>
602 </div>
603 </div>
604 </div><div class="col-md-3"><nav id="table-of-contents">
605 <div id="text-table-of-contents" class="bs-docs-sidebar">
606 <ul class="nav">
607 <li><a href="#sec-1">1. General</a>
608 <ul class="nav">
609 <li><a href="#sec-1-1">1.1. Source code</a></li>
610 </ul>
611 </li>
612 <li><a href="#sec-2">2. Vision / goal</a></li>
613 <li><a href="#sec-3">3. Inspiration</a>
614 <ul class="nav">
615 <li><a href="#sec-3-1">3.1. Brain</a></li>
616 <li><a href="#sec-3-2">3.2. CM-1 Connection Machine</a></li>
617 </ul>
618 </li>
619 <li><a href="#sec-4">4. Ideas</a>
620 <ul class="nav">
621 <li><a href="#sec-4-1">4.1. Geometrical computation</a></li>
622 <li><a href="#sec-4-2">4.2. Layered architecture</a></li>
623 </ul>
624 </li>
625 <li><a href="#sec-5">5. Current status</a></li>
626 <li><a href="#sec-6">6. See also</a></li>
627 </ul>
628 </div>
629 </nav>
630 </div></div></div>
631 <footer id="postamble" class="">
632 <div><p class="author">Author: Svjatoslav Agejenko</p>
633 <p class="date">Created: 2019-10-21 Mon 22:18</p>
634 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 26.1 (<a href="http://orgmode.org">Org-mode</a> 9.1.9)</p>
635 </div>
636 </footer>
637 </body>
638 </html>