reorganized see-also section
[sixth-data.git] / doc / index.html
1 <!doctype html>
2 <html lang="en">
3 <head>
4 <title>Sixth Data - Data storage and computing engine</title>
5 <!-- 2020-05-17 P 02:27 -->
6 <meta charset="utf-8">
7 <meta name="viewport" content="width=device-width, initial-scale=1">
8 <meta name="generator" content="Org-mode">
9 <meta name="author" content="Svjatoslav Agejenko">
10 <link href="https://bootswatch.com/3/darkly/bootstrap.min.css" rel="stylesheet">
11 <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.3/jquery.min.js"></script>
12 <script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/3.3.5/js/bootstrap.min.js"></script>
13 <style type="text/css">
14 footer {background-color: #111 !important;}
15 pre {background-color: #111; color: #ccc;}
16 </style>
17 <style type="text/css">
18 /* org mode styles on top of twbs */
19
20 html {
21     position: relative;
22     min-height: 100%;
23 }
24
25 body {
26     font-size: 18px;
27     margin-bottom: 105px;
28 }
29
30 footer {
31     position: absolute;
32     bottom: 0;
33     width: 100%;
34     height: 101px;
35     background-color: #f5f5f5;
36 }
37
38 footer > div {
39     padding: 10px;
40 }
41
42 footer p {
43     margin: 0 0 5px;
44     text-align: center;
45     font-size: 16px;
46 }
47
48 #table-of-contents {
49     margin-top: 20px;
50     margin-bottom: 20px;
51 }
52
53 blockquote p {
54     font-size: 18px;
55 }
56
57 pre {
58     font-size: 16px;
59 }
60
61 .footpara {
62     display: inline-block;
63 }
64
65 figcaption {
66   font-size: 16px;
67   color: #666;
68   font-style: italic;
69   padding-bottom: 15px;
70 }
71
72 /* from twbs docs */
73
74 .bs-docs-sidebar.affix {
75     position: static;
76 }
77 @media (min-width: 768px) {
78     .bs-docs-sidebar {
79         padding-left: 20px;
80     }
81 }
82
83 /* All levels of nav */
84 .bs-docs-sidebar .nav > li > a {
85     display: block;
86     padding: 4px 20px;
87     font-size: 14px;
88     font-weight: 500;
89     color: #999;
90 }
91 .bs-docs-sidebar .nav > li > a:hover,
92 .bs-docs-sidebar .nav > li > a:focus {
93     padding-left: 19px;
94     color: #A1283B;
95     text-decoration: none;
96     background-color: transparent;
97     border-left: 1px solid #A1283B;
98 }
99 .bs-docs-sidebar .nav > .active > a,
100 .bs-docs-sidebar .nav > .active:hover > a,
101 .bs-docs-sidebar .nav > .active:focus > a {
102     padding-left: 18px;
103     font-weight: bold;
104     color: #A1283B;
105     background-color: transparent;
106     border-left: 2px solid #A1283B;
107 }
108
109 /* Nav: second level (shown on .active) */
110 .bs-docs-sidebar .nav .nav {
111     display: none; /* Hide by default, but at >768px, show it */
112     padding-bottom: 10px;
113 }
114 .bs-docs-sidebar .nav .nav > li > a {
115     padding-top: 1px;
116     padding-bottom: 1px;
117     padding-left: 30px;
118     font-size: 12px;
119     font-weight: normal;
120 }
121 .bs-docs-sidebar .nav .nav > li > a:hover,
122 .bs-docs-sidebar .nav .nav > li > a:focus {
123     padding-left: 29px;
124 }
125 .bs-docs-sidebar .nav .nav > .active > a,
126 .bs-docs-sidebar .nav .nav > .active:hover > a,
127 .bs-docs-sidebar .nav .nav > .active:focus > a {
128     padding-left: 28px;
129     font-weight: 500;
130 }
131
132 /* Nav: third level (shown on .active) */
133 .bs-docs-sidebar .nav .nav .nav {
134     padding-bottom: 10px;
135 }
136 .bs-docs-sidebar .nav .nav .nav > li > a {
137     padding-top: 1px;
138     padding-bottom: 1px;
139     padding-left: 40px;
140     font-size: 12px;
141     font-weight: normal;
142 }
143 .bs-docs-sidebar .nav .nav .nav > li > a:hover,
144 .bs-docs-sidebar .nav .nav .nav > li > a:focus {
145     padding-left: 39px;
146 }
147 .bs-docs-sidebar .nav .nav .nav > .active > a,
148 .bs-docs-sidebar .nav .nav .nav > .active:hover > a,
149 .bs-docs-sidebar .nav .nav .nav > .active:focus > a {
150     padding-left: 38px;
151     font-weight: 500;
152 }
153
154 /* Show and affix the side nav when space allows it */
155 @media (min-width: 992px) {
156     .bs-docs-sidebar .nav > .active > ul {
157         display: block;
158     }
159     /* Widen the fixed sidebar */
160     .bs-docs-sidebar.affix,
161     .bs-docs-sidebar.affix-bottom {
162         width: 213px;
163     }
164     .bs-docs-sidebar.affix {
165         position: fixed; /* Undo the static from mobile first approach */
166         top: 20px;
167     }
168     .bs-docs-sidebar.affix-bottom {
169         position: absolute; /* Undo the static from mobile first approach */
170     }
171     .bs-docs-sidebar.affix .bs-docs-sidenav,.bs-docs-sidebar.affix-bottom .bs-docs-sidenav {
172         margin-top: 0;
173         margin-bottom: 0
174     }
175 }
176 @media (min-width: 1200px) {
177     /* Widen the fixed sidebar again */
178     .bs-docs-sidebar.affix-bottom,
179     .bs-docs-sidebar.affix {
180         width: 263px;
181     }
182 }
183 </style>
184 <script type="text/javascript">
185 $(function() {
186     'use strict';
187
188     $('.bs-docs-sidebar li').first().addClass('active');
189
190     $(document.body).scrollspy({target: '.bs-docs-sidebar'});
191
192     $('.bs-docs-sidebar').affix();
193 });
194 </script>
195 </head>
196 <body>
197 <div id="content" class="container">
198 <div class="row"><div class="col-md-9"><h1 class="title">Sixth Data - Data storage and computing engine</h1>
199
200 <div id="outline-container-sec-1" class="outline-2">
201 <h2 id="sec-1"><span class="section-number-2">1</span> General</h2>
202 <div class="outline-text-2" id="text-1">
203 <ul class="org-ul">
204 <li>This program is free software: released under Creative Commons Zero
205 (CC0) license
206 </li>
207
208 <li>Program author:
209 <ul class="org-ul">
210 <li>Svjatoslav Agejenko
211 </li>
212 <li>Homepage: <a href="https://svjatoslav.eu">https://svjatoslav.eu</a>
213 </li>
214 <li>Email: <a href="mailto://svjatoslav@svjatoslav.eu">mailto://svjatoslav@svjatoslav.eu</a>
215 </li>
216 </ul>
217 </li>
218
219 <li><a href="https://www.svjatoslav.eu/projects/">Other software projects hosted at svjatoslav.eu</a>
220 </li>
221 </ul>
222 </div>
223
224 <div id="outline-container-sec-1-1" class="outline-3">
225 <h3 id="sec-1-1"><span class="section-number-3">1.1</span> Source code</h3>
226 <div class="outline-text-3" id="text-1-1">
227 <ul class="org-ul">
228 <li><a href="https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=snapshot;h=HEAD;sf=tgz">Download latest snapshot in TAR GZ format</a>
229 </li>
230
231 <li><a href="https://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=summary">Browse Git repository online</a>
232 </li>
233
234 <li>Clone Git repository using command:
235 <pre class="example">
236 git clone https://www2.svjatoslav.eu/git/sixth-data.git
237
238 </pre>
239 </li>
240
241 <li>See <a href="https://www3.svjatoslav.eu/projects/sixth-data/apidocs/">JavaDoc</a>.
242 </li>
243 </ul>
244 </div>
245 </div>
246 </div>
247
248 <div id="outline-container-sec-2" class="outline-2">
249 <h2 id="sec-2"><a id="ID-f6764282-a6f6-44e6-8716-b428074dd093" name="ID-f6764282-a6f6-44e6-8716-b428074dd093"></a><span class="section-number-2">2</span> Vision / goal</h2>
250 <div class="outline-text-2" id="text-2">
251 <p>
252 Provide hackable, versioned, optimized, distributed, geometrical,
253 arbitrary dimensional (<a href="#sec-4">hypercube based</a>) data storage and computation
254 engine (<a href="#sec-3-1">as inspired by the brain</a>) for general purpose visual computing
255 environment called <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth</a>.
256 </p>
257
258 <p>
259 Because <a href="http://www.paulgraham.com/rootsoflisp.html">Lisp is hackable self defined programmable programming
260 language</a> it would be used to provide <a href="https://en.wikipedia.org/wiki/Imperative_programming">imperative programming</a> support.
261 </p>
262 </div>
263 </div>
264 <div id="outline-container-sec-3" class="outline-2">
265 <h2 id="sec-3"><a id="ID-0fa6354b-18c9-4120-bbf5-c7239aebecab" name="ID-0fa6354b-18c9-4120-bbf5-c7239aebecab"></a><span class="section-number-2">3</span> Inspiration</h2>
266 <div class="outline-text-2" id="text-3">
267 <ul class="org-ul">
268 <li>see also: <a href="https://en.wikipedia.org/wiki/OLAP_cube">OLAP cube</a>.
269 </li>
270 </ul>
271 </div>
272 <div id="outline-container-sec-3-1" class="outline-3">
273 <h3 id="sec-3-1"><a id="ID-d2375acc-af14-4f18-8ad0-7949501178c5" name="ID-d2375acc-af14-4f18-8ad0-7949501178c5"></a><span class="section-number-3">3.1</span> Brain</h3>
274 <div class="outline-text-3" id="text-3-1">
275 <ul class="org-ul">
276 <li>Brain appears to be natural geometrical/parallel data storage and
277 computational engine:
278 <ul class="org-ul">
279 <li><a href="https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/">https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/</a>
280 </li>
281 </ul>
282 </li>
283
284 <li>Even more awesome is that brain appears to operate and is wired as
285 arbitrary/variable dimensional structure:
286 <a href="https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/">https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/</a>
287 </li>
288
289 <li>On top of this, this multidimensional space that brain represents
290 has dynamic/variable resolution/density:
291 <ul class="org-ul">
292 <li><a href="https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328">https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328</a>
293 </li>
294 </ul>
295 </li>
296
297 <li>Such properties allow parallel <a href="#sec-5">Geometrical computation</a> and
298 beautifully fits <a href="#sec-3-2">CM-1 Connection Machine</a> architecture (for extra
299 hardware accelerated solution).
300 </li>
301 </ul>
302 </div>
303 </div>
304
305 <div id="outline-container-sec-3-2" class="outline-3">
306 <h3 id="sec-3-2"><a id="ID-01aa65c1-3d44-44a8-9b90-58454bc6be80" name="ID-01aa65c1-3d44-44a8-9b90-58454bc6be80"></a><span class="section-number-3">3.2</span> CM-1 Connection Machine</h3>
307 <div class="outline-text-3" id="text-3-2">
308 <p>
309 <a href="https://en.wikipedia.org/wiki/Connection_Machine">https://en.wikipedia.org/wiki/Connection_Machine</a>
310 </p>
311
312 <p>
313 Massively parallel (thousands of CPUs) connected via
314 machine's internal 12-dimensional hypercube network allows to
315 efficiently simulate arbitrary dimensional hypercube and network
316 topology between computational units. So that when we are
317 solving/simulating for example 5 dimensional problem, we can arrange
318 computational units into virtual 5D network. See:
319 <a href="http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html">http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html</a>
320 </p>
321
322 <p>
323 we can pre-distribute data across computation units and perform
324 parallel <a href="#sec-5">geometrical computation</a>.
325 </p>
326 </div>
327 </div>
328 </div>
329
330 <div id="outline-container-sec-4" class="outline-2">
331 <h2 id="sec-4"><a id="ID-96116550-a6a1-4700-bef7-865d0deee7ea" name="ID-96116550-a6a1-4700-bef7-865d0deee7ea"></a><span class="section-number-2">4</span> Reasons for hypercube as a so called first class citizen</h2>
332 <div class="outline-text-2" id="text-4">
333 <ul class="org-ul">
334 <li>Hypercube is quite general purpose data structure that naturally
335 encapsulates wide variety data and problems.
336 </li>
337
338 <li>Nicely captures apparent <a href="#sec-3-1">properties of the brain</a>.
339 </li>
340
341 <li>Naturally supports distributed and parallel <a href="#sec-5">geometrical data storage
342 and computation.</a>
343 </li>
344
345 <li>Dedicated hardware like <a href="#sec-3-2">CM-1</a> can be built around hypercube concept
346 that results in data, computation process and hardware, all
347 beautifully fitting together while complementing each other
348 strengths.
349 </li>
350
351 <li>Hypercube stored data (and computation process) has geometry by its
352 nature and should fit nicely with "3D first" user interface ideology
353 of the parent <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth</a> project.
354 </li>
355 </ul>
356 </div>
357 </div>
358 <div id="outline-container-sec-5" class="outline-2">
359 <h2 id="sec-5"><a id="ID-171fe375-c737-41e6-b429-a414f6abc5d8" name="ID-171fe375-c737-41e6-b429-a414f6abc5d8"></a><span class="section-number-2">5</span> Geometrical computation idea</h2>
360 <div class="outline-text-2" id="text-5">
361 </div>
362 <div id="outline-container-sec-5-1" class="outline-3">
363 <h3 id="sec-5-1"><a id="ID-5d287158-53ea-44a2-a754-dd862366066a" name="ID-5d287158-53ea-44a2-a754-dd862366066a"></a><span class="section-number-3">5.1</span> Distributed computation and data storage</h3>
364 <div class="outline-text-3" id="text-5-1">
365 <p>
366 Lots of problems can be translated to geometry (use any shapes and as
367 many dimensions as you need). Solution(s) to such problems could be
368 then found via geometrical search/comparison/lookup results. As a
369 bonus, such geometrical *data storage* AND *computation* can be
370 naturally made in *parallel* and *distributed*.
371 </p>
372
373 <p>
374 Learning means building/updating/re-balancing the model (the hard
375 part). Question answering is making (relatively simple) lookups
376 (geometrical queries) against the model.
377 </p>
378 </div>
379 </div>
380 <div id="outline-container-sec-5-2" class="outline-3">
381 <h3 id="sec-5-2"><a id="ID-a117c11e-97c1-4822-88b2-9fc10f96caec" name="ID-a117c11e-97c1-4822-88b2-9fc10f96caec"></a><span class="section-number-3">5.2</span> Mapping hypercube to object-oriented model and relational database</h3>
382 <div class="outline-text-3" id="text-5-2">
383 <p>
384 Object oriented programming is inspired by the way human mind
385 operates. It allows programmer to express ideas to computer in a more
386 human-like terms.
387 </p>
388
389 <p>
390 It is actually also possible to map object model and relational
391 database to geometrical hyperspace:
392 </p>
393
394 <ul class="org-ul">
395 <li>Object or database table row is a point in hypercube arbitrary
396 dimensional space. Each object member variable or database table
397 column can be mapped to its own dimension in hypercube. That is: if
398 class declares 4 variables for an object, then corresponding object
399 can be stored as a single point inside 4 dimensional
400 hypercube. Variable values translate to point coordinates in that
401 hypercube. That is: numbers and string can be translated to linear
402 value that can be used as a coordinate along particular dimension.
403 </li>
404
405 <li>Each object class or database table declares its own hypercube that
406 contain instances (objects) of that class or rows of a table.
407 </li>
408 </ul>
409 </div>
410 </div>
411
412 <div id="outline-container-sec-5-3" class="outline-3">
413 <h3 id="sec-5-3"><a id="ID-b6b15bd2-c78b-4c51-a343-72843a515c29" name="ID-b6b15bd2-c78b-4c51-a343-72843a515c29"></a><span class="section-number-3">5.3</span> Mapping entity relations in hypercube</h3>
414 <div class="outline-text-3" id="text-5-3">
415 <p>
416 Consider we want to create database of:
417 </p>
418 <ul class="org-ul">
419 <li>Books.
420 </li>
421 <li>Authors.
422 </li>
423 <li>Effort: Amount of time contributed by every author to every book
424 that he/she wrote.
425 </li>
426 </ul>
427
428 <p>
429 Information above can be represented as 3D cube where dimensions are:
430 </p>
431 <ul class="org-ul">
432 <li>X: Book
433 </li>
434 <li>Y: Author
435 </li>
436 <li>Z: Effort
437 </li>
438 </ul>
439
440 <p>
441 Points in that cube would nicely capture many to many relations
442 between authors and the books.
443 </p>
444 </div>
445 </div>
446 </div>
447 <div id="outline-container-sec-6" class="outline-2">
448 <h2 id="sec-6"><span class="section-number-2">6</span> Current status</h2>
449 <div class="outline-text-2" id="text-6">
450 <ul class="org-ul">
451 <li>More or less defined <a href="#sec-2">Vision / goal</a>.
452 </li>
453
454 <li>Collected some <a href="#sec-3">inspiring</a> <a href="#sec-5">ideas</a>.
455 </li>
456
457 <li>Implemented very simple persistent key-value map.
458 <ul class="org-ul">
459 <li>Long term goal is to use it as a backing storage engine and
460 implement more advanced features on top of this via layered
461 architecture.
462 </li>
463 </ul>
464 </li>
465 </ul>
466 </div>
467 </div>
468
469 <div id="outline-container-sec-7" class="outline-2">
470 <h2 id="sec-7"><span class="section-number-2">7</span> See also</h2>
471 <div class="outline-text-2" id="text-7">
472 <p>
473 Interesting or competing projects with good ideas:
474 </p>
475
476 <ul class="org-ul">
477 <li>Analyze and share complex multi-dimensional data at scale
478 <a href="https://tiledb.com/">https://tiledb.com/</a>
479 </li>
480
481 <li><a href="https://github.com/vygr/ChrysaLisp">ChrysaLisp</a>
482 <ul class="org-ul">
483 <li>Assembler/C-Script/Lisp 64 bit, MIMD, multi CPU, multi threaded,
484 multi core, multi user Parallel OS. With GUI, Terminal, OO
485 Assembler, Class libraries, C-Script compiler, Lisp interpreter,
486 Debugger, and more&#x2026;
487 </li>
488 </ul>
489 </li>
490
491 <li><a href="#sec-3-2">CM-1 Connection Machine</a>
492 </li>
493
494 <li><a href="http://esug.org/data/ESUG2015/3%20wednesday/1100-1130%20SQL%20Queries%20on%20Smalltalk%20Objects/SQL%20Queries%20in%20Smalltalk%20(James%20Foster).pdf">Gemstone/S</a>
495 <ul class="org-ul">
496 <li>Completely distributed smalltalk based computing
497 system.
498 </li>
499 </ul>
500 </li>
501
502 <li>GRAKN.AI
503 <ul class="org-ul">
504 <li>database in the form of a knowledge graph that uses machine
505 reasoning to simplify data processing challenges for AI
506 applications. <a href="https://grakn.ai/">https://grakn.ai/</a>
507 </li>
508 </ul>
509 </li>
510
511 <li><a href="http://phantomos.org/">http://phantomos.org/</a>
512 <ul class="org-ul">
513 <li>Programs run forever. System crash or reboot does not destroy
514 state of running program.
515 </li>
516 </ul>
517 </li>
518
519 <li><a href="http://wiki.squeak.org/squeak/2665">Magma</a>
520 <ul class="org-ul">
521 <li>Multi-user object database for Squeak
522 </li>
523 </ul>
524 </li>
525
526 <li>Taichi: A Language for High-Performance Computation onSpatially
527 Sparse Data Structures
528 <ul class="org-ul">
529 <li><a href="http://taichi.graphics/wp-content/uploads/2019/09/taichi_lang.pdf">http://taichi.graphics/wp-content/uploads/2019/09/taichi_lang.pdf</a>
530 </li>
531 </ul>
532 </li>
533
534 <li><a href="http://www.uruk.org/emu/Taos.html">TAOS</a>
535 <ul class="org-ul">
536 <li>Completely distributed operating system/virtual machine:
537 </li>
538 </ul>
539 </li>
540 </ul>
541 </div>
542 </div>
543 </div><div class="col-md-3"><nav id="table-of-contents">
544 <div id="text-table-of-contents" class="bs-docs-sidebar">
545 <ul class="nav">
546 <li><a href="#sec-1">1. General</a>
547 <ul class="nav">
548 <li><a href="#sec-1-1">1.1. Source code</a></li>
549 </ul>
550 </li>
551 <li><a href="#sec-2">2. Vision / goal</a></li>
552 <li><a href="#sec-3">3. Inspiration</a>
553 <ul class="nav">
554 <li><a href="#sec-3-1">3.1. Brain</a></li>
555 <li><a href="#sec-3-2">3.2. CM-1 Connection Machine</a></li>
556 </ul>
557 </li>
558 <li><a href="#sec-4">4. Reasons for hypercube as a so called first class citizen</a></li>
559 <li><a href="#sec-5">5. Geometrical computation idea</a>
560 <ul class="nav">
561 <li><a href="#sec-5-1">5.1. Distributed computation and data storage</a></li>
562 <li><a href="#sec-5-2">5.2. Mapping hypercube to object-oriented model and relational database</a></li>
563 <li><a href="#sec-5-3">5.3. Mapping entity relations in hypercube</a></li>
564 </ul>
565 </li>
566 <li><a href="#sec-6">6. Current status</a></li>
567 <li><a href="#sec-7">7. See also</a></li>
568 </ul>
569 </div>
570 </nav>
571 </div></div></div>
572 <footer id="postamble" class="">
573 <div><p class="author">Author: Svjatoslav Agejenko</p>
574 <p class="date">Created: 2020-05-17 P 02:27</p>
575 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 26.1 (<a href="http://orgmode.org">Org-mode</a> 9.1.9)</p>
576 </div>
577 </footer>
578 </body>
579 </html>