Updated vision
authorSvjatoslav Agejenko <svjatoslav@svjatoslav.eu>
Wed, 29 Jan 2020 20:51:40 +0000 (22:51 +0200)
committerSvjatoslav Agejenko <svjatoslav@svjatoslav.eu>
Wed, 29 Jan 2020 20:51:40 +0000 (22:51 +0200)
doc/index.html
doc/index.org
tools/update web site

index 6d728f3..9b75295 100644 (file)
@@ -2,7 +2,7 @@
 <html lang="en">
 <head>
 <title>Sixth Data - Data storage and computing engine</title>
 <html lang="en">
 <head>
 <title>Sixth Data - Data storage and computing engine</title>
-<!-- 2019-10-21 Mon 22:18 -->
+<!-- 2020-01-29 K 22:47 -->
 <meta charset="utf-8">
 <meta name="viewport" content="width=device-width, initial-scale=1">
 <meta name="generator" content="Org-mode">
 <meta charset="utf-8">
 <meta name="viewport" content="width=device-width, initial-scale=1">
 <meta name="generator" content="Org-mode">
@@ -201,7 +201,8 @@ $(function() {
 <h2 id="sec-1"><span class="section-number-2">1</span> General</h2>
 <div class="outline-text-2" id="text-1">
 <ul class="org-ul">
 <h2 id="sec-1"><span class="section-number-2">1</span> General</h2>
 <div class="outline-text-2" id="text-1">
 <ul class="org-ul">
-<li>This is a subproject of <a href="https://www3.svjatoslav.eu/projects/sixth/">Sixth</a>
+<li>This is a subproject of <a href="https://www3.svjatoslav.eu/projects/sixth/">Sixth</a> with the goal of providing data
+storage and computation facilities.
 </li>
 
 <li>This program is free software: you can redistribute it and/or modify
 </li>
 
 <li>This program is free software: you can redistribute it and/or modify
@@ -242,9 +243,6 @@ git clone https://www2.svjatoslav.eu/git/sixth-data.git
 
 </pre>
 </li>
 
 </pre>
 </li>
-
-<li>See <a href="https://www3.svjatoslav.eu/projects/sixth-data/apidocs/">JavaDoc</a>.
-</li>
 </ul>
 </div>
 </div>
 </ul>
 </div>
 </div>
@@ -254,89 +252,54 @@ git clone https://www2.svjatoslav.eu/git/sixth-data.git
 <h2 id="sec-2"><a id="ID-f6764282-a6f6-44e6-8716-b428074dd093" name="ID-f6764282-a6f6-44e6-8716-b428074dd093"></a><span class="section-number-2">2</span> Vision / goal</h2>
 <div class="outline-text-2" id="text-2">
 <p>
 <h2 id="sec-2"><a id="ID-f6764282-a6f6-44e6-8716-b428074dd093" name="ID-f6764282-a6f6-44e6-8716-b428074dd093"></a><span class="section-number-2">2</span> Vision / goal</h2>
 <div class="outline-text-2" id="text-2">
 <p>
-Provide versioned, clustered, flexible, distributed, multi-dimensional
-data storage engine for the <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth computation engine</a>.
+Provide hackable, versioned, optimized, distributed, geometrical,
+arbitrary dimensional (<a href="#sec-4">hypercube based</a>) data storage and computation
+engine (<a href="#sec-3-1">as inspired by the brain</a>) for general purpose visual computing
+environment called <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth</a>.
 </p>
 
 </p>
 
-<ul class="org-ul">
-<li>Speaking of traditional relational database and object oriented
-business applications:
-
-<ul class="org-ul">
-<li>I hate object-relational impedance mismatch.
-</li>
-
-<li>I don't like to convert data between persistent database and
-runtime objects for every transaction. How about creating united
-database/computation engine instead to:
-
-<ul class="org-ul">
-<li>Eliminate constant moving and converting of data between 2 systems
-and make computing happen close to where the data is stored.
-</li>
-
-<li>Abstract away difference between RAM VS persistent storage. Let
-the system decide at runtime which data to keep in what kind of
-memory.
-</li>
-</ul>
-</li>
-</ul>
-</li>
-</ul>
+<p>
+Because <a href="http://www.paulgraham.com/rootsoflisp.html">Lisp is hackable self defined programmable programming
+language</a> it would be used to provide <a href="https://en.wikipedia.org/wiki/Imperative_programming">imperative programming</a> support.
+</p>
 </div>
 </div>
 </div>
 </div>
-
 <div id="outline-container-sec-3" class="outline-2">
 <div id="outline-container-sec-3" class="outline-2">
-<h2 id="sec-3"><span class="section-number-2">3</span> Inspiration</h2>
+<h2 id="sec-3"><a id="ID-0fa6354b-18c9-4120-bbf5-c7239aebecab" name="ID-0fa6354b-18c9-4120-bbf5-c7239aebecab"></a><span class="section-number-2">3</span> Inspiration</h2>
 <div class="outline-text-2" id="text-3">
 <ul class="org-ul">
 <div class="outline-text-2" id="text-3">
 <ul class="org-ul">
-<li>Relational databases:
-<ul class="org-ul">
-<li>Transactional.
-</li>
-<li>Indexable / Quickly searchable.
-</li>
-</ul>
-</li>
-
-<li>Git (version control system)
-<ul class="org-ul">
-<li>Versionable
-</li>
-<li>Branchable / mergeable.
-</li>
-<li>Transparent cansistency, checksumming and deduplication.
-</li>
-<li>(Git as a database:
-</li>
-</ul>
-<p>
-<a href="https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/">https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/</a> )
-</p>
+<li>see also: <a href="https://en.wikipedia.org/wiki/OLAP_cube">OLAP cube</a>.
 </li>
 </ul>
 </div>
 </li>
 </ul>
 </div>
-
 <div id="outline-container-sec-3-1" class="outline-3">
 <h3 id="sec-3-1"><a id="ID-d2375acc-af14-4f18-8ad0-7949501178c5" name="ID-d2375acc-af14-4f18-8ad0-7949501178c5"></a><span class="section-number-3">3.1</span> Brain</h3>
 <div class="outline-text-3" id="text-3-1">
 <ul class="org-ul">
 <div id="outline-container-sec-3-1" class="outline-3">
 <h3 id="sec-3-1"><a id="ID-d2375acc-af14-4f18-8ad0-7949501178c5" name="ID-d2375acc-af14-4f18-8ad0-7949501178c5"></a><span class="section-number-3">3.1</span> Brain</h3>
 <div class="outline-text-3" id="text-3-1">
 <ul class="org-ul">
-<li>Brain appears to have more than 3D dimensional design:
+<li>Brain appears to be natural geometrical/parallel data storage and
+computational engine:
+<ul class="org-ul">
+<li><a href="https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/">https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/</a>
+</li>
+</ul>
+</li>
+
+<li>Even more awesome is that brain appears to operate and is wired as
+arbitrary/variable dimensional structure:
 <a href="https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/">https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/</a>
 </li>
 
 <a href="https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/">https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/</a>
 </li>
 
-<li>Brain appears to use geometry to map thoughts and even sounds:
+<li>On top of this, this multidimensional space that brain represents
+has dynamic/variable resolution/density:
 <ul class="org-ul">
 <ul class="org-ul">
-<li><a href="https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/">https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/</a>
-</li>
 <li><a href="https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328">https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328</a>
 </li>
 </ul>
 </li>
 
 <li><a href="https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328">https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328</a>
 </li>
 </ul>
 </li>
 
-<li>It directly inspires <a href="#sec-4-1">Geometrical computation</a> idea and nicely fits
-with <a href="#sec-3-2">CM-1 Connection Machine</a> design.
+<li>Such properties allow parallel <a href="#sec-5">Geometrical computation</a> and
+beautifully fits <a href="#sec-3-2">CM-1 Connection Machine</a> architecture (for extra
+hardware accelerated solution).
 </li>
 </ul>
 </div>
 </li>
 </ul>
 </div>
@@ -349,60 +312,77 @@ with <a href="#sec-3-2">CM-1 Connection Machine</a> design.
 <a href="https://en.wikipedia.org/wiki/Connection_Machine">https://en.wikipedia.org/wiki/Connection_Machine</a>
 </p>
 
 <a href="https://en.wikipedia.org/wiki/Connection_Machine">https://en.wikipedia.org/wiki/Connection_Machine</a>
 </p>
 
-<ul class="org-ul">
-<li>see: <a href="#sec-4-1">Geometrical computation</a>
-</li>
-
-<li>Computation unit has local CPU and RAM.
-</li>
-
-<li>Data is pre-distributed across computation units.
-</li>
-
-<li>Machine's internal 12-dimensional hypercube network allows to
-efficiently simulate arbitrary dimensional network topology between
-computational units. So that when we are solving/simulating for
-example 5 dimensional problem, we can arrange computational units
-into virtual 5D network. See:
+<p>
+Massively parallel (thousands of CPUs) connected via
+machine's internal 12-dimensional hypercube network allows to
+efficiently simulate arbitrary dimensional hypercube and network
+topology between computational units. So that when we are
+solving/simulating for example 5 dimensional problem, we can arrange
+computational units into virtual 5D network. See:
 <a href="http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html">http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html</a>
 <a href="http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html">http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html</a>
-</li>
-</ul>
+</p>
+
+<p>
+we can pre-distribute data across computation units and perform
+parallel <a href="#sec-5">geometrical computation</a>.
+</p>
 </div>
 </div>
 </div>
 
 <div id="outline-container-sec-4" class="outline-2">
 </div>
 </div>
 </div>
 
 <div id="outline-container-sec-4" class="outline-2">
-<h2 id="sec-4"><span class="section-number-2">4</span> Ideas</h2>
+<h2 id="sec-4"><a id="ID-96116550-a6a1-4700-bef7-865d0deee7ea" name="ID-96116550-a6a1-4700-bef7-865d0deee7ea"></a><span class="section-number-2">4</span> Reasons for hypercube as a so called first class citizen</h2>
 <div class="outline-text-2" id="text-4">
 <div class="outline-text-2" id="text-4">
-</div><div id="outline-container-sec-4-1" class="outline-3">
-<h3 id="sec-4-1"><a id="ID-171fe375-c737-41e6-b429-a414f6abc5d8" name="ID-171fe375-c737-41e6-b429-a414f6abc5d8"></a><span class="section-number-3">4.1</span> Geometrical computation</h3>
-<div class="outline-text-3" id="text-4-1">
 <ul class="org-ul">
 <ul class="org-ul">
-<li>Inspired by <a href="#sec-3-1">Brain</a>.
+<li>Hypercube is quite general purpose data structure that naturally
+encapsulates wide variety data and problems.
 </li>
 </li>
-<li>Wits nicely with <a href="#sec-3-2">CM-1 Connection Machine</a> properties.
+
+<li>Nicely captures apparent <a href="#sec-3-1">properties of the brain</a>.
+</li>
+
+<li>Naturally supports distributed and parallel <a href="#sec-5">geometrical data storage
+and computation.</a>
+</li>
+
+<li>Dedicated hardware like <a href="#sec-3-2">CM-1</a> can be built around hypercube concept
+that results in data, computation process and hardware, all
+beautifully fitting together while complementing each other
+strengths.
+</li>
+
+<li>Hypercube stored data (and computation process) has geometry by its
+nature and should fit nicely with "3D first" user interface ideology
+of the parent <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth</a> project.
 </li>
 </ul>
 </div>
 </li>
 </ul>
 </div>
+</div>
+<div id="outline-container-sec-5" class="outline-2">
+<h2 id="sec-5"><a id="ID-171fe375-c737-41e6-b429-a414f6abc5d8" name="ID-171fe375-c737-41e6-b429-a414f6abc5d8"></a><span class="section-number-2">5</span> Geometrical computation idea</h2>
+<div class="outline-text-2" id="text-5">
+</div>
+<div id="outline-container-sec-5-1" class="outline-3">
+<h3 id="sec-5-1"><a id="ID-5d287158-53ea-44a2-a754-dd862366066a" name="ID-5d287158-53ea-44a2-a754-dd862366066a"></a><span class="section-number-3">5.1</span> Distributed computation and data storage</h3>
+<div class="outline-text-3" id="text-5-1">
+<p>
+Lots of problems can be translated to geometry (use any shapes and as
+many dimensions as you need). Solution(s) to such problems could be
+then found via geometrical search/comparison/lookup results. As a
+bonus, such geometrical *data storage* AND *computation* can be
+naturally made in *parallel* and *distributed*.
+</p>
 
 
-<div id="outline-container-sec-4-1-1" class="outline-4">
-<h4 id="sec-4-1-1"><a id="ID-5d287158-53ea-44a2-a754-dd862366066a" name="ID-5d287158-53ea-44a2-a754-dd862366066a"></a><span class="section-number-4">4.1.1</span> Distributed computation and data storage</h4>
-<div class="outline-text-4" id="text-4-1-1">
 <p>
 <p>
-Maybe every problem can be translated to geometry (use any shapes and
-as many dimensions as you need). Solution(s) to such problems would
-then appear as relatively simple search/comparison/lookup results. As
-a bonus, such geometrical *data storage* AND *computation* can be
-naturally made in *parallel* and *distributed*. That's what neurons in
-the brain appear to be doing ! :) . Learning means building/updating
-the model (the hard part). Question answering is making (relatively
-simple) lookups (geometrical queries) against the model.
+Learning means building/updating/re-balancing the model (the hard
+part). Question answering is making (relatively simple) lookups
+(geometrical queries) against the model.
 </p>
 </div>
 </div>
 </p>
 </div>
 </div>
-<div id="outline-container-sec-4-1-2" class="outline-4">
-<h4 id="sec-4-1-2"><a id="ID-a117c11e-97c1-4822-88b2-9fc10f96caec" name="ID-a117c11e-97c1-4822-88b2-9fc10f96caec"></a><span class="section-number-4">4.1.2</span> Mapping of hyperspace to traditional object-oriented model</h4>
-<div class="outline-text-4" id="text-4-1-2">
+<div id="outline-container-sec-5-2" class="outline-3">
+<h3 id="sec-5-2"><a id="ID-a117c11e-97c1-4822-88b2-9fc10f96caec" name="ID-a117c11e-97c1-4822-88b2-9fc10f96caec"></a><span class="section-number-3">5.2</span> Mapping hypercube to object-oriented model and relational database</h3>
+<div class="outline-text-3" id="text-5-2">
 <p>
 Object oriented programming is inspired by the way human mind
 operates. It allows programmer to express ideas to computer in a more
 <p>
 Object oriented programming is inspired by the way human mind
 operates. It allows programmer to express ideas to computer in a more
@@ -410,120 +390,78 @@ human-like terms.
 </p>
 
 <p>
 </p>
 
 <p>
-It is possible to map object model to geometrical hyperspace:
+It is actually also possible to map object model and relational
+database to geometrical hyperspace:
 </p>
 
 <ul class="org-ul">
 </p>
 
 <ul class="org-ul">
-<li>Object is a point in space (universe). Each object member variable
-translates to its own dimension. That is: if class declares 4
-variables for an object, then corresponding object can be stored as
-a single point inside 4 dimensional space. Variable values translate
-to point coordinates in space. That is: Integer, floating point
-number and even boolean and string can be translated to linear value
-that can be used as a coordinate along particular dimension.
+<li>Object or database table row is a point in hypercube arbitrary
+dimensional space. Each object member variable or database table
+column can be mapped to its own dimension in hypercube. That is: if
+class declares 4 variables for an object, then corresponding object
+can be stored as a single point inside 4 dimensional
+hypercube. Variable values translate to point coordinates in that
+hypercube. That is: numbers and string can be translated to linear
+value that can be used as a coordinate along particular dimension.
 </li>
 
 </li>
 
-<li>Each class declares its own space (universe). All class instances
-(objects) are points inside that particular universe. References
-between objects of different types are hyperlinks (portals) between
-different universes.
+<li>Each object class or database table declares its own hypercube that
+contain instances (objects) of that class or rows of a table.
 </li>
 </ul>
 </div>
 </div>
 </li>
 </ul>
 </div>
 </div>
-<div id="outline-container-sec-4-1-3" class="outline-4">
-<h4 id="sec-4-1-3"><a id="ID-b6b15bd2-c78b-4c51-a343-72843a515c29" name="ID-b6b15bd2-c78b-4c51-a343-72843a515c29"></a><span class="section-number-4">4.1.3</span> Handling of relations</h4>
-<div class="outline-text-4" id="text-4-1-3">
+
+<div id="outline-container-sec-5-3" class="outline-3">
+<h3 id="sec-5-3"><a id="ID-b6b15bd2-c78b-4c51-a343-72843a515c29" name="ID-b6b15bd2-c78b-4c51-a343-72843a515c29"></a><span class="section-number-3">5.3</span> Mapping entity relations in hypercube</h3>
+<div class="outline-text-3" id="text-5-3">
 <p>
 <p>
-Consider we want to create database of books and authors. Book can
-have multiple authors, and single person can be author for multiple
-books. It is possible to store how many hours of work each author has
-contributed to every book, using hyperspace as follows:
+Consider we want to create database of:
 </p>
 </p>
-
 <ul class="org-ul">
 <ul class="org-ul">
-<li>Every dimension corresponds to one particular book author. (10
-authors in the database, would require 10 dimensional space)
-<ul class="org-ul">
-<li>Point in space corresponds to one particular book.
-<ul class="org-ul">
-<li>Point location along particular (author) dimension corresponds
-to amount of work contributed by particular author for given
-book.
+<li>Books.
 </li>
 </li>
-</ul>
+<li>Authors.
 </li>
 </li>
-</ul>
+<li>Effort: Amount of time contributed by every author to every book
+that he/she wrote.
 </li>
 </ul>
 
 <p>
 </li>
 </ul>
 
 <p>
-Alternatively:
+Information above can be represented as 3D cube where dimensions are:
 </p>
 </p>
-
-<ul class="org-ul">
-<li>Every dimension corresponds to one particular book.
 <ul class="org-ul">
 <ul class="org-ul">
-<li>Point in space corresponds to one particular author in the entire
-database.
-<ul class="org-ul">
-<li>Point location along particular (book) dimension corresponds to
-amount of work contributed for book by given author (point).
+<li>X: Book
 </li>
 </li>
-</ul>
+<li>Y: Author
 </li>
 </li>
-</ul>
+<li>Z: Effort
 </li>
 </ul>
 </li>
 </ul>
-</div>
-</div>
-</div>
 
 
-<div id="outline-container-sec-4-2" class="outline-3">
-<h3 id="sec-4-2"><span class="section-number-3">4.2</span> Layered architecture</h3>
-<div class="outline-text-3" id="text-4-2">
-<dl class="org-dl">
-<dt> layer 1 </dt><dd>disk / block storage / partition
-</dd>
-
-<dt> layer 2 </dt><dd>key/value storage. Keys are unique and are dictated by
-storage engine. Value is arbitrary but limited size byte
-array. This layer is responsible for handling disk
-defragmentation and consistency in case of crash
-recovery.
-</dd>
-
-<dt> layer 3 </dt><dd>key/value storage. Keys are content hashes. Values are
-arbitrary but limited size content byte arrays. This
-layer effectively implements content addressable
-storage. Content addressible storage enables GIT-like
-behavior (possibility for competing branches, retaining
-history, transparent deduplication)
-</dd>
-
-<dt> layer 4 </dt><dd>Implements arbitrary dimensional multiverse.
-</dd>
-
-<dt> layer 5 </dt><dd>Distributed computation engine.
-</dd>
-</dl>
+<p>
+Points in that cube would nicely capture many to many relations
+between authors and the books.
+</p>
 </div>
 </div>
 </div>
 </div>
 </div>
 </div>
-<div id="outline-container-sec-5" class="outline-2">
-<h2 id="sec-5"><span class="section-number-2">5</span> Current status</h2>
-<div class="outline-text-2" id="text-5">
+<div id="outline-container-sec-6" class="outline-2">
+<h2 id="sec-6"><span class="section-number-2">6</span> Current status</h2>
+<div class="outline-text-2" id="text-6">
 <ul class="org-ul">
 <li>More or less defined <a href="#sec-2">Vision / goal</a>.
 </li>
 
 <ul class="org-ul">
 <li>More or less defined <a href="#sec-2">Vision / goal</a>.
 </li>
 
-<li>Collected some <a href="#sec-3-1">ideas</a>.
+<li>Collected some <a href="#sec-3">inspiring</a> <a href="#sec-5">ideas</a>.
 </li>
 
 <li>Implemented very simple persistent key-value map.
 <ul class="org-ul">
 <li>Long term goal is to use it as a backing storage engine and
 </li>
 
 <li>Implemented very simple persistent key-value map.
 <ul class="org-ul">
 <li>Long term goal is to use it as a backing storage engine and
-implement more advanced features on top of this.
+implement more advanced features on top of this via layered
+architecture.
 </li>
 </ul>
 </li>
 </li>
 </ul>
 </li>
@@ -531,9 +469,9 @@ implement more advanced features on top of this.
 </div>
 </div>
 
 </div>
 </div>
 
-<div id="outline-container-sec-6" class="outline-2">
-<h2 id="sec-6"><span class="section-number-2">6</span> See also</h2>
-<div class="outline-text-2" id="text-6">
+<div id="outline-container-sec-7" class="outline-2">
+<h2 id="sec-7"><span class="section-number-2">7</span> See also</h2>
+<div class="outline-text-2" id="text-7">
 <p>
 Interesting or competing projects with good ideas:
 </p>
 <p>
 Interesting or competing projects with good ideas:
 </p>
@@ -616,21 +554,23 @@ Debugger, and more&#x2026;
 <li><a href="#sec-3-2">3.2. CM-1 Connection Machine</a></li>
 </ul>
 </li>
 <li><a href="#sec-3-2">3.2. CM-1 Connection Machine</a></li>
 </ul>
 </li>
-<li><a href="#sec-4">4. Ideas</a>
+<li><a href="#sec-4">4. Reasons for hypercube as a so called first class citizen</a></li>
+<li><a href="#sec-5">5. Geometrical computation idea</a>
 <ul class="nav">
 <ul class="nav">
-<li><a href="#sec-4-1">4.1. Geometrical computation</a></li>
-<li><a href="#sec-4-2">4.2. Layered architecture</a></li>
+<li><a href="#sec-5-1">5.1. Distributed computation and data storage</a></li>
+<li><a href="#sec-5-2">5.2. Mapping hypercube to object-oriented model and relational database</a></li>
+<li><a href="#sec-5-3">5.3. Mapping entity relations in hypercube</a></li>
 </ul>
 </li>
 </ul>
 </li>
-<li><a href="#sec-5">5. Current status</a></li>
-<li><a href="#sec-6">6. See also</a></li>
+<li><a href="#sec-6">6. Current status</a></li>
+<li><a href="#sec-7">7. See also</a></li>
 </ul>
 </div>
 </nav>
 </div></div></div>
 <footer id="postamble" class="">
 <div><p class="author">Author: Svjatoslav Agejenko</p>
 </ul>
 </div>
 </nav>
 </div></div></div>
 <footer id="postamble" class="">
 <div><p class="author">Author: Svjatoslav Agejenko</p>
-<p class="date">Created: 2019-10-21 Mon 22:18</p>
+<p class="date">Created: 2020-01-29 K 22:47</p>
 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 26.1 (<a href="http://orgmode.org">Org-mode</a> 9.1.9)</p>
 </div>
 </footer>
 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 26.1 (<a href="http://orgmode.org">Org-mode</a> 9.1.9)</p>
 </div>
 </footer>
index 3b8accc..88a1d75 100644 (file)
@@ -11,7 +11,8 @@
 #+HTML_HEAD: </style>
 
 * General
 #+HTML_HEAD: </style>
 
 * General
-- This is a subproject of [[https://www3.svjatoslav.eu/projects/sixth/][Sixth]]
+- This is a subproject of [[https://www3.svjatoslav.eu/projects/sixth/][Sixth]] with the goal of providing data
+  storage and computation facilities.
 
 - This program is free software: you can redistribute it and/or modify
   it under the terms of the [[https://www.gnu.org/licenses/lgpl.html][GNU Lesser General Public License]] as
 
 - This program is free software: you can redistribute it and/or modify
   it under the terms of the [[https://www.gnu.org/licenses/lgpl.html][GNU Lesser General Public License]] as
 - Clone Git repository using command:
   : git clone https://www2.svjatoslav.eu/git/sixth-data.git
 
 - Clone Git repository using command:
   : git clone https://www2.svjatoslav.eu/git/sixth-data.git
 
-- See [[https://www3.svjatoslav.eu/projects/sixth-data/apidocs/][JavaDoc]].
-
 * Vision / goal
   :PROPERTIES:
   :ID:       f6764282-a6f6-44e6-8716-b428074dd093
   :END:
 * Vision / goal
   :PROPERTIES:
   :ID:       f6764282-a6f6-44e6-8716-b428074dd093
   :END:
-Provide versioned, clustered, flexible, distributed, multi-dimensional
-data storage engine for the [[http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html][Sixth computation engine]].
-
-+ Speaking of traditional relational database and object oriented
-  business applications:
-
-  + I hate object-relational impedance mismatch.
-
-  + I don't like to convert data between persistent database and
-    runtime objects for every transaction. How about creating united
-    database/computation engine instead to:
-
-    + Eliminate constant moving and converting of data between 2 systems
-      and make computing happen close to where the data is stored.
-
-    + Abstract away difference between RAM VS persistent storage. Let
-      the system decide at runtime which data to keep in what kind of
-      memory.
+Provide hackable, versioned, optimized, distributed, geometrical,
+arbitrary dimensional ([[id:96116550-a6a1-4700-bef7-865d0deee7ea][hypercube based]]) data storage and computation
+engine ([[id:d2375acc-af14-4f18-8ad0-7949501178c5][as inspired by the brain]]) for general purpose visual computing
+environment called [[http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html][Sixth]].
 
 
+Because [[http://www.paulgraham.com/rootsoflisp.html][Lisp is hackable self defined programmable programming
+language]] it would be used to provide [[https://en.wikipedia.org/wiki/Imperative_programming][imperative programming]] support.
 * Inspiration
 * Inspiration
-+ Relational databases:
-  + Transactional.
-  + Indexable / Quickly searchable.
-
-+ Git (version control system)
-  + Versionable
-  + Branchable / mergeable.
-  + Transparent cansistency, checksumming and deduplication.
-  + (Git as a database:
-  https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/ )
-
+:PROPERTIES:
+:ID:       0fa6354b-18c9-4120-bbf5-c7239aebecab
+:END:
++ see also: [[https://en.wikipedia.org/wiki/OLAP_cube][OLAP cube]].
 ** Brain
   :PROPERTIES:
   :ID:       d2375acc-af14-4f18-8ad0-7949501178c5
   :END:
 ** Brain
   :PROPERTIES:
   :ID:       d2375acc-af14-4f18-8ad0-7949501178c5
   :END:
-+ Brain appears to have more than 3D dimensional design:
++ Brain appears to be natural geometrical/parallel data storage and
+  computational engine:
+  + https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/
+
++ Even more awesome is that brain appears to operate and is wired as
+  arbitrary/variable dimensional structure:
   https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/
 
   https://singularityhub.com/2017/06/21/is-there-a-multidimensional-mathematical-world-hidden-in-the-brains-computation/
 
-+ Brain appears to use geometry to map thoughts and even sounds:
-  + https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/
++ On top of this, this multidimensional space that brain represents
+  has dynamic/variable resolution/density:
   + https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328
 
   + https://www.quantamagazine.org/goals-and-rewards-redraw-the-brains-map-of-the-world-20190328
 
-+ It directly inspires [[id:171fe375-c737-41e6-b429-a414f6abc5d8][Geometrical computation]] idea and nicely fits
-  with [[id:01aa65c1-3d44-44a8-9b90-58454bc6be80][CM-1 Connection Machine]] design.
++ Such properties allow parallel [[id:171fe375-c737-41e6-b429-a414f6abc5d8][Geometrical computation]] and
+  beautifully fits [[id:01aa65c1-3d44-44a8-9b90-58454bc6be80][CM-1 Connection Machine]] architecture (for extra
+  hardware accelerated solution).
 
 ** CM-1 Connection Machine
 :PROPERTIES:
 
 ** CM-1 Connection Machine
 :PROPERTIES:
@@ -90,40 +76,55 @@ data storage engine for the [[http://www2.svjatoslav.eu/gitbrowse/sixth/doc/inde
 :END:
 https://en.wikipedia.org/wiki/Connection_Machine
 
 :END:
 https://en.wikipedia.org/wiki/Connection_Machine
 
-+ see: [[id:171fe375-c737-41e6-b429-a414f6abc5d8][Geometrical computation]]
+Massively parallel (thousands of CPUs) connected via
+machine's internal 12-dimensional hypercube network allows to
+efficiently simulate arbitrary dimensional hypercube and network
+topology between computational units. So that when we are
+solving/simulating for example 5 dimensional problem, we can arrange
+computational units into virtual 5D network. See:
+http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html
+
+we can pre-distribute data across computation units and perform
+parallel [[id:171fe375-c737-41e6-b429-a414f6abc5d8][geometrical computation]].
+
+* Reasons for hypercube as a so called first class citizen
+:PROPERTIES:
+:ID:       96116550-a6a1-4700-bef7-865d0deee7ea
+:END:
++ Hypercube is quite general purpose data structure that naturally
+  encapsulates wide variety data and problems.
 
 
-+ Computation unit has local CPU and RAM.
++ Nicely captures apparent [[id:d2375acc-af14-4f18-8ad0-7949501178c5][properties of the brain]].
 
 
-+ Data is pre-distributed across computation units.
++ Naturally supports distributed and parallel [[id:171fe375-c737-41e6-b429-a414f6abc5d8][geometrical data storage
+  and computation.]]
 
 
-+ Machine's internal 12-dimensional hypercube network allows to
-  efficiently simulate arbitrary dimensional network topology between
-  computational units. So that when we are solving/simulating for
-  example 5 dimensional problem, we can arrange computational units
-  into virtual 5D network. See:
-  http://www.mission-base.com/tamiko/theory/cm_txts/di-ch2.html
++ Dedicated hardware like [[id:01aa65c1-3d44-44a8-9b90-58454bc6be80][CM-1]] can be built around hypercube concept
+  that results in data, computation process and hardware, all
+  beautifully fitting together while complementing each other
+  strengths.
 
 
-* Ideas
-** Geometrical computation
++ Hypercube stored data (and computation process) has geometry by its
+  nature and should fit nicely with "3D first" user interface ideology
+  of the parent [[http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html][Sixth]] project.
+* Geometrical computation idea
 :PROPERTIES:
 :ID:       171fe375-c737-41e6-b429-a414f6abc5d8
 :END:
 :PROPERTIES:
 :ID:       171fe375-c737-41e6-b429-a414f6abc5d8
 :END:
-+ Inspired by [[id:d2375acc-af14-4f18-8ad0-7949501178c5][Brain]].
-+ Wits nicely with [[id:01aa65c1-3d44-44a8-9b90-58454bc6be80][CM-1 Connection Machine]] properties.
-
-*** Distributed computation and data storage
+** Distributed computation and data storage
    :PROPERTIES:
    :ID:       5d287158-53ea-44a2-a754-dd862366066a
    :END:
    :PROPERTIES:
    :ID:       5d287158-53ea-44a2-a754-dd862366066a
    :END:
-Maybe every problem can be translated to geometry (use any shapes and
-as many dimensions as you need). Solution(s) to such problems would
-then appear as relatively simple search/comparison/lookup results. As
-a bonus, such geometrical *data storage* AND *computation* can be
-naturally made in *parallel* and *distributed*. That's what neurons in
-the brain appear to be doing ! :) . Learning means building/updating
-the model (the hard part). Question answering is making (relatively
-simple) lookups (geometrical queries) against the model.
-*** Mapping of hyperspace to traditional object-oriented model
+Lots of problems can be translated to geometry (use any shapes and as
+many dimensions as you need). Solution(s) to such problems could be
+then found via geometrical search/comparison/lookup results. As a
+bonus, such geometrical *data storage* AND *computation* can be
+naturally made in *parallel* and *distributed*.
+
+Learning means building/updating/re-balancing the model (the hard
+part). Question answering is making (relatively simple) lookups
+(geometrical queries) against the model.
+** Mapping hypercube to object-oriented model and relational database
    :PROPERTIES:
    :ID:       a117c11e-97c1-4822-88b2-9fc10f96caec
    :END:
    :PROPERTIES:
    :ID:       a117c11e-97c1-4822-88b2-9fc10f96caec
    :END:
@@ -131,71 +132,47 @@ Object oriented programming is inspired by the way human mind
 operates. It allows programmer to express ideas to computer in a more
 human-like terms.
 
 operates. It allows programmer to express ideas to computer in a more
 human-like terms.
 
-It is possible to map object model to geometrical hyperspace:
-
-+ Object is a point in space (universe). Each object member variable
-  translates to its own dimension. That is: if class declares 4
-  variables for an object, then corresponding object can be stored as
-  a single point inside 4 dimensional space. Variable values translate
-  to point coordinates in space. That is: Integer, floating point
-  number and even boolean and string can be translated to linear value
-  that can be used as a coordinate along particular dimension.
-
-+ Each class declares its own space (universe). All class instances
-  (objects) are points inside that particular universe. References
-  between objects of different types are hyperlinks (portals) between
-  different universes.
-*** Handling of relations
+It is actually also possible to map object model and relational
+database to geometrical hyperspace:
+
++ Object or database table row is a point in hypercube arbitrary
+  dimensional space. Each object member variable or database table
+  column can be mapped to its own dimension in hypercube. That is: if
+  class declares 4 variables for an object, then corresponding object
+  can be stored as a single point inside 4 dimensional
+  hypercube. Variable values translate to point coordinates in that
+  hypercube. That is: numbers and string can be translated to linear
+  value that can be used as a coordinate along particular dimension.
+
++ Each object class or database table declares its own hypercube that
+  contain instances (objects) of that class or rows of a table.
+
+** Mapping entity relations in hypercube
    :PROPERTIES:
    :ID:       b6b15bd2-c78b-4c51-a343-72843a515c29
    :END:
    :PROPERTIES:
    :ID:       b6b15bd2-c78b-4c51-a343-72843a515c29
    :END:
-Consider we want to create database of books and authors. Book can
-have multiple authors, and single person can be author for multiple
-books. It is possible to store how many hours of work each author has
-contributed to every book, using hyperspace as follows:
-
-+ Every dimension corresponds to one particular book author. (10
-  authors in the database, would require 10 dimensional space)
-  + Point in space corresponds to one particular book.
-    + Point location along particular (author) dimension corresponds
-      to amount of work contributed by particular author for given
-      book.
-
-Alternatively:
-
-+ Every dimension corresponds to one particular book.
-  + Point in space corresponds to one particular author in the entire
-    database.
-    + Point location along particular (book) dimension corresponds to
-      amount of work contributed for book by given author (point).
-
-** Layered architecture
-+ layer 1 :: disk / block storage / partition
-
-+ layer 2 :: key/value storage. Keys are unique and are dictated by
-             storage engine. Value is arbitrary but limited size byte
-             array. This layer is responsible for handling disk
-             defragmentation and consistency in case of crash
-             recovery.
-
-+ layer 3 :: key/value storage. Keys are content hashes. Values are
-             arbitrary but limited size content byte arrays. This
-             layer effectively implements content addressable
-             storage. Content addressible storage enables GIT-like
-             behavior (possibility for competing branches, retaining
-             history, transparent deduplication)
-
-+ layer 4 :: Implements arbitrary dimensional multiverse.
-
-+ layer 5 :: Distributed computation engine.
+Consider we want to create database of:
++ Books.
++ Authors.
++ Effort: Amount of time contributed by every author to every book
+  that he/she wrote.
+
+Information above can be represented as 3D cube where dimensions are:
++ X: Book
++ Y: Author
++ Z: Effort
+
+Points in that cube would nicely capture many to many relations
+between authors and the books.
 * Current status
 - More or less defined [[id:f6764282-a6f6-44e6-8716-b428074dd093][Vision / goal]].
 
 * Current status
 - More or less defined [[id:f6764282-a6f6-44e6-8716-b428074dd093][Vision / goal]].
 
-- Collected some [[id:d2375acc-af14-4f18-8ad0-7949501178c5][ideas]].
+- Collected some [[id:0fa6354b-18c9-4120-bbf5-c7239aebecab][inspiring]] [[id:171fe375-c737-41e6-b429-a414f6abc5d8][ideas]].
 
 - Implemented very simple persistent key-value map.
   - Long term goal is to use it as a backing storage engine and
 
 - Implemented very simple persistent key-value map.
   - Long term goal is to use it as a backing storage engine and
-    implement more advanced features on top of this.
+    implement more advanced features on top of this via layered
+    architecture.
 
 * See also
 Interesting or competing projects with good ideas:
 
 * See also
 Interesting or competing projects with good ideas:
index c2219a2..3981451 100755 (executable)
@@ -5,8 +5,8 @@ cd ..
 
 mvn clean package
 
 
 mvn clean package
 
-rm -rf doc/apidocs/
-cp -r target/apidocs/ doc/
+rm -rf doc/apidocs/
+cp -r target/apidocs/ doc/
 
 rsync -avz --delete  -e 'ssh -p 10006' doc/ n0@www3.svjatoslav.eu:/mnt/big/projects/sixth-data/
 
 
 rsync -avz --delete  -e 'ssh -p 10006' doc/ n0@www3.svjatoslav.eu:/mnt/big/projects/sixth-data/