doc/index.html

   1 <!doctype html>
   2 <html lang="en">
   3 <head>
   4 <title>Sixth - system for data storage, computation, exploration and interaction</title>
   5 <!-- 2017-05-25 Thu 22:58 -->
   6 <meta charset="utf-8">
   7 <meta name="viewport" content="width=device-width, initial-scale=1">
   8 <meta name="generator" content="Org-mode">
   9 <meta name="author" content="Svjatoslav Agejenko">
  10 <link href="https://bootswatch.com/darkly/bootstrap.min.css" rel="stylesheet">
  11 <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/1.11.2/jquery.min.js"></script>
  12 <script src="https://cdnjs.cloudflare.com/ajax/libs/twitter-bootstrap/3.3.1/js/bootstrap.min.js"></script>"
  13 <style type="text/css">
  14 footer {background-color: #111 !important;}
  15 pre {background-color: #111; color: #ccc;}
  16 </style>
  17 <style type="text/css">
  18 /* org mode styles on top of twbs */
  19
  20 html {
  21     position: relative;
  22     min-height: 100%;
  23 }
  24
  25 body {
  26     font-size: 18px;
  27     margin-bottom: 105px;
  28 }
  29
  30 footer {
  31     position: absolute;
  32     bottom: 0;
  33     width: 100%;
  34     height: 101px;
  35     background-color: #f5f5f5;
  36 }
  37
  38 footer > div {
  39     padding: 10px;
  40 }
  41
  42 footer p {
  43     margin: 0 0 5px;
  44     text-align: center;
  45     font-size: 16px;
  46 }
  47
  48 #table-of-contents {
  49     margin-top: 20px;
  50     margin-bottom: 20px;
  51 }
  52
  53 blockquote p {
  54     font-size: 18px;
  55 }
  56
  57 pre {
  58     font-size: 16px;
  59 }
  60
  61 .footpara {
  62     display: inline-block;
  63 }
  64
  65 figcaption {
  66   font-size: 16px;
  67   color: #666;
  68   font-style: italic;
  69   padding-bottom: 15px;
  70 }
  71
  72 /* from twbs docs */
  73
  74 .bs-docs-sidebar.affix {
  75     position: static;
  76 }
  77 @media (min-width: 768px) {
  78     .bs-docs-sidebar {
  79         padding-left: 20px;
  80     }
  81 }
  82
  83 /* All levels of nav */
  84 .bs-docs-sidebar .nav > li > a {
  85     display: block;
  86     padding: 4px 20px;
  87     font-size: 14px;
  88     font-weight: 500;
  89     color: #999;
  90 }
  91 .bs-docs-sidebar .nav > li > a:hover,
  92 .bs-docs-sidebar .nav > li > a:focus {
  93     padding-left: 19px;
  94     color: #A1283B;
  95     text-decoration: none;
  96     background-color: transparent;
  97     border-left: 1px solid #A1283B;
  98 }
  99 .bs-docs-sidebar .nav > .active > a,
 100 .bs-docs-sidebar .nav > .active:hover > a,
 101 .bs-docs-sidebar .nav > .active:focus > a {
 102     padding-left: 18px;
 103     font-weight: bold;
 104     color: #A1283B;
 105     background-color: transparent;
 106     border-left: 2px solid #A1283B;
 107 }
 108
 109 /* Nav: second level (shown on .active) */
 110 .bs-docs-sidebar .nav .nav {
 111     display: none; /* Hide by default, but at >768px, show it */
 112     padding-bottom: 10px;
 113 }
 114 .bs-docs-sidebar .nav .nav > li > a {
 115     padding-top: 1px;
 116     padding-bottom: 1px;
 117     padding-left: 30px;
 118     font-size: 12px;
 119     font-weight: normal;
 120 }
 121 .bs-docs-sidebar .nav .nav > li > a:hover,
 122 .bs-docs-sidebar .nav .nav > li > a:focus {
 123     padding-left: 29px;
 124 }
 125 .bs-docs-sidebar .nav .nav > .active > a,
 126 .bs-docs-sidebar .nav .nav > .active:hover > a,
 127 .bs-docs-sidebar .nav .nav > .active:focus > a {
 128     padding-left: 28px;
 129     font-weight: 500;
 130 }
 131
 132 /* Nav: third level (shown on .active) */
 133 .bs-docs-sidebar .nav .nav .nav {
 134     padding-bottom: 10px;
 135 }
 136 .bs-docs-sidebar .nav .nav .nav > li > a {
 137     padding-top: 1px;
 138     padding-bottom: 1px;
 139     padding-left: 40px;
 140     font-size: 12px;
 141     font-weight: normal;
 142 }
 143 .bs-docs-sidebar .nav .nav .nav > li > a:hover,
 144 .bs-docs-sidebar .nav .nav .nav > li > a:focus {
 145     padding-left: 39px;
 146 }
 147 .bs-docs-sidebar .nav .nav .nav > .active > a,
 148 .bs-docs-sidebar .nav .nav .nav > .active:hover > a,
 149 .bs-docs-sidebar .nav .nav .nav > .active:focus > a {
 150     padding-left: 38px;
 151     font-weight: 500;
 152 }
 153
 154 /* Show and affix the side nav when space allows it */
 155 @media (min-width: 992px) {
 156     .bs-docs-sidebar .nav > .active > ul {
 157         display: block;
 158     }
 159     /* Widen the fixed sidebar */
 160     .bs-docs-sidebar.affix,
 161     .bs-docs-sidebar.affix-bottom {
 162         width: 213px;
 163     }
 164     .bs-docs-sidebar.affix {
 165         position: fixed; /* Undo the static from mobile first approach */
 166         top: 20px;
 167     }
 168     .bs-docs-sidebar.affix-bottom {
 169         position: absolute; /* Undo the static from mobile first approach */
 170     }
 171     .bs-docs-sidebar.affix .bs-docs-sidenav,.bs-docs-sidebar.affix-bottom .bs-docs-sidenav {
 172         margin-top: 0;
 173         margin-bottom: 0
 174     }
 175 }
 176 @media (min-width: 1200px) {
 177     /* Widen the fixed sidebar again */
 178     .bs-docs-sidebar.affix-bottom,
 179     .bs-docs-sidebar.affix {
 180         width: 263px;
 181     }
 182 }
 183 </style>
 184 <script type="text/javascript">
 185 $(function() {
 186     'use strict';
 187
 188     $('.bs-docs-sidebar li').first().addClass('active');
 189
 190     $(document.body).scrollspy({target: '.bs-docs-sidebar'});
 191
 192     $('.bs-docs-sidebar').affix();
 193 });
 194 </script>
 195 </head>
 196 <body>
 197 <div id="content" class="container">
 198 <div class="row"><div class="col-md-9"><h1 class="title">Sixth - system for data storage, computation, exploration and interaction</h1>
 199 <hr >
 200 <ul class="org-ul">
 201 <li>This is a subproject of <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth</a>
 202 </li>
 203
 204 <li><a href="http://www2.svjatoslav.eu/gitweb/?p=sixth-data.git;a=snapshot;h=HEAD;sf=tgz">download latest snapshot</a>
 205 </li>
 206
 207 <li>This program is free software; you can redistribute it and/or modify
 208 it under the terms of version 3 of the <a href="https://www.gnu.org/licenses/lgpl.html">GNU Lesser General Public
 209 License</a> or later as published by the Free Software Foundation.
 210 </li>
 211
 212 <li>Program author:
 213 <ul class="org-ul">
 214 <li>Svjatoslav Agejenko
 215 </li>
 216 <li>Homepage: <a href="http://svjatoslav.eu">http://svjatoslav.eu</a>
 217 </li>
 218 <li>Email: <a href="mailto://svjatoslav@svjatoslav.eu">mailto://svjatoslav@svjatoslav.eu</a>
 219 </li>
 220 </ul>
 221 </li>
 222
 223 <li><a href="http://svjatoslav.eu/programs.jsp">other applications hosted at svjatoslav.eu</a>
 224 </li>
 225 </ul>
 226
 227
 228 <div id="outline-container-sec-1" class="outline-2">
 229 <h2 id="sec-1"><span class="section-number-2">1</span> Vision / goal</h2>
 230 <div class="outline-text-2" id="text-1">
 231 <p>
 232 Provide versioned, clustered, flexible, object-relational database
 233 functionality for the <a href="http://www2.svjatoslav.eu/gitbrowse/sixth/doc/index.html">Sixth computation engine</a>.
 234 </p>
 235
 236 <ul class="org-ul">
 237 <li>I hate object-relational impedance mismatch.
 238 </li>
 239
 240 <li>I don't like to convert data between persistent database and runtime
 241 objects for every transaction. How about creating united
 242 database/computation engine instead to:
 243 <ul class="org-ul">
 244 <li>Eliminate constant moving and converting of data between 2 systems.
 245 </li>
 246 <li>Abstract away difference between RAM VS persistent storage. Let
 247 the system decide at runtime which data to keep in what kind of
 248 memory.
 249 </li>
 250 </ul>
 251 </li>
 252 </ul>
 253 </div>
 254
 255 <div id="outline-container-sec-1-1" class="outline-3">
 256 <h3 id="sec-1-1"><span class="section-number-3">1.1</span> Inspiration</h3>
 257 <div class="outline-text-3" id="text-1-1">
 258 <ul class="org-ul">
 259 <li>Relational databases:
 260 <ul class="org-ul">
 261 <li>Transactional.
 262 </li>
 263 <li>Indexable / Quickly searchable.
 264 </li>
 265 </ul>
 266 </li>
 267
 268 <li>Git (version control system)
 269 <ul class="org-ul">
 270 <li>Versionable
 271 </li>
 272 <li>Branchable / mergeable.
 273 </li>
 274 <li>Transparent cansistency, checksumming and deduplication.
 275 </li>
 276 <li>(Git as a database:
 277 <a href="https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/">https://www.kenneth-truyers.net/2016/10/13/git-nosql-database/</a> )
 278 </li>
 279 </ul>
 280 </li>
 281 </ul>
 282 </div>
 283 </div>
 284
 285 <div id="outline-container-sec-1-2" class="outline-3">
 286 <h3 id="sec-1-2"><span class="section-number-3">1.2</span> Solution (the big idea)</h3>
 287 <div class="outline-text-3" id="text-1-2">
 288 <p>
 289 I see 4D data structure.
 290 </p>
 291
 292
 293 <figure>
 294 <p><img src="data model.png" class="img-responsive" alt="data model.png">
 295 </p>
 296 </figure>
 297
 298 <p>
 299 Dimensions:
 300 </p>
 301 <ul class="org-ul">
 302 <li>List of all the objecs in the system (rows).
 303 </li>
 304 <li>List of all declared unique object fields (columns).
 305 </li>
 306 <li>List of all historical transactions/commits/versions (think of
 307 sheets of paper).
 308 </li>
 309 <li>List of all concurrently running branches/threads. Branches can
 310 appear and merge over time as needed.
 311 </li>
 312 <li>(Every cell is concrete field value within an object)
 313 </li>
 314 </ul>
 315
 316 <p>
 317 Partitioning/clustering:
 318 </p>
 319 <ul class="org-ul">
 320 <li>Why not to partition/(load balance) as required across networked
 321 physical computers along arbitrary dimension(s) declared above ?
 322 </li>
 323 </ul>
 324
 325 <p>
 326 Indexing (for fast searching):
 327 </p>
 328 <ul class="org-ul">
 329 <li>Why not to index along arbitrary dimensions (as required) ?
 330 </li>
 331 </ul>
 332
 333 <p>
 334 Further optimizations:
 335 </p>
 336 <ul class="org-ul">
 337 <li>In current early stage, trying to focus on minimum possible set of
 338 features that would provide maximum possible set of power/benefit :)
 339 </li>
 340 <li>Once featres are locked. Anything can be optimised. Optimization for
 341 size (deduplication) can be solved using Git style content
 342 addressible storage mechanism.
 343 </li>
 344 </ul>
 345 </div>
 346 </div>
 347 </div>
 348
 349 <div id="outline-container-sec-2" class="outline-2">
 350 <h2 id="sec-2"><span class="section-number-2">2</span> Current status</h2>
 351 <div class="outline-text-2" id="text-2">
 352 <ul class="org-ul">
 353 <li>Implemented very simple persistent key-value map.
 354 </li>
 355 </ul>
 356
 357 <p>
 358 Long term goal is to implement more advanced features on top of this.
 359 </p>
 360 </div>
 361 </div>
 362 </div><div class="col-md-3"><nav id="table-of-contents">
 363 <div id="text-table-of-contents" class="bs-docs-sidebar">
 364 <ul class="nav">
 365 <li><a href="#sec-1">1. Vision / goal</a>
 366 <ul class="nav">
 367 <li><a href="#sec-1-1">1.1. Inspiration</a></li>
 368 <li><a href="#sec-1-2">1.2. Solution (the big idea)</a></li>
 369 </ul>
 370 </li>
 371 <li><a href="#sec-2">2. Current status</a></li>
 372 </ul>
 373 </div>
 374 </nav>
 375 </div></div></div>
 376 <footer id="postamble" class="">
 377 <div><p class="author">Author: Svjatoslav Agejenko</p>
 378 <p class="date">Created: 2017-05-25 Thu 22:58</p>
 379 <p class="creator"><a href="http://www.gnu.org/software/emacs/">Emacs</a> 25.1.1 (<a href="http://orgmode.org">Org-mode</a> 8.2.10)</p>
 380 </div>
 381 </footer>
 382 </body>
 383 </html>