Cokwa

The whole program is written in C++ with OpenGL(GLSL Compute Shader). The internal process is pretty much the same as the paper Numenta wrote describes. I've set up the network be an autoencoder. The weird thing is that the weight matrix of SP is pretty dense as opposed to the permanence matrix of the vanilla SP being almost as sparse as the input. And That's what I expected to happen to it as w..

https://discourse.numenta.org/t/ive-used-the-backpropagation-algorithm-to-implement-htm/5250 Some might think it’s not possible but deep learning is just all about using backpropagation to a function and optimizing errors by using the derivative. Since everything including HTM can be expressed as a function, so why not?So I’ve keep tried using different approaches until it succeeded. Of course, ..

HTM(Hierarchical Temporal Memory, 계층형 시간적 메모리)의 SP(Spatial Pooler, 공간 풀러)를 GLSL(OpenGL의 shading language) 를 이용하여 구현했다. CUDA 같은 GPGPU 라이브러리를 이용한 것보다는 효율이 떨어지지만 CPU 보다야 낫기에 사용하기로 결정했다.본 영상에서는 학습 과정을 보여주기 위해 ~4% 정도의 성능이 나오게 조절하였다. 각 Column의 색은 얼마나 활성화되왔나를 녹색으로 나타낸다. MNIST database를 입력으로 사용하였으며 일반적인 SP와는 다르게 스칼라 벡터 입력이 가능하다.이 때문에 Boosting이 없으면 한 Column이 독점하게 되는 현상이 발생하는데, 이는 개선이 시급한 점으로 보인다.단순히 Proo..