Publish to my blog (weekly)

• 시계열 데이터 | Microsoft Docs

  • 센서 데이터
  • 시계열 데이터는 시간별로 구성된 값 집합
  • 응용 프로그램 원격 분석 데이터
  • 클릭 스트림 데이터
  • 주가
  • 기록 추세
  • 실시간 경고
  • 예측 모델링
  • 시간이 데이터를 보거나 분석하기 위한 가장 의미 있는 축
  • 데이터베이스에 대한 업데이트보다는 삽입으로 처리
  • 시계열 데이터는 분산형 또는 꺾은선형 차트로 보면 가장 잘 표시
  • 주가
  • 서버 성능
  • 장비 오류
  • 트리거 경고 알림
  • 산업 장비 센서의 원격 분석
  • 가속
  • 브레이크 사용
  • 실시간 자동차 원격 분석 데이터
  • 시간별 속도
  • IoT Hub, Event Hubs 또는 HDInsight의 Kafka에 의해 스트림 버퍼링 계층
  • 원본
  • 스트림 처리 계층
  • Machine Learning 서비스
  • 분석 데이터 저장소(예: HBase, Azure Cosmos DB, Azure Data Lake 또는 Blob Storage)에 저장
  • 분석 및 보고 애플리케이션이나 서비스[예: Power BI 또는 OpenTSDB(HBase에 저장되는 경우)]를 사용하여 분석을 위해 시계열 데이터를 표시
  • Azure Time Series Insights

• 초보자를 위한 RNNs과 LSTM 가이드 - Deeplearning4j: Open-source, Distributed Deep Learning for the JVM

  • RNNs은 글, 유전자, 손글씨, 음성 신호, 센서가 감지한 데이타, 주가 등 배열(sequence, 또는 시계열 데이터)의 형태를 갖는 데이터에서 패턴을 인식하는 인공 신경망 입니다.
  • RNNs은 두 개의 입력을 가지고 있는 셈
  • 하나는 현재 들어온 입력이고,
  • 과거의 출력
  • 입력 x_t
  • 계수 행렬 W
  • 시간 t-1에서 은닉층의 값 h_t-1
  • 은닉층이 갖고 있는 값을 h_t
  • h_t와 h_t-1의 관계를 나타내는 행렬 U의 함수
  • W는 지금 들어온 입력과 보유하고 있던 기억(은닉층의 값)이 얼마나 중요한지 판단하는 값
  • W가 아주 큰 값으로 이루어져 있다면 기억하고 있는 h는 별로 중요하지 않고, 현재 들어온 입력값 x_t를 위주로 판단을 내립니다
  • FFNets과 마찬가지로 출력단에서 오차를 계산하고 이 오차는 다시 이 은닉층으로 내려오는데, 그 값을 기준으로 W업데이트
  • tanh나 로지스틱 시그모이드(logistic sigmoid)
  • 함수 φ
  • (시계열) 데이터
    • https://docs.microsoft.com/ko-kr/azure/architecture/data-guide/scenarios/time-series
  • 오차의 backprop
  • 경사 하강법(Gradient Descent)
  • 기여도는 편미분 ∂E/∂w으로 계산
  • RNNs의 구조가 시간에 따라 연결되어 있기 때문에 backprop역시 시간을 거슬러 올라가며 적용되는 것
  • Truncated BPTT은 시간 전체를 거슬러 올라가는 BPTT를 간략화 한 것
  • 신경망의 값을 얼만큼 변화시키면 그 결과로 오차가 어떻게 변하는지를 알아낼 수 있습니다.
  • gradient를 잘 구할 수 없다면 계수와 오차의 관계를 알 수가 없고, 결과적으로 학습이 잘 되지 않습니다.
  • 인공 신경망의 연산도 많은 곱하기로 이루어져 있고, 계속 곱해나가다보면 그라디언트가 완전 소실되거나(vanishing) 발산하는(exploding) 경우가 있습니다.
  • 발산
  • 그라디언트의 최대 범위를 지정
  • LSTM은 오차의 그라디언트가 시간을 거슬러서 잘 흘러갈 수 있도록 도와줍니다
  • 그라디언트가 잘 흘러간다는 것은 다시 말해 RNNs가 더 오래 전 일도 잘 기억한다는 의미입니다.
  • LSTM유닛은 여러 개의 게이트(gate)가 붙어있는 셀(cell)로 이루어져있으며 이 셀의 정보를 새로 저장/셀의 정보를 불러오기/셀의 정보를 유지하는 기능이 있습니다
  • 이 게이트가 열리거나(1) 닫히는(0) 디지탈이 아니라 아날로그라는 점 주의하셔야 합니다.
  • 각 게이트는 0에서 1사이의 값을 가지며 게이트의 값에 비례해서 여러 가지 작동을 합니다.
  • 각 게이트가 갖는 값, 즉 게이트의 계수(또는 가중치, weight)는 은닉층의 값과 같은 원리로 학습
  • 게이트는 언제 신호를 불러올지/내보낼지/유지할지를 학습하며 이 학습과정은 출력의 오차를 이용한 경사 하강법(gradient descent)을 사용합니다.

• UNet - Supervisely

  • UNet is an image segmentation model inspired by this paper
  • • allowed_model_classes — UNet can detect many different classes (see "model meta"). Pass an array of classes or __all__ to segment every possible class.
     
    • out_class_suffix — New project will have auto generated classes. You can pick suffix te be added to model classes.
     
    • gpu_device — Number of GPU device to run inference on. You can pass an array if you have multiple GPUs on board.
     
    • save_source_obj — Boolean, keep or remove existing annotations.
     
    • src_type — Type of data to be passed to the model. Read section below.
     
     

• Faster RCNN - Supervisely

  • Faster R-CNN is an object detection architecture
  • • allowed_model_classes — Faster RCNN can detect many different classes (see "model meta").
     
    • out_class_suffix — New project will have auto generated classes. You can pick suffix te be added to model classes.
     
    • src_type — Type of data to be passed to the model.
     
    • gpu_device — Number of GPU device to run inference on. You can pass an array if you have multiple GPUs on board.
     
    • min_score_threshold — Minimum score of detected object to be saved as annotation.

• Supervisely - Supervisely

  • Supervisely layer ("action": "supervisely") stores results of data transformations to a new project in your workspace

• If - Supervisely

  • the "left" branch ($data_1 varibable) with probability 95%
  • the "right" branch ($data_2 varibable) with probability 5%
  • "$totrain",
  • "$toval"
  • "probability": 0.95
  • "$data_1"
  • "$data_2"
  • "min_objects_count": 3
  • filter images

  • other images are passed to $data_2 branch.

     

  • tag "party" or "dinner" to the $data_1
  • "$data_1"
  • "$data_2"
  • ["party", "dinner"]

• UNet - Supervisely

  • UNet is an image segmentation model inspired by this paper: Convolutional Networks for Biomedical Image Segmentation.
  • • size: Resize input image to smaller resolution
     
    • batch_size: Number of training examples in one iteration
     
    • epochs: Number of epoches to train
     
    • val_every: Test model on validation set every N interations
     
    • lr: How far to move the weights in the direction of the gradient
     
    • patience: Early stop if no progress on the validation set
     
    • gpu_devices: Number of GPU device to use. Can be array of devices if you have multiple GPUs
  • "$data3"
  • "$data"
  • "probability": 0.95
  • generate horizontal flips from both initial images and those that was flipped vertical
  • generate vertical flips
  • take both crops and flips
  • randomly put 5% into validation set
  • 95% into training set

• Wizard - Supervisely

  • choose one of the available architectures
  • select a pre-defined architecture or add new one using Import model page.
  • start from scratch
  • pre-trained weights,
  • hoose model
  • Select dataset or whole project you have imported before.

• Model Zoo - Supervisely

  • • Object Detection
     
    • Image Segmentation
     
    • Instance Segmentation
     
    • Classification
     
    • Text Detection
     
    • Text Recognition

• Overview - Supervisely

  • plug-in your very own model.

• Annotation Json format - Supervisely

  • "title" - string - unique identifier of class
  • ["bitmap", "polygon", "rectangle", "line", "point"]
  • image basename (filename without extension)
  • that will interpreted as image tags.
  • object tags
  • It is used to identify class shape from file meta.json
  • [[left, top], [right, bottom]]
  • encoded representation of string

• Import data - Supervisely

  • • Project name field
     
    • Dataset name field

• Terminology - Supervisely

  • Project is a set of several datasets
  • You can think of Project as a folder containing other folders (Datasets) that have images inside.
  • Every Project has a set of Classes inherited by it's Dataset
  • You can think of Dataset as a folder with images
  • Dataset is a set of images.
  • Image is a bitmap in one of support formats (png, jpg, bmp). Images can be annotated with meta-information or with figures in annotation tool.
  • You can annotate image with figures.
  • You can group figures together using Instance ID value.

• Introduction - Supervisely

  • merge projects and datasets
  • special language
  • make classes mapping
  • various augmentations of images and annotations
  • save to different formats and more

• Number plate detection with Supervisely and Tensorflow (Part 1)

  • purple boxes are operations
  • Blue boxes are data variables
  • • load all train and test data
    • visualize some random images with annotations
    • train neural network and save it to “data/model_artif”
    • load model and test in on random test images
    • load model and test in on random train images

Posted from Diigo. The rest of my favorite links are here.