정리정돈

Prefect는 파이썬 3.7버전 이상부터 사용가능 하다. 기본 설치 $ pip install prefect 종속성 선택 설치 Prefect는 "extras"구문을 사용해서 여러 종속성에 따라 설치할 수 있다. pip install "prefect[extra_1, extra_2]" 추가 패키지의 예는 다음과 같다. all_extras: 모든 선택적 종속성을 포함합니다. dev: Prefect 자체를 개발하기 위한 도구 templates: 문자열 템플릿 작업을 위한 도구 viz: Prefect 흐름을 시각화하기 위한 도구 aws: Amazon Web Services와 상호 작용하기 위한 도구 azure: Microsoft Azure와 상호 작용하기 위한 도구 google: Google Cloud Platf..

Orchestration 시스템 관리에서 오케스트레이션(orchestration)은 컴퓨터 시스템과 소프트웨어의 자동화된 구성, 조율, 관리이다. 서버 구성과 관리 자동화를 위한 수많은 도구가 존재하며 여기에는 Ansible, Puppet, Salt, 테라폼, AWS CloudFormation이 포함된다. - 위키백과: https://ko.wikipedia.org/wiki/%EC%98%A4%EC%BC%80%EC%8A%A4%ED%8A%B8%EB%A0%88%EC%9D%B4%EC%85%98_(%EC%BB%B4%ED%93%A8%ED%8C%85) 오케스트레이션 (컴퓨팅) - 위키백과, 우리 모두의 백과사전 시스템 관리에서 오케스트레이션(ochestration)은 컴퓨터 시스템과 소프트웨어의 자동화된 구성, 조율,..

그리디 알고리즘은 탐욕법이라고도 한다. 탐욕적으로 문제를 푸는 알고리즘이다. 탐욕적이라는 말은 '현재 상황에서 지금 당장 좋은 것만 고르는 방법'을 말한다. 그리디 알고리즘을 이용하면 매 순간 가장 좋아 보이는 것을 선택하며, 현재의 선택이 나중에 미칠 영향에 대해서는 고려하지 않는다. 그리디 알고리즘은 보통 사전에 외우고 있지 않아도 풀 수 있을 가능성이 높은 문제 유형이다. 그리디 알고리즘은 기준에 따라 좋은 것을 선택하는 알고리즘이므로 문제에서 '가장 큰 순서대로', '가장 작은 순서대로'와 같은 기준을 알게 모르게 제시해 준다. 대체로 정렬 알고리즘을 사용했을 때 만족시킬 수 있으므로 그리디 알고리즘 문제는 자주 정렬 알고리즘과 짝을 이뤄 출제된다. 그리디 알고리즘의 정당성 그리디 알고리즘을 모든..

1. 그래프의 예 CREATE (forrestGump:Movie {title: 'Forrest Gump', released: 1994}) CREATE (robert:Person:Director {name: 'Robert Zemeckis', born: 1951}) CREATE (tom:Person:Actor {name: 'Tom Hanks', born: 1956}) CREATE (tom)-[:ACTED_IN {roles: ['Forrest']}]->(forrestGump) CREATE (robert)-[:DIRECTED]->(forrestGump) 다음 결과는 아래와 같다. 2. 인덱스 사용 그래프 데이터베이스에서 인덱스를 사용하는 주된 이유는 그래프 탐색의 시작점을 찾기 위해서다. 시작점이 발견되면, 순..

docstring은 소스 코드에 포함된 문서(documentation)이다. docstring은 기본적으로 리터럴 문자열이며, 로직의 일부분을 문서화하기 위해 코드 어딘가에 배치된다. 코드에 주석(comment)을 다는 것은 여러 가지 이유로 나쁜 습관이다. 주석은 코드로 아이디어를 제대로 표현하지 못했음을 나타내는 것이다. 만약 무언가를 왜 어떻게 하는지 꼭 설명해야 한다면 그 코드는 아마도 충분히 좋지 못한 것이다. 이러한 코드는 초급자가 이해하기 어렵다. 오해의 소지가 있다. 복잡한 내용을 이해하기 위해 시간을 할애하는 것보다 최악은 코드가 어떻게 동작하는지 주석을 확인한 후 실제로 동작하는 것의 다른 점을 파악하는 것이다. 그리고 사람들은 코드를 변경할 때 주석 업데이트를 깜빡하는 경우가 많으므로..

https://wikidocs.net/32105 워드 임베딩이란 텍스트 내의 단어들을 밀집벡터(dense vector)로 만드는 것이다. 원-핫 벡터와 비교해보면 원-핫 벡터는 대부분이 0의 값을 가지고, 단 하나의 1의 값을 가지는 벡터다. 벡터의 차원이 대체적으로 크다는 성질을 가지고 있다. 원-핫 벡터 예시 Ex) [0 1 0 0 0 0 ... 중략 ... 0 0 0 0 0 0 0] # 차원이 굉장히 크면서 대부분의 값이 0 대부분의 값이 0인 벡터를 두고 희소 벡터(sparse vector)라고 한다. 원-핫 벡터는 희소 벡터의 예이다. 원-핫 벡터는 단어의 수만큼 벡터의 차원을 가지며 단어 간 유사도가 모두 동일하다는 단점이 있다. 반면, 희소 벡터와 표기상으로도 의미상으로도 반대인 벡터가 있다..

정확도라는 지표를 놔두고 손실 함수의 값이라는 방법을 택하는 이유 신경망 학습에서의 미분의 역할에 대해 생각해보면 된다. 신경망 학습은 최적의 매개변수(가중치와 편향)를 탐색할 때 손실함수의 값을 가능한 작게 하는 매개변수의 값을 찾는다. 매개변수의 미분(기울기)을 계산하고 그 미분 값을 단서로 매개변수의 값을 서서히 갱신하는 과정을 반복한다. 예시로 가상의 신경망이 있고 신경망의 어느 한 가중치 매개변수에 주목한다고 할 때, 이 가중치 매개변수의 손실함수의 미분이란 '가중치 매개변수의 값을 아주 조금 변화 시켰을 때, 손실 함수가 어떻게 변하는가'라는 의미로 볼 수 있다. 만약 미분 값이 음수라면 그 가중치 매개변수를 양의 방향으로 변화시켜 손실 함수의 값을 줄일 수 있고, 반대로 미분값이 양수라면 가..

모든 데이터를 대상으로 손실 함수의 합을 구하는데 시간이 오래 걸릴 수 있다. 빅데이터 수준이 된다면 그 수는 수백만에서 수천만도 넘는 거대한 값이 되기도 한다. 이 많은 데이터를 대상으로 일일이 손실함수를 계산하는 것은 현실적이지 못하다. 이런 경우 데이터 일부를 추려 전체의 '근사치로 이용할 수 있다. 신경망 학습에서도 훈련 데이터로부터 일부만 골라 학습을 수행한다. 이 일부를 미니배치(mini-batch)라고 한다. 예시로 60,000장의 훈련 데이터 중에서 100장을 무작위로 뽑아 그 100장만을 사용하여 학습하는 것을 말한다. 이러한 학습방법을 미니배치 학습이라고 한다. 훈련데이터에서 지정한 수의 데이터를 무작위로 골라내는 것의 예시는 x_train, t_train의 shape 이 각각 (600..