1. K-means(K=2, seed=1) 알고리즘을 사용하여 데이터를 군집화하고, silhouette score를 출력하세요. from pyspark.ml.clustering import KMeans from pyspark.ml.evaluation import ClusteringEvaluator #Train K-means model, k=2,seed=1 -> 2개의 클러스터로 kmeans=KMeans().setK(2).setSeed(1) model=kmeans.fit(features) # make predictions predictions=model.transform(features) #evaluate clustering by computing silhouette score evaluator=Clust..

# 추천시스템 훈련시키기 from pyspark.ml.evaluation import RegressionEvaluator from pyspark.ml.recommendation import ALS from pyspark.sql import Row als = ALS(maxIter=5, regParam=0.01, userCol="user_id", itemCol="item_id", ratingCol="rating", coldStartStrategy="drop",seed=2023) model = als.fit(training) maxiter: 학습반복최대 횟수 - 기본:10 데이터를 몇번 반복시켜서 훈련시킬 것인가 설정 regParam: 규제를 얼마나 강하게 할 것인가 설정 - 기본: 1.0 -> 모델을 간단하..

고정금리란 최초 약정한 금리가 만기때까지 그대로 유지되는 금리를 의미하며 변동금리란 일정 주기별로 시장 금리를 반영하여 약정금리가 변동하는 금리를 의미한다. 예를 들어 만기 1년, 약정금리는 4%의 고정금리라면 약정기간 1년 동안 시장금리가 어떻게 변하더라도 해당 약정금리는 4%이다. 반면 만기 1년, 변동주기 3개월, 약정금리는 CD금리+0.5%(또는 50bp)의 변동금리라면 3개월에 한번씩 변동된 CD금리에 연동하여 약정금리가 변하게 된다. 예를 들어 CD금리가 최초 약정시 3.0%, 약정 3개월후 3.2%, 6개월후 3.5%, 9개월후 4.0%라면 약정금리는 최초 약정시 3.5%, 약정 3개월후 3.7%, 6개월후 4.0%, 9개월후 4.5%가 된다. 자금 차입자 입장에서는 앞으로 시장금리가 상승할..

텐서플로우 구글에서 2015년 공개한 오픈소스라이브러리 데이터 플로우 그래프를 이용하여 계산과정과 모델을 표현 기계학습 알고리즘을 구현하고 실행하기 위한 프로그래밍 인터페이스 신경망과 딥러닝 관련 라이브러리 제공 데이터 플로우 그래프 : 텐서플로우 프로그램을 통하여 수행되는 일련의 계산을 정의 Variable 모델의 학습 가능한 변수를 정의할 때 사용 가중치, 편향 등의 파라미터를 저장하는 데 사용 정의할 때 반드시 초기화되어야 함 Placeholder 데이터플로우 그래프 실행 시 데이터(Tensor)를 전달하기 위해 사용 그래프 실행 시 값이 제공되어야 함 Tensorboard 텐서플로우에서 제공하는 시각화 도구 데이터플로우 그래프, 학습과정의 성능 변화등을 보여줄 수 있음 Tensor 텐서플로우에서 ..

introduction * nodes: hosts and routers links: 통신 경로 유선 link 무선 link LANs * data-link layer는 한 노드로부터 물리적으로 인접한 다른 노드로 link를 통해 datagram을 전송하는 책임을 갖는다. * MAC 주소는 출발, 도착지를 구별하기 위한 frame header로 사용된다. ARP(address resolution protocol) Link layer 계층에선 통신을 하기 위해 MAC 주소를 사용한다 통신을 하기 위해 본인의 MAC주소와 상대의 MAC주소를 알아야 하는데, 이때 쓰이는 프로토콜이다. frame에 IP 패킷이 아닌 ARP Query를 담아 전방위로 보내 상대의 MAC 주소를 받아온다 한번 얻어온 MAC 주소는 A..

고용률 : 통계청에서 매월 작성하고 있는 경제활동인구조사에서 집계된 15세 이상 인구(노동가능인구)에 대해 취업자가 차지하는 비율을 말한다. 한편 실업률은 경제활동인구 중에서 실업자가 차지하는 비율을 말한다. 고용률은 실업률의 문제점을 해소할 수 있기 때문에 고용통계에서 중요한 개념이다. 즉, 고용통계에서 취업준비자와 구직단념자는 실질적인 의미에서 실업자이나 비경제활동인구로 분류되고 있음에 따라 이들이 늘어나면 실업률이 낮아질 수 있어 체감하는 실업률과 차이를 느끼게 한다. 그러나 고용률은 15세 이상 인구를 기준으로 계산되기 때문에 실업자와 비경제활동인구간의 이동 등에 따른 경제활동인구수 변동의 영향을 받지 않는다는 장점이 있다. 다만 고용률도 근로시간이 18시간 미만인 단시간근로자 및 일시휴직자 등 ..