def common_word_list(common_num,neg,pos): negative_word=[]; positive_word=[] n_list=neg.most_common(common_num); p_list=pos.most_common(common_num) for i in range(common_num): negative_word.append(n_list[i][0]) positive_word.append(p_list[i][0]) common_list=list(set(negative_word) & set(positive_word)) print(common_list) print('common_list 길이', len(common_list)) return common_list # #tokenized를 list로 변경 mecab=Mecab() stopwords = ['했','있','으로','로','것','씨','말','도', '는', '다', '의', '가', '이', '은','수','에서','한', '에', '하', '고', '을', '를', '인', '듯', '과', '와', '네', '들', '듯', '지', '임', '게', '만', '겜', '되', '음', '면'] train_data['tokenized']=train_data['Sentence'].apply(mecab.morphs) #Sentence 내용을 morphs로 형태소 분석(type: list) train_data['tokenized'] = train_data['tokenized'].apply(lambda x: [item for item in x if item not in stopwords]) #해당 열의 값 중 stopword에 해당하는 값 지우기 train_data['tokenized'] = train_data['tokenized'].apply(lambda x: [item for item in x if len(item)>1]) #길이 2이상만 저장 train_data['tokenized'] = train_data['tokenized'].apply(lambda x: [item for item in x if item not in common_list]) #해당 열의 값 중 stopword에 해당하는 값 지우기

### 정수 인코딩 ### tokenizer = Tokenizer() tokenizer.fit_on_texts(X_train) #문자데이터를 입력받아 리스트 형태로 변환, 각 단어에 index 부여 vocab_size = total_cnt - rare_cnt + 2 # 사용되는 단어 집합의 크기 tokenizer = Tokenizer(vocab_size, oov_token = 'OOV') #새 vocab_size로 tokenizer 새로 설정 tokenizer.fit_on_texts(X_train) #X_train, X_test의 데이터를 넣어서 인코딩  X_train = tokenizer.texts_to_sequences(X_train) ### 패딩 ###  def below_threshold_len(max_len, nested_list): # 희귀 단어의 개수만큼 제거하는 함수, max_len은 리뷰의 최대 및 평균 길이를 보고 비교해서 설정 count = 0 for sentence in nested_list: if(len(sentence) <= max_len): count = count + 1 print('전체 샘플 중 길이가 %s 이하인 샘플의 비율: %s'%(max_len, (count / len(nested_list))*100)) max_len = 1000 below_threshold_len(max_len, X_train) X_train = pad_sequences(X_train, maxlen = max_len)

embedding_dim = 100 hidden_units = 128 model = Sequential() model.add(Embedding(vocab_size, embedding_dim)) model.add(Bidirectional(LSTM(hidden_units))) model.add(Dense(1, activation='sigmoid')) es = EarlyStopping(monitor='val_loss', mode='min', verbose=1, patience=4) mc = ModelCheckpoint('best_model.h5', monitor='val_acc', mode='max', verbose=1, save_best_only=True) model.compile(optimizer='rmsprop', loss='binary_crossentropy', metrics=['acc']) history = model.fit(X_train, y_train, epochs=15, callbacks=[es, mc], batch_size=256, validation_split=0.2) loaded_model = load_model('best_model.h5') print("테스트 정확도: %.4f" % (loaded_model.evaluate(X_test, y_test)[1]))

# 설치 패키지 from gensim import corpora, models from gensim.models.coherencemodel import CoherenceModel from gensim.models.ldamodel import LdaModel from gensim.corpora.dictionary import Dictionary from gensim.test.utils import common_texts from gensim.test.utils import datapath # common_texts에서 dictionary 생성 common_dictionary = Dictionary(common_texts) common_corpus = [common_dictionary.doc2bow(text) for text in common_texts] # corpus를 활용하여 LdaModel 생성 lda = LdaModel(common_corpus, num_topics=80) #document(뉴스데이터)에서 word 추출 (말뭉치 생성) data_word=[[word for word in x.split(' ')] for x in document] id2word=corpora.Dictionary(data_word) texts=data_word corpus=[id2word.doc2bow(text) for text in texts] print("Corpus Ready") #생성한 말뭉치로 lda 시작  lda = LdaModel(corpus=corpus, id2word=id2word, num_topics=80) print("lda done, please wait") #출력부 for i in range(num_topics): words = model.show_topic(i, topn=num_words); #반환하는 토픽 연관어 개수  word_dict['Topic # ' + '{:02d}'.format(i+1)] = [i[0] for i in words] print("Result_out")

from sklearn.feature_extraction.text import CountVectorizer,TfidfTransformer from sklearn.decomposition import NMF from sklearn.preprocessing import normalize #Count Vector 생성 vectorizer=CountVectorizer(analyzer='word') x_counts=vectorizer.fit_transform(text) transformer=TfidfTransformer(smooth_idf=False) x_tfidf=transformer.fit_transform(x_counts) xtfidf_norm=normalize(x_tfidf,norm='l2',axis=1) print("xtfidf_norm Ready") model=NMF(n_components=80,init='nndsvd') model.fit(xtfidf_norm) # xtidf 데이터를 fit함 print("Model Ready") for topic in range(components_df.shape[0]): tmp = components_df.iloc[topic] print(f'For topic {topic+1} the words with the highest value are:') print(tmp.nlargest(25)) #출력부

# 감성지수를 분석하는 함수  def sentiment_predict(new_sentence): encoded = tokenizer.texts_to_sequences([new_sentence]) # 정수 인코딩 pad_new = pad_sequences(encoded, maxlen = max_len) # 패딩 score = float(loaded_model.predict(pad_new)) # 예측 return score

for i in LCount: #월별 뉴스 개수  index=LCount.index(i) df_tmp=df_Sentimental[pre:pre+i] #일별 감성지수의 평균값을 감성지수 pos=df_tmp['Pos'].tolist(); MeanPos=np.mean(pos); neg=df_tmp['Neg'].tolist(); MeanNeg=np.mean(neg) SentiIndex=(MeanPos-MeanNeg)*100 LSenti.append(round(SentiIndex,1)) pre=i