Coding(98)
-
3-3. 크롤링한 데이터를 json 파일 만들기
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970import requestsfrom bs4 import BeautifulSoup as BSimport csvimport json def mnet_Crawling(html): temp_list = [] temp_dict = {} tr_list = html.select('div.MnetMusicList.MnetMusicListChart > div.MMLTable.jQMMLTable > table > tbody > tr') for tr in tr_list : rank = int(..
2018.06.10 -
3-2. 크롤링한 데이터를 csv 파일 만들기
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061import requestsfrom bs4 import BeautifulSoup as BSimport csv def mnet_Crawling(html): temp_list = [] temp_dict = {} tr_list = html.select('div.MnetMusicList.MnetMusicListChart > div.MMLTable.jQMMLTable > table > tbody > tr') for tr in tr_list : rank = int(tr.find('td',{'class':'MMLIte..
2018.06.10 -
[tistory] square 스킨 recent posts 오류 수정
Recent posts에 아무것도 안뜨는 오류는 https://wallel.com/tistory-project/square/#pricing 여기서 Final버전을 받아서 스킨 적용하면 끝
2018.06.02 -
3-1. 크롤링한 데이터를 리스트화 List [], 사전화 Dict {}
1. '1위' (str)을 1 (int)로 바꾸기데이터의 활용성을 높이기 위해서 의미없이 반복되는 '1위' '2위' '3위'.... 에서 순위를 나타내는 '위'를 없애고 숫자만 남게 합니다. 123456789101112131415161718192021222324252627282930import requestsfrom bs4 import BeautifulSoup as BS def mnet_Crawling(html): tr_list = html.select('div.MnetMusicList.MnetMusicListChart > div.MMLTable.jQMMLTable > table > tbody > tr') for tr in tr_list : rank = tr.find('td',{'class':'MMLIt..
2018.05.27 -
2-4. BeautifulSoup를 이용한 Mnet 차트 크롤링 하기[함수]
1. 1-100위까지 추출하기기존 주소로는 1-50위까지만 추출이 가능했으니, 2페이지에 있는 51-100위까지의 차트도 이어서 출력해 봅니다.1페이지는 http://www.mnet.com/chart/TOP100/ 이렇게 나오지만,2페이지를 가보면 http://www.mnet.com/chart/TOP100/2018052613?pNum=2 이런식으로 나오기 때문에구조를 짐작해볼 수 있습니다. http://www.mnet.com/chart/TOP100/ /2018052613 ?pNum=2 엠넷 차트 주소 날짜와 시간 페이지 이러한 구조를 가지고 있고,'날짜와 시간'의 경우 지금은 YYYYMMDDHH의 구조를 가지고 있지만,YYYY - 해당 연도 차트YYYYMM - 해당 달의 차트YYYYMMDD - 해당 날의..
2018.05.26 -
2-3. BeautifulSoup를 이용한 Mnet 차트 크롤링 하기[데이터 접근]
1. 접근 방법.find('태그').find_all('태그').select('태그주소').select_one('태그주소')이렇게 네가지가 있고, .find('태그') / .select_one('태그주소') 태그나 태그주소를 통해 하나의 값을 반환합니다.여러개일경우 최초 1개만 반환합니다. .find_all('태그') / .select('태그주소')태그나 태그주소를 통해 검색된 모든 결과를 List[] 목록으로 반환합니다. 2. tr_list 만들기 [2-1]에서 필요한 데이터들은 전부 각각 순위별 안에 에 들어 있음을 알 수 있었습니다.이를 이용하여 들을 List로 만들어서 [,,,......]필요한 데이터()를 꺼내쓰면 됩니다. 1단계 - 접근하기 쉬운 유일값 찾기 12345678910111213141..
2018.05.22