게시물 ID 가져오기 저번에 만들었던 인스타그램 아이디, 해시태그를 수집하는 크롤러를 만들고 나서 코드를 조금만 수정하면 인스타그램 이미지 다운로더도 만들 수 있겠다는 생각에 만들어봤습니다. 기본적으로 게시물 각각의 ID를 수집하는건 저번에 설명드린 것과 같습니다. 아래 글을 참고해주세요. 인스타그램 해시태그 크롤링(1) 준비 -운영체제 : Windows 10 -언어 : Python -웹 드라이버 : chromedriver.exe 프로그램 실행 과정 1. 인스타그램 해시태그를 크롤링합니다. 2. 검색어를 입력하면 검색어에 관한 게시물의 작성자 ID와 해시태그.. yeowool0217.tistory.com 크롬 웹 드라이버 버전 확인은 필수입니다. 이미지 URL 가져오기 1. 게시물 ID 가져오기 2. 이..

이전 과정들을 통해 센서 값을 불러오고 MySQL을 활용해 데이터베이스에 저장했습니다. 이제 실제로 활용이 가능하도록 저장된 데이터를 웹 페이지와 연동합니다. 반응형 웹을 사용해서 스마트폰에서도 사용이 가능하도록 했으며 부트스트랩, 구글 차트, 카카오 맵 API를 사용했습니다. 반응형 웹, 실시간 소음 측정 반응형 웹인 부트스트랩을 사용해서 PC에서는 왼쪽과 같은 화면, 모바일에서는 오른쪽과 같은 화면이 출력됩니다. 데이터베이스에 저장된 가장 최근에 측정된 소음 값을 불러와서 실시간으로 현재 소음을 확인할 수 있습니다. 또 소음에 따라 색상이 변하도록 했습니다. 0~50 초록색 51~80 주황색 80~ 빨간색 if(0

멀티 프로세스 사용해보기 크롤링할 데이터는 많은데 파이썬에서는 기본으로 하나의 프로세스만 동작하기 대문에 시간이 오래 걸립니다. 이 문제를 해결하기 위해 파이썬에서는 멀티 프로세스, 멀티스레드 방법을 사용할 수 있습니다. 그중 멀티 프로세스 방법을 사용해서 크롤링하는 방법 사용했습니다. 멀티 프로세스와 멀티스레드는 아래와 같은 차이점이 있습니다. 멀티프로세스 멀티스레드 멀티 프로세싱은 CPU를 추가하여 컴퓨팅 성능을 향상 멀티 스레딩은 단일 프로세스의 다중 스레드를 만들어 컴퓨팅 성능을 향상 여러 프로세스가 동시에 실행됩니다. 단일 프로세스의 여러 스레드가 동시에 실행됩니다. 프로세스 생성은 시간 소모적이며 리소스 집약적입니다. 쓰레드 생성은 감지 시간과 자원 모두에서 경제적입니다. 다중 처리는 대칭 또..

준비 -운영체제 : Windows 10 -언어 : Python -웹 드라이버 : chromedriver.exe 프로그램 실행 과정 1. 인스타그램 해시태그를 크롤링합니다. 2. 검색어를 입력하면 검색어에 관한 게시물의 작성자 ID와 해시태그를 수집합니다. 3. 수집 후 csv(txt) 파일로 변환합니다. 인스타그램은 JavaScript를 사용하여 페이지를 스크롤할 때 새로운 게시글을 불러오는 방식이라 selenium라이브러리를 추가로 사용했습니다. selenium은 웹 드라이브를 사용하는 라이브러리이며 반응형 사이트 파싱에 사용합니다. 꼭 크롬 드라이버를 사용할 필요는 없지만 크롬을 사용하고 있기 때문에 크롬 드라이버를 다운로드하였습니다. 크롬 버전은 브라우저 오른쪽 위 브라우저 옵션 - 도움말 - 정보..

준비 우선 프로그램 설치가 필요합니다. 구글에 'XAMPP'라고 검색하고 다운로드 Download XAMPP Includes: Apache 2.4.39, MariaDB 10.1.39, PHP 7.1.29 + SQLite 2.8.17/3.7.17 + multibyte (mbstring) support, Perl 5.16.3, ProFTPD 1.3.4c, phpMyAdmin 4.8.5, OpenSSL 1.0.2r, GD 2.0.35, Freetype2 2.4.8, libpng 1.5.26, gdbm 1.8.3, zlib 1.2.11, expat 2.0.1, Sabl www.apachefriends.org MySQL을 사용할 예정이기 때문에 XAMPP를 설치해줬습니다. DB 생성 설치된 XAMPP폴더에 들어가..

준비 아두이노-ESP8266 WiFi모듈 사용하기(2) 연결 주의 할 점으로는 3.3V에 연결해 줘야 한다는 점? 모듈이 망가질 수 있으니 주의하도록 합시다. 테스트 아래 코드를 업로드 해주고 테스트 해봅시다. 시리얼 모니터를 열고 명령어를 입력해서 모듈과 통신.. yeowool0217.tistory.com 회로의 연결과 코드는 저번 글과 같습니다. 연결에는 크게 두 가지 방법이 있습니다. *공유기 사용하기 서버가 될 컴퓨터와 WiFi모듈이 같은 공유기에 연결되어 있어야 합니다. 모듈 ----공유기----컴퓨터 *핫스팟 사용하기 모듈----스마트폰 핫스팟----컴퓨터 당연히 두 방법 모두 인터넷과 연결이 가능해야하고 접속이 원활해야 합니다. 두 방법 모두 테스트해봤는데 공유기를 사용한 방법을 추천합니다...