인스타그램 해시태그 크롤링(2)

멀티 프로세스 사용해보기 크롤링할 데이터는 많은데 파이썬에서는 기본으로 하나의 프로세스만 동작하기 대문에 시간이 오래 걸립니다. 이 문제를 해결하기 위해 파이썬에서는 멀티 프로세스, 멀티스레드 방법을 사용할 수 있습니다. 그중 멀티 프로세스 방법을 사용해서 크롤링하는 방법 사용했습니다. 멀티 프로세스와 멀티스레드는 아래와 같은 차이점이 있습니다. 멀티프로세스 멀티스레드 멀티 프로세싱은 CPU를 추가하여 컴퓨팅 성능을 향상 멀티 스레딩은 단일 프로세스의 다중 스레드를 만들어 컴퓨팅 성능을 향상 여러 프로세스가 동시에 실행됩니다. 단일 프로세스의 여러 스레드가 동시에 실행됩니다. 프로세스 생성은 시간 소모적이며 리소스 집약적입니다. 쓰레드 생성은 감지 시간과 자원 모두에서 경제적입니다. 다중 처리는 대칭 또..

2019.08.27