[파이썬_4] #8. Multiprocessing- ProcessPoolExecutor

• 공부한 날짜: 2021.11.
• Keyword: ProcessPoolExecutor, as_completed, futures, timeout, dict
• Future Object는 예약된 시점, 실행되고 있는 것이 아님 

 

 

• 사용할 url들 리스트로 선언 

 

• urllib.request: url(uniform resource locator)을 가져오기 위한 파이썬 모듈 
• conn.read(): url들 읽어오는 것 같음

 

• main() 
• multiprocess 실행. 최대 5개로 실행 
• future_to_url이 딕셔너리 -> executor.submit(load_url,url,60)이 key 값이고, url for url in URLS 가 value
• executor.submit(load_url,url,60): load_url(url,60)처럼 실행되도록 예약하고, 콜러블 객체의 실행을 나타내는 Future 객체를 반환한다(?)

 

• as_completed(): 주어진 future들 중에서 먼저 끝나는 것 부터 차례로 순회하여 반복문을 돌리는 함수 
• 출처: https://soooprmx.com/concurrent-futures/

 

 

• 무슨 이유인지 정상적으로 작동이 안됨 urlopen 하는데 문제가 생기는 것 같음