수학과의 개발자 도전기

• 공부한 날짜: 2021.12.05
• 실행 흐름에 따라 코드를 논리적으로 진행하는 것이 코딩하는 것에 있어서 가장 중요하다(어떤게 필요한 상황인지 생각하기)

    멀티프로세싱이 적합한 상황

• IO Bound Volume이 매우 커졌을 때
• 작업량이 늘어났을 때
• 독립/병렬적으로 처리해야하는 일일 때
• 독립적이고, 고속 연산 작업에 할 때(CPU)

• I/O Bound Multiprocessing Pool 예제

• session값 초기화 하는 것 -> 눈여겨서 잘 보기
• 미리 initializing해서 일할 준비를 미리 하는 것 -> 높은 실행속도 보장 

• 각 프로세스 메모리 영역에 생성되는 객체-> 독립적이다
• 함수 실행 할때마다 객체 생성은 좋지 않음 -> 각 프로세스마다 할당(하기 때문인가?) 확인해보기 

• 실행함수1 : 다운로드 
• session은 위에서 이미 생성했음-> url만 받으면 됨 
• multiprocessing.current_process().name: 

• 실행함수2 : 요청 
• 멀티프로세싱 실행
• 반드시 process 개수 조절 후 session 객체 및 실행시간 확인 

• main 함수 구현 

• main() 실행 

• 공부한 날짜: 2021. 12.06

• I/O Bound Threading 

• get_session(): 이거는 어디에 쓰이는건지?? 세션을 가져오는 건가 
• threading.local(): 스레드별로 구별되는 네임스페이스를 제공한다
• threading.local()에서 session이라는 속성이 없으면 request.Session()으로 세션 생성하기? 

• 실행함수 1
• request_site(url)
• session은 get_session()으로 가져오므로 따로 파라미터로 안 가지고 와도 됨 

• 실행함수2(요청)
• concurrent.futures.ThreadPoolExecutor(max_worker=) :최대 max_workers 스레드의 풀을 사용하여 호출을 비동기적으로                                 실행하는 Executor 서브 클래스

• main() 

• main함수 실행 

• 공부한 날짜: 2021.12.04
• import requests 오류 -> pip install request 터미널에서 하고 -> Shell interpreter 선택해서 불러와야함 
• 원래 url 3개 였는데 하나 오류나서 두개로 변경 

• request 터미널에서 설치 

• 실행함수1(다운로드)

• 실행함수2 : 주어진 url들 파라미터 넣고, requests.Session()을 session으로 넣어서 request_site 실행함 
• requests.Session(): 세션 생성. With 구문안에서만 실행됨
• 그렇다면 session은 무엇인가? -> 웹 통신간 유지하려는 정보를 저장하기 위해 사용하는것/ 쿠키와 비교해서 알아두면 될 것 같다
• 자세한 정보가 나와있는 사이트: https://hahahoho5915.tistory.com/32

• main()

• main 실행하기

• 출력결과

• 공부한 날짜: 2021.12

• Concurrency
• CPU Bound vs I/Bound
• 작업 목적에 따라서 적절한 동시성 라이브러리 선택이 중요하다 

• 최종 비교