신규 기사는 계속 쌓이는데, 사진은 맨날 똑같은 썸네일 한 장이었다
뉴스 자동 감지는 문제없이 돌아갔는데, 초안에 들어가는 사진은 매번 썸네일 한 장뿐이었다. 기사 안에는 사진이 여러 장 있는데 왜 하나만 쓰이는지 코드를 들여다보고서야 RSS의 한계를 알았다.
뉴스 소스(solonaranews.com) 감지는 처음부터 순조로웠습니다. RSS 피드를 매일 확인해서 새 기사가 뜨면 제목·링크·발행일을 구글시트에 기록하고, 초안 생성 단계로 넘기는 흐름까지는 하루 만에 다 돌아갔습니다. 문제는 며칠 운영하면서 발견했습니다. 기사마다 내용은 다른데, 글에 들어가는 사진은 거의 매번 비슷비슷한 느낌의 썸네일 한 장이었습니다. 어떤 날은 기사 분위기와 안 맞는 사진이 대표 이미지로 들어가기도 했습니다.
RSS에는 사진이 한 장뿐이다
처음 감지 스크립트를 짤 때는 RSS 피드 항목에 있는 이미지 URL을 그대로 가져다 썼습니다.
const imageUrl = item.enclosure ? item.enclosure.url : extractThumbnail_(item.description);
이게 당연히 “그 기사의 사진”이라고 생각했는데, 실제로는 RSS가 기사당 대표 이미지 1장만 제공하도록 돼 있다는 걸 나중에야 알았습니다. 기사 본문에는 사진이 서너 장씩 들어 있어도, RSS 피드 자체는 요약본이라 그중 한 장만 담아서 내보냅니다. 제가 가져온 건 “기사의 사진”이 아니라 “RSS가 고른 사진 한 장”이었던 겁니다.
본문 HTML을 따로 가져오기로 했다
RSS만으로는 한계가 있으니, 기사 링크로 따로 들어가서 HTML 전체를 가져오고, 거기서 <img> 태그를 직접 뽑아내는 방식으로 바꿨습니다.
function extractArticleImages_(html) {
const matches = html.match(/<img[^>]+src="([^"]+)"/gi) || [];
const urls = matches
.map((tag) => {
const m = tag.match(/src="([^"]+)"/i);
return m ? m[1] : null;
})
// 기사 본문 사진만 /data/photos/ 경로로 올라옴. 로고/아이콘 같은 사이트
// 장식 이미지는 이 필터로 걸러짐. CMS가 바뀌면 이 경로 패턴도 다시 확인할 것.
.filter((src) => src && src.indexOf('/data/photos/') !== -1);
return Array.from(new Set(urls)).slice(0, 6);
}
그냥 모든 <img>를 다 가져오면 사이트 로고, 아이콘, 광고 배너까지 섞여 들어옵니다. 몇 개 기사 페이지의 HTML을 직접 열어 보고, 본문 사진만 유독 /data/photos/라는 특정 경로로 올라온다는 공통점을 찾아서 그걸로 필터링했습니다. 이렇게 뽑은 후보 이미지(최대 6장)를 Claude에게 기사 본문과 같이 넘기고, 스토리 흐름에 맞는 2~4장을 글 안에 분산 배치하도록 맡겼습니다.
[후보 이미지]
1. https://solonaranews.com/data/photos/...
2. https://solonaranews.com/data/photos/...
...
돌아보며
설계할 때 저는 “RSS 피드 = 그 기사의 요약”이라고만 생각했지, “요약이니까 일부만 담긴다”는 당연한 사실은 놓치고 있었습니다. RSS 항목에 이미지 필드가 있다는 것만 보고 “이게 그 기사의 사진이구나” 하고 넘겨짚은 게 원인이었습니다.
이번 일로 하나 배운 건, 피드나 API가 주는 데이터는 원본의 “일부 요약”일 수 있다는 걸 먼저 의심해야 한다는 것입니다. 필드 이름만 보고 “이게 전부겠지”라고 판단하지 않고, 실제 원본 페이지를 한 번 열어서 “이 필드에 안 담긴 정보가 더 있는지”를 확인하는 습관이 필요했습니다. 특히 사진처럼 여러 장일 수 있는 데이터는 더더욱 그렇습니다.