한국어, English, 日本語. Omarchy, CC Max, OA Pro, Grok Heavy, M3U 512GB, GX10 TP=4. Aspiring value investor. @fortyfourbits. A software engineer at Karrot.
Republic of Korea
Joined October 2017
- Tweets31.5K
- Following626
- Followers5K
- Likes29K
테슬라 좋아하는 사람은 FSD 좋은 점만 보고, 싫어하는 사람은 나쁜 점만 보는데... 전 아무 쪽도 아니지만, 운전은 사실상 FSD가 끝냈다고 생각함. 단지 이런 변화는 "느린 죽음"이라 잘 느끼지 못 할 뿐임.
Daegwon Nacyot Kim retweeted
진짜 이거 빡치는 문제입니다. 결정론적 코드로 돌아가는 스킬을 만드는 과정에 토큰을 써야 하고 파싱이 안되는 게이트에 토큰을 써야지 나머지 자동화해야 할 일 전체를 맡기는건 사내 추론하드웨어 자원이 감당 안되는데다가 모델 인텔리전스도, 쓰는 사람들 수준도 답이 안 나오는데 윗선은 어디서 뽕 맞고 왔는지 본인들은 codex 켜본적도 없고 채팅만 깔짝 해본 주제에 그게 AI랍시고 채팅에 집착합니다.. ㅠ
불과 1년 전에는 RAG + 챗봇이 트렌드가 맞았고 그때 투자란 하드웨어로 Agent 돌리면 서버 터져요... (외부 LLM못 쓰는 환경)
무제한 토큰과 토큰 맥서의 처지는 다름. 무제한 토큰을 활용할 수 있는 건 모델 가진 AI 업체의 (일부?) 직원들이고, 토큰 맥싱은 비효율성과 예산 문제로 필연적으로 한계에 부딪힘. 그러면서 다시 고민하는 게 "공장-자동화"를 해야하는 문제를 왜 "LLM"으로 풀고있을까.
과정이 정해진 업무는 워크플로우를 구축하고, 최대한 자동화를 LLM으로 구축하고, LLM을 빼내고 판단이 필요한 최소한의 작업만 LLM이 개입해야한다. 토큰이 남아돌지 않는 한 모든 오퍼레이션에 LLM으로 "해주세요"하는 건 유지 가능하지 않음. 토큰 사용량이 늘면서 다들 겪을 문제.
Daegwon Nacyot Kim retweeted
작년에 비슷한 도메인의 큰 회사 CTO에게 어떻게해야 이 서버와 장애의 불안들에서 해방될수 있냐고 진지하게 물었었는데
결국 돌아온 답은
거기서 내려와야 불안이 없어진다고
그전까지는 계속 될거라고
결과적으로 나에게는 더 이상 정답지를 찾아서 헤매지는 않게 되었고 위로가 되긴 했음
Daegwon Nacyot Kim retweeted
AI로 슬랙 같은 서비스도 뚝딱 만든다는 말이 많은데
해보면 생각보다 금방 막힘
AI가 한 번에 기억하는 대화 공간에는 한계가 있어서
코드가 커질수록 앞에서 정한 걸 잊어버리고
엉뚱한 데를 고침
겉모습 비슷하게 따라 만드는 건 한 번에 되는데
그걸 몇 달씩 계속 고치고 키워가는 건 따로 노력이 듬
그래서 큰 코드를 AI가 헷갈리지 않게
잘게 나눠서 먹여주는 기술 자체가 경쟁력이라는 원글 말에 동의함
Daegwon Nacyot Kim retweeted
맞는 말씀이시고 그래서 실시간 지표 수집과 이상 감지는 기본값이다. 메모리 누수가 쌓일 수 있고 트래픽이 바뀌면 터질 수 있고 요즘은 단일 구조가 별로 없으니 외부 호출도 그렇고 변경 없이 배포만 해도 메모리에 캐시된 데이터가 달라질 수 있고 기타 등등. xitter.gq/nacyotKim/status/21161…
DS4.1F에서 Sonnet/Opus4.5 때쯤 느끼던 답답함을 그대로 느끼고 있음. 100개 배치 작업을 시켜두면 10개만 하고, 갑자기 스크립트를 돌린다거나, 보고서에 "전부 올리라고" 하면 맘대로 잘라서 올려놓는다거나... 직접 다루려면 쉽지않다.😇
