스킬과 메모리는 칸이 다르다

세션이 열립니다. 시스템 프롬프트 위에 MEMORY 칸이 붙습니다. Hermes 문서 기준 2,200자, 약 800토큰. 옆에 USER.md는 1,375자, 약 500토큰. 둘 다 세션 시작 때 한 번 얼려서 넣습니다. 글 쓰다 메모리를 고치면 디스크에는 바로 남고, 프롬프트에는 다음 세션부터 보입니다. 같은 화면에 스킬 목록도 있습니다. 이름은 한 줄입니다. dttm-writing은 그 한 줄로만 앉아 있습니다. 초안을 쓰라고 … 더 읽기

A100 40GB와 80GB의 Tensor는 같다

견적서에 A100이 두 줄입니다. 40GB, 80GB. Tensor 칸은 둘 다 312 TFLOP/s입니다. 용량만 두 배인 줄 알고 고릅니다. NVIDIA 데이터시트를 세로로 읽으면 갈라지는 칸은 메모립니다. 40GB는 HBM2 1,555 GB/s. 80GB SXM은 HBM2e 2,039 GB/s. 80GB PCIe는 1,935 GB/s. 코어 수는 같습니다. 벨트가 다릅니다. 벽시계는 max(메모리 시간, 연산 시간)입니다. 바이트당 연산이 무릎보다 작으면 맷돌을 깎아도 가루는 … 더 읽기